FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation

Yijing Lin, Zhendong Mao, Mengqi Huang, Yuxin Wang, Yongdong Zhang

2026-11-02▲ 112arXiv 2610.36545v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

FrameForge 将冻结的视频扩散模型适配为统一的条件图像生成：通过选择输入自适应的时间 RoPE 专家，并在条件与目标之间插入潜在推理链。

要解决的问题

现实世界的条件图像生成涉及文本、参考图像和结构图等异构输入，这些输入在不同语义和空间层级施加约束。现有的统一模型大多以图像为中心，将条件作为辅助空间或语义信号注入，而没有显式建模条件与目标差异有多强，或应如何将二者相互转换。视频模型适配将条件与目标排列为帧，但分配固定的时间位置，导致跨任务和样本的时间位置关系不变。

方法

FrameForge 将条件图像生成表述为由文本和视觉条件引导的目标帧预测。它使用 HunyuanVideo1.5 的第一阶段视频扩散模型实例化，采用 3D VAE 和 MM-DiT 骨干，并冻结预训练视频骨干权重与 VAE 编码器。Mixture of Temporal Experts（MoTE）构建多个对应不同虚拟间隔的时间 RoPE 专家，并使用轻量路由器从文本、条件和含噪目标表示中为每个样本选择一个专家。Chain of Temporal Reasoning（CoTR）在条件与目标之间插入一个噪声初始化的推理潜在变量，通过注意力进行上下文化，且无显式中间监督。随机推理瓶颈注意力掩码在中间训练阶段阻止目标到文本/条件的直接注意力，而最终阶段和推理使用全注意力。训练在注意力和前馈投影中插入单个 LoRA 适配器，并在三个阶段跨任务联合优化 MoTE 路由器和 LoRA。

实验结果

在 HunyuanVideo1.0 上，FrameForge 相比统一基线将主体驱动得分从 0.699 提升到 0.736。 §4.4
在 HunyuanVideo1.0 上，FrameForge 相比统一基线将编辑得分从 4.38 提升到 5.00。 §4.4
在 HunyuanVideo1.0 上，FrameForge 相比统一基线将 Canny FID 从 24.52 降至 23.07。 §4.4
MoTE 路由分析报告了在 50 个去噪步骤上的专家选择比例，在 500 个案例上取平均。 §4.2.4
Canny 到图像生成主要选择长间隔专家，尤其是在早期去噪阶段；而主体驱动生成和编辑最初偏向中等间隔专家，随后转向短间隔专家。 §4.2.4

局限

论文未报告显式局限性章节；其评估仅涵盖主体驱动生成、Canny 到图像生成和指令引导图像编辑。
跨视频骨干的泛化仅在 HunyuanVideo1.0 上相对于统一基线进行评估，而主要骨干是 HunyuanVideo1.5。
所有报告的训练图像均调整大小为 512x512，推理使用 50 个去噪步骤；未报告其他分辨率和步数下的行为。

要点

论文通过虚拟时间间隔解释异构条件-目标关系，其动机是自然视频帧间的 LPIPS 变化以及任务条件-目标 LPIPS 分布。 §1
MoTE 在候选潜在跨度上构建 E 个时间 RoPE 专家；当 r_t=4 时，默认视频帧跨度 {17,69,121} 对应潜在跨度 {5,18,31}。 §3.3
MoTE 路由基于文本、条件和含噪目标表示进行样本级 Top-1 选择，使用直通估计器和批级负载均衡损失训练。 §3.3
CoTR 在条件与目标之间插入单个高斯初始化的推理潜在变量；它不被显式监督或解码。 §3.4
在中间训练阶段，p_mask=0.5 的随机推理瓶颈掩码阻止目标到文本/条件的直接注意力；最终阶段和推理使用全注意力。 §4.1
训练冻结预训练视频骨干和 VAE 编码器，在注意力和前馈投影中插入一个 LoRA 适配器，并对路由器和 LoRA 使用三阶段优化。 §3.5
训练每个任务使用 170K 样本，共 510K，512x512 图像，182M 可训练参数，在两块 NVIDIA A800 GPU 上训练 12,000 次迭代，批大小为 60，学习率为 3×10^-4，约需 6 天。 §4.1
评估涵盖 DreamBench 上的主体驱动生成、COCO2017 上的 Canny 到图像生成，以及 GEdit-Bench 上的图像编辑。 §4.1

思维导图

mindmap
  root["FrameForge"]
    ["问题"]
      ["异构条件"]
      ["固定时间偏移"]
    ["方法"]
      ["MoTE"]
        ["时间 RoPE 专家"]
        ["输入自适应路由"]
        ["负载均衡"]
      ["CoTR"]
        ["推理潜在变量"]
        ["推理瓶颈掩码"]
      ["训练"]
        ["冻结视频骨干"]
        ["单一共享 LoRA"]
        ["三阶段"]
    ["实验"]
      ["任务"]
        ["主体驱动"]
        ["Canny 到图像"]
        ["图像编辑"]
      ["基准"]
        ["DreamBench"]
        ["COCO2017"]
        ["GEdit-Bench"]
      ["结果"]
        ["HunyuanVideo1.0 对比"]
        ["MoTE 路由分析"]
    ["局限性"]
      ["无显式局限性章节"]
      ["仅三个任务"]
      ["512 分辨率与 50 步"]