Know, then Draw: A New Learning Paradigm for Visual Generation

Yucheng Mao, Chongjian Ge, Zhuowen Tu, Hao Tan, Hanwen Jiang

2026-10-29▲ 1arXiv 2610.37626v1 Hugging Face

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

一种两阶段范式：在语义 token 上进行自回归预训练以获取视觉知识，再用冻结骨干的像素扩散阶段渲染图像，得到一个 3B 文本到图像模型，训练约 6,600 H100 GPU 小时，在 GenEval 上得分 0.86，在 DPG-Bench 上得分 87.78。

要解决的问题

视觉生成一直被框定为自回归模型与扩散模型之间的竞争，追问哪一种能生成更好的图像；然而每种范式都必须解决两个不同问题：获取高层视觉知识和将其渲染为细节像素。论文认为这两个问题不必偏向同一目标。另一个问题是，传统 tokenizer 为重建保留低层外观，这塑造了自回归模型被激励学习的内容。将知识获取与渲染分离还引出一个未解决的资源分配问题：计算应如何在两个阶段之间划分，以及每个阶段应如何平衡模型规模与数据。

方法

该框架将视觉知识获取分配给自回归预训练，将渲染分配给像素扩散后训练。预训练期间，冻结的视觉 tokenizer 将图像映射为离散 token，并用交叉熵在这些 token 上训练一个文本条件 AR 模型（RandAR 风格的置换预测，带位置指令 token）。后训练期间，AR 骨干被冻结，可训练的像素扩散模块（输入投影、时间步嵌入、扩散前馈与自适应归一化层、线性像素读出）复用其冻结的注意力投影；渲染器在速度空间中用像素空间流匹配训练，同时预测干净图像。后训练以从真实图像提取的 token 为条件，而推理以从文本提示自回归生成的 token 为条件。比较三种 tokenizer：Recon（预训练的 Emu3.5 重建 tokenizer）、Semantic-Recon（在冻结 Qwen2.5-VL 特征上用重建训练得到的 IBQ 码本）和 Semantic-LM（相同语义表示，但码本在冻结 Qwen2.5-VL 内通过下一 token 预测训练，无解码器或重建损失）。扩展定律按目标分别拟合：L̂(N,D)=E+A(N/N0)^-α+B(D/D0)^-β，使用 C=6ND，并通过 r=C_post/(C_pre+C_post) 为两个阶段分配计算。

实验结果

在匹配数据预算下，自回归预训练后接像素扩散后训练优于所评估的 LDM 预训练流程和扩散基线。 §3.1
四种匹配预算路线的最终生成器得分：AR→PDM 达到 GenEval 总体 65.51 和 DPG-Bench 71.11，而 PDM 为 61.16/62.56，LDM 为 57.34/64.33，LDM→PDM 为 56.61/60.01。 §3.1
更好的重建质量并不提升最终生成：Recon 的 rFID 优于 Semantic-Recon，但后训练得分更低；Semantic-LM 无需重建，但在后训练后具有竞争力。 §3.2
仅 AR 生成质量不能预测最终质量：Recon 在仅 AR 的 GenEval 上优于 Semantic-Recon，但扩散后训练后排名反转；Semantic-LM 没有仅 AR 解码，却在后训练后大幅提升。 §3.2
分别为两个阶段拟合了独立的扩展定律，模型/数据指数不同；相对于从零训练的像素扩散，自回归预训练降低了拟合的渐近渲染损失。 §3.3
推导出的计算分配将约 60% 预算用于预训练、40% 用于渲染；在约 6,600 H100 GPU 小时下，所得约 3B 模型达到有竞争力的得分。 §3.4

局限

论文指出，Tab. 3 中的跨系统比较仍是近似，因为文本编码器、训练数据和评估设置不同，且结果不能证明该计算分配是最优的（§3.4）。
拟合渐近损失的比较评估的是整个流程，包括预训练权重和从目标图像提取的条件 token，并未隔离各自贡献（§3.3）。
后训练扩展定律描述配对模型家族内的渲染性能，因为每个渲染器都与相应规模的冻结 AR 骨干配对，而非仅描述扩散容量（§3.3）。
论文指出当前实验留下一个未解问题：在没有显式文本 rollout 时，结果无法确定当生成器已拥有丰富语言或智能体上下文时，Semantic-LM 还是 Semantic-Recon 是更可取的接口（§A.10）。

要点

该框架让自回归专门负责知识获取、扩散专门负责渲染，推理时的 AR rollout 提供结构化视觉表示来条件化扩散。 §1
后训练冻结 AR 骨干，只训练像素扩散模块，这些模块复用骨干的注意力投影和表示。 §2.2
渲染器用像素空间流匹配训练，在直接预测干净图像的同时最小化速度空间 MSE。 §2.2
Semantic-LM 在冻结 Qwen2.5-VL 模型内通过下一 token 预测训练其 IBQ 码本，不需要图像解码器或重建损失。 §2.1
自回归预训练定律在 18 个模型上拟合，规模从 55.71M 到 2.43B 参数，N_opt 与 D_opt 均以约 C^0.47–0.53 增长。 §3.3
后训练定律在 14 个模型上拟合，规模从 25.1M 到 2.03B 参数，指数随估计方法变化：N_opt ∝ C^0.45–0.70，D_opt ∝ C^0.30–0.55。 §3.3
由于自回归交叉熵和扩散速度-MSE 度量不同任务，论文不将它们合并为单一损失；而是用拟合定律为每个阶段设定计算最优预算。 §3.3
语义 token 可视为推理与渲染之间的压缩语义状态，决定下游性能的是语义质量，而非重建质量或仅 AR 质量。 §A.10

思维导图

mindmap
  root["先知识，后绘制"]
    ["问题"]
      ["范式被当作竞争者比较"]
      ["两个问题：知识与渲染"]
      ["为重建设计的 tokenizer"]
      ["计算分配未知"]
    ["方法"]
      ["AR 预训练"]
        ["冻结 tokenizer 到离散 token"]
        ["带位置 token 的置换预测"]
      ["Tokenizer 对比"]
        ["Recon：重建 tokenizer"]
        ["Semantic-Recon：重建监督"]
        ["Semantic-LM：仅语言监督"]
      ["扩散后训练"]
        ["冻结骨干，可训练 phi"]
        ["像素流匹配，velocity MSE"]
        ["训练用真值 token，推理用 AR token"]
      ["Scaling 方法"]
        ["按目标分别拟合定律"]
        ["分配比例 r"]
    ["实验"]
      ["AR 与扩散预训练"]
        ["AR→PDM 65.51 GenEval"]
        ["LDM→PDM 56.61"]
      ["Tokenizer 对比"]
        ["Recon rFID 最佳，最终最弱"]
        ["Sem-LM 无解码器，最终强"]
      ["Scaling 定律"]
        ["预训练：18 个模型至 2.43B"]
        ["后训练：14 个模型至 2.03B"]
        ["拟合渐近值低于从零训练"]
      ["规模验证"]
        ["3B 模型，6,600 H100 小时"]
        ["0.86 GenEval，87.78 DPG-Bench"]
    ["局限与开放问题"]
      ["跨系统比较近似"]
      ["分配最优性未确立"]
      ["权重与 token 未隔离"]
      ["丰富上下文下 Sem-LM 与 Sem-Recon"]