VA-TDM：通过速度对抗蒸馏改进少步扩散模型的统一视角

VA-TDM 使用对抗式速度场框架，将扩散模型和流模型蒸馏为高质量四步生成器。

少步蒸馏必须用少量学生转移替代长教师轨迹，同时保持生成质量。通过 score 蒸馏进行的分布匹配方法依赖于准确跟踪学生不断变化的分布。在学生中间步骤，学生 score 估计很困难，常用估计器可能描述的是与学生更新所用分布不同的分布。

论文提出 Velocity Adversarial Distillation，从学生采样过程构造学生速度场，并使用向量值 critic 比较学生和教师速度场。最优 critic 是速度残差，且对抗博弈具有匹配均衡，此时学生和教师速度一致。论文推导了两种速度构造：A-form，一种与条件干净预测矩相关联的 rectified 速度；B-form，一种与扰动学生分布 score 相关联的高斯速度。该框架将这些形式及生成器更新与 score 蒸馏、基于 Fisher 的匹配、矩匹配和 MMD 联系起来。VA-TDM 沿学生轨迹应用该框架，将 A-form 和 B-form 博弈与共享骨干结合，使用转移感知场估计，并用轨迹上 ODE 回归预热进行初始化。

• 在 SD3.5-Medium 上，VA-TDM 将 GenEval 从 TDM 的 0.61 提升到 0.67，并达到 OCR 0.59，同时在可验证、质量和偏好指标上领先于可比的少步模型。 §4.1
• 在 FLUX.2-Klein-Base 4B 上，VA-TDM 将 GenEval 从 0.78 提升到 0.80，将 OCR 相似度从 0.64 提升到 0.69，并将 LPIPS 多样性从 0.47 提升到 0.56。 §4.1
• 在视频用户研究中，VA-TDM 在相同 4-NFE 预算下对 Fast-H3 赢得 61.33% 的比较，并对 100-NFE 教师达到 45.53% 的偏好率，而 Fast-H3 为 24.67%。 §1
• 最终四步 SD3.5-Medium 消融配置使用 lambda_m=0.8、path/flow-product 混合、场正则化和正则化校正 critic，达到 GenEval 0.67、OCR 0.59、Aesthetic 5.65、ImageReward 1.02、PickScore 0.8702、HPSv2 0.3010、HPSv3 11.89 和 LPIPS 0.58。 §4.2
• 在仅 B-form 设置中移除转移感知场估计会使 GenEval 从 0.61 降到 0.58、OCR 从 0.57 降到 0.53、LPIPS 从 0.59 降到 0.56。 §4.2

• 论文报告当梯度通过 critic 输出传播时会出现训练不稳定和崩溃，因此实际更新会停止整个 critic 输出；这一点在方法中说明并在 Fig. 2 展示。
• 仅 B-form 会导致高方差在线场学习，且单独难以学习，这促使采用共享骨干和双形式混合；这一点在消融讨论中说明。
• 实验将 SD3.5-Medium、FLUX.2-Klein-Base 4B 和 MiniMax-H3 蒸馏为四步生成器，因此其他步数预算下的行为尚未由所报告实验覆盖。
• MiniMax-H3 用户研究使用 10 个随机选择的提示词，因此人工评估规模有限；这一点在实验细节中说明。

• VAD 定义对抗博弈，其中向量值 critic 通过内积比较学生和教师速度场。 §3.2
• 对于固定学生，最优 critic 是教师速度减去学生边缘速度。 §3.2
• A-form rectified 速度是条件干净预测矩的仿射重参数化，并在 s>0 时降低训练方差。 §3.1
• B-form 高斯速度是实际扰动学生分布 score 的仿射重参数化。 §3.1
• 定理 5 将 A-form 匹配联系到条件矩匹配，将 B-form 匹配联系到分布匹配，并将生成器更新联系到 MMD、reverse-KL 和 Fisher 散度。 §3.2
• VA-TDM 使用共享骨干和独立输出头优化 A-form 与 B-form 对抗博弈。 §3.3
• 转移感知场估计将学生转移的目标时间步作为额外输入注入在线速度场。 §3.3
• 训练使用 rank 64 的 LoRA 微调，并且每次迭代更新在线 score 和生成器各一次。 §C.1