Intrinsic Distribution Matching

IDM 保留完整的内部 DMD 校正，并在生成器 EMA 特征上加入特征矩损失，从而提升 Z-Image-Turbo 和 Qwen-Image 的 2-NFE LongText 分数。

一步和少步文本到图像生成必须在少量细化步骤中渲染提示细节。DMD 使用生成分布与参考分布之间的分数差，但依赖学习到的分数估计和有限训练。本文追问：显式矩约束能否改进这种学习到的分数监督。

本文将 reverse-KL 分数场分解为由均值和协方差确定的高斯矩分量以及非高斯残差。方法保留从速度分支估计的完整内部 DMD 校正，并加入特征矩损失。该损失对生成样本和参考样本匹配来自生成器 EMA 副本的特征的均值与逐坐标标准差，且无需外部特征编码器。训练组合基础 RCGM 损失、DMD 分数损失和特征矩损失；EMA 参数以 0.99/0.01 更新，特征队列被分离。特征和队列仅在训练中使用；一步推理使用一次前向传播，检查点也支持少步采样。

• 在两次网络评估中，IDM 在 Z-Image-Turbo 上于中文和英文 LongText-Bench 分别达到 94.25% 和 90.20%，是该预算下对比方法中的最高分。 §1
• 同一 2-NFE 结果在 LongText-CN 和 LongText-EN 上分别比 Z-Image-Turbo++ 提升 2.63 和 0.32 个百分点。 §1
• 在表 5 中，完整 IDM 行报告 OneIG 53.06、GenEval 77.81、DPG-Bench 86.82、LongText-CN 94.25 和 LongText-EN 90.20。 §5.3
• 移除 DMD 分数损失使 LongText-CN 降至 93.33、LongText-EN 降至 89.62；移除特征矩损失得到 93.87 和 89.79；两者都移除得到 92.70 和 88.88。 §5.3
• 在特征图消融中，EMA 特征在 LongText-CN 和 LongText-EN 上得分为 94.25 和 90.20，而 DINOv2 为 94.13 和 90.09，teacher 特征为 93.79 和 89.81，在线自特征为 93.95 和 89.95。 §5.3
• 系统级表 1 报告 IDM Qwen-Image 在 2 NFE 下 FID 6.34、CLIP 28.56、GenEval 0.91；IDM Z-Image 在 2 NFE 下报告 FID 6.71、CLIP 28.22、GenEval 0.78。 §5

• 特征矩损失被描述为受高斯分量启发、在池化特征空间中的矩正则项，而不是对该分量的估计。
• 实际神经网络分支和混合目标不能保证恢复精确的边缘速度，因此 DMD 估计是近似的。
• 队列陈旧可能引入偏差，论文指出其并未证明特征矩损失比 DMD 具有更低的经验参数梯度方差。
• 所有受控消融均使用 IDM（Z-Image）在 2 NFE 下进行全参数调优，其他设置仍未覆盖。

• reverse-KL 分布梯度为 s_theta - s_r，下降方向为 s_r - s_theta。 §3.1
• p 的分数可精确分解为其矩匹配高斯的分数加上非高斯分数残差。 §3.3
• reverse-KL 场是仅依赖均值和协方差的高斯矩分量与非高斯残差分量的和；矩相等时仍可能留下非零残差。 §3.3
• 在所述可积性和边界条件下，残差在其自身分布下与常数函数和线性函数正交。 §3.3
• 特征矩损失在生成器 EMA 副本的特征空间中比较生成样本和参考样本。 §4.2
• 生成器目标为 L_base + lambda_score L_score + lambda_pop L_pop_hat，其中 lambda 权重在第 5.1 节固定。 §4.3
• EMA 更新为 bar theta <- 0.99 bar theta + 0.01 theta；入队特征被分离且不接收梯度，而当前特征保留其计算图。 §4.3
• 特征提取和队列仅在训练期间使用；一步推理是一次前向传播，同一检查点支持少步采样。 §4.3