On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning

该论文将训练-推理不匹配拆分为近似固定的数值差异和自诱导的策略滞后，然后提出 DLC：对差异做中心化，裁剪滞后比，并在滞后比的有效样本量低于一半时重同步采样器。

针对大语言模型的同策略强化学习假设训练回复由当前策略采样，但推理引擎采样回复而独立的训练器计算梯度，使数据变为异策略。该不匹配有两个来源：引擎数值，以及异步采样带来的陈旧权重；在一种来源下稳定训练的校正，在另一种来源下可能失效。论文追问：不匹配来源的哪一种性质决定了它所需的校正。

作者在采样器权重上评估训练器，从而将每个采样 token 的误差精确拆分为引擎的数值差异和训练器的策略滞后。他们在 Countdown 上使用 Qwen3-0.6B 和 Qwen3-1.7B 跟踪这两项：奖励为 ±1，64 个提示，每步八个样本，SGD 学习率 10^{-2}，每种配置三次运行、每次 40 步。他们比较参考、量化、陈旧和组合采样器，并推导 score 中心化与重要性采样留下的残余偏差。他们将策略滞后分析为反馈回路：残余偏差进入下一次更新并放大下一次滞后。据此，他们推导出差异-滞后校正（DLC）：对数值差异做中心化，针对采样器权重裁剪滞后比，并在滞后比的有效样本量低于一半时重同步采样器。

• 在量化下，重要性采样和 score 中心化无论单独使用还是组合使用都停留在噪声底，而策略梯度达到噪声底的 13 倍；score 中心化达到与同策略训练相同的 46.5% 测试准确率。 §4.1 Source dependence of the corrections
• 在陈旧权重下，score 中心化达到噪声底的 32 倍，最终为 12.2%；而带中心化的重要性采样保持在噪声底的 2.1 倍，最终为 32.0%。 §4.1 Source dependence of the corrections
• 量化采样器的误差在整个训练过程中约为每 token 0.02 nats 的数值差异；陈旧误差是策略滞后，其数值差异低于 10^{-3}；陈旧序列偏移的幅度每步约增长 0.7 nats。 §4.2 Exact split of the sampled-token error
• 在 score 中心化下，测得的残余偏差随累积更新线性增长，每次运行的 R^2 为 0.95 到 0.99，并在第 40 步达到梯度噪声的 2.5 倍；而在重要性采样下，它保持在噪声范围内；对超额更新范数的拟合给出 c = 0.52、R^2 = 0.987，相比之下仅线性项时为 0.90。 §5.3 Loop gain
• 在 Qwen3-1.7B 上，测得的重要性采样有效样本量在第 11 步、平均滞后为每 token -0.15 nats 时降至一半以下，比第 14 步的高斯值早三步；到第 30 步，重要性采样的偏差增长到噪声底的 152 倍。 §6.1 Tail of the ratio
• 在 Qwen3-1.7B 的陈旧权重设置下，DLC 到第 40 步仍保持在噪声底的 1.2 倍以内，最终为 0.6，测试准确率 51.9%，而同策略训练为 57.6%；带重同步的重要性采样最终为噪声底的 2.6 倍，测试准确率 36.6%。 §7.2 Deviation and test accuracy

• 主要训练较短，仅 40 步；在共享检查点上回放采样器使测量保持在尚未崩溃的轨迹上，因此更长时程的行为尚未确立（见第 3.2 节）。
• DLC 在采样器权重上增加一次额外的训练器前向传播，并需要采样器的 top-128 对数概率；论文报告，在 Qwen3-1.7B 的陈旧采样器下，DLC 每步耗时 113.2 秒，而重要性采样为 53.2 秒（见附录 C）。
• 残余偏差预测忽略了延续项，并使用线性化的前缀项；在精确权重下，范数比降至 1.9 到 7.9 之间，但余弦值仍然不大（见第 5.2 节和 F 节）。
• Qwen3-8B 与连续异步的比较对每种校正只使用一次运行，因此这些设置上的运行间变异性仍未被实验回答（见附录 C）。

• 在基础设施对齐后，只有权重版本和引擎数值会到达算法；权重版本给出策略滞后，它随更新增长；引擎数值给出数值差异，它在训练中近似固定。 §2.1 Training-inference mismatch
• 在采样器权重上评估训练器，可将每个采样 token 的误差精确拆分为策略滞后和数值差异。 §4.2 Exact split of the sampled-token error
• 数值差异不依赖于累积更新，因此中心化会移除其一阶偏差；而策略滞后是自身导致的，并且只因训练器移动而增长。 §4.2 Exact split of the sampled-token error
• 该回路仅通过 eta k 依赖学习率和步数；在六次拟合中，score 中心化相对于重要性采样的超额更新范数都带有正二次项系数。 §5.3 Loop gain
• 比值加权的有效范围比高斯预测更早结束：在 Qwen3-1.7B 上，当平均滞后为每 token -0.15 nats 时失效，因为滞后的正累积量会降低有效样本量。 §6.1 Tail of the ratio
• PPO 的参考策略决定哪一项不匹配进入裁剪比值：以采样器权重为参考时，策略滞后位于比值内，而数值差异位于其外；以每批之前的训练器为参考时，两者都位于比值外。 §6.2 Reference policy of PPO
• DLC 将数值差异分配给中心化，将滞后 token 项分配给针对采样器权重进行的滞后比裁剪，并将不可达滞后分配给有效样本量低于一半时的采样器重同步。 §7.1 Method
• 不带重同步的 DLC 会崩溃，而其在采样器前缀上的偏差仍停留在噪声底；在崩溃时，训练器自身回复的支撑集外占比达到约 90%，并以 0.80 的 Spearman 相关系数对低于 theta_0 的下降进行排序。 §7.3 Mass off the support of the initial policy