On-Policy Distillation 在 Post-RL 能力整合中的泛化局限性

论文发现，同策略蒸馏与多教师同策略蒸馏在分布内可匹配教师，但分布外泛化低于基座模型或最佳教师；并研究了瓶颈、更新几何与缓解方法。

先前工作报告多教师同策略蒸馏（MOPD）在分布内（IND）接近完美的蒸馏性能，但论文发现这可能掩盖监督分布之外能力整合的不完整。初步合成推理研究表明，OPD 不能完全迁移教师的泛化能力。论文研究此类差距是否出现在真实世界任务中。

作者使用 Qwen3 模型评估数学推理、编程、智能体与长上下文能力上的外推泛化和组合泛化。他们比较 OPD 与 MOPD 的 IND 和 OOD 分数与教师及基座模型的表现。他们考察教师能力与数据覆盖作为潜在瓶颈，并测试联合缓解这些瓶颈。他们分析相对强化学习基线的更新几何。他们提出基于几何的修补与保留基座的回放，以提升 OOD 性能并大体保留 IND 性能。

• 在外推设置中，OPD 和 MOPD 达到其教师 IND 分数的 96.04-102.73%。 §Abstract
• 在外推设置中，OPD 和 MOPD 的 OOD 分数仍比基座模型低 2.45-16.25%。 §Abstract
• 在三个组合设置中，MOPD 相对基座模型提升了 IND 性能，但作为 OOD 的组合任务性能仍比最佳教师低 18.19-24.34%。 §Abstract
• 在实验中，联合缓解教师能力与数据覆盖瓶颈可消除 OOD 遗忘。 §Abstract
• 相对其强化学习基线，(M)OPD 平均减少 OOD 遗忘。 §Abstract
• 更新几何分析显示，相较 RL 基线，平均更新更小且谱更集中，并且 MOPD 下具有更强的共享更新结构。 §Abstract

• 实验仅使用 Qwen3 模型，因此对其他模型族的泛化仍待研究。
• 联合缓解瓶颈仅在论文实验中消除 OOD 遗忘，更广泛条件仍待研究。
• 初步研究基于合成推理，摘要未证明相同的初步发现适用于所有真实世界设置。

• MOPD 扩展同策略蒸馏，以整合多个教师的能力。 §Abstract
• 接近完美的 IND 蒸馏性能可能掩盖监督分布之外能力整合的不完整。 §Abstract
• 一项合成推理初步研究表明，OPD 不能完全迁移教师的泛化能力。 §Abstract
• 该研究使用 Qwen3 模型评估数学推理、编程、智能体与长上下文能力上的外推泛化和组合泛化。 §Abstract
• 教师能力与数据覆盖被作为两个潜在瓶颈进行考察。 §Abstract
• 提出基于几何的修补与保留基座的回放，以提升 OOD 性能并大体保留 IND 性能。 §Abstract
• 研究结果识别出通过 (M)OPD 进行能力整合的盲点，并强调需要显式支持 OOD 保持与泛化的算法。 §Abstract