Order-Only On-Policy Distillation

Order-Only On-Policy Distillation 训练学生匹配教师在学生生成前缀上对 top-K token 的排序，避免使用教师概率值和温度调参。

On-policy distillation 通过匹配教师的 token 概率，在模型自身生成内容上训练学生。这些概率将教师偏好的 token 与教师的置信度纠缠在一起，而置信度反映了教师自身的能力和校准，较小的学生可能无法复现。由于教师温度会在不改变排序的情况下改变这些值，OPD 对温度选择敏感。论文追问：教师对候选 token 的排序是否足够。

在每个学生生成的前缀处，O3PD 训练学生复现教师 top-K token 的顺序，而不拟合它们的概率值。因此该目标对教师温度不变，且无需温度调参。该方法在 HMMT25、AIME24 和 AIME25 上跨六组教师–学生配对进行评估。

• 在 HMMT25、AIME24 和 AIME25 的平均值上，O3PD 在每一组教师–学生配对中都优于 OPD，最高领先 2.9 分。 §Abstract
• 在 AIME25 上增益最高达 5.6 分。 §Abstract
• 其他排序损失也带来类似增益，表明收益来自序数监督本身。 §Abstract
• O3PD 对教师温度不变，且无需温度调参。 §Abstract
• O3PD 比 OPD 偏离教师概率更远，却更忠实地复现其排序，并得到更强的学生。 §Abstract

• 摘要中未说明；评估覆盖六组教师–学生配对，超出这些配对的泛化性仍待验证。
• 摘要中未说明；报告的增益概括为基准平均值最高 2.9 分、AIME25 上最高 5.6 分，摘要未给出逐配对细节。
• 摘要中未说明；分析报告了相对教师概率的进一步偏离，但摘要未量化学生校准。

• On-policy distillation 通过匹配教师的 token 概率，在学生自身生成内容上训练学生。 §Abstract
• 教师概率将教师偏好的 token 与其置信度纠缠在一起。 §Abstract
• 教师置信度反映教师自身的能力和校准，较小的学生可能无法复现。 §Abstract
• 尽管温度不改变排序，OPD 仍对教师温度选择敏感。 §Abstract
• O3PD 在每个学生生成的前缀处训练学生复现教师 top-K token 的顺序。 §Abstract
• O3PD 不拟合教师概率值，且对教师温度不变。 §Abstract
• 跨六组教师–学生配对，O3PD 在 HMMT25、AIME24 和 AIME25 的平均值上比 OPD 最高领先 2.9 分。 §Abstract
• 承载 on-policy distillation 需要迁移的知识的是排序，而非概率值。 §Abstract