Think Less, Locally：面向推理压缩的局部偏好学习

LoCo 通过冻结过度思考前缀并在更短的已验证续写上训练 DPO，从自生成数学轨迹中学习状态条件的“继续或结束”偏好，从而在保持或提高准确率的同时减少推理长度。

大型推理模型在已有足够信息后常常继续推敲，而现有的压缩方法主要作用于整条轨迹或修改推理内容。它们对“从当前状态是否需要进一步推理”这一局部决策提供的直接监督较少。论文认为，压缩应被表述为一种状态感知的“继续或结束”选择。

LoCo 使用预测置信度和更强的评判模型，从模型自身轨迹中检测候选过度思考状态。对每个检测到的状态，它冻结推理前缀，采样 k 个续写，保留答案与标准答案符号等价的最短续写，并丢弃没有有效更短续写的数据点。它构建由冻结前缀、更短的已验证续写和原始续写组成的偏好三元组，仅保留 token 节省量足够且满足长度限制的配对，并且每个问题最多保留 K 个配对。DPO 以共享前缀作为上下文，因此偏好以相同推理状态为条件，教会模型何时结束，而不仅仅是偏好更短轨迹。

• 在 AIME24 上，LoCo 将准确率提高 +3.34，同时将 token 数减少 45.4%；在 AIME25 上，准确率提高 +2.50，token 数减少 45.2%。 §5.2
• 在较简单的数学基准上，LoCo 去除 41.7%–44.1% 的生成 token；在 Olympiad、AIME24 和 AIME25 上，它取得最高准确率、最高 AUC，并将长度减少 44.6%–45.4%。 §5.2
• 在 MBPP 上，LoCo 在将 token 数减少 36.3% 的同时匹配基线准确率，并将 AUC 提高 1.53 个点。 §5.3
• 在 LiveCodeBench 和 CodeContests 上，LoCo 生成更短的补全，并在所有基线上同时提高准确率和 AUC；token 减少分别为 24.7% 和 23.4%。 §5.3
• 在 AIME24 的消融中，LoCo 以 7364 个 token 达到 54.17 准确率，而 RandCut 以 7880 个 token 达到 48.33，UniCut 以 7895 个 token 达到 48.75。 §5.4
• 摘要报告在数学上完成长度减少 41.7%–45.4%，在代码上减少 23.4%–36.3%，同时保持或提高准确率，并在所有代码基准上取得最佳 AUC。 §Abstract

• 未提供专门的局限性章节；训练数据完全由自生成的数学轨迹构建，因此未测试在代码或其他领域上的训练。
• 检测器使用预测置信度和更强的评判模型，但提供的文本未报告检测器精确率、召回率或对评判模型的敏感性。
• 评估覆盖五个数学和三个代码基准；未分析更广泛的推理领域以及局部偏好对的失败模式。

• 现有的细粒度压缩方法仍将轨迹视为压缩对象，而不是在当前状态下决定是否需要进一步推理。 §2.2
• LoCo 将自生成的过度思考轨迹转换为以状态为锚的偏好三元组：冻结前缀、更短的正确续写、原始续写。 §4.1
• 步骤级过度思考检测使用模型置信度筛选候选状态，并用更强的评判模型验证它们。 §4.2
• 已验证续写生成从冻结状态采样 k 个续写，并保留与标准答案符号等价的最短续写。 §4.3
• 仅当节省量达到 δ、满足提示和续写长度限制，并且每个问题最多按最大节省量保留 K 个偏好对时，才保留偏好对。 §4.4
• DPO 将共享前缀作为 x，因此似然比较以相同推理状态为条件。 §4.4
• 仅数学训练后，LoCo 可迁移到代码：在 MBPP 上，它以少 36.3% 的 token 匹配基线准确率，且 AUC +1.53。 §5.3
• 消融比较了全局偏好、GPT-5.4 续写、RandCut 和 UniCut；完整 LoCo 给出最强的整体压缩-准确率权衡。 §5.4