大模型与推理

Order-Only On-Policy Distillation 训练学生匹配教师在学生生成前缀上对 top-K token 的排序，避免使用教师概率值和温度调参。

IdeaTaste 通过将基于2025年文献快照撰写的提案与人类社区在2026年发表的论文进行比较，来评测LLM的研究品味；发现LLM智能体在引用和想法匹配上远低于人类水平，主要失败在于无法将方向转化为具体方法。

FLAMIA 是一族 Blackwell attention kernel，提供 MXFP8 与混合 NVFP4/FP8 训练路径，使用 token-block 缩放、因果泄漏防护、前向-反向数值一致性，以及 packed 文档的 GPU 侧调度；在合并的前向与反向 attention 调用上，于 B200 取得 1.10–1.40×、于 B300 取得 1.06–1.42× 加速。

DecisionRank 通过将离线 RankNet 监督与来自生成式教师的 item-space on-policy 蒸馏相结合，训练单遍决策重排器；该教师对候选条目提供条件反馈。

论文给出了有保留的肯定回答：将轻量级 System-1 预测器与高成本 System-2 执行器协同设计，可在交互成本高、信息价值不均且可在执行前预测的场景中，把执行计算量降至接近 1/ρ_u。

WeFair 通过将人类反馈保真度匹配到课程式 SFT、消费对 DPO 和严格目标 GRPO，训练一个紧凑的个性化短视频查询重写器，从而减少意图漂移并提升线上互动。

论文证明，对于 JEPA，在共享正样本对的条件下，分别训练的模态会学到同一表征（相差一个旋转），并通过实验表明好视图比坏视图或下一词元预测对齐得更好且更高效。

Glance 为单个常驻的 9B 生成器骨干配备轻量级决策适配器和指针头，以便从一次共享预填充中对候选段落重排，然后用同一骨干生成答案。

Soft-MTP 通过从现有 cross-entropy 计算中精确恢复 KL self-distillation 梯度，从标准 multi-token prediction 梯度中去除带噪声的 residual，在不增加成本的情况下提升 NTP、speculative decoding 和 zero-shot accuracy。

AR-BED 在外部指定的有限贝叶斯实验设计模型下，用信息增益奖励训练一个推理 LLM，从而改进自适应提问，并迁移到临床对话任务。

LongZero 让 LLM 在零外部数据下改进长上下文推理：先编写结构化的问题-证据-答案规范，将其扩展为长多文档上下文，加入自写检索对话，并使用 GRPO 训练。

论文使用原子单 token 词替换规则和分箱 logit 模型来测量指令容量与退化规律，报告一个 GPT-4o mini 护照，包含以规则数表示的容量及不确定度。