DecisionRank: On-Policy Distillation for Decision-Model Rerankers

DecisionRank 通过将离线 RankNet 监督与来自生成式教师的 item-space on-policy 蒸馏相结合，训练单遍决策重排器；该教师对候选条目提供条件反馈。

生成式列表式重排器自回归生成文档 ID，导致显著推理延迟。单 token 决策重排器通过对首 token 文档 ID logits 排序来避免此问题，但将生成式教师的排序知识迁移到这些分数很困难，因为教师以排序 ID 序列表达偏好，而学生用一次前向中的静态分数向量进行排序。静态离线排序无法适应学生不断演化的预测，而朴素的 token 级 OPD 会将序列反馈与单遍评分不匹配。

DecisionRank 为每个候选分配一个不同的单 token 文档 ID，并对首 token logits 排序以对所有候选排名。对于 item-space OPD，它选择学生当前 top-K 候选，并将其顺序作为排序前缀；冻结教师在一次 teacher-forced 前向中逐步评估剩余候选。学生的首 token 分数在相同的剩余候选集上定义 Plackett–Luce 选择分布，教师的条​​件分数在该集合上归一化。两个分布在指定步骤上用 reverse KL 散度对齐，直接监督推理时使用的首 token 分数。训练联合优化该 on-policy 目标与来自教师生成排序的离线 RankNet 监督。推理时，学生在一次前向中对完整候选集排序，无需自回归生成。

• 8B DecisionRank 学生在两个基准上均优于列表式 DirectRank-8B，同时在 TREC DL 上快 24.5×，在 BRIGHT 上快 16.7×。 §3.2.2
• 以 Qwen3.8-27B 为教师，1.7B 学生在 TREC DL 上达到 63.89 平均 nDCG@10×100，而教师为 62.97。 §3.5
• 在种子 42、43 和 44 上，联合 RankNet + item-space OPD 在 Qwen3-4B 的 TREC DL 上优于 RankNet，分别达到 64.25、64.32 和 64.06，对比 63.18、63.13 和 63.17，p<0.001。 §C.1
• 以 Qwen3.8-27B 教师，8B 学生将 BEIR 从零样本 46.99 提升到 57.98，提升 10.99。 §3.5
• 两个 DecisionRank 学生在没有专门校准目标的情况下，在 TREC DL 和 BRIGHT 上均取得比其教师更低的 ECE。 §3.2.3
• 在 BRIGHT 上，8B 学生平均为 36.86 nDCG@10×100，而 DirectRank-8B 为 34.84。 §B

• 该方法假设 N≤100 个候选，并从 100 个单 token ID 池中分配 ID；实验仍未覆盖更大候选集的扩展。
• 延迟比较未完全控制硬件：本地模型在 NVIDIA B200 上测量，而 Jev 使用服务器报告的中位延迟。
• 校准仅在 TREC DL 和 BRIGHT 上评估，且没有专门校准目标；其他基准上的校准留待后续。
• 种子方差和显著性检验仅针对 Qwen3-4B 和 Qwen3-8B 与 Qwen3.8-27B 教师报告；其他规模和教师留待后续。

• DecisionRank 通过直接预测分数而非自回归解码来实现结构化重排。 §Abstract
• 学生为候选分配单 token ID 并对首 token logits 排序；N≤100，且 ID 来自 100 个单 token ID 池。 §2.1
• Item-space 对齐比较教师和学生在相同候选条目上的选择概率，因此词表或架构无需匹配。 §2.1
• On-policy 反馈使用学生当前 top-K 排序作为前缀，教师在一次 teacher-forced 前向中评估剩余候选。 §2.2
• 学生分布是基于首 token 分数在剩余候选上的 Plackett–Luce 分布；reverse KL 将其与教师条件选择对齐。 §2.2
• 联合训练将 RankNet 离线监督与 λ 加权 item-space OPD 结合在同一组首 token 分数上。 §2.3
• Item-space OPD 在共同 RankNet 损失之上与 Offline KL、AR SFT、AR OPD 和 Listwise GRPO 比较。 §3.3
• DecisionRank 学生在 TREC DL 和 BRIGHT 上于本地评估模型中构成有效性–延迟帕累托前沿。 §3.2.2