WeFair: Fidelity-Aware Alignment from Human Feedback for Personalized Query Rewriting in Short-Video Search

WeFair 通过将人类反馈保真度匹配到课程式 SFT、消费对 DPO 和严格目标 GRPO，训练一个紧凑的个性化短视频查询重写器，从而减少意图漂移并提升线上互动。

在微信短视频搜索中，歧义查询必须在严格时延约束下被重写或保留，并利用查询时上下文恢复用户的即时需求。现有基于 LLM 的重写器使用合成推理和后续消费反馈，但过度强调消费可能偏向有吸引力的内容并导致意图漂移。近期方法使用挖掘出的用户改写，但不同反馈如何直接反映个性化意图，以及如何在各训练阶段使用这些反馈，仍未得到充分探索。

WeFair 从搜索会话中挖掘上下文到查询、改写和保留三个池；改写候选先经规则过滤，再由三模型多数投票从意图连续性、信息增益和上下文桥接三方面筛选。课程式 SFT 先从上下文预测查询，再学习教师推理依据，然后直接预测人类改写或保留目标。DPO 随后使用由人类改写或后续消费区分的候选对，GRPO 则奖励与筛选后的改写或保留目标完全一致，不设置分级相似度、检索或裁判奖励。服务时，重写结果用于扩展缓存和向量检索，同时原始查询仍作为排序锚点，并由保留 token 概率进行门控。

• 在离线个性化重写中，WeFair-4B 在对比方法中取得最高总体准确率，WeFair-2B 取得最高一致召回率。 §4.2
• WeFair-2B 的意图漂移率为 5.36，低于 WeWrite-0.8B 的 13.34 和 AWHCP-2B 的 14.88，论文称这约为可比重写方法的三分之一。 §4.2
• WeFair 的总体准确率从 0.8B 到 2B 提升 5.91 个百分点，但从 2B 到 4B 仅提升 0.67 个百分点。 §4.2
• GRPO 中的严格验证在测试的奖励变体中取得了最高的正优势纯度和总体优势纯度，以及最强的总体准确率。 §4.4
• WeFair-2B 直接解码每样本使用 7.60 个 token 和 0.316 s，而 WeFair-CoT-2B 使用 26.65 个 token 和 0.795 s；在 4B 上，直接 WeFair 使用的 token 少 72.66%，相比其 CoT 变体实现 2.32× 加速。 §4.5
• 在为期 10 天的线上 A/B 测试中，缓存加向量检索使 CTR 提升 2.951%、VV>10s 提升 2.593%，并使 QRR 降低 2.350%，P<0.01。 §4.6

• 离线基准使用 LLM 裁判；仅在 500 条 Gemini-3.1-Pro 响应的随机样本上检查了人类一致性，因此裁判在所有系统和案例上的可靠性仍属于论文所述的评估范围。
• 线上证据来自微信短视频搜索中的一次 10 天 A/B 测试；未测试对其他平台或领域的泛化性。
• 偏好构建依赖敏感的搜索和消费历史，论文未公开原始用户级记录及部分内部反馈处理细节，限制了可复现性。
• AWHCP 是替换电商数据和反馈服务的本地平台适配版本，因此基线比较反映的是适配后的实现。

• WeFair 将反馈保真度划分为示范、偏好和验证，每个训练阶段为下一阶段初始化。 §3.2
• 训练数据包括 1500K 条上下文到查询、138K 条人类改写和 461K 条保留示例。 §A.2
• 改写挖掘要求 q 后无点击且 q' 后有有效观看，规则过滤会移除无字符增益、仅有功能词增益、Jaccard <= 0.06 以及上下文支持不足的样本。 §3.1
• DPO 为每个输入生成 64 个候选，并构造至多两个对，要求被选中的 top-10 检索包含相关已消费视频，且被拒绝的 top-100 检索不包含任何相关已消费视频。 §3.2
• GRPO 为每个查询采样 32 个响应，并奖励与改写或保留目标完全匹配，其他所有结果奖励为零。 §3.2
• 基于重写的相关性由保留 token 概率门控；否则分别计算原始查询和重写的相关性，并在排序中融合。 §3.3
• 完整 SFT 课程达到 55.48 的总体准确率，而 HR Only 为 47.16。 §4.3.1
• 生产环境 WeFair 为 42.26% 的处理查询生成重写，为 57.74% 生成保留标记，P95 推理时延为 81 ms，端到端搜索时延增加 16 ms。 §4.6