Turns Matter：通过轮级信用推进流式视频强化学习

TurnWise 将轮级剩余回报优势与轮均值损失聚合应用于流式视频 GRPO，提升了基准分数与响应选择性。

流式视频模型会反复决定是响应还是继续观察，而近期 GRPO 方法将单一轨迹级优势分配给每个轮次。共享信用可能在早期成功后强化冗余回复，并在早期失败后抑制有用的后续响应。Token 均值损失聚合也会让长回复比短等待动作获得更高权重。本文针对轨迹级反馈与轮级交互之间的这种不匹配。

TurnWise 保留基于 PAUC 的轨迹奖励，但在每个决策轮细化信用分配。它通过对静默补全前缀 U_i,t 打分：保留前 t 个动作，并将后续动作设为 NO REPLY，然后构造剩余回报 F_i,t = R_i - U_i,t-1。组相对优势由这些剩余回报计算，并使用按 alpha 缩放的累积奖励校正，且裁剪到正负 a_max；alpha 在计划更新的前 10% 内从 0 预热到 1。对于策略优化，轮均值聚合先在每个轮内对 token 损失求平均，再跨轮求平均，使每个响应或等待决策的权重为 1/T_i。统一目标将校正后的轮优势与分母 B T_i L_i,t 结合，前缀计算复用缓存评估，无需学习型 critic 或额外 rollout。

• TurnWise 在 Qwen2.5-VL-3B 上于 ProactiveVQA、OVO-Timing 和 StreamingBench 取得最佳聚合分数，达到 PAUC 44.69、Timing F1 43.01 和 StreamingBench Avg 49.43，相较最强非 TurnWise 结果的聚合增量分别为 +3.96、+3.87 和 +0.69。 §5.1
• 在 Qwen3-VL-4B 上，TurnWise 达到 PAUC 42.63、Timing F1 37.73 和 StreamingBench Avg 58.96，聚合增量分别为 +6.26、+1.92 和 +2.38。 §5.1
• 组件分析报告该组合具有最高任务分数和更低重复：TurnWise 获得 PAUC 43.56、repetition 5.98、Timing F1 21.59 和 Avg 49.43，而仅信用分配为 43.12、15.53、18.63、48.94，仅轮均值为 41.87、9.78、8.17、47.58。 §5.1
• 在最后 50 次更新中，轮均值聚合将平均奖励从 0.657 提升到 0.711，并将 repetition-penalty 幅度从 0.069 降至 0.036；窗口外回复比例从 0.537 降至 0.289，非静默决策比例从 62.2% 降至 37.0%。 §5.2
• 轮级信用为 59.83% 获得正全局优势的重复回复赋予负优势（722 个中的 432 个）；21.20% 的决策改变优势符号，53.15% 的轨迹同时获得正轮优势和负轮优势；在所有 2,972 条 Judge 标注的重复回复中，负优势占比从 75.7% 提高到 81.6%。 §5.3

• 论文没有专门的局限性章节；实验仅覆盖 Qwen2.5-VL-3B 和 Qwen3-VL-4B 在 ProactiveVQA、OVO-Timing 和 StreamingBench 上的表现，其他骨干模型和流式任务尚未测试。
• 训练使用由 gpt-oss-20b 评判的 PAUC 奖励，评估使用 GPT-5.6-luna；论文未报告对评判模型变化的鲁棒性测试。
• 训练实例使用 20 秒目标片段和每两秒采样、至多 90 帧，因此未评估更长时域和不同帧预算。

• 在每个决策轮，策略生成文本响应或显式等待输出 NO REPLY，等待动作与响应一起被优化。 §3.1
• 完整轨迹使用基于 PAUC 的奖励评分，该奖励将响应质量与及时性同 repetition、窗口外和长前缀惩罚相结合。 §3.1
• 标准 GRPO 将轨迹分数转换为一个组相对优势，并将其广播到每个动作 token。 §3.1
• TurnWise 对静默补全前缀打分，并使用每个轮次的剩余回报构造轮特定组相对优势。 §3.2
• 优势校正会减去当前决策前的组相对累积奖励，并裁剪到正负 5，alpha 在更新的前 10% 内从 0 预热到 1。 §3.2
• 轮均值策略优化先在每个轮内对 token 损失求平均，再跨轮求平均，因此每个响应或等待决策获得权重 1/T_i。 §3.3
• 统一的 TurnWise 目标使用校正后的轮优势，以及使决策权重独立于响应长度的分母 B T_i L_i,t。 §3.4
• 静默补全前缀评分复用缓存的质量与 repetition 评估，无需学习型 critic、额外 rollout 或评判调用。 §3.2