StreamDuo：面向未见游戏的实时解说员与研究代理

StreamDuo 将一个可训练的流式解说器与一个冻结的、阅读 wiki 的研究代理配对，仅在一个游戏上训练，以提升实体命名并在十个未见游戏上减少源游戏泄漏。

流式视频 LLM 可以解说实时游戏画面，但它们在同一批游戏上训练和测试。在跨游戏流式解说中，现有解说器能迁移时机，却不能迁移对游戏世界的知识。仅用 Baldur’s Gate 3 重新训练时，Proact-VL 解说器在十个未见游戏中很少命名屏幕上的内容，有时还会去抓训练游戏中的名称。

StreamDuo 使用一个解说器代理观看流的每一秒并决定是否说话，并与一个冻结的研究代理配对；该研究代理只看到解说器提问时发送的帧。研究代理读取所玩游戏 wiki，并在两秒后返回少量条目，同时流继续进行。只有解说器在单一源游戏上分两阶段训练。阶段1使用信息增益标签来教何时提问，阶段2使用来自一个能看到理想答案的解说器冻结副本的 on-policy 自蒸馏。测试时不使用教师和理想答案；解说器用自己的帧提问，并用研究代理返回的内容说话。

• 与在相同片段上从相同基座训练的 Proact-VL 相比，StreamDuo 提高了 entity recall 和 K-strict。 §4.2
• StreamDuo 降低了源游戏泄漏，同时比 Proact-VL 命名更多实体。 §4.8
• OPSD 带来最大的组件增益，三个组件合在一起使 Ent-R 和 K-strict 超过 Proact-VL 方案。 §4.3
• 信息增益提问标签在 Ent-R 和 FinalQ 上优于朴素标签。 §4.4
• 每 3 秒提问一次几乎使召回翻倍，但降低 Ent-F1 和 judge 分数；而学习到的策略在 2,470 个片段中提问 264 次，并获得最高的 Ent-F1。 §4.4
• 在答案两秒后到达之后，实体命名跃升至 32%，是随机一秒的 4.6 倍；在禁用提问时，同样这些秒只有 5% 的时间命名实体。 §4.5

• 论文仅在单一源游戏 Baldur’s Gate 3 上训练，并在十个未见游戏上测试；未报告在多个源游戏或其他源游戏选择上的训练。
• 研究代理替换仅在 Qwen3-VL 系列和相同 BM25 wiki 搜索内评估，因此未测试其他代理系列或检索方法。
• 解说质量由 LLM 评判；论文未报告人工评估，因此人类感知质量仍待确定。
• 定性示例显示解说器并不总能很好地过滤答案；在 StarCraft II 中它重复了 Warden Support Alpha 这一无关条目，并且有时朗读 wiki 条目而不是解说。

• 跨游戏流式解说在一个源游戏上训练并在未见游戏上测试；时机可跨游戏迁移，但知识不能。 §1
• 当解说器看到无法命名的内容时，它将当前帧发送给冻结的研究代理；该代理在两秒后返回少量 wiki 条目，同时流继续进行。 §3.2
• 阶段1在信息增益 g_a 超过 gamma 时，将第 a−delta 秒标记为提问时刻，因此只在有助于复现人类解说员台词的地方请求答案。 §3.3
• 训练期间对源游戏的实体进行一致且随机的重命名，使名称仅在其自身片段内成为证据。 §3.1
• 阶段2使用来自一个能看到理想答案的解说器冻结副本的 on-policy 自蒸馏，在 student samples 上使用 reverse KL 并进行放大；仅更新低秩适配器权重。 §3.4
• 学习到的提问策略很稀疏：在 2,470 个片段中提问 264 次；在提问之前，解说器仅在 1% 到 4% 的秒中命名实体，低于随机一秒的 7%。 §4.5
• 研究代理平均在 0.41 秒内回答，在 200 个测试时刻上最多 0.71 秒；解说器每秒钟视频需要 0.26 秒计算，在 20 个测试片段上最多 0.33 秒。 §6.1
• 替换研究代理时，Ent-R 保持在 0.101 到 0.116 之间，judge 分数保持在 0.03 以内，且 30B-A3B 未超过 8B。 §4.7