AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding

Lu Wang, Zhuoran Jin, Longxiang Wang, Junhong Chen, Yupu Hao, Yao Xu et al.

2026-10-30▲ 10arXiv 2610.38678v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

AskStream 引入了 ASK 动作以及一个多轮基准，包含 Ask-F1 和 StreamHarness，用于评估流式视频模型在视频不确定性和用户不确定性下应在何时提问以及提问什么。

要解决的问题

此前的主动式流式基准假设回答问题所需的信息完全包含在流中，并且最终会出现，因此模型只需等待或回答。论文认为现实世界的信息往往不完整，这可能导致无限等待或幻觉式回答。论文报告称，正确证据可降低不确定性并将准确率从 42.3% 提升到 62.3%，而不匹配的证据几乎没有帮助。

方法

AskStream 将该任务建模为具有潜在缺失信息的 POMDP，并定义三个动作：WAIT、ASK、ANSWER，仅使用已观测的视频、查询和先前交互。它将不确定性划分为具有显式和隐式形式的视频不确定性，以及具有意图和偏好形式的用户不确定性，形成八个子任务。事件采用两种标注的时间模式：Type I 先等待后提问，Type II 先提问后等待，并为有效的 ASK 和 ANSWER 设置帧级窗口。Ask-F1 联合评估 ASK 和 ANSWER 的时序与内容正确性。StreamHarness 以 1 fps 保留最近 10 帧，每 10 帧汇总为中期记忆，每四个中期记忆汇总为长期块，最多保留八个长期块；原生流式模型使用其自身记忆。评估涵盖多项选择和开放式设置，并使用 Gemini-3.8 Flash 作为开放式评判器。

实验结果

在多项选择主结果中，Gemini-3.8 Flash 是整体最强的离线模型，而最佳流式主动模型 AURA 的得分低得多。 §4.2
提供关于何时 ASK 的 oracle 信息在 KVEM 上带来最大恢复。 §4.3.1
开放式性能显著下降，Gemini-3.8 Flash 具有整体最强的 Ask-F1，但其 S_ask 仍低于 S_ans，AURA 仅达到较低分数。 §A.4
上下文记忆对视频不确定性影响很小，但能改善 AUQ 和 UPM 上的用户不确定性表现。 §4.3.2
将 ASK 预算从 1 增加到 16 可提升性能，但会逐渐饱和。 §4.3.3
移除 StreamHarness 层次记忆会降低 Ask-F1，而均匀采样导致更大下降。 §A.6

局限

每轮最多允许一次 ASK 动作，而实际场景可能需要反复澄清。
AskStream 不考虑具身智能体，例如协调感知、信息寻求和物理动作的视觉-语言-动作模型。
每次交互由显式用户查询发起；未评估在没有直接问题的情况下自主检测信息不足。
帧级窗口可能无法覆盖现实世界中的不确定性，这些不确定性在更长、更复杂的时间跨度上演变，并具有重叠、不连续或动态变化的 ASK 和 ANSWER 机会。

要点

AskStream 通过 ASK 扩展了主动式等待-回答动作空间，并被提出为首个纳入 ASK 动作的多轮基准。 §1
视频不确定性包括显式子任务 KVEM 和 VIM，以及隐式子任务 ICM 和 PACM。 §3.3.1
用户不确定性包括意图子任务 AUQ 和 WUQ，以及偏好子任务 UPM 和 UPC。 §3.3.2
Type I 事件先等待后提问，Type II 事件先提问后等待，且每轮最多允许一次 ASK 和 ANSWER。 §3.1
Ask-F1 联合评估 ASK 和 ANSWER 的时序与内容正确性。 §3.2
AskStream 包含 438 个视频和 1,401 个问题，每个视频平均 3.2 个交互轮次，并包含 2714 个人工标注时间戳。 §3.5
StreamHarness 保留最近帧，并通过中期和长期记忆压缩较早的观测。 §4.1.2
在多项选择设置中，过早 ASK 是各离线模型的主要错误类型，并且提供关于何时提问和提问什么的 oracle 信息可将 Ask-F1 提升 43.83%。 §1

思维导图

mindmap
  root["AskStream"]
    ["动机"]
      ["现实信息不完整"]
      ["离线到流式再到主动"]
      ["正确证据降低不确定性"]
    ["范式"]
      ["动作 WAIT ASK ANSWER"]
      ["视频不确定性"]
      ["用户不确定性"]
    ["基准"]
      ["八个子任务"]
      ["438 个视频 1401 个问题"]
      ["帧级动作窗口"]
      ["StreamHarness"]
    ["指标"]
      ["Ask-F1 时序与内容"]
      ["S_ask 与 S_ans"]
      ["多选与开放式"]
    ["发现"]
      ["最佳离线 52.18 Ask-F1"]
      ["最佳流式 7.22 Ask-F1"]
      ["过早 ASK 主要错误"]
      ["Oracle 时序帮助最大"]
    ["局限"]
      ["每轮一次 ASK"]
      ["不含具身智能体"]
      ["显式查询触发"]