Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning

Reviso 是一个智能体式视频字幕框架，学习 Context-Focus-Points 观察计划，并使用验证引导的 SFT 加 GRPO 奖励，借助工具收集按优先级排序的视觉证据。

多模态大语言模型能够生成详细的视频字幕，但可能过度强调次要细节，而忽略关键上下文和关键事件。视觉信息的重要性取决于每个视频的内容，重要信息可能无法从粗粒度概览中解析出来。学习观察策略需要决定观察什么，以及如何使用不同工具进行观察。

Reviso 首先以低帧率采样带时间戳的帧，并构建分层的 Context-Focus-Points 观察计划，用于识别上下文、确定方面优先级，并定义目标和工具。在该计划引导下，它执行多轮工具辅助的主动感知，以更高帧率重访时间片段，并使用图像裁剪和 OCR。它结合全局上下文和先前证据解释观察结果，识别已解决和未解决的目标，更新计划，并将全局与局部信息整合到最终字幕中。训练使用验证引导的流水线，通过事实核验和教师引导精修构建轨迹，然后进行 SFT，随后进行 GRPO。GRPO 奖励结合 Key-Fact Reward、Plan Alignment Reward 和 Unproductive Tool-Call Penalty。

• Reviso 在 DREAM-1K 上取得最高 precision，并较其 Qwen3.5-9B 骨干模型将 F1 提升 4.4 个百分点，precision 为 42.3，recall 为 37.0，F1 为 39.5。 §\subsectionfont Main Results
• Reviso 在 MCTS-VCB 上达到 precision 65.7、recall 56.8 和 F1 60.9，将 precision 和 recall 分别提升 8.1 和 19.1 个点，F1 提升 15.4 个点。 §\subsectionfont Main Results
• Reviso 在 CaReBench 上取得 action F1 34.3 和 object F1 33.9，较其骨干模型分别高出 9.1 和 6.7 个点。 §\subsectionfont Main Results
• Reviso 在 VDC Detailed 上取得 TP score 2.95 和 TP accuracy 0.568，文中称其在这两项指标上均为已评估开源模型中的最佳。 §\subsectionfont Main Results
• Reviso 取得 LVBench 52.0、MMVU MCQ 81.7、MMVU Open 57.9 和 MMVU Overall 72.7，较其骨干模型在 LVBench 上提升 4.9 个点，在 MMVU Overall 上提升 2.1 个点。 §Caption-To-QA Evaluation
• 完整 Reviso 结合 KFR、PAR 和 UTCP 达到 DREAM-1K F1 39.5、CaReBench action F1 34.3 和 object F1 33.9；移除 PAR 造成最大的奖励消融下降，包括 object F1 下降 4.2 个点。 §\subsectionfont Ablation Study

• 论文没有专门的局限性章节；所有评估将模型限制在 128 个输入帧，因此更大帧预算下的行为尚未确立。
• 工具辅助观察带来的增益在较短视频上相对有限，论文将其潜在原因归于帧预算已经提供了密集覆盖。
• 闭源模型是灰色参考行，未参与排名；在策略比较中，GPT-6 Astra 搭配 Codex 取得比 Reviso 更高的 F1。
• 评估覆盖四个视频字幕基准和两个下游 QA 基准；对其他视频领域或任务的泛化能力未展示。

• 论文认为并非所有视觉证据都值得同等关注，因为重要性取决于视频内容和上下文。 §\sectionfont Introduction
• Reviso 从低帧率全局预览构建分层的 Context-Focus-Points 观察计划；Context 识别场景，Focus 确定方面优先级，Points 定义目标和工具。 §\subsectionfont Priority-Guided Active Observation
• 在 CFP 计划引导下，Reviso 执行多轮主动感知，以更高帧率重访片段，并使用图像裁剪和 OCR；随着目标被解决，它会更新计划。 §\subsectionfont Priority-Guided Active Observation
• 训练轨迹通过六个步骤构建：字幕收集与人工校正、CFP 规划、工具辅助观察、原子事实核验、教师引导恢复，以及保留已验证轨迹。 §\subsectionfont Data Construction
• SFT 在已验证的教师轨迹上从 Qwen3.5-9B 初始化 Reviso，采用 token 级监督；环境响应在损失中被掩蔽。 §Supervised Fine-Tuning
• GRPO 使用 KFR 衡量字幕事实 F1，使用 PAR 衡量初始计划目标与参考观察目标的对齐，并使用 UTCP 在组字幕质量达到阈值时惩罚高成本观察。 §GRPO for Priority-Guided Observation
• Reviso 与 15 个 MLLM 进行比较，并在四个字幕基准以及 LVBench 和 MMVU 上评估；所有模型最多限制为 128 个输入帧。 §\subsectionfont Experimental Setup
• 工具辅助观察对较长视频带来更大的 object F1 增益，对于持续 24–27 秒的片段约达到 10 个百分点，而较短视频的额外增益有限。 §Benefits of Tool-Assisted Observation