VideoMemBench：MLLM 在视频对话中究竟能记住多少？

VideoMemBench 用 326 个视频及配对的多轮对话评估上下文视频记忆，这些对话轮次由经验证的 Episodic 和 Answer 依赖连接；在 25 个受测 MLLMs 中最佳模型总体仅达 45.7%，而人类为 86.1%。

MLLMs 现在可处理长达数小时的视频，因此围绕单个视频进行扩展多轮对话是一种自然使用方式，这要求检索并复用对话早前已建立的信息。现有视频 QA 基准将评估拆分为相互独立、从不相互引用的若干问题，且每问都可仅凭视频回答，因此其对话历史从不承担关键作用。上下文记忆已在纯文本场景中对 LLMs 系统评估，但扩展到视频时需区分真正依赖先前对话的问题与仅凭视频和当前问题即可回答的问题。因此，本文提出 VideoMemBench 来衡量该能力，称为上下文视频记忆。

每个样本将一个视频与一段长多轮对话配对，对话轮次由带类型的跨轮依赖连接：Episodic Dependency 指回早前轮次描述的视觉片段（对已见内容的记忆），Answer Dependency 基于模型自身早前答案（对已说内容的记忆）。每个依赖都验证必要性（移除父轮后即使有视频和剩余对话也不可回答）与非泄漏性（问题不得重述父轮信息），并验证每轮的视觉接地。构建使用三种 LLM 角色：planner 采样关键帧并生成概要、对话指南、带类型依赖图和逐轮意图；generator 使用指代表达逐轮构建对话并记录证据窗口；judger 检查必要性、非泄漏性和视觉接地，将失败轮次退回重生成（连续两次失败触发重新规划）。随后八位人类专家对照视频审核所有对话。评估时预先给所有模型相同的 128 个带时间戳帧，按对话顺序呈现问题并在历史中保留模型自身先前回答，报告 TurnAcc、EpiDepAcc（独立于父轮正确性评分）和 AnsDepAcc（沿 Answer 依赖祖先链计分），Overall 为三者算术平均。

• 在 25 个受测模型中最佳者 Claude Opus 5 总体仅达 45.7%，远低于 86.1% 的人类基线。 §Benchmark Results
• 在最佳模型上，依赖答案和依赖情节的轮次得分低于独立轮次。 §Introduction
• 依赖轮次的平均准确率随依赖距离增加而下降，且不同模型的趋势陡峭程度不同。 §Analysis
• 对四个对比模型，准确率均随父轮数量增加而持续下降。 §Analysis
• 将先前模型回答替换为真实答案（oracle 历史）可显著提升依赖答案的准确率，但仍低于独立轮次准确率。 §Analysis
• 增加采样帧数通常提升 Overall 分数，但不同模型收益差异很大。 §Effect of Frame Count

• 论文未给出明确局限性章节；主实验采用单一协议，所有模型都接收相同的固定 128 帧而非完整视频，因此更密集或完整视频输入下的行为仍未确定。
• Answer Dependency Accuracy 使用链式计分，论文指出这使与独立轮次准确率的差距部分反映更严格评分规则而非单纯记忆失败，因此该指标将当前轮错误与上游失败混在一起。
• 图 4(d) 的 oracle 历史分析仅覆盖三个模型（Qwen3-VL-8B、Qwen3-VL-32B、Gemini 3.5 Flash），尚不清楚相同模式是否适用于全部 25 个受测模型。
• 开放式回答由 GPT-5.4 mini 评判器评分，因此开放式轮次正确性依赖该评判器，而非精确匹配评分。

• 定义了两类依赖：Episodic Dependency（回忆早前轮次描述的视觉片段）和 Answer Dependency（回忆模型自身早前答案），以及多父依赖和长程回调。 §Introduction
• 必要性要求：移除父轮后，即使有视频和剩余对话，依赖问题也变得不可回答；仅靠隐式指代可能因视频可消歧而不满足该要求。 §Design Requirements
• 非泄漏性禁止部分重述父轮的情节描述或答案，且一个轮次可能满足必要性却违反非泄漏性。 §Design Requirements
• planner 在写任何问题前固定依赖结构；依赖必须源自反复出现的视频内容，且规划轮次须整体覆盖完整视频。 §Construction Pipeline
• VideoMemBench 包含 326 个视频上的 326 段对话、2,476 个轮次，其中 1,089（43.98%）为独立轮次，1,387（56.02%）为依赖轮次，共有 1,794 个带类型依赖（1,200 个 Episodic，594 个 Answer）。 §Dataset Statistics
• 依赖轮次中，348 个有多个父轮（289 个双父轮和 59 个三父轮）；对话跨 4-21 轮，平均 7.6 轮，依赖距离最多九轮，最大链深为七。 §Dataset Statistics
• 视频来自 Video-MME、VSI-Bench、Video-MMMU、LongVideoBench、网络和 EgoLife 录像，初始候选池约 3.2k 个视频，覆盖 31 个语义领域，时长最长 23.47 小时。 §Construction Pipeline
• 二十位标注者成对评估全部 326 段对话，得到 652 份完整对话评估，输入与模型相同为 128 帧，且隐藏参考答案和依赖标签。 §Human Baseline Evaluation