GameVerse：面向长时程交互式世界建模的分钟级游戏视频数据集

GameVerse 是一个包含 69.7K 个片段、1,655 小时游戏视频的数据集，面向长时程交互式世界建模，将分钟级片段与经过验证的帧级相机轨迹以及四级事件对齐字幕配对，并且在其上微调可在 VBench 和 WorldScore 指标上优于游戏域基线。

交互式世界模型在 rollout 约一分钟后失去连贯性，作者认为这是数据问题而非模型容量问题。现有游戏语料几乎全部由短于十秒的片段组成，且整段字幕将静态场景上下文与动态事件混在一起。先前数据集沿单一维度优化：大规模探索视频但缺少密集交互或经过验证的位姿，引擎级位姿但仅限短窗口，或动作条件交互但缺少可靠轨迹或事件对齐字幕。四个信号——分钟级连续画面、经过验证的帧级相机轨迹、密集第一人称和第三人称交互、多粒度事件对齐字幕——从未同时提供。

来源为 11,002 个 YouTube 游戏视频，最高 1080p、30–60 FPS，覆盖第一人称和第三人称的开放世界 AAA 与独立游戏。场景一致分割结合 TransNetV2 硬切检测与基于 CLIP 的余弦语义距离，以捕捉渐变转场，提取最长 120 秒的片段。多阶段质量流水线执行基础过滤、基于 OCR 的字幕/HUD/叠加层检测、稳定性与 UI 检测、去重与多样性选择，以及使用 COVER 和 VBench 一致性分数进行时间精修，采用加权和分数加阶段特定约束。ViPE 估计逐帧内参和外参，每条轨迹由结合局部相对位姿增量（跳变、抖动）和全局平滑项（漂移）的函数评分，并进行基于阈值的过滤。每个片段由 Kimi-K2.5 生成四级字幕——全局静态、局部静态、动态事件，以及来自受限词表的智能体动作——并对齐到事件边界而非固定窗口。

• GameVerse 提供分钟级规模：总片段数、小时数，以及两分钟连续画面。 §Abstract
• 超过 40.6K 个片段达到 120 秒上限，贡献了连续两分钟画面的大部分。 §4.1
• 多样性覆盖至少 110 个标题并呈长尾分布，视角组合约为每三个第三人称片段对应一个第一人称片段。 §4.2
• 相机运动以向前平移为主，复杂的平移加旋转运动占据较大少数。 §4.3
• 各字幕层级长度差异显著，其中局部静态与动态事件字幕最长。 §4.4
• 同骨干的 GameVerse 微调（HY-World 1.5 到 HY-World-FT）提升了 VBench 的 subject、background、motion-smoothness、aesthetic、imaging 和 overall consistency 分数。 §5.2
• 在 WorldScore 上，HY-World-FT 相比 HY-World 1.5 提升了 WS-Static 和 3D consistency，而 LTX-FT 报告了最高的 WS-Static、3D consistency、photometric consistency 和 style 分数。 §5.2
• 审计保留的轨迹具有完整位姿有效性、低跳变率和低旋转急动度，并且跨估计器一致性在几度以内。 §C.3

• 论文指出，在 Sim(3) 对齐后与 DROID-SLAM 进行跨估计器比较仅衡量一致性，并且“在没有真值轨迹的情况下不能确立绝对位姿精度”。
• 报告的 100% 有效位姿比例“指的是保留的审计集而非所有原始源视频”，因此未刻画过滤损失率。
• 附录 C.4 中的骨干诊断未分离 60 秒生成中跨模型差异的原因，LingBot 与 LTX-FT 之间与外观相关的差距可能部分源自底层骨干。
• 评估在 103 个固定输入上使用 60 秒生成，而数据集围绕两分钟序列构建；超过一分钟的连贯性未被直接基准测试（这是第 1 节所述目标，而非报告表格中所测量）。

• 作者认为交互式世界模型的一分钟连贯性上限是数据问题而非模型容量问题，因为训练语料主要由短于十秒且采用整段字幕的片段构成。 §1
• 分割结合 TransNetV2 硬切检测与 CLIP 余弦语义距离，以同时捕捉相机平移或 UI 变化等渐变转场。 §3.2
• 质量过滤包括基于 OCR 的字幕和 HUD 叠加层移除，以及 COVER 和 VBench 一致性时间指标，并使用阶段特定约束防止高分掩盖严重缺陷。 §3.3
• 恢复一部分先前被过滤、相机静止但场景内容演化的片段，以保留固定视角下的物体和智能体动态。 §3.3
• 轨迹验证针对三种命名错误模式：跟踪失败或重定位导致的突然跳变、高频抖动和长期漂移。 §3.4
• 字幕采用四级模式（全局静态、局部静态、动态事件、智能体动作），其中智能体动作来自受限词表，使可控通道能够被独立调制。 §3.5
• 四个字幕层级集中于大体不相交的词表，表明注释在语义上分离而非重叠复述。 §4.4
• 受控比较使用在约 600 小时 GameVerse 上微调 3,000 步的 HY-World 1.5，架构不变，并在相同 103 个输入上评估。 §5.1