Probing Spatial State Representations in Visual Foundation Models

Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang, Ziwei Liu

2026-11-02▲ 14arXiv 2610.40636v1 Hugging Face

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

论文对十个冻结视觉基础模型在四类空间能力上进行功能探测，发现空间读出、历史与运动利用、预测迁移以及目标条件动作效用在不同任务、层和前缀长度上发生分离。

要解决的问题

空间感知不只是识别单张图像：观察者只看到世界的一部分，并且必须维护超出当前视图的状态。论文追问视觉基础模型是否提供表征，在流式自我中心观测下支持四类空间能力：空间结构、物体持续性、预测性空间更新和可行动性。论文进一步检验读出是否依赖视觉历史与运动，以及目标信息是否对动作具有功能效用。

方法

作者使用带位姿的 ScanNet++ 轨迹，包含 RGB 观测、相机位姿、实例几何和可见性标注，并使用不相交的训练与验证场景。他们从十种表征中提取冻结特征，并训练在模型和任务内跨层与跨前缀共享的读出器。因果前缀对帧 1:p 独立编码，p 取 8,12,16,24；L3 和 L4 使用 h 取 1,2,4 的未来帧作为预测目标或动作目标。任务在候选选择和连续输出设置下测量度量几何、实例身份、视图一致性、物体持续性、直接预测、路径积分和目标条件动作。匹配控制改变运动、历史、变换顺序、生成坐标或目标，同时保持相关预测器和目标固定。主分数在指定层上对已评估前缀取平均，并在 69 个验证场景上给出配对场景自助法区间。

实验结果

表 2 报告 Fast3R camera-pose AUC@30 为 0.3870、object-persistence 角度误差为 32.79；V-JEPA2 path-integration global R@1 为 0.1588，DINOv2 direct-prediction global R@1 为 0.2373。 §4.1
在匹配控制下，V-JEPA2 的 motion gain 为 18.84 pp，history benefit 为 10.26。 §4.3
在 horizon 2 时，normalized-depth MAE 从真实特征上的 0.182 上升到原生预测上的 0.246；重新训练达到 0.223，优于 0.241 的 layout prior，但差于真实特征读出。 §4.4
在候选选择中，direct 分数超过 shuffled-goal 分数：DINOv2 76.2±0.8 对 55.5±0.8，Fast3R 79.9±1.3 对 62.4±0.5，V-JEPA2 78.1±0.7 对 62.0±1.1，Wan 75.9±0.9 对 63.7±0.5。 §4.5
在连续输出中，FULL 减 CURRENT-ONLY 的 goal reduction 对 DINOv2 为负：-0.008 [-0.013,-0.004]；V-JEPA2 为 -0.009 [-0.015,-0.002]；Wan 为 -0.011 [-0.017,-0.004]；Fast3R 为 -0.005 [-0.012,+0.002]。 §A.10

局限

结论针对冻结特征接口、训练后的探针和离线室内轨迹；独立编码的因果前缀刻画的是对已观测历史的表征能提供什么，而不是增量状态更新；不同目标特征空间中的检索分数不共享物理误差尺度（§6）。
跨前缀长度的比较不能隔离新增历史，因为更长前缀也会移动端点（§2.2）。
Fast3R 的训练数据包含 ScanNet++，且一些验证场景位于其训练场景中，因此其领先的 camera-pose、object-persistence 和动作结果可能部分反映熟悉性（§3.1）。
MiniMax-H3 direct prediction 仅使用 h=1，并在 276 个验证窗口中的 171 个上评估，且不参与排名（§4.1）。

要点

论文定义四个层级：L1 空间结构、L2 物体持续性、L3 预测性空间更新和 L4 可行动性。 §1
它探测十种冻结表征，涵盖图像编码器、视频编码器、3D 模型、多模态模型、视频生成器和世界模型。 §3.2
因果前缀在 p 取 8,12,16,24 时独立编码；L3 和 L4 的未来目标使用 h 取 1,2,4，其中 MiniMax-H3 direct prediction 限制为 h=1。 §2.2
主分数在指定层上对已评估前缀取平均；聚合中不进行最佳层或最佳前缀选择。 §4.1
匹配控制保持预测器和目标固定，同时改变运动、历史、变换顺序或目标。 §1
V-JEPA2 的 motion gain 为 18.84 pp，history benefit 为 10.26；VideoMAE 的 motion gain 为 10.51 pp，Wan 的 history benefit 为 10.01。 §4.3
原生 V-JEPA2 预测保留可恢复的空间结构，但在真实特征上训练的读出器不能原样迁移。 §4.4
各层级由两条链连接：camera-pose 读出支持 object persistence 和可行动性，而特征预测建立在可见场景读出之上，并与物体持续性无关。 §6

思维导图

mindmap
  root["空间状态表征"]
    ["四类能力"]
      ["L1 空间结构"]
      ["L2 物体持续性"]
      ["L3 预测性空间更新"]
      ["L4 可行动性"]
    ["探测设置"]
      ["十种冻结表征"]
      ["ScanNet++ 位姿轨迹"]
      ["因果前缀 8 12 16 24"]
      ["未来目标 h 1 2 4"]
      ["场景自助法区间"]
    ["主要读出"]
      ["Fast3R 相机位姿 0.3870"]
      ["Fast3R 持续性 32.79"]
      ["V-JEPA2 路径 R 0.1588"]
      ["DINOv2 直接 R 0.2373"]
    ["预测读出"]
      ["冻结读出器 MAE 0.182 至 0.246"]
      ["重训 MAE 0.223"]
      ["布局先验 0.241"]
      ["结构可恢复非接口"]
    ["动作测试"]
      ["候选选择 direct 对 shuffled"]
      ["连续目标缩减"]
      ["目标敏感性非效用"]
    ["联系与限制"]
      ["位姿支持持续性与动作"]
      ["特征预测来自可见场景"]
      ["前缀非状态更新"]
      ["Fast3R 场景熟悉性"]
      ["MiniMax-H3 子集 h 等于 1"]