When Does Latent Prediction Error Support Physical Surprise Claims in Video World Models?

论文发现，冻结的视频世界模型表示会暴露出有限的物理标签信息和动作敏感性，但原生预测误差受外观和静态内容强烈影响，并可能将不可能事件排在可能事件之前。

视频世界模型的预测误差常被视为物理惊讶，但同样的误差也可能反映外观、静态内容、运动或普通预测难度。即使原生误差主要响应其他视频属性，可恢复的物理信息仍可能存在。论文追问：哪些证据支持将模型的原生预测误差解释为物理惊讶的度量。

该框架保留每个流程的编码器、token 选择、归一化和原生距离，并评估六项检查：表示读出、逐层几何、动作敏感性、外观/静态对照、物理有效性排序和阈值迁移。它在冻结特征上训练线性探针，并在 IntPhys2 上使用五折场景交叉拟合和场景 bootstrap 区间，比较 V-JEPA2-G、VideoMAE2-G 和 PixelSummary。它使用相对幅度、方向一致性和子空间重叠来度量跨层的外观与物理偏移。它在正确、零和反向动作下，在 TwoRoom 和 PushT 上测试动作条件模型 LeWM、DINO-WM 和 JEPA-WM，并在 Physion++ Mass 中用持续编辑和仅目标编辑测试外观变化。受控 Kubric 交叉支撑片段改变支撑、轨迹和色相；在单独校准配置上拟合的阈值原样应用于评估片段。所有比较都在模型内保留原生分数幅度，并对配置、场景、匹配对或 episode 使用 bootstrap，且对指定族使用 Bonferroni 调整区间。

• 在 IntPhys2 留出场景上，V-JEPA2-G 线性探针很容易恢复外观标签，并在物理标签上略高于随机，且在全外观物理任务上相对 VideoMAE2-G 具有正向配对优势。 §4.3
• 在交叉支撑 Kubric 片段中，实心支撑上不可能减可能的原生误差为负，而跨间隙时为正，并且未更改的阈值会误报许多合法片段，包括所有干净的合法实心支撑片段。 §E.2
• 在 Physion++ Mass 中，静止帧对照的平均误差高于原始片段，而持续色相和持续像素变暗相对于原始片段降低平均误差。 §4.2
• 逐层几何显示，V-JEPA2-G 的外观偏移在更深层相对于视频间距离变小，最终外观-物理子空间重叠很低，但高于维度匹配的随机参考。 §4.4
• 三个动作条件模型都对同一观测结果下的错误动作赋予更高的预测误差，并且颜色变化也会在不改变模拟器状态的情况下改变误差。 §4.6
• 加入最终编码器几何只略微改变物理边际 R2，其区间包含增益和损失；在所测试位置和任务上，没有改进区间完全高于零。 §4.5

• 受控支撑实验只采样了一个程序化家族，相机、颜色和光照受限，因此真实世界和材质泛化尚未测试。
• IntPhys2 读出和几何到误差的迁移是事后分析，其区间以拟合模型为条件并省略了重新拟合的不确定性，且读出还以折分配为条件。
• 模型比较改变了架构、预训练、容量和原生分数，因此不能隔离 JEPA 目标，也不能确立规划或异常检测性能的一般极限。
• Physion++ 提供接触标签而没有物理违规标签，且其全片段评分实现允许目标信息影响上下文 token。

• 评估框架分离冻结表示读出、逐层几何、动作敏感性、外观/静态依赖、物理有效性排序和阈值迁移。 §3
• 在 IntPhys2 留出场景上，V-JEPA2-G 线性探针达到 57.9% 物理准确率和 97.7% 外观准确率。 §4.3
• 在交叉支撑 Kubric 片段中，两种支撑设置下停止的平均误差都高于下落，因此不可能减可能的排序在实心支撑与间隙之间反转。 §4.1
• 在单独的干净校准配置上拟合的阈值给出 53.9% 平衡准确率，并误报约 69% 的合法片段，包括每个合法实心支撑延续。 §4.1
• 在 Physion++ Mass 中，静止帧对照的平均误差高于原始片段，而持续色相或像素变暗可相对于原始片段降低平均误差。 §4.2
• V-JEPA2-G 的色相相对幅度从约 57% 降至 8%，最终外观-物理子空间重叠约为 6%，而随机参考为 0.28%。 §4.4
• 在观测结果固定时，错误动作在三个动作条件模型中都会提高预测误差，颜色变化也会改变误差。 §4.6
• 加入最终编码器几何将物理边际 R2 从约 0.771 改变为 0.774，区间包含增益和损失，且没有改进区间高于零。 §4.5