Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

S2 是一种无需训练的离线指标，用于衡量感知特征与末端执行器轨迹之间的最近邻重叠，并与跨模型系列的机器人任务成功率相关。

机器人基础模型通常通过昂贵的闭环执行进行评估，因此需要低成本的离线代理指标。现有感知侧代理指标（如 VQA 分数或像素级视频质量）并不衡量表征是否为动作而组织。本文检验一个受 PRH 启发的预测：能力更强的具身模型应使感知表征与物理运动结构对齐。

对于采样的片段，感知表征是模型输出的平均池化图文嵌入；运动表征是未来 h 步的末端执行器位置、姿态和夹爪状态。感知近邻使用余弦距离，运动近邻使用 DTW。S2 比较两个空间中的 k 近邻集合，报告分数默认使用中心化归一化 CKNNA 变体且 k=10（除非另有说明）。它无需训练，并使用 DROID、BridgeDataV2 或 ALOHA 参考数据。

• 对于 12 个微调 VLA，S2 与 SimplerEnv 任务成功率呈强正 Pearson 相关。 §3.1
• 对于 8 个原始 VLM 骨干，VLA 微调前的 S2 与所得 VLA 成功率相关。 §3.1
• 对于 6 个 WAM，双机械臂 ALOHA 上的 S2 与 RoboTwin 2.0 成功率相关。 §3.1
• 对于 40 个任务上的 5 个真实机器人策略，离线 S2 与物理机器人成功率相关。 §3.1
• 在 VQA 和视频质量指标较弱或方向错误时，S2 仍与任务成功率相关。 §3.2
• 具身失配负对照使 S2 与成功率的相关性从匹配的双机械臂 ALOHA 降至单臂 DROID。 §3.3

• S2 与任务成功率之间的正相关在所测试模型上仅是相关性；论文指出尚未证明感知运动对齐可直接在训练期间用于提升任务成功率。
• 具有相似 S2 值的模型仍可能达到不同成功率，因此 S2 最好在昂贵微调或闭环测试之前作为低成本离线代理指标使用。
• 评估覆盖的模型系列、基准和训练配方有限，每个比较中的模型很少，且仅有一个真实机器人设置。
• 对于真实机器人策略，报告的 S2 相关性使用探索性时域 h=110；论文指出预设的 h=7 给出 r=+0.429，单尾 p=0.236。
• 对于冻结视觉编码器，随着行为克隆示范预算增长，相关性减弱，并且在报告的种子集合中，对基于任务奖励的强化学习并不为正。

• S2 通过比较每个片段在感知空间中的 k 近邻集合与其在运动空间中的 k 近邻集合来衡量对齐；重叠越大表示对齐越强。 §2
• 在八种不同的计算设置下相关性保持为正，包括参考数据集、轨迹时域、五种实现选择和 DTW 规整。 §3.3
• 在 10 个时域上，来自联合视觉-文本特征和视觉特征的 S2 与 SimplerEnv 成功率显著相关，而文本特征 S2 在 Pearson r 下不显著。 §C.1
• 对于 14 个冻结视觉骨干，S2 在低数据行为克隆和视觉奖励学习下与下游成功率相关，但随着示范预算增长而减弱。 §B.6
• VLA 微调后，视觉特征 S2 与成功率强相关，而文本特征 S2 不相关；原始 VLM 反而与联合特征相关性最强。 §4.1
• 在比较的 Qwen2.5-VL-3B VLA 中，冻结视觉编码器使 S2 降低 41%，并使 SimplerEnv 成功率降低 40%。 §4.2
• 对于 3 个 WAM，S2 在最早去噪步骤已经很高，并基本保持平坦，在整个调度中最多变化约 6%。 §4.3
• 在具有 30 块视频骨干的 3 个 WAM 中，Block 14 产生最高 S2，处于中等深度范围。 §4.4