在 VLA 中通过桥接表示与动作空间实现人到机器人迁移

H2RB 通过对齐 VLM 条件中的手部几何，并与具身特定解码器共享动作潜变量，从未配对的人类和机器人演示中适配预训练 VLA。

将预训练 VLA 策略适配到目标机器人和环境仍需要昂贵的具身特定机器人演示，而人类演示更易采集，却存在显著的人机具身差距。先前方法通常通过潜动作或重建的世界空间手部运动，将人类和机器人数据放入共同动作空间。本文认为仅靠共同动作空间不能解决感知差距，也未处理不同的动作实现动力学。H2RB 旨在从非配对的人类和机器人演示中进行适配，同时保留预训练 VLA 的视觉、语义和控制先验。

H2RB 首先以共享的腕-手参数化表示人类和机器人运动，包括腕部位置、6D 旋转和手部关节角，并在部署时通过逆运动学将预测的腕部姿态转换为机器人手臂运动。它训练一个变分动作自编码器，使用共享时间编码器和具身特定解码器，并将冻结的后验均值潜变量作为 VLA 预测目标。两个潜变量分布通过逐位置质心匹配以及方差和协方差正则化进行耦合，而独立解码器保留源特定的轨迹结构。在感知方面，残差适配器和仅训练时使用的读出模块使用掩码 Smooth-L1 几何损失，将 VLM 条件特征锚定到当前腕部姿态和五个腕部局部指尖位置，无需配对的人机演示或时间对应。VLA 使用流匹配在潜动作上优化，并加上加权几何目标，而此阶段 VLM 主干、tokenizer 和解码器保持冻结。部署时，策略根据机器人观测、本体状态和指令生成潜动作，并将人类解码器输出转换为机器人命令。

• H2RB 将物体迁移从 8.0 提升到 51.8（+43.8），同时保持域内性能为 49.0。 §3.2
• H2RB 达到技能迁移平均值 62.7 和域内 Box PnP 分数 81.0，而共享动作基线在两个目标任务上均为 0.0。 §3.2
• 异构人机训练将 OpenArm 物体迁移从 51.8 提升到 57.2（+5.4），并将技能迁移从 62.7 提升到 81.7（+19.0）。 §3.3
• 在 RB-Y1 包裹定向任务上，成功率从仅机器人训练的 64% 提升到使用人机 HT 的 72% 和使用几何锚定 HT 的 78%。 §3.3
• 加入动作 tokenizer 将物体迁移从 34.7 提升到 43.3，技能迁移从 0.0 提升到 49.7；跨域正则化将归一化人机潜变量差距从 3.81 降至 1.53（降低 59.8%），并得到 51.8 的物体迁移和 62.7 的技能迁移。 §4.2
• 人类迁移的 Open/Close 策略达到 7.36 cm/s，而仅机器人参考为 2.52 cm/s，任务性能相当（62.7 对 65.3）。 §4.2

• 未提供单独的局限性章节；实验覆盖 OpenArm 和 RB-Y1 任务，论文中未测试更广泛的具身和任务泛化性。
• 每个报告条件使用一个独立训练的策略，因此论文未报告跨随机种子的方差或统计显著性（§B.4）。
• 异构训练比较衡量的是额外 HT 的收益，而非在匹配的 MT 配方中隔离手部几何锚定对齐（§D.3）。

• H2RB 使用几何锚定对齐，在无需配对演示或观测合成的情况下，将 VLM 特征跨具身锚定。 §1
• 共享腕手动作表示使用腕部位置、6D 旋转和手部关节角。 §2.2
• 解耦解码器 tokenizer 使用共享编码器和具身特定解码器来保留源特定轨迹结构。 §2.2
• VLA 使用流匹配在冻结的潜动作目标上训练，并加入几何 Smooth-L1 损失。 §2.3
• 部署时生成潜动作并用人类解码器解码，然后将输出转换为机器人命令。 §2.3
• 物体迁移通过人类拾放引入目标物体，同时保留机器人拾放经验。 §3.1
• 技能迁移引入源机器人演示中不存在的开合交互。 §3.1
• 指令条件重新注入指令特征并提升技能迁移。 §3.4