WorldBridge: Bridging Video and Action for Task Generalization in World Action Models

WorldBridge 是一个 World Action Model，通过结构化注意力和联合 flow matching 耦合独立的视频专家与动作专家；其监督研究表明，OOD 视频将 RoboTwin 2.0 的 OOD 成功率从 25.07% 提升到 55.90%，而稀疏动作标签进一步将其提升到 70.70%。

具身模型中的任务泛化要求执行训练未覆盖的任务，而不仅仅是对物体布局、视角、光照或外观变化保持鲁棒。VLA 模型可迁移语义知识，但理解指令并不会自动带来物理执行能力。World Action Models 将视觉预测与动作生成耦合，但更广泛的视频覆盖与额外动作监督各自贡献多少，以及视频到动作的连接何时成为瓶颈，仍不清楚。

WorldBridge 是一个 World Action Model，采用 Mixture-of-Transformers 架构，包含独立的视频专家和动作专家，二者通过联合自注意力交换信息；视频专家还对语言特征使用交叉注意力。它从 video VAE 和 T5 文本编码器构建条件上下文，采样独立的视频与动作 flow 时间步，并用联合 flow matching 训练两个专家，以预测未来视频 latents 和动作 chunks 的速度场。推理时，未来视频 latents 和动作 chunks 从高斯噪声初始化，并在条件上下文保持固定时从 tau=1 去噪到 tau=0。双尺度视觉记忆使用由因果 video VAE 编码的短期和长期观测序列，并将其前置到带噪未来视频 tokens。动作强制在训练期间为动作组分配独立的 flow 时间步，使动作专家看到混合噪声水平；而推理时用共享的动作 flow 时间步对整个 chunk 去噪。阶段特定注意力掩码在预训练期间保持视频生成与动作无关，并在后训练期间将记忆和当前观测经由未来视频特征路由到动作预测；统一流水线将机器人演示和第一人称演示映射为 46 维动作表示，并带有逐维有效性掩码。

• 在 RoboTwin 2.0 上，仅使用分布内视频-动作监督训练得到 91.85% 的 ID 成功率，但 OOD 成功率仅为 25.07%；加入不带 OOD 动作标签的 OOD 视频后，OOD 成功率提升到 55.90%，同时 ID 成功率为 91.96%。 §3.1
• 在视频数据固定时，每个 OOD 任务使用一个带动作标签的演示将 OOD 成功率从 55.90% 提升到 70.70%；五个演示达到 84.67%，20 个演示达到 90.03%。 §3.1
• 当每个 OOD 任务有 100 个带动作标签的演示时，将 OOD 视频从 100 增加到 550 使 OOD 成功率从 88.83% 提升到 93.17%，提升 4.34 个百分点；在 550 个视频下将动作从 100 增加到 550，成功率从 93.17% 变为 92.83%。 §3.1
• WorldBridge 在 RoboTwin 2.0 Full 上取得 96.23% 的平均成功率，在 Clean2Random 上取得 80.9%；其中 Full 中 Clean 为 96.16%、Randomized 为 96.30%，Clean2Random 中 Clean 为 88.3%、Randomized 为 73.4%。 §3.2
• 在其他基准上，WorldBridge 在 RoboCasa GR1 TableTop 上报告 82.8%，在 RMBench 上为 83.0%，在 DOMINO Level-1 上为 57.6%（64.6 MS），在 SimplerEnv-WidowX 上平均为 84.4%。 §3.2
• 在消融实验中，加入动作强制、短期记忆和长期记忆使 RoboTwin 上的成功率从 91.28% 提升到 95.20%，RoboCasa 上从 67.50% 提升到 78.58%，RoboDojo 上从 14.50% 提升到 21.07%。 §3.2

• 仅使用视频的 OOD 监督仍留下 ID-OOD 差距，表明仅靠视频监督不能完全解决执行挑战。
• 结论指出，将视频到动作桥扩展到更多样任务并减少动作监督仍是未来工作。
• RoboCasa 训练需要更高分辨率回放以及裁剪/缩放，因为视频生成质量对下游策略性能很重要，这表明对视频质量存在敏感性。

• 论文将任务泛化拆分为视频泛化和动作泛化：视频泛化预测新任务的视觉演化，动作泛化通过充当 IDM 的视频到动作桥将预测转化为动作。 §1
• WorldBridge 使用 Mixture-of-Transformers，包含独立的视频专家和动作专家、联合自注意力、视频专家对语言的交叉注意力，以及在未来视频 latents 和动作 chunks 上的联合 flow matching。 §2.1.1
• 短期和长期视觉记忆序列由因果 video VAE 编码，并在丢弃一个 padding latent 后前置到带噪未来视频 tokens。 §2.1.2
• 动作强制在训练期间为动作组分配独立的 flow 时间步，而推理时用共享的动作 flow 时间步联合去噪所有动作 tokens。 §2.1.3
• 阶段特定注意力掩码在预训练期间保持视频 tokens 与动作无关，并在后训练期间将记忆和当前观测经由未来视频 tokens 路由到动作 tokens；记忆密集型任务使用预训练掩码。 §2.1.4
• 统一动作空间为 46 维，其中手臂关节 14D、末端执行器位姿 14D、夹爪 2D、灵巧手 12D、腰部控制 4D，并带有逐维有效性掩码。 §2.3.2
• 机器人和第一人称预训练在 RoboTwin Clean-to-Random 上有贡献：无预训练平均 62.7%，机器人预训练 77.4%，加入第一人称预训练后 80.9%。 §3.2
• WorldBridge 已部署在 AgiBot G2 和 ARX AC-1 上，针对每个平台微调同一个联合预训练 checkpoint，并评估长时程执行、依赖记忆的交互、空间对齐和双臂协调。 §1