DreamX：视频扩散模型即通用潜在动作学习器

DreamX 改造预训练视频扩散模型，以提取紧凑的潜在动作，这些动作可重建未来视频并在人类与机器人具身之间迁移。

大规模采集多样化机器人演示成本高昂，且动作监督仍与产生它的具身绑定。人类视频缺少机器人动作标签，甚至机器人演示在不同具身间使用不同控制空间。潜在动作模型从视觉变化中推断动作，但仅靠重建精度并不能保证潜在动作将底层动作与视角和场景外观分离。挑战在于捕获跨具身共享的动作相关结构，同时将其与领域特定的视觉因素分离。

DreamX 从 Cosmos-Predict2.5 2B 初始化，冻结骨干，并训练 rank-16 LoRA 模块及查询嵌入。可学习查询与视频 token 一同经过时空注意力，将观测到的动态汇总为潜在动作。每个潜在视频帧被压缩 300×，从 1,200 个帧 token 压缩为 4 个潜在动作 token。这些潜在动作替代文本条件，且从同一骨干初始化的解码器根据潜在动作和初始帧重建未来帧，在有标签时使用辅助动作监督。运动迁移用冻结编码器提取源潜在动作，并用目标初始帧或目标机器人状态解码。对于策略学习，变分瓶颈将潜在动作压缩为码 Z，策略通过 DiT 动作头预测 Z 和低级动作，执行时不生成未来视频。

• 在 LARYBench 上，DreamX 在所有基准中取得最佳性能；与 DiLA 相比，它降低了平均回归 MSE 并提高了平均分类准确率。 §4.1
• 32 通道压缩表示 FAE-32 在 LARYBench 上也优于所有基线，平均回归 MSE 和分类准确率分别为 0.22 和 67.15%。 §4.1
• 在真实世界抽屉关闭任务中，DreamX 报告的平均子目标成功率更高，且推理延迟远低于 Mimic-Video。 §4.4
• 辅助动作监督略微改善回归 MSE，但略微降低分类准确率，表明 DreamX 仅从视频中捕获运动与动作语义。 §4.5

• 论文指出，跨具身迁移和机器人策略在评估设置之外可能失败，部署前需要安全验证。
• 实验仍未覆盖更广泛的策略泛化：真实世界策略研究是抽屉关闭任务，论文称其展示了在评估设置中的可行性。
• 实验仍未覆盖闭环动作迁移：动作迁移以开环方式执行且无视觉观测，本体感觉仅提供机器人初始状态。

• DreamX 使用预训练视频扩散骨干，通过可学习查询跨帧汇集动作相关信息来提取潜在动作。 §3.2
• 查询将 1,200 个帧 token 压缩为 4 个潜在动作 token，实现 300× 缩减。 §3.2
• 潜在动作替代文本条件，未来帧由潜在动作和初始帧重建，存在标签时使用辅助动作监督。 §3.2
• 运动迁移复用源潜在动作，并结合目标初始帧或目标机器人状态，无需成对的源-目标数据。 §3.3
• DreamX 策略通过 DiT 动作头预测紧凑的潜在动作码 Z 和低级动作，执行时避免生成未来视频。 §3.4
• 预训练使用来自六个数据集的 2.19k 小时人类与机器人视频；人类演示贡献 469 小时。 §A.1
• DreamX 在 480×640 分辨率下训练 78,000 步，使用独立的 rank-16 LoRA 模块，每个片段最多 32 个查询 token。 §A.2
• 零样本人类到机器人视频迁移在 21 个任务的 1,008 个片段上评估，每个片段生成 19 帧。 §B.5