OSWAM: An Effective World Action Model with One-Step Action Generation

Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, Chenhang He et al.

2026-11-02▲ 22arXiv 2610.35850v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

OSWAM 从视频 DiT 中学习紧凑的想象 token，作为结构化起始点，用于一步动作 DiT 去噪，在 1 个动作去噪步骤下取得有竞争力的规划与操作结果，且延迟显著低于多步 world action models。

要解决的问题

遵循先想象后执行范式的 world action models 推理延迟高得难以接受，而少步蒸馏虽能降低该延迟，却以控制精度大幅下降为代价。直接策略 WAM 避免测试时视频 rollout，速度超过 3 倍，但仍需数十个动作去噪步骤，且减少步骤时性能下降：一步设置下 NAVSIM 下降 20%，RoboTwin 下降 40%。作者将其归因于随机噪声中缺少动作结构：多步去噪可逐步施加时间与物理一致性，而一步生成必须在单次更新中恢复连贯动作序列。此外，直接策略 WAM 将未来动态压缩为仅首帧表示，可能无法为未来感知控制提供足够的时间上下文。

方法

OSWAM 保留直接策略接口（视频建模仅作为训练信号），并通过 LoRA 适配，在 Video DiT 输入中增加两组由噪声初始化的潜在 token：Action Imagination Tokens (AIT) 和 Scene Imagination Tokens (SIT)。AIT 关注首帧视觉 token、SIT 和其他 AIT，辅助解码器将 AIT 表示映射为动作速度，产生结构化动作先验；该先验被 detach 并重新加噪到中间时间步。Action DiT 从此结构化状态初始化，并向真实动作 chunk 执行单次去噪步骤。角色感知 3D RoPE 将视频 token 分配其原始时空坐标，将 AIT 分配视频网格外的空间坐标，将 SIT 分配网格中心；AIT 与 SIT 共享时间坐标，将动作位置转换到视频潜在时间线。特权信息蒸馏训练一个冻结的教师 Video DiT，其 AIT 关注完整未来片段，并在选定的 Video DiT 块上将 OSWAM 的 AIT 特征与教师特征对齐；推理时丢弃教师，从而保留仅首帧接口。总体目标结合视频 flow matching、AIT 动作速度损失、蒸馏损失和一步动作损失。

实验结果

在 NAVSIM 上，OSWAM 在将动作去噪从十步降至一步的同时，匹配 SimWAM 的 PDMS；相较 Metis，PDMS 高 1.2，加速 3.24 倍；相较 DriveVA 加速 4.36 倍，PDMS 仅低 0.2。 §4.3 Main Results
在 RoboTwin 2.0 上，OSWAM 在一步动作去噪下达到平均成功率，相较 Fast-WAM 将动作去噪从十步降低且成功率仅小幅下降，并优于一步 Flash-WAM 变体。 §4.3 Main Results
在缓存语言上下文时，OSWAM 在 RoboTwin 2.0 上相较 Fast-WAM 降低动作 GPU 时间，同时想象 token 增加少量视觉 GPU 时间；编译推理支持高于 10 Hz 的速率。 §4.3 Main Results
从一步 Fast-WAM 基线开始的组件消融表明，依次加入 AIT、特权蒸馏和 SIT 均提升 NAVSIM PDMS 与 RoboTwin 成功率，其中 SIT 在两个基准上取得最佳性能。 §4.4 Ablation Studies
关于蒸馏权重、动作初始化时间步和教师视频时间步的消融选定了 OSWAM 使用的默认设置。 §4.4 Ablation Studies
在真实世界 PiPER 操作中，OSWAM 在两个任务上均取得高于 Fast-WAM 的成功率，并降低成功回合的平均视频估计完成时间。 §4.5 Real-World Evaluation
在无辅助监督的 nuScenes 开环规划上，OSWAM 匹配 PWM 的平均 L2 误差，同时降低平均 collision rate。 §A.2 More Results

局限

论文指出其研究聚焦于学习 Action DiT 结构化初始化，SIT 与特权信息蒸馏直接增强 Action DiT 的潜力仍未探索。
真实世界评估仅覆盖两个桌面操作任务，每个任务 50 条训练演示、20 次试验，因此这些任务之外的真实世界泛化性仍留待实验验证。
评估仅限于 NAVSIM、NAVSIM-v2、nuScenes、RoboTwin 2.0 仿真以及两个真实世界任务；论文未报告其他具身形态或数据集。

要点

直接策略 WAM 比先想象后执行范式快 3 倍以上，但仍需数十个去噪步骤，对自动驾驶等实时应用而言仍然过慢。 §1 Introduction
减少去噪步骤会降低性能，一步设置下 NAVSIM 下降 20%，RoboTwin 下降 40%。 §1 Introduction
AIT 与 SIT 在 Video DiT 中由噪声初始化，且 token 数远少于首帧视觉输入，因此推理时仅引入少量计算开销。 §3.2 Overall Architecture
AIT 由固定时间步 t_max 的初始动作噪声样本构建，其解码先验在一步 Action DiT 精炼前被 detach 并用相同噪声重新加噪；Action DiT 目标为 (a_init - a_gt)/sigma_r。 §3.3 Imagination Tokens
角色感知 3D RoPE 将 AIT 空间坐标分配到视频网格外、SIT 分配到网格中心，同时二者共享时间坐标 t_n = n s_a / (s_v d_t)。 §3.3 Imagination Tokens
冻结教师接收在固定扩散时间步加噪的真实未来视频 latent，OSWAM 的 AIT 特征在一组 Video DiT 块上与教师特征对齐；推理时丢弃教师。 §3.4 Privileged-Information Distillation
训练目标为视频 flow matching、AIT 动作速度损失、特权特征蒸馏损失和一步动作损失之和。 §3.5 Training Objective
在 NAVSIM-v2 上，OSWAM 仅用一步动作去噪，即在所比较规划器中取得最高 EPDMS。 §A.2 More Results

思维导图

mindmap
  root["OSWAM"]
    ["问题"]
      ["先想象后执行 WAM 延迟"]
      ["直接策略 WAM 需多步"]
      ["高斯噪声缺少动作结构"]
      ["仅首帧限制未来上下文"]
    ["方法"]
      ["Video DiT 中的想象 token"]
        ["动作想象 token AIT"]
        ["场景想象 token SIT"]
        ["LoRA 适配"]
      ["一步 Action DiT"]
        ["动作先验 detach 后重新加噪"]
        ["单次 Euler 更新"]
      ["角色感知 3D RoPE"]
        ["视频原始坐标"]
        ["AIT 位于视频网格外"]
        ["SIT 位于网格中心"]
      ["特权信息蒸馏"]
        ["冻结的未来感知教师"]
        ["多深度 AIT 特征对齐"]
        ["推理时丢弃教师"]
      ["训练目标"]
        ["视频 flow matching"]
        ["AIT 动作速度损失"]
        ["蒸馏损失"]
        ["一步动作损失"]
    ["评估"]
      ["NAVSIM 驾驶，PDMS 指标"]
      ["NAVSIM-v2 EPDMS"]
      ["nuScenes L2 与 collision"]
      ["RoboTwin 2.0 50 个任务"]
      ["PiPER 真实世界任务"]
      ["延迟与 GPU 时间表"]
    ["关键发现"]
      ["AIT 带来最大消融增益"]
      ["蒸馏增加增益且不增延迟"]
      ["SIT 取得最佳总体结果"]
      ["lambda_dist 10 与 tau_r 500 默认"]
    ["局限"]
      ["场景与特权信号未作用于 Action DiT"]
      ["真实世界评估仅限两个任务"]