CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents

CaPtain 是一个开放式后训练流水线：先在合成的 harness 内轨迹上做 SFT，再用带特权模拟器 critic 的多轮 RL，将 4B 开放 VLM 转化为在 22 个底层感知与运动原语上运行的 code-as-policy 机器人智能体，在留出 LIBERO 上达到 73.8%。

现有 code-as-policy (CaP) 机器人智能体回避训练：它们要么提示闭源前沿模型而不更新权重，成本高且无法微调或在本机算力上运行；要么将操作委托给预训练 VLA 和高级技能，因此智能体受限于技能的训数据，RL 至多学会对技能排序。小型开放 VLM 在被要求直接控制机器人时完全失败（Qwen3.5-4B 在作者的 harness 中未解决任何 LIBERO episode）。缺失的是一套完整的 SFT-and-RL 配方，教会小型开放 VLM 通过底层原语进行操作，且每个操作决策都由策略本身做出。在底层应用这一点更难，因为决策分散在一个 episode 的数十次请求中，其物理效应要到若干轮后才显现，并且最后只观测到单一结果。

CaPtain 在 CaPtain-Harness 内训练并部署策略；CaPtain-Harness 是一个执行环境，暴露 22 个底层感知、几何测量和带保护的运动原语，不含抓取、放置或开抽屉技能，也不含 VLA；每次调用返回一个结构化文本回执，说明物理上发生了什么，且面向策略的 API 在 LIBERO、RoboTwin 2.0、RoboDojo、SimplerEnv、CaP-Bench 和一台物理机器人上保持不变。阶段 1 在 harness 内轨迹上应用 SFT，这些轨迹由 GPT-6 Astra 生成，并按策略在部署时看到的完全相同多轮格式渲染。阶段 2 运行多轮 RL（结合 SAO 的流式 RL 形式与非对称 actor-critic 训练），其中模拟器 critic 读取策略不可见的特权物理状态，并在固定时间索引上按每个请求改变预测成功概率的幅度为其分配信用，因此仅做感知或验证的请求获得接近零的信用。critic 仅在训练时使用；测试时策略仅依赖相机图像和回执，不使用 VLA、前沿模型或特权状态。从 Qwen3.5-4B 出发，得到 CaPtain-4B。

• 在留出 LIBERO 上，RL 提高了相对 SFT 模型的 host success，strict success 也提升，同时 false finishes 和每 episode 请求数下降。 §4.1
• 相对 CaPtain-4B-SFT 的配对 RL 增益在扰动套件中持续存在，包括 LIBERO-Plus 和 LIBERO-MAX Dynamic。 §4.1
• 在 LIBERO-PRO 上，CaPtain-4B 超过多个前沿 API 系统，且基于底层原语的多轮 RL 相比围绕冻结 VLA 的 RL 带来更大增益。 §4.2
• 在没有目标域训练的情况下，CaPtain-4B 在 SimplerEnv WidowX 和 CaP-Bench 上达到高零样本成功率，而 RoboTwin 2.0 和 RoboDojo 仍然较低。 §4.3
• 在离线敏感性研究中，用噪声估计替代真值物体位姿会降低与特权 value-change 信号的相关性。 §5
• 流水线算力核算：在 300 rounds 内 RL 到 CaPtain-4B 加 SFT 的 H100-hours，以及每轮和每请求的计时。 §M

• 单基准 RL 训练与双臂控制：RL 阶段仅在 40 个 LIBERO 任务上训练，使用单个 7-DoF 机械臂；跨基准性能仍低于域内准确率，需要同时双臂协调或在陌生 6-DoF 机械臂上紧运动学可达的任务尚未解决（§5，指 §4.3；RoboTwin 2.0 和 RoboDojo 仅达到 22.6% 和 0.8%）。
• RL 期间的特权状态：训练模拟器 critic 依赖精确模拟器状态；离线敏感性研究显示相关性在 2 cm 位姿噪声下降至 0.49，在 5 cm 下降至 0.36，使用策略自身感知时为 0.21，表明直接在物理硬件上进行在线 RL 将需要外部状态估计器（§5）。
• 接口与 SFT 覆盖：动作空间受 CaPtain-Harness 的 22 项能力以及合成 SFT 轨迹中演示的行为限制；需要连续力控柔顺性的任务（例如 CaP-Bench 上的 Wipe）无法用带保护的笛卡尔位置原语表达（§5）。
• 终止未被 critic 计入信用：约第 340 轮后，host success 保持平坦，而 strict success 从约 60% 降到 44%，因为策略过度验证而不是调用 finish()；论文指出这表明应给 finish 决策单独的目标（§I）。

• CaPtain-Harness 暴露 22 个底层感知、几何测量和带保护的运动原语，不提供更高层能力：没有抓取、放置或开抽屉技能，也没有 VLA；感知返回掩码和点，运动接受显式末端执行器位姿或夹爪命令。 §1
• 每次调用返回结构化文本回执，报告物理上发生了什么（测得的位姿、接触力、运动停止原因），且面向策略的 API 在 LIBERO、RoboTwin 2.0、RoboDojo、SimplerEnv、CaP-Bench 和一台物理机器人上保持不变。 §1
• SFT 应用于由 GPT-6 Astra 生成的 harness 内轨迹，按策略在部署时看到的完全相同多轮格式渲染；数据混合总计 25,961 行和 861M token。 §3
• 多轮 RL 最大化期望回报，包含终端回报加上少量非正每请求成本；难点在于将这种稀疏、延迟的信号分配给造成它的请求。 §3.3
• 模拟器 critic 读取策略从未见过的特权物理状态，并按每个请求改变预测成功概率的幅度为其分配信用；由于变化在固定时间索引上测量，仅感知请求获得接近零的信用，信用集中在抓取和放置上。 §1
• 在官方 LIBERO 初始状态上训练导致布局记忆（每物体位置标准差约 1.4 cm）；因此 SFT 数据在宽布局起始上收集，标准差约 15 cm，并在 RL 期间随机化光照、相机位姿和材质，从而让 mark_point 和 segment 调用基于当前图像。 §D
• 对 109 组 x 16 条 SFT rollout 的梯度噪声分析给出：GRPO 结果优势的噪声尺度为 9.0k episodes，模拟器 critic 为 6.5k-6.7k，这促使每次更新累积 K=4 轮（1,024 episodes）。 §H
• 零样本迁移的失败分类主要集中于所需双臂协调（RoboTwin 437 个首个阻塞中 167 个）、RoboDojo 上的可达/逆运动学（46 个中 21 个）、接触/力保护触发，以及因反复验证而耗尽请求。 §J