RoboColosseum：大规模真实环境中的物理智能评估

RoboColosseum 是一个分布式真实环境机器人基准，通过 Open Track 和 Fine-tune Track 在四种本体上评估 VLA 策略与前沿智能体，揭示跨本体排序一致性弱以及样本高效的主动匹配。

通用机器人策略必须跨机器人、任务和环境工作，但揭示这种差异的物理试验难以复现。结果共同取决于策略、机器人设置、初始条件和周围环境；即使名义上相同的任务，也可能在物体、相机、光照和物理属性上不同。仿真支持规模化，但可能无法预测真实世界结果；而物理评估需要大量人力进行设置、重置、维护和试验执行。

RoboColosseum 在不同环境中的本地操作机器人上结合统一策略服务与标准化协议。初期支持四种本体和八个 AI 系统：五个视觉-语言-动作策略和三个前沿 LLM 智能体。Open Track 在每次比较中匹配本地条件下，以盲测成对试验评估未经任务特定适配的模型。Fine-tune Track 为每个策略在每个任务上提供相同的 100 次演示，并使用统一的成功与进度标准在 20 个任务上评估。初始研究于 2026 年 9 月 17 日至 10 月 28 日进行，并包含用于 Open Track 排名的主动匹配。

• 在 124 个站点的 5,699 次 Open Track 比较中，前沿智能体可与专用 VLA 策略匹敌，但所有系统都难以可靠完成开放世界任务。 §Abstract
• 使用相同演示微调后，GR00T N1.7 在 SO-101 上领先，pi_0.5 在 Franka 和 Bimanual-YAM 上领先。 §Abstract
• 策略排名在特定本体任务套件间一致性弱，Kendall’s W=0.24。 §Abstract
• 在 G1 Humanoid 上，没有策略完成五个任务中的任何一个，但不同策略的平均进度范围为 13.3% 到 23.2%。 §Abstract
• 主动匹配在 400–500 次评估后与全数据排名达到约 90% 的一致性，而均匀采样下约需 1,000 次。 §1
• 初始研究包括四种本体上 20 个任务的 Fine-tune Track 评估。 §1

• Open Track 仅在每次成对比较内匹配机器人、任务指令、物体、初始设置和超时；任务和环境可在不同评估间变化（§3.2）。
• Fine-tune Track 允许不同模型采用不同训练方法，因为策略架构需要不同的微调流程，因此训练流程不固定（§3.2）。
• 智能体评估覆盖 SO-101、DROID 和 Bimanual-YAM；实验在三项前沿智能体评估中未包含 G1（§10.1）。
• 更广泛的任务数据集、更多真实开放环境和更多本体被承诺为未来扩展，而非在初始研究中完成（§6）。

• RoboColosseum 通过共享机器人接口、策略服务基础设施和两个互补评估轨道连接分布式评估站点。 §1
• 初期支持 SO-101、DROID 配置的 Franka、Bimanual-YAM 和 Unitree G1，并在每种本体内采用标准化观测与动作规范。 §3.1
• Fine-tune Track 为每个策略在每个任务上提供相同的 100 次演示，并使用统一的成功与进度标准。 §1
• Open Track 在匹配的本地条件下通过盲测成对比较评估，不进行任务特定适配。 §1
• 评估在 41 天内进行，从 2026 年 9 月 17 日到 2026 年 10 月 28 日。 §4
• Open Track 排名难以预测微调后的相对性能，在两个赛道共享的所有三种本体上都出现大量排名反转。 §Abstract
• 测量部分进度可揭示仅靠任务成功会遗漏的差异；在 G1 上平均进度范围为 13.3% 到 23.2%，同时没有策略完成五个任务中的任何一个。 §Abstract
• 主动匹配以显著少于均匀采样的物理试验实现相当的排名一致性。 §Abstract