Democratizing Robot-Use Agents: A Unified Harness with Open Models

uni-robot-agent 是一个统一、模块化的框架，使开放权重模型能在仿真和真实世界中执行有竞争力的机器人使用，并且论文将有效的机器人使用与四项通用能力联系起来。

机器人使用智能体已展现出有前景的零样本操作能力，但依赖前沿专有模型限制了进一步训练研究，使大规模交互成本高昂，并限制了模型级优化。开放权重模型在机器人使用上存在能力差距，且先前工作常使用特权信息或任务特定技能。论文认为，首先需要一个可泛化、有效的框架来理解和最大化现有开放权重能力。

uni-robot-agent 通过环境适配器以及统一的工具参数、单位和反馈格式，将不同的智能体运行时连接到用于仿真和物理机器人的共享工具包。该框架利用后台工具调用和资源感知调度，将模型推理与工具执行重叠，同时保持所需操作顺序。它避免使用仿真器深度、CAD 资产、隐藏标注、任务验证器反馈和网络访问等特权输入，仅使用 RGB 图像、相机标定、机器人本体感知与描述以及任务指令。系统围绕统一、高效、真实和模块化原则组织，具有可替换的运行时、工具、感知模型和机器人后端。交互记录旨在可组合以用于后续训练。

• Qwen3.8-Flash-Next 配合 uni-robot-agent 在 RoboDojo 上超过使用 RoboProbe 的 GPT-6 Astra 以及所列 VLA/WAM 基线，同时 DeepSeek-V4.1-Flash 也优于 VLA/WAM 基线。 §3.1.2
• 从 uni-robot-agent 切换到最强基线框架会显著降低 Qwen3.8-Flash-Next 的性能。 §3.1.2
• 在真实世界基准上，Qwen3.8-Flash-Next 配合 uni-robot-agent 与微调后的 pi_0.5 相当，并优于零样本 Dream-1；GPT-6 Astra 配合该框架表现最佳。 §3.2.2
• 在没有深度但具有相机参数时，Qwen 和 Astra 保留了大部分启用深度时的分数；没有相机参数时，Qwen 急剧下降，Astra 适度下降。 §5.1
• 禁用机器人技能库后性能相当，表明机器人使用性能不依赖于来自技能的任务特定知识。 §5.2
• Qwen 提供了有利的性能-成本权衡，而 Astra 以近20倍的每回合成本获得最高分。 §6.1

• 跨代际、家族和规模的额外模型比较使用一个随机种子和一个布局（§4.1）。
• 由于评估成本有限，GPT-6 Astra 深度消融对每个任务使用一个随机种子和一个布局（§5.1）。
• 精确操作和可靠的长时程执行在评估中仍是挑战（§8）。
• 在真实世界评估中，uni-robot-agent 额外接收 D405 深度，而 pi_0.5 和 Dream-1 仅使用 RGB（§3.2.1）。

• 共享工具和环境适配器避免了 N×M 种工具-环境实现，常见请求和反馈格式使跨环境经验更容易组合用于训练。 §2.2
• 高效执行将后台工具调用与资源感知调度结合，以流水线化智能体推理和工具执行，同时保持所需顺序。 §2.3
• 该框架力求实现真实交互，不依赖仿真器提供的深度或任务验证器反馈，而依赖物理部署中可用的信息。 §2.4
• 仿真评估覆盖 42 个 RoboDojo 任务、共 252 个回合，仅使用 RGB 图像、相机标定、机器人本体感知与描述以及任务指令。 §3.1.1
• 轨迹分析识别出四种失败模式：通用视觉理解、细粒度空间定位、定位与位姿计算代码，以及具身推理。 §4.3
• RoboDojo 性能与 MMMU-Pro、ERQA、ScreenSpot-Pro 和 LiveCodeBench v6 呈正相关，其中具身推理和通用视觉理解的相关性尤其强，空间定位的相关性较弱。 §4.4
• 真实世界基准包含 19 个任务，跨五个等权重维度：空间理解、物体泛化、指令遵循、组合泛化和未见任务。 §3.2.1
• 流水线执行将模型请求与物理动作重叠，并在五个选定任务上将回合时长与串行执行进行比较。 §6.2