PyRUA-DataFarm：LLM Agent 作为低成本遥操作员，生成真实可用的机器人数据

DataFarm 使用编码智能体、合格的模拟器和以真实图像为条件的视频模型，将单个校准回合转化为经过验证、带动作标签的多视角机器人数据，以低于遥操作的成本训练真实机器人策略。

遥操作能提供可靠的机器人数据，但会消耗机器人和操作员时间、需要重置，并且每个新任务都要从头开始。现有合成流水线用人工工程换取采集成本降低，并存在仿真到现实的视觉差距；real-to-sim-to-real 将难以重建的外观保留为合成外观，而没有精确动作标签的视频生成无法提供标签。本文研究编码智能体能否接管遥操作员的工作，并为每个新任务低成本地产出可直接用于现实的数据。

DataFarm 接收一个请求，其中包含一个校准回合、自然语言任务与成功描述、回合数量和数据模式；智能体对场景、相机和尺度进行 grounding，将物理量标注为实测、拟合、假设或未知，并用技能探针验证模拟器变体。它编写任务契约并冻结一个独立 judge，然后编译一个无法读取 judge 或留出种子的 expert；只有当 judge 在留出种子上通过时，expert 才被接纳。模拟器从采样的初始状态 rollout expert，以产生精确的动作、状态和接触，真实图像条件视频模型在一次生成中渲染每个 rollout 的所有相机视角，外观变化由文本指定。一个在损坏回合上校准的独立 verifier 和一个单独 reviewer 将渲染结果与模拟状态及真实参考进行比较；只有被接纳的回合进入数据集，失败尝试保留在账本中。

• 仅在 DataFarm 数据上训练的策略在原场景的 100 次试验中达到 93 次成功，而遥操作训练的策略为 84 次；在未见过的桌布和彩色光下，它们保持 87 对 46。 §6.1
• 传统 real-to-sim-to-real 的 Sim + DR 基线在原场景的 100 次试验中成功 26 次，在未见场景中成功 21 次，并且从未完成 weigh apple。 §6.1
• 适配一个任务平均花费 $21 的 API 使用费，渲染契约额外花费 $5，后续每个回合平均花费 $0.80，100 个回合平均每回合 $1.06；一小时三视角数据花费 $107，相比之下中国报价为 $117，北美人力估算为 $290。 §6.2
• H3 渲染与模拟光流的偏差为 4.4 像素，并在 65% 的运动像素上一致；Sim + DR 偏差为 3.4 像素，一致率为 73%；将同样的 H3 渲染与晚半秒的模拟器视频配对后，误差升至 8.8 像素，一致率降至 41%。 §6.3
• 头视角到真实相机帧的 KID 对 H3 为 0.83，对 Seedance 为 0.88，而模拟器为 1.93，域随机化为 2.50。 §6.4
• 直接在单个画布上调用视频模型的运动相关性为 0.07，而 DataFarm 渲染器为 0.74，滞后 12.7 帧且每 1,000 帧有 11.2 次跳变；DataFarm 渲染器有 2.9 次跳变。 §6.4

• DataFarm 依赖一个能够复现每个任务技能的模拟器；模拟器资格验证能检测失败，但随后该任务需要新的模拟器变体才能产出数据（§7）。
• 一个校准回合无法识别它未表现出的动力学，例如质量或摩擦；DataFarm 将这些标注为假设并对其随机化，对于成功依赖精确动力学的任务，这可能仍不够（§7）。
• 生成视频的验证并不完美：渲染回合可能包含自动检查漏掉的缺陷，因此每个回合都经过独立审查，被拒绝的渲染会计入成本（§7）。
• 评估覆盖一种双臂具身形态和五类任务；其他具身形态和任务族仍有待测试（§7）。

• 一个请求包含一个校准回合、自然语言任务与成功描述、回合数量以及数据模式 sim2real 或 ood(V)；不存在预先准备的任务适配器、judge 或 prompt。 §3
• 能力层是共享且版本固定的；智能体生成任务产物，包括 grounding、契约、采样器、expert、judge、渲染契约和 batch 配置。 §3.1
• 每个被接纳回合的平均 DataFarm 成本为 (C_adapt+C_contract)/N+m，并随着一次性成本被摊薄而趋近边际成本 m；失败尝试通过良率计入。 §3.2
• Grounding 将每个物理量标注为实测、拟合、假设或未知，并对不确定量进行随机化而不是猜测。 §4.2
• 模拟器资格验证在候选变体上运行技能探针，并选择通过所有探针所需改动最少的变体，受证书约束。 §4.3
• judge 在编写 expert 之前被冻结；expert 作者既不能读取 judge，也不能运行留出的接纳种子，且被接纳轨迹必须是单次连续执行。 §4.4
• 渲染契约规定每个相机的目标外观、允许变化和真实参考；授权变化绝不扩展到机器人、物体数量或相机布局。 §4.5
• Verifier 规范通过在故意损坏的回合上进行变异测试来校准；每个回合还接受独立审查，将解码视频与参考和模拟状态进行比较。 §4.6