HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience

Yang Liu, Jiacheng Liu, Hengtao Li, Yuheng Huang, Zijian Yang, Ji Dai et al.

2026-10-29▲ 2arXiv 2610.34186v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

HuGe 通过三阶段流程，在超过 2,000 小时的第一人称人类与机器人数据上训练人形通用 VLA，使用 SONIC 运动 token 动作和数据适配，在 HumanoidArena 上取得 SOTA 结果，并提升真实世界 G1 抓取-放置成功率。

要解决的问题

将 VLA 扩展到人形机器人需要协调的全身控制和多样化演示，而在真实机器人上采集这些演示成本高昂。第一人称人类演示提供了任务经验的补充来源，但视觉上的具身差异和缺失的机器人本体感知使迁移到人形机器人策略变得复杂。本文研究如何利用第一人称人类与机器人数据训练通用人形 VLA，将语言指令转化为协调的全身行为。

方法

HuGe 预测一个 66 维动作向量，由面向预训练 SONIC 全身控制器的 64 维潜在运动 token 和两个二值手部控制信号组成。它实例化三种现有 VLA 设计——OFT、GR00T 和 Pi——使用基于 Qwen 的视觉-语言主干，不添加模块或修改架构设计。训练配方包含三个阶段：第一人称预训练、在真实 G1 演示上进行人形适配，以及下游任务微调。预训练期间，仿真回放为第一人称数据构建 34 维伪本体感知状态；下游微调期间，Phantom 视觉编辑管线移除人类手和手臂、修复区域，并合成渲染的机器人手。该方法在七个 HumanoidArena 任务和真实世界 Unitree G1 可乐抓取-放置任务上评估。

实验结果

全参数微调使 HuGe-OFT、HuGe-GR00T 和 HuGe-Pi 的平均成功率分别达到 55.00%、58.33% 和 60.24%，比 LoRA 高 19.29–38.81 个百分点。 §4.1.1
在第一人称预训练中加入伪本体感知状态使 HuGe-GR00T 和 HuGe-Pi 的平均成功率分别提高 5.00 和 2.86 个百分点；SitSofa 从 61.67% 升至 78.33%，从 68.33% 升至 83.33%，而 HuGe-OFT 从 56.43% 降至 54.05%。 §4.1.2
使用完整的第一人称预训练语料时，HuGe-GR00T 和 HuGe-Pi 的平均性能达到 66.67% 和 65.00%，而 HuGe-OFT 在更大规模下下降。 §4.1.3
HuGe-GR00T 和 HuGe-Pi 的总体平均成绩分别为 66.67% 和 65.00%，比最强基线 π0.5 高 12.86 和 11.19 个百分点；HuGe-OFT 达到 54.05%，并在 Boxing 和 VisNavi 上各以 73.33% 领先；所有变体在 DoubleDesk 上的得分均在 0% 到 15.00% 之间。 §4.1.4
视觉适配降低了第一人称特征相对于真实机器人特征的 Fréchet 距离，从原始特征到视觉适配特征分别为：Wan2.2 从 2.0311 降至 1.3499（33.54%），VideoMAE V2 从 7.5697 降至 5.5204（27.07%），V-JEPA 2 从 305.5143 降至 263.2697（13.83%）。 §4.2.1
在真实 G1 可乐抓取-放置任务上，仅 110 个机器人演示达到 43.3%（13/30）；加入 400 个原始第一人称演示将成功率提高到 60.0%（18/30），视觉适配的第一人称演示将其提高到 66.7%（20/30）；瓶子拾取占十次失败试验中的五次。 §4.2.2

局限

HuGe-OFT 在加入伪本体感知状态后从 56.43% 降至 54.05%，因为本体感知状态被序列化为文本，输入截断会留下不完整描述；它也在更大第一人称预训练规模下下降（§4.1.2、§4.1.3）。
所有三个变体在 DoubleDesk 上仅达到 0% 到 15.00% 的成功率；论文将此与演示中的重复抓取尝试和全身数据侧重联系起来，并建议加入大规模机械臂操作数据（§4.1.4）。
真实世界评估仅使用 π 风格架构和单一可乐抓取-放置任务，因此跨变体和跨任务的真实世界泛化性仍未测试（实验留待后续；§4.2）。
在部署期间，抓取瓶子时的平衡不稳定部分归因于灵巧手重量，并导致抓取尝试失败（§4.2.2）。

要点

HuGe 预测一个 66 维动作向量，由面向 SONIC 的 64 维潜在运动 token 和两个二值手部控制信号组成。 §3.1
HuGe 使用三种现有 VLA 设计——OFT、GR00T 和 Pi——并采用基于 Qwen 的视觉-语言主干进行实例化；未引入额外模块或架构修改。 §2.1
训练语料跨三个阶段组合第一人称人类与机器人数据；摘要报告超过 2,000 小时，而表 1 列出阶段 1 总计 1,669.610 小时、阶段 2 总计 417.580 小时。 §3.2
阶段 1 使用 EgoDex、EgoVerse、Xperience-10M 和 BEHAVIOR-1K；它从 29 个关节角、两个手部状态条目和三维重力构建 34 维伪本体感知状态，并以 50 Hz 训练 50 步动作块。 §3.2.1
阶段 2 继续在来自 Humanoid Everyday、UniFoLM-WBT 和 HIW-500 的真实 G1 演示上训练，联合适配视觉-语言主干和动作预测模块。 §3.2.2
阶段 3 分别针对 HumanoidArena 和真实可乐任务进行微调；它用 400 个第一人称演示补充 110 个机器人演示，并使用 Phantom 视觉编辑移除人类手和手臂、修复图像并合成渲染的机器人手。 §3.2.3
HumanoidArena 评估涵盖七个任务，每个任务 100 个演示，以及每个任务来自三组各 20 个种子的 60 个回合。 §4.1
真实世界可乐抓取-放置使用配备 Inspire 灵巧手的 Unitree G1，比较仅 110 个机器人演示与用 400 个原始或视觉适配第一人称演示增强的情况，每种配置 30 次试验。 §4.2

思维导图

mindmap
  root["HuGe"]
    ["问题"]
      ["全身人形控制"]
      ["机器人演示成本高"]
      ["第一人称具身差异"]
      ["缺失机器人本体感知"]
    ["架构"]
      ["66D 动作：64D SONIC token + 2 手部信号"]
      ["OFT 变体"]
      ["GR00T 变体"]
      ["Pi 变体"]
      ["Qwen3-VL-2B 主干"]
      ["SONIC 控制器固定"]
    ["训练流程"]
      ["阶段 1 第一人称预训练"]
      ["阶段 2 人形适配"]
      ["阶段 3 下游微调"]
      ["全参数微调"]
      ["伪本体感知状态"]
      ["视觉适配"]
    ["数据"]
      ["超过 2,000 小时第一人称与机器人数据"]
      ["阶段 1：1,669.610 小时"]
      ["阶段 2：417.580 小时"]
      ["EgoDex, EgoVerse, Xperience-10M"]
      ["BEHAVIOR-1K, Humanoid Everyday, HIW-500"]
      ["HumanoidArena 与可乐任务"]
    ["实验"]
      ["HumanoidArena 七个任务"]
      ["真实 Unitree G1 可乐任务"]
      ["训练策略消融"]
      ["伪本体感知消融"]
      ["第一人称数据扩展"]
      ["视觉适配 FD 分析"]
    ["结果"]
      ["HuGe-GR00T 总体 66.67%"]
      ["HuGe-Pi 总体 65.00%"]
      ["适配第一人称后真实成功率 66.7%"]
      ["DoubleDesk 限于 0% 到 15.00%"]
      ["HuGe-OFT 状态截断问题"]
      ["抓取时平衡不稳定"]