HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model

HiFOR 将多时间尺度未来预测（短期状态、语义里程碑、目标）与来自结构化潜在世界的动作引导检索相结合，在去噪过程中为 flow-matching VLA 策略提供条件。

现有基于前瞻的 VLA 模型通常孤立地建模短期世界动态或长期任务目标，因此局部状态演化、语义里程碑与最终目标之间的显式依赖关系并未建立。此外，预测的未来通常作为额外条件直接注入动作策略，而没有区分不同时间尺度、相机视角和空间区域与当前动作需求的相关性。论文认为，这种相关性还会随任务执行和动作生成过程而变化，因此主张选择性检索，而非无条件条件化。

基于现有专家演示构建分层规划数据集：Planning Agent 将指令分解为有序子目标，里程碑完成时间戳通过时间一致性检查和置信度标记自动定位，并将多视角 DINOv2 ViT-L/14 patch 特征池化到 4x4 网格作为视觉监督。Hierarchical Foresight Prediction 为每个时间步定义三个目标（短期、下一里程碑、最终目标），并用三组可学习未来查询通过共享预测模块在 Hierarchical Dependency Mask 下预测，该掩码逐步扩大注意力可见性，从短期查询到目标查询；短期预测还回归未来机器人状态序列。Structure-Aware Latent World Modeling 将预测特征投影为结构化 world tokens，并加入时间尺度、视角和空间位置嵌入，形成 3 x V x S x d_w 张量以及空间聚合的时间尺度级和视角级特征。Action-Guided Factorized World Retrieval 在每个去噪步从动作专家的隐藏表示构建查询，并在时间尺度、视角和空间维度上执行因子化注意力，结合三种注意力权重聚合 world values。检索到的未来特征与动作表示和短期状态特征融合，并通过残差连接注入动作专家；训练最小化 flow-matching 动作损失加前瞻预测损失。

• HiFOR 在 Hard 设置下于 RoboTwin 2.0 上取得最佳平均成功率，比复现的 pi_0.5 基线高 9.05%。 §4.1
• 在 LIBERO 上，HiFOR 取得最佳平均成功率，在长时程任务上相对 pi_0.5 的提升最大，并在 Spatial、Goal 和 Long 上取得最高分。 §4.1
• 在六项任务的真实世界评估中，HiFOR 在所有任务上优于 pi_0.5，在积木堆叠上提升最大。 §4.2
• 消融显示，依次加入短期、里程碑和目标预测带来持续增益，进一步加入动作引导世界检索又带来增益；LIBERO-Long 也优于基线。 §4.3
• 5 步短时程预测与 LIBERO 上 5 步策略更新间隔对齐，在测试的 5、10、15 步时间尺度中表现最佳。 §4.3
• 基于语义特征的未来预测在 LIBERO-Long 和 LIBERO-Avg 上优于直接 RGB 图像预测。 §4.3

• 论文没有明确的局限性章节；其真实世界评估仅限于单个 AgileX Piper 6-DoF 机械臂，配备平行爪夹爪和两个 RGB 相机，覆盖六项任务且每项任务 50 次 rollout，因此未测试对其他具身形态的泛化性（§4.2）。
• 分层规划数据集依赖 Planning Agent 进行子目标分解，并依赖自动里程碑定位，其中模糊或低置信度情况会被标记以供人工复核，因此监督质量取决于该标注流程（§3.3）。
• 短时程预测长度仅研究了 5、10 和 15 步，论文指出更长时程会超出下一次预测更新的范围（§4.3）。
• 真实世界训练对每个泛化任务使用 100 条专家演示，对每个长时程任务使用 200 条；未报告数据效率或扩展性分析（§4.2）。

• 论文指出前瞻 VLA 中的两个缺口：短期动态与长期目标被孤立建模，以及预测被直接注入而未判断其与当前动作的相关性。 §1
• 每个时间步定义三个预测时间尺度：短期目标 min(t+Delta, t_K)、下一里程碑目标和目标 t_K，每个都由预计算的 DINOv2 特征监督。 §3.4
• Hierarchical Dependency Mask 使注意力可见性从短期查询到目标查询逐步扩展，所有查询组在共享预测模块中联合更新。 §3.4
• 短期预测增加状态预测头来回归未来机器人状态序列，因为仅对目标时间步的视觉监督不足以约束细粒度机器人运动。 §3.4
• 结构化 world tokens 携带时间尺度、视角和空间位置嵌入，形成 3 x V x S x d_w 张量，并通过空间平均获得时间尺度级和视角级特征。 §3.5
• 检索查询在每个去噪步由动作专家的隐藏状态重新构建，时间尺度、视角和空间层面的因子化注意力权重相乘后聚合 world values。 §3.6
• 训练目标是 flow-matching 动作损失与分层前瞻预测损失之和。 §3.6
• 模型使用 AdamW 端到端训练 30000 步，全局批大小 512，学习率在前 5000 步预热至 5e-5，梯度裁剪范数 1.0，EMA 衰减 0.999。 §4.1