Rust in Everything
← 论文速递

CausGround: Causal Interaction Grounding for Adaptive Embodied Planning

Yijun Shen, Diqi He, Jinbang Guo, Wanyue Zhang, Jiaming Mi, Huan Yang et al.

2026-10-29▲ 4arXiv 2610.29702v1Hugging Face代码

本页由 AI 根据论文全文生成(deepseek-flash),可能有误,请以原文为准。

一句话

CausGround 将交互轨迹蒸馏为基于因子化世界状态的可复用、以动作为中心的因果知识,然后将任务相关的前置条件和效果落地,以指导冻结的 MLLM 规划器而无需参数更新。

要解决的问题

MLLM 显示出推理能力,但物理交互要求规划能够考虑动作何时可执行以及它们如何改变世界,而 MLLM 并未完全捕获这些依赖环境的前置条件和效果。现有适配方法要么通过昂贵的环境特定训练更新模型参数,要么依赖难以落地和复用的非结构化交互经验。现有表示也不总能同时捕获判定动作前置条件是否满足所需的细粒度对象属性和对象间关系。

方法

CausGround 是一个非参数框架,通过将交互经验蒸馏为以动作为中心的因果知识,在不更新模型参数的情况下适配具身规划器。它定义因子化世界状态 S_t=(O_t,R_t),其中每个对象具有语义类别和属性值对,关系是对象之间的带类型边。从在受控改变动作前因素下收集的动作级轨迹中,它保留能区分成功执行与失败的状态因素作为前置条件,保留动作后一致的状态变化作为效果,并丢弃偶然因素。提取的前置条件和效果被组织为通用动作知识 K_gen(a) 和实例特定知识 K_spec(a(x)),满足另一动作前置条件的效果会形成因果依赖。规划时,CausGround 将任务解释为目标状态,执行反向推理得到 K_causal,检索 K_sem,形成 K_task = K_causal ∪ K_sem,将其落地到当前世界状态,并由冻结规划器根据观测、状态、目标和任务知识选择动作。

实验结果

  • 在 VirtualHome 上,相比 Vanilla,CausGround 提升了所报告的平均成功率和平均最终进度。 §4.2
  • 在 RoboCasa 上,当跨骨干平均时,相比 Vanilla,CausGround 提升了单次规划成功率和闭环重规划成功率。 §4.2
  • 在 SWITCH 交互推理上,CausGround 在所评估的 MLLM 骨干上相比 Vanilla 提升了平均准确率。 §4.3
  • 在来自三个家族的六个模型上,相比 Vanilla,CausGround 提升了平均任务成功率和最终进度。 §4.5
  • 在组件消融中,完整 CausGround 相比 Vanilla 和部分变体报告了更高的成功率和进度。 §4.4
  • 在 Qwen3.5-9B 的检索消融中,仅语义检索相比 Vanilla 有提升,因果检索带来更大增益,两者结合取得最佳结果。 §D.2

局限

  • 尚未解决:受控交互实验被用于构建 VirtualHome 知识库,而 RoboCasa 和 SWITCH 知识是在一致性标准(C.3.1)下从重复的官方轨迹中提取的;论文未在这些环境中评估受控干预构建。
  • 尚未解决:真实世界评估是定性的,覆盖两个桌面任务、微波炉任务和多对象任务;未报告定量的真实机器人成功率(E)。
  • 评估局限:RoboCasa 结果报告在不含 UNKNOWN 转移的共享子集上,且 UNKNOWN 动作被单独标记而非作为普通规划失败(A.2.3);未测量未解决分支上的行为。
  • 评估依赖:VirtualHome 使用经 Qwen-Image-Edit-2511 修复并根据模拟器状态验证的 RGB 观测(A.1.3);结果依赖该修复基准,且未报告单独的无修复对比。

要点

  • CausGround 是非参数的,不更新规划器参数;它提供可复用因果知识作为外部规划上下文。 §Abstract
  • 世界状态被因子化为 S_t=(O_t,R_t),对象属性和显式带类型的对象间关系与前置条件和效果共享同一模式。 §3.1
  • 以动作为中心的因果知识存储从动作级轨迹中提取的前置条件 C(a(x)) 和效果 E(a(x)),并丢弃偶然因素。 §3.2
  • 知识在具体实例上被划分为通用 K_gen(a) 和实例特定 K_spec(a(x)) 规律。 §3.2
  • 效果-前置条件链接将单动作知识组合为多步因果依赖。 §3.2
  • 任务落地规划每个任务构建一次 K_task = K_causal ∪ K_sem,将其落地到当前世界状态,冻结规划器每步输出一个动作。 §3.3
  • VirtualHome 和 RoboCasa 评估视觉高层规划,而 SWITCH 评估 Action、Recovery、Verification State 和 Verification Action 类别。 §4.1
  • 与模拟器状态不一致的 VirtualHome 观测使用 Qwen-Image-Edit-2511 修复,并在评估前验证。 §A.1.3

思维导图

mindmap
  root["CausGround"]
    ["问题"]
      ["环境相关的前置条件与效果"]
      ["昂贵的参数化适配"]
      ["非结构化经验难以复用"]
    ["世界状态"]
      ["带属性值对的对象"]
      ["带类型的对象间关系"]
    ["知识构建"]
      ["动作级轨迹"]
      ["由成功/失败提取前置条件"]
      ["由状态变化提取效果"]
      ["通用与实例特定知识"]
      ["效果-前置条件依赖"]
    ["规划"]
      ["目标状态反向推理"]
      ["语义检索"]
      ["任务因果图并集"]
      ["当前状态落地"]
      ["冻结规划器动作选择"]
    ["评估"]
      ["VirtualHome 高层规划"]
      ["RoboCasa 单次与重规划"]
      ["SWITCH 交互推理"]
      ["真实机器人桌面任务"]
    ["局限"]
      ["真实世界评估为定性"]
      ["RoboCasa UNKNOWN 分支未测量"]
      ["VirtualHome 使用修复观测"]