Lost in Recovery: Demystifying Recovery Behavior of Computer-Use Agents via Goal-Oriented Action Replay

ReTrace 是一个可扩展的评估框架，它将转移一致性恢复形式化，并在受控错误注入后使用目标导向的动作重放，以系统研究计算机使用智能体中基于模型的恢复。

计算机使用智能体在长时程设置中仍然脆弱，错误会累积，已执行动作会留下非预期副作用。现有补救措施不足：环境重置往往不可行，动作重放在长时程上代价高昂，而基于 API 的回滚在很大程度上局限于 Web 环境。智能体自行恢复到先前状态的自主模型级恢复，仍很大程度上未被探索。

ReTrace 是一个用于系统研究计算机使用智能体中自主、基于模型恢复的流水线。它将成功恢复形式化为转移一致性恢复（Transition-Consistent Recovery）：如果从两个状态执行相同的下游动作产生相同结果，则恢复后的状态与其目标匹配。它通过在受控错误注入后进行目标导向的动作重放来操作化这一准则。评估集通过多次重放每条 on-policy 轨迹来构建，仅保留具有一致成功结果的轨迹，然后采样中间状态作为恢复目标，并将其扰动为错误状态。恢复的评估方式是检查重放剩余动作是否复现原始任务结果。ReTrace 在 OSWorld 和 WindowsAgentArena 上跨闭源与开源计算机使用智能体进行实例化。

• 理想恢复（将智能体返回到 oracle 给出的先前状态）优于朴素环境重置，并释放潜在的任务完成能力。 §4
• 当前计算机使用智能体未能利用其潜在恢复能力，既缺乏自主恢复的倾向也缺乏相应能力。 §5
• 当配备显式基于模型的恢复时，恢复成功率提升超过一个数量级，表明底层能力是潜在的而非缺失的。 §5
• 准确的模型级恢复带来可测量的端到端增益，而弱恢复可能主动使轨迹偏离。 §6
• 在恢复到错误状态后，前向智能体的推理说明表现出两种主要行为模式：虚假感知和状态跟踪失败。 §6.3
• 人工评估使用了 150 个评估样本，并报告标注者两两之间的平均一致率为 82%、Cohen kappa 系数为 0.45。 §B.3

• ReTrace 旨在测量和分析恢复能力与行为，而非直接改进它们。
• 显式恢复设置只能引出底层模型中已存在的能力，无法弥补 GUI 理解、状态跟踪或动作规划方面的根本缺陷。
• 恢复能力较弱的专家智能体进行不准确恢复，可能引入额外的轨迹漂移并降低任务成功率。
• 恢复感知的后训练以及用于跟踪潜在环境状态和预测动作引发转移的辅助目标被提议为未来方向，但超出当前工作范围。

• 现有恢复补救措施不足：环境重置往往不可行，动作重放在长时程上代价高昂，而基于 API 的回滚在很大程度上局限于 Web 环境。 §1
• 转移一致性恢复使用行为等价性而非视觉相似性来捕捉潜在环境变化。 §5.1
• 恢复预言机将转移一致性检查与观察级一致性结合起来。 §5.1
• ReTrace 分三个阶段评估恢复：转移一致性评估集构建、扰动为错误状态，以及目标导向的动作重放。 §5.2
• 该研究在 OSWorld 和 WindowsAgentArena 上跨闭源与开源计算机使用智能体进行实例化。 §1
• 理想恢复将恢复识别为释放智能体潜在任务求解能力的关键杠杆。 §4
• 当前智能体既缺乏在错误条件下自主恢复的倾向，也缺乏相应能力。 §5
• 准确的基于模型恢复产生可测量的端到端增益，而较差恢复可能严重降低下游任务完成度。 §6