RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents

RealCLI 是一个配对式 CLI 基准，用于在匹配任务上评估自主执行与脚本化人机协作，揭示前沿智能体在联合任务协作方面的低表现。

现有 CLI 基准通常向智能体提供完整、固定的规格说明，让其自主执行，并且只评估最终任务结果。长时程 CLI 工作仍然需要用户补充信息、修改约束、纠正执行并授权高影响操作。此前的交互式基准常常将交互视为任务完成的一部分，或聚焦特定协作行为，缺少对任务有效性和多维协作质量的统一评估。

RealCLI 在 101 个 CLI 任务上将 EXEC 与 COLLAB 模式配对，这些任务共享任务目标、执行环境和验证器。EXEC 预先提供完整规格说明，而 COLLAB 使用任务级用户脚本，其中包含信息切片和交互探针，以逐步释放信息并触发澄清、纠正、约束修改、授权和安全场景。协作通过一个五维框架衡量，涵盖可理解性、可操控性、观察与恢复、信任校准以及安全与风险意识，并操作化为 22 个子维度、场景模板以及轨迹检查。分数先由全有或全无的任务级场景检查聚合到 75% 的跨任务场景阈值，再由子维度和维度等权平均得到 S_COLLAB；J_COLLAB 为 R_COLLAB 乘以 S_COLLAB。任务通过基础实例合成、交互脚本编写、验证、试运行和最终筛选，从真实 CLI 日志构建。实验在三个脚手架上评估 11 个模型，共 33 种配置，使用 avg@3、600 回合上限和隔离容器。

• 最佳配置取得 49.2% 的平均分数，联合协作分数峰值达到 37.6%。 §4.2
• 在 Codex 脚手架上，GPT-5.6 Sol 的自主执行奖励达到 58.5%，但其联合协作分数为 8.5%，下降了 50.0%。 §4.2
• 在 11 个 Claude Code 配置和 101 个匹配任务上，交互式与自主执行取得相近的平均通过率，并在匹配结果上出现显著的双向变化。 §4.3
• 在遇到障碍后更新计划的严格场景通过率高于识别范围扩展，遵循连续请求的严格场景通过率高于保留早期约束或处理冲突指令。 §4.4
• 功能性或边界情况错误是两种模式中最常见的失败类型，且大多数成功的交互式轨迹仍然至少未通过一项适用的协作检查。 §4.5
• 大多数约束保留失败是产物不匹配，并且许多具有适用沟通检查的产物不匹配仍然通过所有沟通检查。 §4.5

• 未提供明确的局限性章节；该基准使用脚本化用户模拟器 GLM-5.3，而非真实用户，因此未评估真实用户行为。
• 协作评分依赖使用 Claude Code 与 Claude-Opus-4.8 的 LLM 评判器以及模拟器审计；98.0% 的受审轨迹获得无有害偏离判定，评判器和模拟器偏离仍是残余风险。
• 实验涵盖 101 个任务、11 个模型和三种智能体脚手架；论文未报告在其他脚手架或使用真实用户时的评估。

• RealCLI 是一个配对式基准，其中 EXEC 预先提供完整规格说明，COLLAB 引入脚本化用户，由后者提供渐进信息、纠正、约束修改和授权决策。 §2
• 协作框架包含五个维度：可理解性、可操控性、观察与恢复、信任校准以及安全与风险意识。 §2.2
• 协作评分采用四层自底向上聚合：全有或全无的任务级场景完美性、75% 的跨任务场景一致性阈值、子维度与维度的等权平均，以及复合 S_COLLAB。 §2.4
• 联合协作分数是协作任务成功与复合协作分数的乘积，因此高任务成功无法弥补弱协作。 §2.4
• 任务通过从真实 CLI 日志合成基础实例，然后经场景分配、脚本编写、验证、端到端试运行和最终筛选添加交互层来构建。 §3
• 评估涵盖由 11 个模型和三种智能体脚手架组成的 33 种配置、全部 101 个任务、600 回合上限以及 avg@3 评分。 §4.1
• 用户交互并未带来统一的任务结果提升；效果因脚手架和任务领域而异，增益集中在局部可验证的需求添加，而需要跨约束严格一致的任务出现退化。 §4.3
• 模拟器审计报告称，98.0% 的受审轨迹获得无有害偏离判定，偏离主要集中在空消息或协议消息、探针覆盖不完整以及偏离脚本意图。 §E.1