Hybrid Computer Use：面向通用智能体的统一程序化、语义与视觉接口

HCU 是一个统一智能体接口，暴露程序化、语义可访问性和视觉 GUI 通道，让模型通过跨通道防护和使用技能来选择并组合这些通道。

大多数计算机使用接口通过截图和鼠标键盘操作来模仿人类操作，强加人类交互先验，并未充分暴露语义和程序化能力。可访问性可以在不进行像素搜索的情况下识别控件，但其覆盖范围依赖应用，目标可能变化或消失，且调用并不建立预期状态变化。代码和命令行工具可以直接处理文件和数据，而结构化访问不足时 GUI 交互提供视觉证据。

HCU 在一个智能体任务上下文中组合三个通道：程序化代码、shell 和文件工具；语义可访问性树交互；以及视觉 GUI 截图和输入。AX 和 GUI 工具通过 MCP 暴露，模型在其现有观察-动作循环内指导通道选择。AX 通道返回紧凑观测，执行带可选等待步骤的批量动作，并报告每个目标的效果和 AX 差异。跨通道动作防护在输入前立即解析 AX 引用并对照实时状态检查 GUI 布局，在不发送输入的情况下拒绝不匹配。一个补充技能解释通道能力、高效组合以及验证或恢复，但不包含任务特定解决方案。

• 在 OSWorld 2.0 上，HCU 在对比系统中取得最高的 Partial 和 Binary 分数：使用 GPT-6 Astra 的 72.37% Partial，以及使用 Claude Opus 5 的 35.19% Binary。 §Main Results
• 使用 GPT-6 Astra 时，HCU 在 Partial 上比匹配的 CUA Driver 基线高 3.55 分，在 Binary 上高 0.90 分，且在 Cost 几乎相同的情况下工具调用少 29.81%。 §Main Results
• 使用 Claude Opus 5 时，HCU 的 Partial 分数比官方排行榜结果高 3.75 分，Binary 分数高 3.76 分，且 Cost 低 20.26%。 §Main Results
• 在 GPT-5.4 的 OSWorld 1.0 消融实验中，HCU 得分为 65.59，Steps 为 28.60；无 AX 时为 62.79 和 33.28，无技能时为 64.00 和 33.47，而 CUA Driver 为 62.30 和 40.74。 §Interface Components
• 在 OSWorld 1.0 上，与 CUA Driver 相比，HCU 使 GPT-5.4、Claude Opus 5.5、Gemini 3.8 Flash 和 Grok 4.7 的 Score 分别提高 +3.29、+2.94、+12.90 和 +6.81 个百分点。 §Agent Behavior Across Models
• 该技能将因参数格式错误而被拒绝的 AX 和 GUI 调用比例从 17.37% 降至 1.36%。 §Abstract

• AX 覆盖范围依赖应用：论文指出，自定义绘制内容可能没有可访问元素，可访问对象不一定与控件一一对应，虚拟化项在渲染前可能缺失；HCU 标记不可用信息，并让模型在语义证据不足时请求截图。
• HCU 优先使用原生 AX 操作或聚焦输入完成请求的动作；不同于 CUA Driver 尽力而为的后台输入，这种设计不优先保持用户的活动桌面。
• GUI 动作词汇会影响性能：Claude Opus 5.5 在使用 Claude 风格词汇时提高 0.82 分，而 GPT-5.4 在使用默认 GPT 风格词汇时得分高 2.03 分，因此结果取决于是否匹配模型的原生调用约定。

• HCU 在一个由模型指导的观察-动作循环内，通过 MCP 组合程序化工具、语义 AX 交互和视觉 GUI 交互。 §Hybrid Computer Use Interface
• AX 通道围绕紧凑视图、带可选等待步骤的批量动作以及动作后 AX 差异进行设计，使模型需要更少的往返。 §Accessibility for Computer Control
• 跨通道动作防护在输入前对照实时状态检查 AX 目标身份和 GUI 布局，并在发送输入前拒绝不匹配。 §Guarding Actions Across Channels
• 补充技能涵盖通道能力、高效交互以及验证或恢复，不包含任务特定解决方案。 §Skill for Effective Interface Use
• 在 OSWorld 1.0 上的四个模型中，HCU 相对于 CUA Driver 提高 Score，同时改变 Steps、Input、Time 和 Cost，并具有模型特定的通道分配。 §Agent Behavior Across Models
• 论文报告，HCU 在其各自的测试框架中于四个骨干模型上优于 CUA Driver，平均 Score 高 6.48 分，Steps 少 17%，Cost 低 30%。 §Introduction
• 在任务内，通道通常扮演互补角色，截图支持观察，AX 支持执行。 §Introduction
• 默认 GPT 风格 GUI 词汇对 GPT-5.4 表现更好，而 Claude 风格词汇对 Claude Opus 5.5 表现更好。 §GUI Action-Space Replacement