PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas

Haoming Li, Defu Cao, Xu Hu, Yingtao Luo, Yiyang Wang, Xianghe Xu et al.

2026-10-29▲ 13arXiv 2610.22990v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

PersonaCUABench 固定 74 个任务，仅在 44 个用户角色间改变请求用户；在九个 backbone 上，角色请求将平均任务完成率从 0.689 降至 0.441，且用户满意度与完成率出现分化。

要解决的问题

计算机使用代理通常依据固定任务规范进行评估，但用户可能遗漏需求、增加约束，或在有后果的操作前要求批准。因此，完成基准指令并不保证服务了提出请求的人。固定规范无法揭示这一差距，因此论文要问：CUA 是否能服务以各自措辞提出同一任务的不同用户。

方法

PersonaCUABench 固定 11 个领域中的 74 个任务，这些任务取自 Odysseys 和 REAL 的子集，其中 38 个信息任务、36 个操作任务。它定义了来自四组的 44 个用户角色，覆盖全部 11 个领域，每个角色由 MatrAIx schema 中的 37 个属性描述。角色代理接收画像和原始指令，以用户自己的措辞写出开场请求，并以角色身份回答 CUA 的澄清问题；CUA 只能看到对话，永远看不到画像或原始指令。评分记录基于需求的任务完成情况、每个需求是否被提出、被处理并满足，以及角色代理在交付时和验证后的 1-5 满意度。九个 backbone 在同一个 Chrome harness 中运行相同的 370 个单元格，共 3,330 次运行；论文还以画像可见和强制提出澄清问题两种设置重跑 GPT-6 Astra。

实验结果

角色请求将平均任务完成率从 0.689 降至 0.441，相对下降 36%。 §3.3
每个 backbone 在角色请求下任务完成率均下降，相对损失在 28% 到 45% 之间。 §4.2
在 646 个完全成功的角色单元格中，仅 62.7% 获得最高满意度评分，25.9% 获得 3 分或更低；完全成功的原始请求则分别为 84.1% 和 9.5%。 §5.1
在 59.9% 的损失单元格中，代理处理了已提出的需求但仍至少遗漏一个；另有 11.2% 是用户请求的停止操作，却被检查器判为失败。 §5.2
展示画像使信息任务完成率下降 0.027，95% CI 为 [-0.051,-0.001]，并使操作任务完成率变化 +0.028，95% CI 为 [-0.007,+0.069]；强制提出一个问题使角色完成率从 0.434 变为 0.421，原始操作完成率从 0.583 变为 0.472。 §5.3
代理提出的 609 个问题中，仅 24% 针对用户遗漏的需求。 §5.3

局限

局限性部分指出，任务聚焦于在网站上查找信息和执行操作，桌面应用、独立聊天和编码工作流不在范围内。
局限性部分指出，每个回合以单个请求开始并聚焦一个任务，而真实使用中的个人代理可跨交互积累知识；带持久记忆的重复交互留待未来扩展。
伦理声明指出，构造的用户角色可能编码刻板印象，且无法捕捉人口群体内部的完整多样性，因此性能差异不应推广到真实人群。
伦理声明指出，模拟满意度评分不能替代真实用户反馈；附录 A.4 还报告，平均 15.4% 的画像维度被清晰表达。

要点

基准固定 11 个领域中的 74 个任务，仅改变提问者，使用四组共 44 个用户角色。 §3
角色代理使用 37 属性画像改写请求，并以角色身份回答澄清问题，而 CUA 只能看到对话。 §3.3
评分将每个需求标记为已提出、已处理和已满足，以便在任务完成率和满意度之外定位丢失的需求。 §2.3
在九个 backbone 上，所有模型在角色请求下均出现损失，相对损失在 28% 到 45% 之间。 §4.2
大多数损失单元格发生在代理处理已提出需求之后：59.9% 已处理但仍遗漏，11.2% 是用户请求的停止却被判为失败。 §5.2
完成率与满意度出现分化：在 646 个完全成功的角色单元格中，62.7% 获得最高满意度，而原始请求为 84.1%。 §5.1
在 GPT-6 Astra 上，展示画像或强制提问均未恢复角色任务完成率，且 609 个问题中仅 24% 针对遗漏需求。 §5.3
角色保真度只是部分的：平均 15.4% 的维度被清晰表达，去除矛盾后平均 delta 从 -0.248 变为 -0.249。 §A.4

思维导图

mindmap
  root["PersonaCUABench"]
    ["基准设计"]
      ["11 领域 74 任务"]
      ["38 信息任务、36 操作任务"]
      ["四组 44 个用户角色"]
      ["37 属性角色画像"]
      ["CUA 仅见对话"]
      ["Odysseys 与 REAL 来源"]
    ["评估协议"]
      ["基于需求的任务完成率"]
      ["提出-处理-满足诊断"]
      ["交付时满意度"]
      ["验证后满意度"]
      ["九个 backbone"]
      ["3330 次共享测试框架运行"]
    ["主要结果"]
      ["完成率从 0.689 降至 0.441"]
      ["平均相对下降 36%"]
      ["backbone 损失 28% 到 45%"]
      ["满意度与完成率分化"]
      ["59.9% 已处理但遗漏"]
      ["11.2% 请求的停止"]
    ["干预"]
      ["画像可见运行"]
      ["信息完成率下降 0.027"]
      ["操作完成率上升 0.028"]
      ["强制提问运行"]
      ["角色完成率 0.434 至 0.421"]
      ["24% 问题针对遗漏"]
    ["角色保真度"]
      ["15.4% 维度清晰"]
      ["11.1% 存在矛盾"]
      ["排除矛盾 0.248 至 0.249"]
      ["无障碍需求很少表达"]
    ["局限性"]
      ["仅网页任务"]
      ["每回合单个请求"]
      ["模拟角色与用户"]
      ["满意度需真实用户"]