Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, Zhixun Li et al.

2026-10-30▲ 19arXiv 2610.35138v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

Co-Design Bench 在 273 个带有隐藏验收标准的真实用户应用修订上评估编码智能体，发现强模型在每个任务上能满足许多标准，但仅完全完成少数任务。

要解决的问题

现有 Web 编码基准覆盖参考重建、合成或预定义编辑、版本历史编辑以及仓库 issue，但对于来自真实编码会话、跨越局部多模态编辑和协同仓库变更的复合修订，覆盖仍然有限。智能体执行也会改变测得的完成度：在 150 个 WebCompass-edit 任务上，qwen3.7-plus 从单次执行到智能体执行时，平均分级功能完成率从 73.6% 升至 95.1%。论文主张在迭代工具访问下评估真实用户修订，同时考察标准满足情况和完整任务成功。

方法

Co-Design Bench 包含 273 个任务，这些任务从 26,314 个真实用户编码会话中的 37,463 条去重查询整理而来，并配有 2,331 条隐藏的专家编写验收标准。每个任务将一个可运行的编辑前应用和规范化请求配对，并带有可选附件和会话历史；求解器在共享 harness 下编辑该应用。Multimodal Editing 涵盖 100 个局部编辑，可选输入包括图像、音频、视频或文档；Repository Editing 涵盖 173 个跨组件、路由、状态、数据流或内容的协同变更。评估采用 judge-then-refute 协议：固定的智能体评估器使用源码 diff、渲染页面和 Playwright traces 对隐藏标准评分，然后由单独的 LLM 验证器质疑 Pass 和 Partial 判定；审计要求视觉性声明提供渲染结果和截图，交互性声明要求浏览器操作日志。分数为按任务归一化的 Strict Completion、Graded Completion 和 Full-Pass Rate。

实验结果

十个模型端点中最强的一个在每个任务上平均通过 69.9% 的标准，但仅完全满足 26.4% 的任务。 §Abstract
领先端点在 Multimodal Editing 上达到 0.754 的 Strict Completion，在 Repository Editing 上达到 0.667，但仅完全通过 41.0% 和 17.9% 的任务。 §5.2
各 track 的 Strict Completion 排名相关性为 Spearman rho=0.818，而端点平均 strict 分数在 ME 上跨度为 28.7 个百分点，在 RE 上为 13.0。 §5.2
在 Repository Editing 上，具有一种或两种编辑类型的任务得分为 0.654，而三种或四种类型为 0.591，相差 6.3 个百分点。 §5.3
文档具有最高的汇总 strict 分数 0.652，但其模型-任务对中仅 18.2% 完全通过，而纯文本任务为 37.0%。 §5.3

局限

任务评估固定的规范化请求，不在执行期间模拟进一步的用户反馈（§3.2）。
诸如模态和编辑广度之类的任务组比较描述的是基准，而非隔离的因果效应，因为任务内容和组成不同（§5.3；附录 B.2）。
在本基准内，综合排名可能掩盖特定编辑设置的强项（§5.2）。
Motion and Adaptation 类别仅包含四个任务，因此其分数总结的是一个特别小的组（§F.3）。

要点

该基准包含 273 个任务和 2,331 条专家编写的验收标准，覆盖 Multimodal Editing 与 Repository Editing。 §3
Multimodal Editing 包含 100 个任务，模态分布为无 20、图像 4、视频 27、音频 32、文档 17，并有 553 条标准，平均每任务 5.5 条。 §3.3
Repository Editing 包含 173 个任务和 1,778 条标准，且 173 个任务中有 166 个需要多种编辑类型。 §3.4
单独的 LLM 验证器会针对 stub、硬编码、不可达入口点、不同输入失败和请求不匹配质疑 Pass 与 Partial 判定；证据审计在违规时中止评估。 §4.1
Strict Completion 仅计入 Pass 判定，Graded Completion 对 Partial 给 0.5 分，Full-Pass Rate 要求任务中所有标准均通过。 §4.2
在固定 Claude Code harness、容器清单、提示和工具下，对十个模型端点在 273 个任务上评估，运行上限为三小时和 120 轮。 §5.1
gpt-6-astra 具有最高的综合 Strict Completion 0.699 和 Full-Pass Rate 26.4%。 §5.2
消融实验涵盖执行机制、评估器敏感性和脚手架鲁棒性；单次执行与智能体执行在 150 个 WebCompass-edit 任务上进行比较。 §5.4

思维导图

mindmap
  root["Co-Design Bench"]
    ["数据与整理"]
      ["273 个任务"]
      ["2331 条标准"]
      ["37,463 条查询，来自 26,314 个会话"]
    ["赛道"]
      ["多模态编辑 100 个任务"]
      ["仓库编辑 173 个任务"]
      ["ME 模态：无、图像、视频、音频、文档"]
      ["RE 协同仓库变更"]
    ["评估"]
      ["可运行的编辑前基线"]
      ["隐藏专家标准"]
      ["先评判后反驳"]
      ["证据审计"]
      ["Strict、Graded 与 Full-Pass"]
    ["主要结果"]
      ["十个模型端点"]
      ["最佳 Strict 0.699"]
      ["最佳 Full-Pass 26.4%"]
      ["各赛道排名不同"]
    ["任务分析"]
      ["附件模态"]
      ["编辑广度：一至二 vs 三至四"]
      ["主要能力"]
    ["鲁棒性"]
      ["单次执行 vs 智能体执行"]
      ["评估器敏感性"]
      ["跨 harness 敏感性"]