CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents

CrossSWE 是一个包含 171 个实例的跨仓库联合开发基准，任务要求在相互依赖的仓库间进行协调修改，并通过联合必要性测试验证。

现有编码智能体基准主要在单个仓库内增加复杂度，因此上下文和补丁范围仍受限于一个代码库。近期多仓库基准仅将其他仓库用作上下文，而补丁和测试仍在一个仓库内。现实开发常跨越相互依赖的仓库，API、库或协议变更会跨边界传播，仅修改一个仓库可能不足。CrossSWE 针对这一空白，要求智能体为单个任务在多个仓库间做出相互兼容的修改。

CrossSWE 通过四阶段流水线构建。候选任务从 2025 年 1 月至 2026 年 9 月的 GitHub 开发历史中收集，使用 API 演进、依赖迁移、提供者-消费者和客户端-服务器等跨仓库线索。人工筛选仅保留在至少两个仓库中有具体软件变更和实质性实现变更的候选，排除仅文档、发布说明和变更日志的变更。每个保留候选获得一个 Docker 环境，包含所有参与仓库于已验证的 base commit，具有干净的 Git 状态，并且面向智能体的镜像中不含固定 checkout、gold patch、隐藏测试或固定版本产物。联合必要性通过重建各仓库的 gold patch 并穷举测试所有 2^N 混合版本配置来验证：目标行为必须在全 base 和每个部分打补丁的配置中失败，并且仅在所有必需补丁应用时通过。问题陈述被转换为自包含的自然语言规格，移除解决方案特定信息并明确指定所需的跨仓库行为。

• 最强评估模型 GPT-6.1 Sol 在 CrossSWE 上仅达到 58.48% Pass@1，低于其报告的 DeepSWE v1.1 上 75.2%。 §5.1
• 其他 Pass@1 得分为 DeepSeek V4.1 Flash 52.63%、Claude Sonnet 5.5 50.29%、Qwen3.8-Flash-Next 45.03% 和 GLM-5.3 Flash 43.86%；GPT-6.1 Sol 在单语言任务上得 60.34%，多语言任务上得 54.55%，而 DeepSeek V4.1 Flash 在多语言任务上得 52.73%。 §5.1
• 每个实例平均成本为 GPT-6.1 Sol $0.3496、GLM-5.3 Flash $0.3411、DeepSeek V4.1 Flash $0.2881 和 Qwen3.8-Flash-Next $0.2939；闭源模型平均步数为 32.9 和 29.2，而开源模型为 152.7、141.7 和 182.1。 §5.1
• 在 CrossSWE 中，56.1% 的实例修改超过十个文件，66.7% 的实例变更超过 200 行，而 SWE-bench Pro 中分别为 6% 和 13%，SWE-Bench ProMax 中分别为 30% 和 32%。 §3.3
• 跨仓库不一致是最普遍的失败模式，占 44.2%。 §Abstract
• 作者从 165 个双仓库实例中衍生出 330 个单侧修改任务，环境中保留两个仓库，但仅要求修改一个仓库。 §5.2

• 论文指出大规模多仓库开发的覆盖仍然有限：165 个实例涉及两个仓库，而只有六个涉及三个或更多仓库。
• 论文指出 CrossSWE 提供参与仓库以聚焦依赖推理和协调修改，因此未评估从更广泛生态中发现和选择仓库。
• 论文指出所有模型使用统一的 mini-SWE-agent scaffold，主要依赖基于 Bash 的交互，因此仍需在其他基于 shell 的框架上直接验证；它还施加每实例 300 次交互步和 $10 的限制。

• CrossSWE 任务要求在多个仓库间协调修改，只有当联合仓库状态满足完整评估套件时实例才算解决。 §3.1
• 基准包含 171 个真实世界实例，跨越 165 个仓库、20 个技术领域和 13 种编程语言。 §Abstract
• 实例构成为 165 个双仓库任务、5 个三仓库任务和 1 个五仓库任务。 §1
• 联合必要性通过枚举所有 2^N 混合版本配置检查，要求在全 base 和每个部分打补丁的配置中失败，仅当所有必需补丁一起应用时才成功。 §3.2
• 人工筛选排除额外仓库参与仅限于文档、发布说明、变更日志或其他非实现变更的候选。 §3.2
• 面向智能体的 Docker 镜像不包含固定 checkout、gold patch、隐藏测试和由固定版本产生的产物。 §3.2
• 失败分析将不成功轨迹分类为跨仓库不一致、实现不完整、兼容性回归、逻辑/状态错误和边界处理。 §5.4
• 人工轨迹检查发现 GPT-6.1 Sol 和 Claude Sonnet 5.5 更早识别相关代码位置并开始修改源码，而 DeepSeek V4.1 Flash 和 GLM-5.3 Flash 花费更多交互探索结构和依赖。 §5.3