ParetoSaddler：面向质量与成本的 Agent Harness 帕累托引导优化

ParetoSaddler 将中间阶段感知 Pareto 的晋升与最终部署选择分离，在 ClawMark 和 GAIA2 上提升质量并降低成本。

现有自动 harness 优化方法主要优化响应质量，而部署还必须考虑执行成本。分阶段评估会在更广泛的开发评估之前筛选候选者，若在此阶段应用部署偏好，可能会过早拒绝那些对后续改进有价值的更新。重复执行在质量和成本上也会波动，因此均值比较可能夸大支撑较弱的增益。

在每次迭代中，优化器更新父代 harness 以生成候选者。ParetoSaddler 在重复执行中比较候选者和父代。它使用贝叶斯自助法 Pareto 支持度来晋升在质量或成本任一方面显示出可信进展的候选者。被晋升的候选者接受更广泛的开发评估，并仍可作为后续优化步骤的父代。最终部署选择仅在优化预算耗尽后应用。该框架在 ClawMark 和 GAIA2 上使用领域不相交划分进行评估。

• 在 ClawMark 上，PS-Pareto Q 将质量从 70.86% 提升到 81.35%，同时将每任务成本从 $1.17 降到 $1.01。 §5.2
• 在 GAIA2 上，PS-Pareto Q 将质量从 56.22% 提升到 62.89%，同时将每任务成本从 $0.78 降到 $0.45。 §5.2
• PS-Pareto Q 在 ClawMark 上以 7.49 个质量点、在 GAIA2 上以 5.56 个质量点优于仅优化质量的 AS-Quality，同时在两个基准上都降低成本。 §5.2
• PS-MinCost 在 ClawMark 上达到每任务 $0.82，在 GAIA2 上达到 $0.44，低于开发阶段选出的两个 PS-Pareto 工作点，并在两个基准上都优于 MH-MinCost。 §5.2
• 对于归档候选 I-12，基于均值的门控会晋升它，而其自助法晋升支持度为 0.55，低于 gamma=0.7。 §E
• 在两次 PS-Pareto GAIA2 运行中，总体质量范围为 61.44% 到 62.89%，每任务成本为 $0.44–$0.47，而默认智能体为 56.22% 和 $0.78。 §F

• 在每任务 R=3 次执行下，稀有结果可能仍未被观察到，且对执行变异性和自助法晋升支持度的估计可能对已观察运行敏感，尤其是在晋升阈值附近（见附录 A）。
• ClawMark 评估仅限于具有明确 stage-0 评分标准的初始阶段任务，后续阶段适应不在评估范围内（见附录 A）。
• 晋升阈值 gamma=0.7 在重放中位于局部稳定区域，但论文指出，当有额外优化预算时，显著不同的部署领域可能受益于对 gamma 进行小规模网格搜索（见附录 E）。
• 由于每次完整优化运行需要大量计算，仅在 GAIA2 上进行了一次额外 PS-Pareto 优化运行以评估稳定性（见附录 F）。

• 自动 harness 优化可以通过改变提示、工具、中间件和控制逻辑，在不修改模型权重的情况下改进 LLM 智能体。 §1
• 在中间筛选阶段应用最终部署偏好，可能会过早拒绝那些即时质量–成本权衡不利、但其改动能促成更强后续解决方案的更新。 §1
• ParetoSaddler 晋升在质量或成本任一方面显示出可信进展的候选者，而不要求它们满足最终部署偏好。 §1
• 被晋升的候选者接受更广泛的开发评估，并仍可作为后续优化步骤的父代。 §Abstract
• Pareto 推理保留开发质量–成本前沿上的多个工作点，而不是将搜索锁定到单一权衡。 §5.2
• 实验使用每任务 R=3 次执行和 J=10,000 次独立贝叶斯自助抽样，并通过将 epsilon_C 设为 +infinity 来禁用成本保护机制。 §A
• ClawMark 实验使用 OpenClaw v2026.6.9，并通过为每次执行设置唯一的 Notion 根目录和按执行划分的 Drive 文件夹来适配 ClawMark。 §A
• Meta-Harness 在 ClawMark 和 GAIA2 上分别以分阶段方法最大任务执行预算的约 1.37× 和 1.22× 运行。 §A