CEPO: A General Framework for Improving Prompt Optimization in Multi-Agent Systems

Jongha Kim, Seohyun Lee, Jonathan Minho Chung, Jinsung Yoon, Hyunwoo J. Kim

2026-11-02▲ 20arXiv 2610.34722v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

CEPO 是一个框架，它将多智能体提示拆分为共享协调器提示和智能体专用执行器提示，并为底层提示优化器针对每一层提供角色特定的元指令，在四个领域的 11 个基准上提升了四种现有优化器。

要解决的问题

多智能体系统既需要系统级协调，也需要智能体级执行，但现有的 MAS 提示优化器只更新智能体专用提示，而这两类功能在其中仍然耦合。由于协调规则位于每个智能体提示内部，修改它们需要在具有不同执行职责的多个提示之间做一致更改。本文研究提示结构和优化指导如何使现有提示优化器对 MAS 更有效。

方法

CEPO 将提示集合分解为共享协调器提示 p_C 和智能体专用执行器提示 p_E^(i)，其中智能体 A_i 的有效提示是将 p_C 前置到 p_E^(i)。角色对齐优化向底层优化器提供两条元指令：Φ_C 将协调器更新导向团队级协作，例如跨智能体通信和冲突处理，而 Φ_E 将执行器更新导向任务范围界定、证据使用和具体流程。两层仍然由同一个系统级验证目标 J 选择；这些元指令提供不同指导，但不定义单独的数值目标。默认流程是顺序式的：阶段 1 在初始执行器固定的情况下优化协调器 T_C 次迭代，阶段 2 在优化后的协调器固定的情况下优化用户指定子集 I 的执行器 T_E 次迭代，并按验证分数选择提示。CEPO 规定提示结构和指导，而底层优化器执行候选生成与搜索。

实验结果

将 PE2 + CEPO 应用于 MDocAgent 后，五个文档基准全部提升，平均提升 4.3 分，MMLongBench-Doc 从 54.1 升至 61.0。 §4.2
将 PE2 + CEPO 应用于 DocAgent 后，平均提升 2.7 分，其中 MMLongBench-Doc 提升最大，从 59.5 升至 67.4。 §4.2
在 MASPO 基础上加入 CEPO 后，在全部五个数学推理和代码生成基准上均优于基线和单独 MASPO，平均为 73.89，而基线为 68.82。 §4.2
在 MMLongBench-Doc 上的组件分析：未经优化的 LLM 生成协调器将 54.1 提升至 55.6，原生 PE2 仅优化执行器达到 57.9，仅优化协调器达到 58.6，而 CEPO 达到 61.0。 §4.2
当 T_C = T_E = 1 时，CEPO 达到 60.1，在使用更少优化器和 MAS API 调用的情况下比执行器迭代三次的原生 PE2 高 2.2 分，而执行器迭代六次的原生 PE2 达到 57.4。 §4.3
在指导交换实验中，对协调器使用协调指导、对执行器使用执行指导效果最好，为 61.0；反转分配效果最差，为 57.7；对两层使用相同指导则得到中间结果。 §4.3

局限

论文指出，协调器优先的顺序调度是一种实现选择，仅在其文档系统消融实验中是所评估方案里表现最好的，因此其他调度可能适合其他系统。
文档基准缺少专用训练集，因此作者使用固定随机种子将测试集按文档级 10/10/80 划分为训练/验证/测试集。
答案在 LLM-as-judge 协议下由 GPT-5-mini 评分，作者表示计划仅在论文被接收后发布代码库。
伦理声明警告，更简便的提示优化可能鼓励在验证不足的情况下部署，并且优化后的提示在高风险或分布外设置中仍可能产生非预期行为。

要点

协调器提示由所有智能体共享，并前置到每个智能体的执行器提示，因此单次协调更新会一致生效，而执行指令仍可单独调整。 §3.2
协调器更新改变所有智能体接收到的共享指令，而执行器更新只改变智能体 A_i 的局部指令。 §3.2
角色对齐优化使用元指令 Φ_C 和 Φ_E；两层提示均根据同一系统级目标 J 选择，因此指导不同，但没有定义单独的数值目标。 §3.2
默认调度先在初始执行器固定的情况下优化协调器，然后优化子集 I 的执行器；I = ∅ 表示仅优化协调器，I = {1,...,N} 允许优化每个执行器。 §3.3
调度消融中的所有调度均使用相同的六次迭代总预算；协调器优先的顺序式得分为 61.0，执行器优先为 60.7，而交替式得到 60.1 和 58.2。 §B.2
在智能体数量从一到五时，未优化的 MDocAgent 从额外智能体获益很少，原生 PE2 在三个智能体时低于未优化结果，而 PE2 + CEPO 单调增至 61.0，其优势从两个智能体时的 3.9 分增长到五个智能体时的 6.9 分。 §4.3
CEPO 提升每个优化器-基准组合，相较于 PE2、ProTeGi 和 OPRO 获得 0.6 到 6.5 分的增益，并且也提升了多智能体提示优化器 MASPO。 §4.3
将原生 PE2 的提示扩展到相当长度并不能恢复 CEPO 的性能：1410 个 token 的 PE2（长）得分为 54.0，而 1408 个 token 的 PE2 + CEPO 得分为 61.0。 §4.3

思维导图

mindmap
  root["CEPO"]
    ["问题"]
      ["智能体提示中协调与执行耦合"]
      ["共享规则需跨智能体一致修改"]
    ["提示分解"]
      ["共享协调器提示 p_C"]
      ["智能体专用执行器提示 p_E i"]
      ["有效提示为 p_C 前置于 p_E i"]
    ["角色对齐优化"]
      ["Phi_C：团队级协调指导"]
      ["Phi_E：智能体级执行指导"]
      ["两层均由系统目标 J 选择"]
    ["流程"]
      ["阶段1：优化协调器，执行器固定"]
      ["阶段2：优化执行器子集 I"]
      ["现有优化器执行搜索"]
    ["实验"]
      ["11 个基准，四个领域"]
      ["优化器：PE2、OPRO、ProTeGi、MASPO"]
      ["系统：MDocAgent、DocAgent、LongVideoAgent"]
    ["发现"]
      ["跨优化器与基准一致增益"]
      ["预算效率更佳且随智能体数扩展"]
      ["交换角色指导表现最差"]