R^2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop

R2Orch 将自博弈编排与基于可学习性的 Proposer 及随机化技能撤除测试嵌套在一起，在十二个基准上改进 Director，使其趋向零技能部署。

现有编排学习依赖手工设计的课程，当某任务的所有 rollout 都得到相同结果时会出现优势坍缩，并且使用基于单一噪声分数的不可靠技能评估。在上下文中带有技能的自博弈在技能被撤除后也可能导致优势坍缩。本文目标是让 Director 在上下文中无技能时仍能成功，同时联合选择任务与撤除技能。

R2Orch 包含一个内循环，其中 Proposer 选择任务、Director 构建 agent 图；还包括一个撤除技能的外循环。Recursive Learnability 对在候选技能被隐藏时 rollout 仍持续有差异的任务奖励 Proposer，使用曲率 4p^-(1-p^-)。Skill Withdrawal 在每个 rollout 组的一部分中随机隐藏候选技能，从而得到无偏的配对对比，并为撤除与准入决策给出贝叶斯后验。两个循环通过随机化上下文 q_x 和两个时间尺度耦合。论文指出零技能成功率等于初始成功率加内循环收益减外循环成本。

• R2Orch 在全部十二个基准上最佳，并且在零技能下于留出的一半上仍保持领先。 §5
• R2Orch 报告平均 IID 分数 89.79 和平均 OOD 分数 78.79。 §5
• 使用 Qwen3.5-9B Workers 训练的 Director 在无需重新训练的情况下改进了所有其他六个骨干，并将跨骨干的 IID 范围从 25.7 点缩小到 6.4 点。 §5
• 所有 12 次撤除在卡片自身对比上均通过 Eq. (14)，后验 E[Delta+] 至多为 0.019，且种子卡片不再提升其附近的留出准确率。 §5
• 在中等成功率任务上，新组达到混合结果的频率约为 p=0 或 p=1 时的四倍。 §5

• R2Orch 从为每个数据集手工定制的初始技能开始，而为新领域自动推导初始技能仍是一个开放问题（在 Limitations 中说明）。
• 论文在公开基准和六个额外 Worker 骨干上评估且无需重新训练；未测试更广泛的部署领域和骨干（实验未覆盖此点）。
• 该研究未报告人类参与者或真实世界部署评估；滥用风险在 Ethical considerations 中讨论，但未进行实证评估（实验未覆盖此点）。

• 内循环在 Proposer 选择的任务上改进 Director，而外循环撤除不再有帮助的技能。 §4.1
• 每个 rollout 组随机化：多数 rollout 读取不含候选技能的 K_x，可见部分读取 K_x。 §4.1
• Recursive Learnability 为 4p^-(1-p^-)，在 p^- 属于 {0,1} 时消失，并在二分之一处达到峰值。 §4.2
• Proposer 奖励使用隐藏部分；当只有可见部分有进展时进行折扣，并对坍缩进行惩罚。 §4.2
• 可见部分与隐藏部分的均值之差是技能效应的无偏配对对比。 §4.3
• 撤除要求 n_k 至少为 n_min 且后验 E[Delta+] 至多为 epsilon；准入要求 q_k 至多为 alpha。 §4.3
• 轮次核算给出零技能成功率等于初始成功率加内循环收益减外循环成本。 §4.1
• 配置使用 G=5 个 rollout，其中 3 个隐藏、2 个可见，n_min=12，并在 30% 的任务上重新测试已撤除技能。 §C