多轮强化学习在 LLM Agent 中究竟真正提升了什么？

论文发现，多轮智能体 RL 主要提升长时程执行和错误恢复能力，而不是均匀提升每一步的动作质量，并且其收益依赖于充足的交互预算。

论文探究多轮智能体 RL 究竟提升了 LLM 智能体的哪些能力，因为现有评估大多只在轨迹层面判断成功。论文认为交互式智能体除了采样广度之外还有交互深度这一维度，并且轨迹成功可能掩盖预算依赖性或步级质量变化。作者旨在检验 RL 收益能否在不同交互预算下保持，以及单步动作是否得到提升。

作者形式化了 Pass@(K,T)，将采样广度 K 与最大交互轮数 T 结合，并在固定 k=8 下扫描 Pass@K 和 Pass@T。他们主要使用 GRPO 训练，并额外使用 GiGPO 和 PPO，在 DeepCoder-MT、BFCL、InterCode-SQL 和 FrozenLake 上使用 Qwen3-4B 与 Qwen3-8B，附录中给出额外的 Terminal-Bench 结果。他们通过从基础策略和 RL 策略中采样 G=16 个动作来比较匹配状态下的步级动作质量，对 FrozenLake 使用精确 Q* 值，对 DeepCoder-MT 使用单元测试通过率，并构造错误状态。他们分析基础策略下的动作 NLL 和累积对数似然比，并在训练过程中跟踪轨迹级奖励与步级奖励。他们还讨论过程监督信号，并引入 BudgetMix RL，在训练期间按 10% 间隔采样交互预算。

• 随着采样广度 k 增加，RL 模型始终优于基础模型，表明多轮智能体 RL 可以将轨迹级成功率推过基础模型的经验 Pass@K 边界。 §3.1
• 在采样广度固定为 k=8 时，RL 优势依赖于充足的交互预算：随着 T 增大而更明显，在紧张预算下可能减弱甚至反转；而结构性上界表明在较小 T 下仍有提升空间。 §3.2
• 智能体 RL 仅在 46.8% 的 DeepCoder-MT 状态和 42.8% 的 FrozenLake 状态上提升步级决策质量，但在错误状态上，RL 在 65.7% 的 FrozenLake 情形和 67.3% 的 DeepCoder-MT 情形中选择更优动作；续接成功率为 FrozenLake 上 51.3% 对 38.6%，DeepCoder-MT 上 38.5% 对 22.9%。 §3.3
• 在基础策略下，RL 动作和基础动作的平均动作 NLL 分别为 12.20 和 10.25，而成功 RL 轨迹的累积 LLR 达到约 228，相比之下成功基础轨迹为 26。 §4.1
• 在 DeepCoder-MT 上，标准智能体 RL 训练期间，轨迹级奖励 R_multi 上升 0.331，而每步奖励 R_single 下降 0.097。 §4.2
• 在 25%、50% 和 75% Tmax 的紧张预算下，BudgetMix 优于全预算 RL，平均性能增益分别为 7.5、5.3 和 4.0 个百分点，并在 100% Tmax 下保持持平。 §5.4

• 步级动作质量评估仅限于具有可靠步级度量的任务，例如 FrozenLake 和 DeepCoder-MT，因为在智能体设置中可靠的过程奖励仍然难以获得。
• 错误状态构造只是代理指标，而不是错误状态的严格定义。
• 高质量过程监督可以缓解对预算的依赖，但论文指出在现实智能体任务中精确过程监督很少可得；在 BFCL 上，密集信号方法未能提升受限预算下的性能。
• BudgetMix 仅作为候选解决方案的初步讨论提出，而不是一个完全确立的解决方案。

• 论文引入 Pass@(K,T)，将采样广度 K 与交互深度 T 分离；Pass@T 将采样预算固定为常数 C。 §2.2
• 随着采样轨迹数 k 增加，RL 模型始终优于基础模型，表明智能体 RL 扩展了经验 Pass@K 能力边界。 §3.1
• RL 优势依赖于充足的交互预算，在紧张预算下可能减弱甚至反转；结构性上界表明在较小 T 下仍有显著提升空间。 §3.2
• 步级质量并未均匀提升；RL 优势在错误状态和轨迹后段更明显，归一化深度为 d_t=t/Tmax。 §3.3
• 似然分析表明，RL 动作在基础策略下仍在局部上可信，而完整 RL 轨迹在 RL 策略下获得的似然远高于在基础策略下。 §4.1
• 在标准 RL 训练期间，轨迹级奖励上升，而每步奖励不提升且可能下降。 §4.2
• Oracle Q 值过程奖励和 GiGPO 能在不同预算下稳定 FrozenLake，但在 BFCL 上没有精确的步级 oracle，且 GiGPO 和 PPO 等密集信号方法在受限预算下未能提升性能。 §5.1
• BudgetMix 通过为每个任务实例按 10% 间隔采样预算，将交互预算转化为一个训练维度。 §5.2