Amortizing Sequential Experimental Design in Reasoning LLMs

AR-BED 在外部指定的有限贝叶斯实验设计模型下，用信息增益奖励训练一个推理 LLM，从而改进自适应提问，并迁移到临床对话任务。

LLM 在多轮实验设计中难以自适应地收集信息，并且可能对实验反馈不敏感，转而依赖先验知识。序贯贝叶斯实验设计会选择信息量大的动作，但每一步都需要昂贵的后验和期望信息增益估计，而且一步 EIG 可能短视。本文研究如何将序贯 BED 摊销到 LLM 的推理过程中，以及哪些生成模型和奖励选择能让这一方法奏效。

策略先输出推理轨迹，再输出设计，并使用 GRPO 以信息增益奖励进行训练。实验生成模型独立于策略指定：在一个有限对比假设集上使用固定均匀先验，并使用另一个更大的 LLM 作为有限结果空间上的语义似然评估器。奖励是期望的一步 EIG，通过对假设和结果边缘化而作为 Rao-Blackwellized 实现奖励；回报对 K 步 rollout 中每步 EIG 求和并折扣。训练使用 Twenty Questions，包含 200 个动物的对比集、100 个目标、250 局 GPT-5 游戏，产生 1,200 条部分轨迹；AR-BED_K 是 Gemma-4-E4B-it 策略，rollout 时域为 K，多步训练时 gamma=0.5。论文消融了直接非推理策略、错误指定的先验、实现奖励与期望奖励、以及多步目标。

• AR-BED1 在所有类别上取得最佳最终求解率，并在 Animals、Plants 和 Countries 上取得最高的每轮平均 EIG。 §5.1
• AR-BED1 每局比推理时的 BED-LLM 快得多，每步也比训练时的 ASIG 快得多。 §5.2
• 经过 Twenty Questions 训练后，医疗 AR-BED1 在留出的皮肤科病例和其他专科上提高了诊断准确率。 §5.4
• 将训练生成模型限制为 100 个哺乳动物，相比 100 个多样动物，会显著降低在动物目标上的信息获取。 §B.1
• 除 Celebrities 外，期望信息奖励通常相比实现奖励能改善信息获取。 §B.2
• 在 Cube-NM 中，两步策略学会选择一个最初无信息量的上下文测试，并在三次测试后超过一步策略。 §B.3.1

• 论文研究的是相对较短的 rollout 时域，并将扩展到具有可靠训练信号的更长时域留作未来工作（见第 6 节）。
• 当对比假设集相对于真实假设空间被错误指定时，性能对其覆盖范围敏感；其大小、组成和先验加权需要进一步研究（见第 6 节）。
• 评估重复使用不同的游戏目标顺序或解码种子，而不是独立训练种子，因此未估计不同训练运行之间的变异性（见第 C.1 节）。
• Cube-NM 结果是匹配的单训练种子结果，不是对跨训练运行变异性的估计（见第 B.3.1 节）。

• 训练时摊销将实验生成模型与策略解耦，因此信息目标在策略更新时保持固定。 §4.1
• 生成模型在固定有限对比集上使用均匀先验，并使用另一个更大的 LLM 作为有限结果空间上的语义似然评估器。 §4.1
• 期望信息奖励对假设和结果边缘化，在有限对比模型下等于一步 EIG，并在折扣的 K 步 rollout 上累积。 §4.2
• 仅在推理时加入推理会降低各类别求解率，并且只在 Countries 上提高平均 EIG；相反，AR-BED1 在所有类别上取得最佳最终求解率。 §5.1
• AR-BED1 在大多数领域优于 BED-LLM 和 ASIG，这归因于将信息增益目标摊销到推理中并使用外部生成模型。 §5.2
• 仅含哺乳动物的对比集会给出有缺陷的信号，例如“Is it a mammal”获得的 EIG 约为 0，并会损害非哺乳动物和哺乳动物上的性能。 §5.3.1
• 多步奖励在 Cube-NM 中学习到非短视的上下文获取，而 Twenty Questions 的增益较小，并集中在更长的评估时域上。 §5.3.3
• 在 Twenty Questions 上训练的策略可迁移到 MediQ 临床对话，在留出的皮肤科诊断和其他专科上提高准确率。 §5.4