Recursa：迈向递归自我改进的基础模型系统

Recursa 无需人类专家或更强的教师模型，即可将基础模型系统适配到新领域：先从领域材料中引导构建包含指令、技能和记忆的知识库，再通过并行多智能体递归自我改进对其进行精炼，使 Harvey LAB's Firm Knowledge benchmark 上的 all-pass rate 在使用 DeepSeek-V4.1-Flash 时从 30.0% 提升到 55.0%，在使用 Qwen3.8-Flash 时从 35.0% 提升到 46.0%。

基础模型在不断变化的环境中会遇到不熟悉的领域知识，但新领域很少提供大量由专家创建的训练数据，或可用于进一步训练的可靠监督。论文将基础模型系统学习表述为改进一个由模型、指令、技能、记忆和 harness 组成的系统，该系统必须弥合两个差距：知识差距（缺少事实、术语或关于材料所在位置的知识）和行为差距（拥有信息但错误地应用）。法律和金融等知识密集型领域使这一点更难，因为知识分散且缺乏统一组织，行为期望高度局部化，而且正确性难以自动验证。现有方法只学习系统的一部分，且大多数在编程、数学和游戏上评估，往往依赖更强的模型来驱动学习。

Recursa 在共享 harness 上使用两种智能体角色：求解器使用当前可学习组件 K 执行领域任务，并返回答案及执行轨迹；学习器检查答案、轨迹和反馈，以制定并验证修订，可选地将学习分解到子学习器并合并其结果。harness 让模型以代码方式行动：模型编写 Python 动作并在持久化 REPL 中执行，工具作为可调用函数加载，子智能体可被调用以进行隔离的并行工作，完整交互历史保存在可从代码查询的仅追加事件日志中，因此只有选定的证据进入上下文。知识库（指令、技能和记忆）从领域语料中引导构建：建立导航结构，并在基于材料生成的自我练习任务上练习，同时用稀疏指导（如偏好、示例评分标准或已知失败模式）引导生成和评估。随后递归自我改进在训练任务上调用 Learn(D, K)：叶学习器循环执行 Solve（并行求解器）、Diagnose、Edit 和 Validate，仅当编辑修复失败且不引起回归时保留该编辑；分裂学习器将任务划分为子集，向子学习器并行发出学习任务，合并其修订，并将其学习轨迹反思到记忆中。本文只学习知识库；harness 和基础模型保持固定。

• Recursa 在两种求解器下均提升了留出测试任务上的 all-pass rate，且没有更强模型对其进行修订。 §Abstract
• 仅使用 harness 而不进行学习，就优于已发布的基础智能体以及最高准确率的研究配置。 §6
• 引导构建产生 14 项技能，并将交互轮次和输入 token 减少约五分之一到四分之一，同时略微提升 all-pass rate，且平均标准通过率保持不变。 §6.3
• 使用 DeepSeek-V4.1-Flash 时，多学习器组件 K^(2) 将训练 all-pass 从引导构建后的水平提升到 48.7%，并将测试 all-pass 从 33.0% 提升到 55.0%，比未学习的智能体高 25 个百分点。 §6.4
• 使用 Qwen3.8-Flash 时，合并组件 K^(1) 将训练 all-pass 从 37.3% 提升到 47.3%，并将测试 all-pass 从 34.0% 提升到 46.0%，比未学习的智能体高 11 个百分点。 §6.4
• 基准环境和评分标准修订范围以定量方式描述。 §6.1

• 论文指出，性能依赖于领域特定语料的质量和可用性，这些语料在某些领域可能有限或不可用；用于大语言模型推理和训练的大量计算资源也可能限制可及性（§8）。
• 论文指出，错误或有偏差的数据以及底层模型的缺陷会在学习过程中传播，且有效性取决于底层模型的能力；未研究模型局限性的影响（§8）。
• 论文指出，实验集中于有限的一组领域，可能无法涵盖所有可能领域中的性能；由于本文只学习知识库，将递归自我改进扩展到基础模型和 harness 留作持续/未来工作（§2.2、§7、§8）。
• 论文指出，Recursa 自主探索软件环境、执行程序并将观察到的信息保留在记忆中，带来隐私和安全风险；实验在受控沙箱中运行，除用于推理和训练的受控通道外无网络访问（§8）。

• 学习必须弥合知识差距（缺少领域事实、术语或关于材料所在位置的知识）和行为差距（拥有信息但错误地应用）。 §1
• 两个阶段：先从领域材料和自我练习任务进行引导构建，再基于训练任务、执行轨迹和可用反馈进行递归自我改进。 §1
• harness 在持久化 REPL 中执行模型编写的 Python，因此工具可通过循环、条件语句和函数组合，中间结果保留在变量而不是上下文中。 §3.1
• 完整交互历史保存在模型上下文之外的持久化仅追加事件日志中，并由代码检索；上下文只保存最近历史以及可检索范围的淘汰索引。 §3.2
• 多智能体编排让智能体派发子智能体并行处理工作负载的各个部分，并合并其发现。 §3.3
• 叶学习器循环执行 Solve、Diagnose、Edit 和 Validate，仅当编辑修复失败且不引起回归时保留该编辑；当没有编辑能改善结果或预算耗尽时停止。 §5.1
• 学习得到的判断在两个测试任务上得到说明：按含义搜索将法律概念映射到可能表述（Exclusivity、No Solicitation），并按实质判断候选；决定什么属于范围时，使用委托记录先界定范围，再检查和解。 §6.5
• 30 个任务中的 46 条标准与任务陈述或源文档冲突；修订仅更改标准文本，保留任务陈述、标准 ID、标准数量以及其他 220 个任务不变。 §6.1