A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement

A-RSI 利用训练日志中的奖励变化和准确率信号来决定何时替换由程序化生成的多模态任务池，并在不使用外部训练样本或人工答案标签的情况下，在十一个基准测试套件上报告了提升。

递归自我改进要求模型判断当前训练经验何时已不再有用，而不仅仅是决定接下来生成什么经验。现有方法可能会在已经衰退的任务池上继续投入更新，或者刷新过于频繁，而且许多方法使用自一致性或多数投票，使监督依赖于模型不确定的预测。本文将刷新时机与答案正确性分离：训练动态决定何时抽取新经验，而新任务应具有可独立核验的答案。

训练前，A-RSI 使用固定的模型编写程序库来实例化多模态任务；每个程序采样参数并生成图像、问题和由程序计算的答案，同时进行准入、新鲜度和污染检查。Solver 使用 GRPO 训练，采用正确性、格式和停止奖励，并且只更新 Solver 策略。控制器计算 U_w（已记录提示中组内优势非零的数量）和准确率 a_w，然后当 n_w 至少为 n_min，且 U_w 相对于滞后值低于保留阈值或准确率上升超过阈值时进行刷新。一次刷新会在固定任务族配额下用未使用任务替换整个活动池，同时保留模型权重；失败窗口会从前一个检查点重试一次，第二次失败则停止。控制器不参考验证或测试分数。

• 在主要十一基准测试套件上，A-RSI 使用 800 个新任务将 Qwen 的性能平均值从初始化后检查点提升到后续结果。 §Abstract
• 在同一十一基准测试协议下，A-RSI 使用 800 个新任务得分为 61.05，而 every-window 刷新使用 3,200 个任务得分为 60.64。 §1
• 在匹配的第六个延续窗口，A-RSI 得分为 60.40，而在旧任务池上继续训练得分为 58.35。 §5.3
• 在 S32 时，A-RSI 比 Periodic 高 +1.15 分，比 Continuous 高 +0.40 分，同时引入的新任务更少。 §6.1
• 在 MiMo 上，random-refresh 端点为 60.71，而继续复用为 60.01，相差 +0.70 分，并且比 every-window 和 periodic 刷新分别高 +0.02 和 +0.18。 §10
• 对 1,000 个生成任务的独立审计报告答案完全一致。 §16

• 每个实验组仅训练一次；主比较跨越八个延续窗口且没有 16k 评估，小分数差异缺乏显著性检验，并且 No-Refresh 在 S31 停止，导致预先注册的 S32 端点未被观测（第 31 节）。
• 第一个刷新点使用现有日志设定；在没有固定三窗口调度下的 random-refresh 对照时，依赖历史的时机贡献仍与使用新任务的作用纠缠在一起（第 31 节）。
• MiMo 在一次运行中 fresh-versus-retained 端点差异为正，但相对 Continuous 和 Periodic 的领先幅度较小，并且其任务池是在 Qwen 的难度前沿选择的，限制了对跨模型家族迁移的结论（第 31 节）。
• 固定的程序化库涵盖几何、图表、表格和计数，但省略了函数绘图、数值估计和空间任务；任务族占比和 19 个主题词参考了评估基准，且初始池还包含模型重写的问题（第 31 节）。

• 任务模板在训练前固定，并从同一采样配置生成图像、问题和参考答案；学习器仅接收图像和问题。 §3.1
• 奖励结合答案正确性、要求的 boxed-answer 格式，以及一个停止项：正常完成且最终答案为 boxed-answer 时为 0，否则为 -1。 §3.2
• 刷新决策监控 U_w（已记录提示中组内优势非零的计数）和准确率 a_w，并使用最小观察期以及固定滞后和阈值。 §3.3
• 一次刷新在固定任务族配额下无放回地抽取未使用任务，并保留最新被接受的模型权重；替换后池内窗口计数重置。 §3.4
• 在 Qwen 运行中，组优势非零的任务在三个窗口内从 239 降到 195，得到 .816 并触发替换；准确率条件从未单独触发。 §5.3
• Failure-prioritized、learnable-band 和 always-wrong 替换选择分别落后 every-window 随机对照 -2.63、-1.90 和 -2.40 分。 §6.2
• 在 MiMo 上，初始池的优势计数从 245 降到 153，第一次替换从 199 降到 143，保留率分别为 62.45% 和 71.86%；第二个池保留 98.68%，因此被保留。 §6.3