LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data

LongZero 让 LLM 在零外部数据下改进长上下文推理：先编写结构化的问题-证据-答案规范，将其扩展为长多文档上下文，加入自写检索对话，并使用 GRPO 训练。

RL 可以增强长上下文推理，但需要长、多样、有挑战且可验证的训练数据。人工标注成本高，自然出现的长上下文 QA 数据稀缺，现有合成流水线依赖外部语料或更强的教师模型。现有零数据 RL 方法已在短上下文任务上有效，但尚未用于长上下文任务。

LongZero 使用策略模型合成两类具有可验证答案的长上下文任务。对于推理数据，模型先编写紧凑的虚构世界规范，其中包含多跳问题、支撑事实、答案和干扰项，然后将该计划扩展为不同体裁的长文档。对于检索数据，模型以 MRCR 风格格式为重复请求编写响应，程序将 needles 随机插入长对话，并将答案构造为前缀加目标响应。随后模型对每个推理问题多次作答，仅保留既得到正确答案又得到错误答案的问题，因为它们为 GRPO 提供非零学习信号。训练在推理问题与检索对话的 2:1 混合数据上使用 GRPO，采用 token 级策略梯度损失和 KL 惩罚。

• LongZero 在两个基座模型上取得最高平均分，并优于 Enhanced HotpotQA 上的 RL 和教师合成的 QA。 §5
• 对于 Qwen3-4B-Thinking-2507，69.3% 的过滤后问题始终正确，17.7% 不稳定并被保留，13.0% 始终错误；对于 Qwen3-8B，这些比例分别为 68.3%、13.1% 和 18.6%。 §3.1.3
• Qwen3-8B 保留的自身问题占比低于 Qwen3-4B-Thinking-2507，为 13.1% 对 17.7%，因此需要更多合成才能获得相同数量的数据。 §3.1.3
• 在 Qwen3-4B-Thinking-2507 LBv2 上，2:1 推理加检索混合总体得分为 43.34，而仅推理为 42.64，仅检索为 41.65。 §B
• 在 Qwen3-4B-Thinking-2507 LB1 上，2:1 推理加检索混合平均得分为 67.22，而仅推理为 67.04，仅检索为 64.51。 §B

• 难度过滤无法检测规范矛盾，只要模型有时会复现参考答案；论文中的 W81_Q1 案例进入了训练集，论文称在扩展前进行一致性检查会移除此类案例。
• 论文指出，结构化合成之后唯一剩余的出错风险在于扩展，并将更好的确保数据正确性的方法列为未来工作。
• 实验涵盖两个基座模型和五个基准；并非每个基准对 Qwen3-8B 都有提升，其 LBv2 得分为 32.01，而基座模型为 32.11，扩展到更大或更强模型仍待研究。

• LongZero 颠倒通常的生成顺序：模型在任何长文本存在之前，先将问题、证据和答案写成简短的结构化规范，因此答案在扩展前已固定。 §1
• 推理数据从虚构世界自顶向下构建：规范固定问题、支撑事实、答案和干扰事实，后续步骤将计划扩展为多个长文档。 §3.1.1
• 检索数据遵循 MRCR 格式，但使用策略模型自己的响应；程序在随机位置插入 N 个 needles，并要求返回以随机字符串为前缀的第 k 个 needle，从而使答案在构造上正确。 §3.1.2
• 难度过滤只保留模型有时答对、有时答错的不稳定问题带，因为始终正确或始终错误的问题不会给 GRPO 提供梯度。 §3.1.3
• 训练集使用 2,304 个推理问题和 1,152 个检索对话，以 2:1 混合；推理 token 数的中位数为 19.4K 和 14.6K，检索 token 数的中位数为 11.4K 和 11.1K。 §3.1.3
• LongZero 使用 GRPO 训练，采用组归一化结果奖励、遵循 DAPO 的 token 级策略梯度损失，以及对初始策略的逐 token KL 惩罚。 §3.2
• 论文报告称，增益可从虚构文档迁移到真实世界文档，并从短训练上下文迁移到长得多的输入，且两类数据互补。 §5