MUON-RT：复用教师轨迹的无动量 Muon 用于 LLM 自蒸馏

Muon-RT 复用 EMA 教师的位移来在自蒸馏中移除 Muon 动量缓冲区，从而降低持久内存并相比 AdamW 和动量 Muon 提升准确率。

基于 EMA 的自蒸馏优化需要学生和教师参数以及优化器状态。Muon 为每个隐藏权重矩阵存储一个动量缓冲区，因此在有 EMA 教师时，每个隐藏矩阵需要三个持久状态，而 AdamW 需要四个（包括两个矩缓冲区）。论文提出的问题是：教师已有的参数轨迹能否替代 Muon 的动量缓冲区，以降低持久内存并提升任务准确率。

Muon-RT 用教师–学生位移替代每个隐藏权重矩阵的 Muon 动量缓冲区。它移除位移中平行于学生权重的分量，用幂迭代估计其最大奇异值，并对剩余部分进行谱归一化。当前梯度通过 Newton–Schulz 正交化且不使用动量，正交化后用一个小固定系数混合两个方向。每个矩阵仅保留一个幂迭代向量用于热启动，而不是额外的矩阵大小持久状态。该方法适用于已存在参数对齐 EMA 教师的情形，包括 SDFT 和 SDPO。

• 在 Qwen2.5-7B-Instruct 上使用 SDFT 时，Muon-RT 相比 AdamW 将平均准确率提升 2.6 个点，同时持久内存少 42%；相比动量 Muon 提升 5.4 个点，同时持久内存少 27%。 §Abstract
• 在 Olmo-3-7B-Instruct 上使用 SDPO 时，Muon-RT 相比 AdamW 将平均准确率提升 2.0 个点。 §Abstract
• Muon-RT 在工具使用上达到 74.2%，在科学上达到 71.8%，而使用 AdamW 的 SDFT 分别为 70.6% 和 70.2%，并且相比无动量 Muon 分别提升 5.1 和 2.8 个点。 §4.2
• 每 GPU 实测持久内存为 Muon-RT 37.7 GB，比使用标准动量的 Muon 少 13.9 GB，比 AdamW 少 26.8 GB。 §4.4
• 在 Olmo-3-7B-Instruct 上使用 SDPO 时，Muon-RT 平均比 AdamW 高 2.0 个点；在 1 小时后其优势为 0.7–1.1 个点，在 5 小时后为 2.4–3.7 个点，并且 5 小时后在 Materials 上达到 82.8%。 §4.3
• 在 10T 参数下，Muon-RT 需要 121 TB，比使用动量的 Muon 或 MuonClip 少 25%，比 AdamW 少 40%。 §4.4

• 实验覆盖来自 2 个家族的 7B 参数模型和 4 个任务；更大模型和更多领域留待未来工作。
• 收敛分析依赖平滑性、PL 和对齐假设，其常数未针对 LLM 估计。
• Muon-RT 适用于已存在参数对齐 EMA 教师的情形；仅为替代动量而保留教师并不能节省内存。
• 引理 2 在 α=0 时精确，否则为小 α 近似；由于操作是非线性的，方差因子对于最终归一化方向并非精确缩减。

• 展开 EMA 更新表明，教师–学生位移是已应用更新方向的折扣历史，而不是原始梯度。 §3.1
• 在局部固定方向和时间不相关噪声下，教师位移的均值按 1−τ^s 缩放，方差最多按因子 (1−τ)/(1+τ) 降低。 §3.4
• Muon-RT 在不使用动量时正交化当前梯度，移除位移的径向分量，对剩余部分进行谱归一化，并在 Newton–Schulz 后混合两个方向。 §1
• Muon-RT 将矩阵大小的持久张量从 4 个减少到 3 个，并且每个矩阵仅保留一个长度为 B 的幂迭代向量用于热启动。 §3.3
• 命题 1 表明 Newton–Schulz 极方向对当前梯度是最优的，因此教师分支只能增加时间信息。 §A.1
• 教师权重 α=0.1 在两个 SDFT 任务上均最佳，并在 SDPO 中保持不变使用。 §A.11
• 此设置下不需要 QK-Clip，且与 Muon-RT 一起使用有害；对于 AdamW、Muon 和 Muon-RT，logits 保持在基值的 ±1% 以内。 §A.8