Solv3R：作为多视图求解器的 3D 循环 Transformer

Solv3R 是一种循环 Transformer，具有一个平稳的学习几何更新算子，可从当前状态继续进行多视图重建，适用于离线、增量、重定位和流式设置。

大多数几何基础模型在单次前向传播中预测完整几何，或随着帧顺序到达更新循环状态，使扩展和细化并非易事。传统前馈 GFM 使用连续的逐层特定变换，将中间表示与层深绑定。DéjàView 共享 Transformer 权重，但将每次更新以细化步为条件，因此一次应用无法联合更新已获得不同迭代次数的视图，且精度超出其训练范围后会下降。

Solv3R 将多视图重建重新表述为学习得到的平稳几何求解器。它用作用于多视图状态的学习算子 Tθ 替代经典更新，并在每次求解器调用时注入初始图像编码，使用一个在调用间共享且具有逐帧注意力和全局注意力的 Transformer 块。它从预训练的 DéjàView 微调而来，将步条件门替换为学习到的常量门，并将更新后的状态重新缩放到固定 RMS norm。该算子在已接受不同求解器调用次数的状态以及扰动状态上训练，以满足稳定性、校正性和延续性。训练采样 4–64 个视图，先进行 16–40 次无梯度求解器调用，再进行 8 次可微调用，并以概率 0.15 应用特征噪声或视图重置。

• 在相同的 16 次调用预算下，Solv3R 保持与 DéjàView 相当的精度；采用 γ=0.02 且最多 64 次调用的自适应停止，平均增加 3–4 次求解器调用即可改善几乎所有重建指标。 §5.1
• 在增量重建中，对四个视图进行八次调用求解并引入十二个额外视图后，Solv3R 重建新视图，同时改善原始视图的相机估计，而 DéjàView 无法保持一致的重建；从 8 个视图扩展到 64 个视图与从头重新求解相当，但求解器调用更少且总运行时间更低。 §5.2
• 通过在所有求解器调用间复用单个已求解地图的 KV 缓存，Solv3R 在 7-Scenes 和 Cambridge 上取得最高的 localization recall，且缓存存储低于逐层或阶段特定的替代方案。 §5.3
• 无需流式专用训练或单独优化后端，Solv3R 在相机位姿、视频深度和 3D 重建上报告了有竞争力的流式结果，并给出每帧运行时间和峰值 GPU 内存。 §5.4
• 消融实验表明，输入注入、状态归一化和随机深度预调用对长时程稳定性至关重要；而去除扰动训练大体上保持长时程精度，但会降低拼接和缓存上下文推理性能；最终 Solv3R 在 16 次调用时达到 pose accuracy 77.2，在 128 次调用时达到 79.1，在 1024 次调用时达到 78.8。 §5.5
• Solv3R 中的全局注意力头在第 16 次调用后仍保持 correspondence accuracy，其在第 64 次调用时的注意力图仍接近第 16 次调用；而 DéjàView 的头会丢失对应关系，到第 64 次调用时降至 3% 以下。 §C.3

• §C.5 指出：求解器有时可能停在次优解；满足停止准则的 144 个窗口中有 143 个停在低于 5° rotation error 处，剩余一个在视图组之间重叠很少的窗口被置于错误的位置和朝向，并一直保持到第 64 次调用。
• §5 指出：训练计算量很大，在 8 × H100 GPU 上约需一周。
• 实验未考察重定位中对检索的敏感性：§5.3 使用现成的图像检索模型，并为每个查询选择最近的 10 个地图视图，但主论文未分析检索失败。
• §5.4 指出：为公平比较，流式预测在帧到达时报告，尽管传入帧在留在活动窗口期间会获得进一步细化，因此报告数值并不反映最终细化状态。

• Solv3R 学习从当前状态继续求解多视图几何，其更新算子与迭代次数无关。 §Abstract
• DéjàView 共享一个 Transformer 块，但将每次更新以迭代索引 τk 为条件，使状态与其计算时的迭代绑定。 §3.1
• 平稳求解器具有稳定性、校正性和延续性；Solv3R 训练其学习算子以满足这些性质。 §3.2
• Solv3R 在每次求解器调用时注入初始图像编码，并使用一个在求解器调用间共享的 Transformer 块。 §3.3
• 平稳性通过将步条件门替换为学习到的常量门，并将更新后的状态重新缩放到固定 RMS norm 来获得。 §3.3
• 训练采样 4–64 个视图，先进行 16–40 次无梯度求解器调用，再进行 8 次可微调用，并以概率 0.15 应用特征噪声或视图重置。 §5
• 单个已求解地图的 KV 缓存可在所有 Solv3R 求解器调用间复用，这不同于逐层或阶段特定的缓存。 §5.3
• 流式处理使用锚点视图和热启动的传入视图，并与近期观测联合细化；当出现不一致时，可重新激活冻结的 KV 缓存视图。 §5.4