L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory

L3G-World 将在线更新的潜在 3D 高斯记忆与记忆条件化的视频 DiT 相结合，以实时生成空间一致的世界。

现有交互式世界模型要么保留时序上下文，其内存和注意力开销随流长度和分辨率增长；要么存储显式 3D 记忆。显式记忆面临权衡：前馈点云或高斯方法会累积稠密的逐像素基元，并随流长度增长，而基于优化的方法紧凑但缓慢。显式 3D 记忆还通过重新编码 RGB 渲染来条件化潜在视频生成器，这阻碍了实时生成。

L3G-World 使用由高斯和记忆 token 组成的潜在 3D 高斯记忆，并由 L3G-Mem 在线更新。L3G-Mem 将先前的记忆渲染到当前相机中，根据低不透明度或高 RGB 误差构建生成掩码，并通过对掩码内几何特征执行 K-means 来初始化生成查询 token。它检索可见高斯的 token 作为细化 token，用共享 transformer 处理生成 token 和细化 token，解码新高斯和残差更新，并保持未选中条目不变。每个高斯还存储一个 VAE 潜在特征；记忆通过 alpha 掩码直接渲染到 DiT 潜在空间。L3G-Gen 将这些渲染潜变量和掩码与带噪目标潜变量拼接，保持参考潜变量固定，并蒸馏为少步学生模型。两个模块自回归地交替，因此每个生成的块都会更新记忆，而更新后的记忆条件化下一个块。

• 在两个数据集上，与 NeoVerse 相比，L3G-World 使用远更少的高斯和更少的内存，同时渲染更快。 §4.2
• 与 Lyra 2.0 相比，L3G-World 以更少的内存和更高的 VAE 渲染吞吐量更快地执行记忆重建。 §4.2
• 在 DL3DV 上，L3G-World 在自一致性上取得最佳与次佳的 PSNR 和 LPIPS；L3G-World 获得最佳分数。 §4.2
• 在 RealEstate10K 上，L3G-World 取得最佳 PSNR 和 LPIPS，以及次佳 SSIM。 §4.2
• 少步变体可在单块 H100 GPU 上实现实时世界生成。 §1
• 完整的 L3G-Mem 在大多数 RGB 和 VAE 指标上取得最强的重建质量，同时保持紧凑的高斯记忆和相当的重建吞吐量。 §4.4

• 潜在 3D 高斯记忆主要面向静态场景设计，并不显式建模独立运动物体。
• 尽管记忆随已探索空间范围而非生成长度增长，但在极大规模探索下其大小仍可能增加；建议采用自适应剪枝或分层记忆表示。
• 细化机制可以逐步纠正不准确的高斯，但长时程自回归生成中引入的误差仍可能传播到后续记忆更新。
• 实验尚未覆盖在 DL3DV 和 RealEstate10K 之外、以及单图到视频设置之外的泛化能力。

• 记忆随场景范围而非流长度增长；L3G-Mem 仅在未覆盖区域生成，并细化现有高斯。 §3.1
• 生成掩码标记低不透明度或高 RGB 误差的像素；生成查询通过在掩码内对几何特征执行 K-means 初始化。 §3.2
• 细化会检索可见高斯的记忆 token，并原地应用残差更新；未选中条目保持不变。 §3.2
• 每个高斯存储一个 VAE 潜在特征，因此记忆直接渲染到 DiT 潜在空间，无需 VAE 重编码。 §3.2
• L3G-Gen 将渲染的记忆潜变量和 alpha 掩码与带噪目标潜变量拼接，并保持参考潜变量固定。 §3.3
• 采用 AnyFlow 的 on-policy 蒸馏，将教师模型蒸馏为少步自回归学生模型。 §3.3
• L3G-Mem 在 K=5 个连续块上训练，并通过先前记忆使用停止梯度。 §B.1