Wave Forcing: Towards Speed-of-Light Streaming Video Generation

Wave Forcing 联合设计因果波前生成、三阶段训练和 Wave Runtime，在流水线填充后每个并发前向轮次流式输出一个 chunk，同时保留所有去噪更新。

现有按 chunk 自回归的方法将去噪与干净历史缓存刷新串行化，因此即使一步去噪也需要两次前向，顺序执行会得到 NF1C。更长的 rollout 可能降低质量并导致相机漂移。论文目标为 1F1C：在流水线填充后每个并发前向轮次完成一个 chunk，同时保留每一次去噪更新。

Wave Forcing 使用有界宽度因果波前：按 chunk 因果注意力允许较新、噪声更大的 chunk 在较早、更干净的 chunk 完成去噪之前读取它们，但反之不允许。去噪阶段和存储阶段被分配到完整模型副本上，形成流水线，在填充后每轮产出一个 chunk。训练分三阶段：混合噪声去噪；使用离策略 DMD 的教师引导运动监督；使用自生成历史的因果适配。WaveRT 通过按层提前发布 K/V、重叠通信与计算、将 K/V 写入分页注意力槽，以及在负载均衡 GPU 间流水线化 VAE 解码，实现 Wave Parallelism。

• 5-step 模型在 VBench Total 达到 81.64、Quality 达到 84.40，VBench-Long Quality 为 81.26。 §5.1
• Wave Forcing 将长视频 Dynamic Degree 提升至 91.45，Subject Preservation 提升至 97.10，同时 Camera Drift 为 0.37；Rolling Forcing 的 Dynamic Degree 为 36.63，Subject Preservation 为 92.75，Drift 为 0.17。 §5.1
• 在八块 H200 GPU 上，采用 BF16/FA3 的 4-step WF 达到 147.6 DiT FPS 和 134.8 端到端 FPS，相比 19.06-FPS 单 GPU 基线实现 7.07× 端到端加速。 §1
• 在六种模型规模上，采用 Sage+W8A8 的 WP 达到更快的 CP 基线吞吐量的 1.025–2.530×。 §5.5
• 在 14B 上，E2E 速率为 25.47、28.64、28.62 和 33.50 FPS，对比 5.51-FPS 单 GPU 参考；最佳相对增益为 1.3B 上的 7.07× 和 14B 上的 6.08×。 §5.3
• Sync-to-Paged 在 1.3B 上将 BF16 tick p50 从 91.96 ms 降至 78.88 ms（14.2%），在 14B 上从 464.27 ms 降至 413.80 ms（10.9%）。 §5.4

• 论文指出，评估仅在固定条件以及所测试的模型、采样和硬件配置下确立了流式生成（§7）。
• 新的 1.3B 和 14B 系统测试使用 dummy DiT 权重和真实权重 VAE 来评估执行成本，而非生成质量（§C.3）。
• 显式保留的视频上下文仅限于锚点和近期历史（§B.8）。
• 常驻启动器一次处理一个排队请求，且交互和世界模型扩展尚未使用 WF 进行评估（§B.3 和 §E）。

• WF 目标为 1F1C：在流水线填充后每个并发前向轮次完成一个 chunk，同时保留每一次去噪更新。 §1
• 按 chunk 因果注意力在每个 chunk 内保持全注意力，并让查询槽 s 当且仅当 j >= s 时看到 K/V 槽 j，即在自身与更干净前驱上的下三角掩码。 §3.1
• 每层上下文顺序为锚点、有界干净历史、实时存储，然后是按 j 递增且自身在前的去噪 K/V。 §3.1
• 训练使用混合噪声初始化、通过离策略 DMD 的教师引导运动监督，以及使用自生成历史的因果适配。 §3.2
• WaveRT 为每个去噪阶段和存储分配完整模型副本；GPU 分配对于 4 步 WaveRT 为 4+1+3，对于 5 步 WaveRT 为 5+1+2，均总计八块 GPU。 §B.1
• WaveRT 在 QKV 投影和 RoPE 后发布 K/V，并在注意力前立即检查就绪；仅当每条边满足 tau_e <= Delta_e 时，投递才被完全隐藏。 §4.2
• 分页投递将 K/V 直接写入有序注意力槽，并在使用前发出就绪信号，从而在固定本地条件下避免远程拼接。 §4.2
• VAE 解码与 DiT 重叠，并利用分析得到的流式时间在连续解码器分区之间均衡；第一个输出仍会产生流水线填充延迟。 §4.3