MoviEdit：轻松实现长格式多镜头视频编辑

MoviEdit 是一个用于长时多镜头视频编辑的端到端框架，结合了可扩展的配对数据生成、级联的双向–自回归编辑器以及专用基准。

长时多镜头视频编辑要求预期编辑在场景、视角和主体外观的镜头切换之间保持连贯，同时处理比单镜头编辑器长得多的视觉上下文。现有视频编辑方法仍主要针对短时单镜头视频设计。该论文指出了数据、建模和评估方面的耦合瓶颈：跨镜头配对监督在大规模上不存在，联合处理完整源视频和目标视频在计算上变得不可行，现有基准不评估跨镜头定位和一致性。

MoviEdit 构建了三条无需标注的数据生成流水线：像素对齐编辑、主体定位和半像素对齐编辑，生成具有跨镜头主体对应关系的配对多镜头编辑视频。像素对齐编辑将多镜头编辑分解为跨镜头的联合首帧图像网格编辑，以及使用首帧条件化的单镜头视频编辑器进行的镜头内时间传播。半像素对齐编辑通过共享逐镜头字幕和初始噪声来耦合源与目标生成，并采用任务特定的推理时交互和可选 ControlNet 条件。该模型使用共享权重的级联架构：轻量级双向 Draft Editor 在时空下采样的视频上执行全序列扩散，因果 Render Editor 以草稿为条件，在全分辨率下逐块自回归传播并精炼编辑。推理通过速度矩匹配蒸馏和 KV 缓存加速，并使用 MoviEdit-Bench 进行评估。

• 该数据流水线从 61,251 个原始片段构建了 87K 个配对多镜头编辑视频；详细表格报告了 540p、15s 和 24 fps 下 205,228 个原始配对和 86,619 个过滤后配对。 §4.1
• 质量过滤在两个阶段分别拒绝了多机位 17%/38% 和电影级像素对齐配对 32%/47%，以及 24% 的定位配对和 66% 的半像素对齐配对。 §3.1
• 在 MoviEdit-Bench 上的文本引导 V2V 编辑中，MoviEdit 的整体编辑成功率达到 0.790，而 Aleph 2.0 为 0.764，Wan-Edit 为 0.378。 §4.2
• 对于编辑帧引导的 IV2V 编辑，MoviEdit 在首帧子集上达到 0.803 的整体编辑成功率，在任意帧上达到 0.786，而 Aleph 2.0 分别为 0.806 和 0.781。 §4.2
• 在 8 块 H100 GPU 上、540p 和 361 帧时，去噪延迟从全时间注意力的 364.1 秒降至滑动窗口注意力的 258.9 秒、KV 缓存的 166.8 秒和蒸馏后的 11.8 秒，加速 30.9×。 §4.2
• 缩放训练时长或数据集规模都能持续提升性能；该研究变化了 17K 步计划的 0%、20%、40%、80% 和 100%，以及 87K 配对数据集的 0%、33% 和 100%。 §4.2

• 论文指出，在强身份歧义下，例如存在多个视觉相似主体时，目标定位可能失败，导致编辑被应用到错误目标。
• 论文指出，部分目标可见，例如仅身体部位或物体片段可见，可能使跨镜头关联困难，并导致不完整或不正确的编辑。
• MoviEdit 关注保留对应关系的编辑，即保留源运动和叙事结构；扩展到运动和叙事结构的自由形式变换被列为未来工作。
• 超出训练时长的结果是在 25 秒视频上的定性结果，且 MoviEdit-Bench 使用 64 个生成的源视频和 128 个编辑场景，更广泛的定量验证仍待进行。

• 三条无需标注的流水线提供监督：像素对齐编辑、主体定位和半像素对齐编辑，利用同步多机位素材、电影级片段和生成的多镜头内容。 §3.1
• 像素对齐编辑将所有镜头的首帧作为图像网格联合编辑，然后使用预训练的首帧条件化单镜头视频编辑器，在每个镜头内传播各自编辑后的首帧。 §3.1
• 半像素对齐编辑通过共享逐镜头字幕和初始噪声来耦合源与目标生成，使用分叉时间步进行角色外观变化，并使用 HED 或深度 ControlNet 条件进行环境和媒介变化。 §3.1
• 该级联架构在子采样序列上使用双向 Draft Editor（经验上 M=N/2）来建立全局编辑连贯性，随后使用因果 Render Editor，以草稿为条件处理全分辨率块。 §3.2
• Draft Editor 和 Render Editor 共享模型权重，并在注意力模式和时空分辨率上不同；训练对 Draft Editor 使用流匹配，对 Render Editor 使用因果扩散强制目标。 §3.2
• 推理优化使用非对称调度的速度矩匹配蒸馏，将 Draft Editor 蒸馏到 12 步、Render Editor 蒸馏到 4 步，并对可复用 token 使用 KV 缓存。 §3.3
• MoviEdit-Bench 包含 64 个生成的多镜头视频和 128 个编辑场景，覆盖八个类别，支持带首帧和非首帧参考以及局部和全局编辑的 V2V 和 IV2V。 §3.4
• 论文报告了对多参考帧编辑、视频集合到集合编辑以及超出训练时长的 25 秒输入（最多 17 个镜头）的泛化能力，尽管训练使用的是最长 15 秒的视频。 §4.2