Rust in Everything
← 论文速递

WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video

Chenyu Mu, Wenming Weng, Qinrui Wang, Xingsong Ye, Hao Yu, Jun He et al.

2026-10-30▲ 14arXiv 2610.38352v1Hugging Face代码

本页由 AI 根据论文全文生成(deepseek-flash),可能有误,请以原文为准。

一句话

WeVisCut 连接一个有状态脚本到视频智能体 harness、一个从成片恢复可执行监督的四阶段流水线,以及一个单一 9B 策略;该策略经 SFT、运行时验证的 RFT、Guided-OPD 和 RCF-DAPO 训练,并在 100 任务基准上用五项指标评估。

要解决的问题

现有智能体编辑器常通过通用模型驱动的多阶段工作流来协调长视频脚本到视频制作,尚不清楚如何训练一个紧凑的任务适配策略,在质量与 token 成本之间取得平衡。成片缺少可执行监督所需的工具调用、中间产物和失败记录。因此挑战在于连接有状态执行、可执行监督与策略学习。

方法

WeVisCut harness 维护共享制作状态,并在编排器、生成器和评论器角色间使用同一策略,具备类型化工具契约、运行时验证、阻塞项、检查、有界修复和验证交付。一个四阶段数据流水线对 3,750 个成片视频项目执行编辑反演、验证重放、观察–反思–修复和轨迹物化,产出 134,771 个角色特定示例。共享 Qwen3.5-9B 策略首先用统一 SFT 和运行时验证的拒绝采样微调训练。第 2 阶段应用 Guided-OPD,教师干预概率 beta_n 降至零,因此训练结束时由学生控制执行。第 3 阶段应用 RCF-DAPO,将奖励比较限制在匹配角色和制作上下文内。

实验结果

  • 在共享工具环境中,WeVisCut 相对其 Qwen3.5-9B 初始化提升 Overall Score,并在五项指标上均有增益;SCF 和 VNSM 分别提高 18.6 和 15.4 分。 §6.2
  • WeVisCut 的 Overall Score 接近 Claude Opus 5,在四项指标上均值更高,VNSM 略低,同时每个成功输出分钟的生成 token 数远少于 Claude Opus 5,也少于其基础策略。 §6.2
  • 在相同 100 个任务的 native-workflow 比较中,WeVisCut 在五项指标上均值最高,且每个成功输出分钟的墙钟时间和估计金钱成本低于 Crayotter 和 VideoAgent。 §6.3
  • 累积训练阶段从基础策略经 SFT、RFT、Guided-OPD 和 RCF-DAPO 提升 Overall Score;仅 SFT 就将 ERY 从 70.4 提高到 87.6。 §6.4
  • 盲评人类评估中,WeVisCut 在全部六个维度上平均评分最高,总体偏好为 4.56,而 Crayotter 为 3.48、VideoAgent 为 3.46;最大提升在叙事连贯性。 §6.5

局限

  • 论文指出 WeVisCut 受当前 HyperFrames 模板库限制,因此不常见视觉语言可能用最接近的可用结构、运动和风格来近似。
  • 论文指出数据集和项目不相交划分无法覆盖所有领域、编辑惯例、运行时或素材分布,验证重放仅在注册运行时内保证可执行性。
  • 论文指出长视频质量取决于视频检索器稳定性,尤其是指令型检索。
  • 论文指出 VNSM 依赖 VLM,证据隔离、冻结锚点、一致性报告和人工校准无法消除评判偏差或服务漂移。

要点

  • 单一共享参数策略服务于编排器、生成器和评论器角色,每次调用以任务、角色、制作状态、历史和工具 schema 为条件。 §3.1
  • 运行时检查参数 schema、产物引用和执行前置条件;只有验证通过的结果才提交,被拒绝的调用返回类型化阻塞项。 §3.2
  • 质量检查结合结构化检查与对 spotlight 渲染的 VLM-Judge,有界修复保留仍有效的产物,因此修正装饰无需重新生成未变的旁白音频。 §3.2
  • 可执行监督通过编辑反演、验证重放、观察–反思–修复和轨迹物化构建。 §4.1
  • 角色特定示例监督工具选择与参数、生成内容和评论器决策;损失仅作用于模型生成的 token,且按源项目划分。 §4.2
  • Guided-OPD 以概率 beta_n 选择教师输出,否则选择学生输出,在两个分支上训练学生,并将 beta_n 降至零,使训练结束时由学生控制执行。 §5.2
  • RCF-DAPO 仅在同一角色和匹配的制作上下文内比较候选输出,使用角色特定奖励以及 DAPO 的 Clip-Higher 和软超长整形。 §5.3
  • 基准包含 100 个留出脚本到视频任务;五项指标位于 [0,100],Overall Score 为其等权均值,Production Cost Efficiency 单独报告。 §6.1

思维导图

mindmap
  root["WeVisCut"]
    ["智能体 harness"]
      ["共享制作状态"]
      ["角色 O G C"]
      ["验证工具调用"]
      ["有界修复"]
      ["验证交付"]
    ["数据流水线"]
      ["编辑反演"]
      ["验证重放"]
      ["观察反思修复"]
      ["轨迹物化"]
      ["134,771 个示例"]
    ["训练"]
      ["统一 SFT"]
      ["运行时验证 RFT"]
      ["Guided-OPD"]
      ["RCF-DAPO"]
    ["评估"]
      ["100 个任务"]
      ["五项指标"]
      ["策略比较"]
      ["原生系统比较"]
      ["人类评估"]
    ["发现"]
      ["Overall 90.5 对 74.5"]
      ["每分钟 2,377 tokens"]
      ["人类偏好 4.56"]
    ["局限"]
      ["模板库覆盖"]
      ["领域与运行时覆盖"]
      ["检索器稳定性"]
      ["VLM 评判偏差"]