Video Generation Meets Agent Harness: Agentic Video Generation, Agentic World Modeling and Recursive Self-Improvement

本文将视频生成置于智能体执行框架的视角下，该框架协调制作、世界模型交互以及面向递归自我改进的开发。

视频生成器能够产出越来越逼真、可控的片段，但仅靠生成器并不能组织完成视频任务所需的各项决策：一份简述必须转化为连贯镜头，参考必须在场景间保持，生成的条次必须被检查，编辑必须保留正确内容。交互式视频还必须支持基于观察的持续动作，而不仅是完成后的片段。论文指出，看似合理的素材仍可能违反叙事要求或未能实现预期动作，因此仅靠质量分数很少能指明下一步该做什么。

本文是一篇综述/报告，以智能体执行框架作为跨制作、交互和模型开发的分析单元。它定义了一个通用的智能体执行框架执行循环，并将其应用于按工作流功能组织的智能体视频生成，以及按执行框架介入接口组织的世界模型交互。它考察了由引擎或由编程智能体编写的程序持有世界状态、而视频模型负责渲染的设计。它将当前输出的修订与执行框架状态、生成器参数和评估器的更新区分开，也与产生后续更新的流程变更区分开。它识别出改进可重新进入视频开发的四条通道，并以评估要求和开放挑战作结。

• 报告围绕三个方向组织：智能体视频生成、智能体世界建模和递归自我改进。 §Abstract
• 本文的贡献有三方面：以执行框架为中心的分析框架、关于改进的论述，以及评估要求与开放问题。 §1.2
• 本文把当前输出的修订与执行框架状态、生成器参数和评估器的更新区分开，也与开发流程的变更区分开。 §1.2
• 本文识别出改进可重新进入视频开发的四条通道。 §1.2
• 尚无被综述的系统会修订训练和验证生成器的流程。 §1.2

• 论文指出，尚无被综述的系统会修订训练和验证生成器的流程。
• 论文留下一个开放问题：构建和更新可复用知识的机制本身能否改进。
• 论文指出，执行框架的修订必须在给定资源约束下保留，并在后续任务或改进轮次中独立评估；这并不使每个执行框架都具备自我改进能力。

• 智能体执行框架是模型周围的可执行运行时，负责构造上下文、暴露工具、维护状态、路由反馈，并强制执行权限与预算。 §1.1
• 智能体视频生成是一种系统级视角，而非新的生成器架构；智能体围绕合成或预测转场做出关键选择。 §1.1
• 反馈在不同时间尺度上改变不同对象，包括当前产物、后续任务以及更晚的模型版本。 §1.1
• 该综述连接三个问题：面向制作的执行框架组织、面向世界模型交互的执行框架支持，以及迈向 RSI 的进程。 §1.2
• 在智能体世界建模中，执行框架中介观察、控制、执行和状态，包括由引擎或编程智能体程序持有世界状态、而视频模型负责渲染的设计。 §Abstract
• 本文把当前输出的修订与执行框架状态、生成器参数、评估器以及产生后续更新的流程的更新区分开。 §1.2
• 论文列出的开放挑战包括自主视频制作、终身记忆、可编程混合控制、自主模型开发、来源与成本核算，以及将视频质量和任务表现与持续改进联系起来的评估。 §Abstract
• 本文的区分点在于，将视频生成器周围的执行框架作为跨制作、交互和开发的分析单元。 §1.2