VidUEU-Agent：面向多模态理解、编辑与统一任务的数据整理智能体

VidUEU-Agent 是一个自动化智能体流水线，可将原始视频转换为 100K 多模态指令样本，并在微调后提升理解、编辑和统一基准分数。

多模态学习受限于高质量指令数据的稀缺性和高标注成本。原始视频丰富且动态，但冗余、噪声大且缺乏结构，不能直接提供面向任务的指令数据。对于统一多模态模型，仍缺乏一种可扩展且可复现的范式，在最小化人工标注成本的同时生成高质量指令数据。

VidUEU-Agent 遵循四阶段流水线：全局感知、关键帧挖掘、元数据构建和指令数据构建。全局感知检测镜头，构建镜头/章节/视频摘要，并应用 Gate A 去除低质量镜头。关键帧挖掘采样帧，应用 Gate B 过滤，规划工具，对帧评分，并使用加权设施选址贪心选择。元数据构建过滤绑定到关键帧的信号，并绑定关键帧、字幕、工具信号、转场和片段摘要。指令构建应用 Gate C，将元数据路由到理解、编辑或统一任务，并使用要求引用信号 ID 的模板。智能体利用下游训练结果自主迭代数据分布，最终 100K 数据集根据 Iteration 4 的目标分布扩展。

• 在理解子集上微调 InternVL3-8B 将 MME 提升至 2369.3、MMDU 提升至 61.1，在两个基准上均取得所有对比模型中的最佳结果。 §4.2
• 对于 Bagel，微调提升了所有报告的理解分数，并取得最佳 MMT-Bench 分数，从 0.645 提升到 0.651。 §4.2
• 在编辑子集上微调 Bagel 提升了所有 GEdit-Bench 指标，G_SC 达到 7.565、G_PQ 达到 7.328、G_O 达到 6.951，为所有对比模型中的最佳结果。 §4.3
• 在统一子集上微调 Bagel 将 WEAVEbench Overall 从 0.446 提升至 0.501，Logic 达到 0.480，Game 达到 0.419。 §4.4
• 自主迭代呈现上升趋势，Final 达到 MMDU 33.0、GEdit 7.065、WEAVE 0.526，而 Iteration 1 的值为 29.7、6.541 和 0.448。 §4.6
• 在消融中，no-agent 变体下降最多，降至 MMDU 22.0、GEdit 5.041、WEAVE 0.393，而 Ours 为 33.2、6.951 和 0.501。 §4.7

• 论文指出，VidUEU-Agent 未显式构建纯文生图生成数据，因为孤立的文本-图像对齐更适合直接策展的图像数据。
• 论文指出，数据集被扩展到 100K 指令样本，与网络规模的多模态语料库相比仍然有限。
• 对于统一任务，论文报告长交错图文链仍然具有挑战性，因为早期错误可能传播到后续轮次。
• 消融中每种能力使用 10K 样本训练，而完整参考在 Final 100K 子集上使用分别训练的 Bagel 模型；论文将严格预算匹配的评估留待未来研究。

• VidUEU-Agent 是一个自动化数据合成框架，利用智能体规划和工具使用将原始视频转换为用于理解、编辑和统一任务的多模态指令数据。 §3.1
• 阶段 1 使用 PySceneDetect 进行镜头检测，生成镜头级、章节级和视频级摘要，并应用 Gate A 去除低质量镜头。 §3.1.1
• 阶段 2 应用 Gate B 帧过滤、分层工具规划、帧评分和加权设施选址贪心选择来选择关键帧。 §3.1.2
• 阶段 3 对绑定到关键帧的多模态信号执行专门检查，并构建包含字幕、转场和片段摘要的元数据。 §3.1.3
• 阶段 4 应用 Gate C 质量过滤和任务路由，然后匹配指令模板，并要求引用信号 ID 以保证可追溯性。 §3.1.4
• 自主迭代每次迭代在 30K 样本上训练，利用基准反馈更新目标分布，并根据 Iteration 4 的分布扩展最终 100K。 §3.1.5
• VidUEU-100K 包含 40K 理解样本、30K 编辑样本、30K 统一样本和 20k 细粒度元数据，由 8,268 个原始源视频构建。 §3.2
• 工具池包括 PaddleOCR、Whisper ASR、Ultralytics YOLOv8、RAFT 光流和 OmniParser。 §B.1