视频生成背后：来自 Kling 的多模态理解观察与洞见

本文报告了Kling的经验：视频生成质量是多模态理解在数据、条件、对齐和评估链路上的投影。

视频生成已从孤立片段转向连贯的短视频音视频序列，因此瓶颈正从渲染转向语义控制。通用多模态基准只覆盖生成所需的一部分能力，例如镜头语言、空间关系、身份绑定和密集时间变化。生成失败可能源于字幕、条件表示、奖励模型或评估器，因此单一聚合分数不是诊断。

本文将共享多模态基础模型Kling-MLLM专门化为字幕器、提示增强模型、文本编码器、奖励模型和自动评估器。字幕被视为语义契约，通过多专家流水线构建，蒸馏为单遍学生模型，并在下游验证。参考锚定字幕增加作用域绑定、残差充分性和权威一致性，并使用任意相似视频对进行关系监督。提示增强结合从优质字幕反向构建、文本级强化学习、DiT-in-the-loop强化学习，以及智能体式故事精炼与检索。文本编码器在序列级筛选，针对感知进行适配，并赋予多粒度稳定条件；奖励建模将通用奖励模型与决策奖励模型配对。

• 在字幕基准上，Kling-Captioner-397B-A17B取得VidCapBench accuracy 21.70、precision 60.51、coverage 96.05，以及UGC-VideoCap average 95.50，领先所比较的基线。 §3.5
• Kling-RGC-397B-A17B以78.89和76.29领先ViDiC difference和similarity字幕任务，并取得MRVBench keypoint coverage 86.12、VQA 95.18和Ref-Bind 94.85。 §4.6
• 在累积提示增强实验中，加入DiT-in-the-loop RL后达到StoryEval 76.46、T2AV-Compass 75.91、AVE-Compass 59.3和MultiRef-Compass 4.7163。 §5.5
• 相对于Qwen基线，具备多模态适配、多粒度条件和条件稳定性的Kling-MLLM文本编码器总体得分为1.27，指令遵循为1.14，美学为1.25。 §6.5
• DRM在内部成对基准上取得macro accuracy 77.86和micro accuracy 75.53，并在VideoScore-Bench-v2上得分52.00、VideoPhy2-test上44.23、VideoGen-RewardBench上57.33。 §7.3

• DiT-in-the-loop RL提高了下限但降低上限：PE学会回避复杂编排、大范围镜头运动和密集交互，如何奖励雄心而不重新引入伪影仍待解决。
• 字幕在有限上下文下的动态细节捕捉、长格式密度与指代一致性，以及更强的音视频对齐（包括说话人-话语关联）方面仍待解决。
• 智能体式PE扩展，如工具调用、低分辨率预览、3D预可视化和生成后验证，仍在进行中，延迟和成本是主要瓶颈。
• 真实请求通常给出参考和简短指令，而没有完整绑定结构或参考范围，将其转化为作用域化、残差充分、权威一致的字幕分布仍是挑战。

• 核心论点是：视频生成质量是多模态理解贯穿数据-条件-对齐-评估全链路的投影，因此失败症状本身不是诊断。 §1
• Kling-MLLM包含密集27B变体以及MoE变体35B-A3B和397B-A17B，并在单一自回归接口中统一图像、视频、音频、同步音视频和交错媒体。 §2.2
• 字幕语义契约列出与生成相关的信息族，并要求一致实体命名、镜头时间戳、忠实可见文本转写和时间整合音频等约定。 §3.1
• 监督由多专家流水线生成，包含检查、证据保留、路由专家主张、冲突解决和合取质量门控，然后蒸馏为可部署的单遍学生模型。 §3.2
• 参考锚定字幕依赖作用域绑定、残差充分性和权威一致性，以防止属性误用、目标欠指定和跨模态冲突。 §4.2
• 提示增强分为基础PE和智能体式PE：基础PE掌握字幕方言，智能体式PE执行故事精炼并检索优质视频字幕，再由基础PE写出最终条件。 §5.4
• 文本编码器筛选应探查序列级prefill隐藏状态，而不是通用QA或检索代理指标，因为DiT消费完整序列表示。 §6.1
• 奖励建模将可解释、局部化的GRM与快速多维DRM配对，并将感知带宽视为一等设计参数。 §7.1