YANAMI：面向多轮状态化交互的大规模多模态数据集与基准

YANAMI 提出 400K 对话多模态数据集与 400 对话基准，用于多轮有状态交互；模型需跟踪、更新并视觉实现演化中的对话状态。

现有统一多模态数据集和基准主要由单轮任务主导。许多近期多轮数据集中的轮次可独立求解，无需跨轮跟踪信息。这为多模态有状态交互提供的监督和评测有限，而该交互需要理解、维护、更新并忠实实现不断演化的对话状态。

作者构建了 YANAMI-400K，这是一个包含 400K 多轮多模态对话的数据集，覆盖四个场景（多图融合、图像编辑、世界建模、视觉推理），含超过 200 万张图像和 260 万对话轮次。每个对话包含六种状态管理能力，包括指代消解、上下文检索、一致性维护、约束保持和基于纠正的状态更新。数据流程采用模型辅助过滤、对话构建、自动验证和人工验证。YANAMI-Bench 包含 400 条多轮对话，并使用 VLM-as-a-Judge 框架评估对话状态理解与视觉实现。作者在 YANAMI-400K 上微调 BAGEL，并在生成、编辑、理解和有状态交互基准上评估。

• YANAMI-400K 包含 400K 多轮多模态对话、超过 200 万张图像和 260 万对话轮次。 §Abstract
• 在 YANAMI-400K 上微调 BAGEL 可按所述百分比提升图像编辑、生成和多模态有状态交互，同时保持通用视觉理解。 §Abstract
• 在 YANAMI-Bench 上，现有 UMM 和开源图像编辑模型的最佳平均分分别为 67.41 和 67.30，而 GPT-Image-2 和 Nano Banana 2 分别达到 83.05 和 80.93。 §4.1
• 微调后的 BAGEL 平均 DSU 得分达到 95.69，而 BAGEL 为 81.44，Show-o2 为 67.94。 §4.1
• 在 GT-History 下，BAGEL、FLUX.2 和 InternVL-U 在首个与最后一个图像生成轮次之间分别下降 2%、6% 和 6%。 §4.1
• Qwen-3.8-Flash-Next 与人工评分的相关性始终超过 0.80。 §4.3

• 论文指出，YANAMI 目前聚焦四个代表性交互场景和六项核心状态管理能力，未来扩展可能纳入更多应用领域、语言、模态和更长交互时程。
• 论文指出，在受控评测之外补充更广泛的交互研究将很有价值。
• 论文在 BAGEL 上评估训练收益，并指出考察 YANAMI-400K 在更多统一多模态模型架构上的收益将很有价值。

• YANAMI 由用于训练的 YANAMI-400K 和用于评测多模态有状态交互的 YANAMI-Bench 组成。 §1
• 四个交互场景为多图融合、图像编辑、世界建模和视觉推理。 §3.1
• 六项状态管理能力为指代消解、上下文检索、一致性维护、空间与物理一致性、约束保持和基于纠正的状态更新。 §1
• YANAMI-Bench 在指代消解、上下文检索、约束跟踪和纠正更新上评估对话状态理解，并通过视觉质量和状态一致性评估视觉实现。 §3.2
• 该基准在 LLM 辅助下构建，随后进行人工验证；SHA-256 哈希确认 YANAMI-Bench 与 YANAMI-400K 之间没有完全重复的图像。 §3.1
• 对于同时具备理解与生成能力的模型，得分按对话状态理解、状态一致性和视觉质量以 4:4:2 加权；对于不具备理解能力的模型，按 6:4 加权。 §B.3
• 主评测使用 GT-History；Self-History 则使用前几轮由模型生成的图像作为后续视觉上下文。 §4.1
• YANAMI-400K 中的每个对话至少涉及六项能力中的四项，需要联合触发多条跨轮依赖。 §A.3