IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation

Shaohan Yu, Jie Qin, Wende Tan, Haiwen Diao, Limeng Qiao, Yueming Lyu et al.

2026-10-30▲ 14arXiv 2610.38425v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

IntReal 引入了一个真实世界交错数据集，以及一个由粗到细的专家模型评估套件，用于多模态交错生成。

要解决的问题

多模态交错生成尚未被充分探索，因为尚无定义良好的生成任务及相应训练数据。现有交错数据集主要面向多模态理解收集，缺乏面向生成的质量控制。现有基准通常使用 VLM 进行整体评估，未能在不同能力维度上提供细粒度评估。

方法

作者识别了四个真实世界交错生成场景，并将其组织为分类体系。他们对百万级原始池应用面向理解和面向生成的过滤，以构建 IntReal-100K。基于该数据集，他们通过自动过滤、人工整理和分层采样构建了一个 600 样本的评估集。该套件在两种设置下评估模型：完整交错响应的整体生成，以及以交错上下文为条件的下一图像生成。七个指标使用基于 LLM、VLM、IQA 和 DINO 的专家评估器来诊断不同能力。后训练实验在 IntReal-100K 上使用 SFT 和 Flow-GRPO。

实验结果

该评估套件报告了低指标冗余、与人类判断的高一致性，以及不同专家评估器之间的一致性。 §Abstract
对于 U1-8B-MoT，SFT 提升了 Text Richness、Text Logicality 和 Subject Consistency，但降低了 Image Aesthetic 和 Context Fidelity。 §4.3
在评估的开源 UMM 中，采用 SFT 和 RL 的 U1-8B-MoT 取得最高平均分。 §4
NanoBanana2 取得报告的最高平均分，并相对开源最佳结果有相对差异。 §4
IntReal-100K 包含 100K 个样本、538K 张图像和 146.6M 个文本词元。 §A.3

局限

论文指出，构建高质量真实世界交错数据需要激进过滤，且保留率相对较低。
论文指出，为保持实验设置干净，未探索使用单模态生成数据进行混合后训练，并将合成数据增强和混合数据后训练留作未来工作。
由于计算资源限制，仅报告 SenseNova-U1 的 8B-MoT 变体的微调结果。
并非所有模型的评估覆盖都完整：受上下文或内存限制以及 API 防护措施影响，Emu3.5 在 592 个样本上评估，NanoBanana2 在 598 个样本上评估。

要点

分类体系包含四个真实世界类别：规划、知识、教程和故事。 §2.1
数据整理采用多阶段流程：先用低成本视觉质量过滤器，再进行基于 VLM 的文本润色，同时保留事实内容。 §2.2
评估集包含 600 个样本，分层采样后每个类别 150 个样本。 §3.1
基准采用两种互补设置——整体评估和细粒度下一图像评估——并使用七个能力指标。 §3.2
RL 使用 10K 个带评分细则标注的高质量样本，并应用带有 IQA、DINO 和基于评分细则奖励的 Flow-GRPO。 §4.3
训练与评估严格不相交：后训练使用排除 600 个评估样本后剩余的 99.4K 个样本。 §4.1
可靠性分析考察低指标冗余、与人工标注的一致性，以及不同专家评估器之间的一致性。 §Abstract

思维导图

mindmap
  root["IntReal"]
    ["IntReal-100K 数据集"]
      ["四个类别"]
        ["规划"]
        ["知识"]
        ["教程"]
        ["故事"]
      ["数据整理流程"]
        ["视觉质量过滤"]
        ["VLM 文本润色"]
        ["跨模态对齐"]
      ["统计"]
        ["100K 样本"]
        ["538K 图像"]
        ["146.6M 文本词元"]
    ["评估套件"]
      ["600 个样本"]
        ["每类 150 个"]
      ["两种设置"]
        ["整体生成"]
        ["下一图像生成"]
      ["整体指标"]
        ["Text Richness"]
        ["Text Logicality"]
        ["Image Aesthetic"]
        ["Image Diversity"]
        ["Quantity Compliance"]
      ["细粒度指标"]
        ["Context Fidelity"]
        ["Subject Consistency"]
    ["实验"]
      ["四个 UMM 系列"]
      ["SFT 权衡"]
      ["Flow-GRPO 后训练"]
      ["NanoBanana2 闭源 API"]
    ["可靠性"]
      ["指标冗余低"]
      ["人类一致性 83.3%"]
      ["评估器一致性 rho 超过 0.9"]
    ["局限性"]
      ["数据保留率低"]
      ["未进行混合数据后训练"]
      ["仅微调 8B-MoT"]
      ["模型样本覆盖不完整"]