Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities

Yunhang Shen, Zhangquan Chen, Xiaotian Li, Zhongpeng Cai, Qing Zhou, Zekai Zhang et al.

2026-10-30▲ 56arXiv 2610.39301v1 Hugging Face

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

Youtu-Parsing-Omni 是一个 5B 全模态解析器，使用一个共享的文本初始化编码器和一个统一 schema，将文档、图像、音频和视频转换为在空间和时间上定位的结构化记录，具有最先进的文档解析效果和领先的开放权重全模态解析结果。

要解决的问题

当前解析器仅部分覆盖文档、图像、音频和视频：文档解析器在标准页面上表现强，但符号内容大多留给领域专用模型；而全模态模型主要面向描述生成和问答，而非有定位的结构化输出。不同输入类型通常由不同模型以不同输出格式服务，尽管目标是结构化记录，其单元锚定在空间或时间中。构建单一解析器带来两个挑战：跨模态联合感知，而独立编码器隔离模态并独立索引时间；以及跨十个任务的联合优化，这些任务具有异构输出字段和评价标准。

方法

Youtu-Parsing-Omni 是一个仅解码器语言模型，由一个感知编码器 Youtu-Omni-Encoder 提供输入；该编码器对图像、音频和视频使用模态特定 stem 和 merger-projector 头，但共享 Transformer。视觉和声学 token 共享统一的时空位置编码，少量融合层让视频帧在感知内部的短视听窗口内关注并发音频。OmniSchema 将十个解析任务的输出统一为在空间或时间中锚定的元素或片段，外加全局描述。训练依次经过四个预训练阶段，然后进行用于 schema 序列化的 SFT、用于序列级优化的 schema 路由 RLVR，以及用于 token 自适应同策略蒸馏的 OSAD。OSAD 在模型自身 rollout 上训练，目标来自参考条件冻结副本的 token 级目标，该副本每轮用训练后权重刷新。

实验结果

在 OmniDocBench v1.6 上，Youtu-Parsing-Omni 取得最高 Overall 分数，同时在文本、公式和表格上与 TeleOCR 的差距保持在 0.21 分以内，并在表格上比 Youtu-Parsing 提升 4.8 TEDS、在公式上提升 3.2 CDM。 §5.2
在 OmniParsingBench 上，它以 75.08 Avg. 领先开放权重模型，并取得最佳总体图表分数 95.02；它超过 Logics-Parsing-Omni 的 72.26，并在音频达到 78.08、富文本视频达到 75.62。 §5.4
在 PureDocBench 上，它在端到端模型中拥有最高 Avg3，为 76.29，并在三个赛道中的每一个上比 Youtu-Parsing 提升约 8 分。 §5.3
在 ChemOCR 上，它达到精确指纹匹配 Tani@1.0 为 54.2，优于 DeepSeek-OCR 2 的 49.6；在 PDMX-Synth 上，它达到 CER 22.73，而 LEGATO 报告为 23.30。 §5.6
在无思考模式的 Video-MME-v2 上，它与 4B 思考模型的差距在 0.1 分以内，并在组分数和全部三个 level 上得分高于 Qwen3-Omni-30B-A3B-Instruct。 §5.5

局限

物理重新采集的文档输入仍是主要挑战；大多数系统表现出显著性能下降，表明真实世界采集造成的畸变和伪影仍然是文档解析的主要挑战。
添加一种模态仍需要新的 stem 和 projector，并在新输入上训练共享权重；该架构并未消除模态特定的输入适配。
RLVR 和 OSAD 仅从通过可解码性、载荷或准入检查的 rollout 中学习，因此很少产生良构解析的策略提供的有效学习信号很少。
OmniParsingBench 评估排除了相机视频子集和 136 个媒体不可用样本，剩余 3,738 个样本，因此结果不覆盖这些被排除的样本。

要点

单个共享编码器以共享权重读取每种模态；只有 stem 和 merger-projector 头是模态特定的，它们合计占编码器参数不到 3%。 §B.2.1
视觉和声学 token 共享一个时空位置编码，并在感知内部的融合层中交互；只有跨窗口依赖留给语言模型。 §1
OmniSchema 覆盖图像、音频和视频上的十个解析任务；每个元素或片段都由显式空间或时间锚点定位。 §3
预训练使用四个阶段，逐步扩展可训练参数、输入尺度、跨模态交互和输入扰动。 §4.1
SFT 建立 OmniSchema 序列化；schema 路由 RLVR 在策略自身的解析上优化，使用结合良构性和任务特定内容准确率的门控奖励。 §4.2.2
OSAD 使用 token 角色特定的散度，并在每个轮次边界用训练后权重刷新参考条件教师。 §4.2.3
编码器块从 Qwen3-0.6B-Base 初始化，不含其 embedding 层和 LM head；解码器保留 1D rotary positions，因为空间和时间结构已在编码器中解析。 §B.3
消融使用通用多模态数据且不使用解析数据，以研究文本初始化的统一编码器和共享权重。 §5.7

思维导图

mindmap
  root["Youtu-Parsing-Omni"]
    ["问题"]
      ["解析器覆盖不完整"]
      ["独立编码器隔离模态"]
      ["独立时间索引"]
      ["异构任务优化"]
    ["架构"]
      ["单一共享编码器"]
      ["轻量模态 stem 与投影头"]
      ["统一时空位置"]
      ["视听融合层"]
      ["文本初始化编码器"]
      ["解码器仅输出文本"]
    ["OmniSchema"]
      ["十个解析任务"]
      ["空间与时间锚点"]
      ["元素与片段"]
      ["全局描述"]
    ["训练"]
      ["四个预训练阶段"]
      ["SFT 用于 schema 格式"]
      ["Schema 路由 RLVR"]
      ["OSAD token 角色监督"]
      ["每轮刷新教师"]
    ["评估"]
      ["OmniDocBench Overall 96.96"]
      ["OmniParsingBench Avg 75.08"]
      ["PureDocBench Avg3 76.29"]
      ["ChemOCR Tani@1.0 54.2"]
      ["PDMX-Synth CER 22.73"]
      ["Video-MME-v2 基本保持"]
    ["局限"]
      ["重采集文档仍然困难"]
      ["新模态需新 stem"]
      ["OSAD 需准入 rollout"]
      ["相机视频子集被排除"]