From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings

本文认为，跨模态的嵌入研究正收敛于共享原则，并提出了从变换与对齐到联合全模态嵌入的路线图，以覆盖度、可比性和组合性进行分级。

嵌入研究按模态分裂，社区、综述和评估实践彼此分离。本文认为这种碎片化掩盖了由对比学习、Transformer 和粒度转变驱动的更深层收敛。它提出一个横跨各模态的框架和全模态嵌入路线图，而非特定模态的综述。

本文是一篇立场论文与综述。它定义了五个组件的模态无关解剖结构，并区分输入数据单元与输出表示对象。它用交集、差异和复用视角来审视对比式、重建式和生成混合式目标；Transformer 与替代架构；以及粒度转变。它将统一组织为变换、对齐和联合嵌入，并以覆盖度、可比性和组合性分级。随后讨论模态特定属性、交叉借鉴和统一评估。

• 三条路径依次满足 3C 能力：变换拓宽覆盖度，对齐实现可比性，联合嵌入旨在实现组合性。 §1.4
• LETS-C 将每个序列序列化以供通用文本嵌入模型使用，并通过逐元素相加将该嵌入与预处理后的数值序列融合，在十个数据集的 UEA 基准上优于 27 个基线。 §6.2
• Glyph 将长上下文渲染为图像，其视觉 token 数比原始文本 token 少 3–4 ×。 §6.1
• DeepSeek-OCR 在可用的 OCR 准确率下将光学压缩推进到超过 10 ×。 §6.1

• 附录 B.3 指出，基于短语的 arXiv 查询会排除相邻术语，因此计数是所关注家族的下界。
• 附录 B.3 指出，标题级匹配会使样本偏向在标题中表明主题的工作，而使用嵌入但未在名称中点明的方法学工作则不可见。
• 附录 B.3 指出，这些计数衡量注意力所在之处、场所仍有多孤立以及哪个角落增长最快，而不衡量嵌入是否保留互补信息、建模跨模态交互或改进下游推理。
• 第 6.2 节未回答 LETS-C 的文本嵌入本身，而非融合后的原始序列，是否匹配专门构建的架构。

• 本文认为碎片化出现在研究、综述和评估中。 §1
• 四个收敛趋势是对比学习、作为通用编码器的 Transformer、预训练–微调范式以及粒度转变。 §1.3
• 3C 视角按覆盖度、可比性和组合性对系统分级。 §1.4
• 嵌入模型可以分解为五个反复出现的组件，这些组件按角色而非实现来定义。 §2.1
• 数据单元是输入原子，而表示对象是下游使用者所使用的输出原子。 §2.2
• 变换通过渲染、序列化或离散 token 提供跨模态覆盖，但会丢失原生结构。 §6.3
• 对齐获得可比性，但无法获得组合性，且已对齐的模态仍表现出模态差距。 §7.3
• 联合嵌入被认为是一个通用框架，通过让模态在模型内部交互来统一并超越对齐。 §8.2