面向组合图像检索的因子化 MLLM 嵌入

FactEmbed 通过目标想象、因子级匹配和注意力蒸馏训练因子化 MLLM 隐变量，将组合查询理解与嵌入学习解耦，然后用均值池化隐变量进行重排。

组合图像检索在给定参考图像和修改文本的情况下检索目标图像。近期 MLLM 方法通过对比微调，将组合查询和目标压缩为单个嵌入，通常取自最终 EOS token。这种直接映射没有为 MLLM 提供显式信号，使其在形成判别性嵌入之前解析所请求的视觉编辑。论文认为，因此 MLLM 的组合理解仍未得到充分利用。

FactEmbed 在查询序列和目标序列的 EOS token 前均前置 K 个可学习的因子化隐变量，并将其用作信息瓶颈。一个轻量解码器接在 MLLM 中间层，在粗粒度目标布局先验条件下从这些隐变量重建目标 patch 特征，并在空间位置上生成归一化的 alpha 掩码。隐变量通过使用 Sinkhorn 最优传输的因子级 InfoNCE 进行检索对齐，而 EOS 隐藏状态作为全局嵌入用实例级 InfoNCE 优化。解码器的 alpha 掩码通过 KL 散度蒸馏到更深层隐变量的注意力中。训练分阶段进行：仅重建预热，然后使用 DoRA 和完整目标联合训练 MLLM、隐变量和解码器，最后用 MLLM 增强的三元组做后训练。推理时，EOS 检索候选，均值池化隐变量对 top-100 候选列表重排。

• FactEmbed 在 Refined-CIRR 上相较于 CSMCIR 和 ReCALL 提升 Recall@1，并在 Refined-FashionIQ 上相较于相同基线提升平均 Recall@10，提升幅度为所述百分比。 §4.1
• 在 CIRR 测试集上，FactEmbed 报告 Recall@1 56.60、Recall@5 84.87、Recall@10 91.78、子集 Recall@1 81.86 和 Avg 83.37。 §4.1
• 在 Refined-CIRR 上，FactEmbed 报告 Recall@1 68.99、子集 Recall@1 87.45 和 Avg 78.22；在 Refined-FashionIQ 上报告平均 Recall@10 71.13 和平均 Recall@50 86.41。 §4.1
• 高效重排将相对于 Full Factor 的 R@1 差距缩小到 0.24 和 0.21，同时每张图库图像仅使用两个向量。 §4.2
• 后训练后的完整模型在 CIRR 和 Refined-CIRR 上的 R@1 分别超过后训练基线 2.91 和 2.57，在 FashionIQ 和 Refined-FashionIQ 上的 R@10 分别超过 2.87 和 2.37。 §4.3
• 将骨干从 Qwen2.5-VL-7B 改为 Qwen3-VL-8B 后，在 CIRR 测试集上 R@1 提升 2.65 个点，而 ReCALL 对相同转变报告为 1.60 个点。 §4.4

• 固定的 K 忽略了输入复杂度，因为没有显式监督指定语义因子的数量；查询自适应隐变量以及跨不同集合大小的匹配方案仍属未来工作。
• 全因子检索获得更高准确率，但为高效重排对隐变量做均值池化会有一部分细粒度信息未被利用。
• 评估仅限于 CIRR 和 FashionIQ，因此其作为统一多模态检索器的泛化性仍需进一步验证。
• 对比式描述生成仅以原始目标为条件重写每个描述，而不是在同一查询的多个难负例之间进行；随着挖掘出更多难负例，同源难负例可能重叠并引入假负例。

• 一组可学习的因子化隐变量被前置在查询序列和目标序列的 EOS token 之前；这些隐变量通过因果注意力与多模态输入交互，并充当信息瓶颈。 §3.1
• 目标想象使用一个轻量解码器，该解码器带有一个自注意力层和 3 层 MLP，接在 MLLM 中间层，用于从隐变量重建目标 patch 表示。 §3.1
• 解码器为每个隐变量预测空间 logits 和重建特征；在隐变量维度上做 softmax 得到 alpha 掩码，重建结果是掩码加权和，并以目标特征为监督用 MSE 约束。 §3.1
• 因子级匹配在成对余弦相似度上使用 Sinkhorn 最优传输，对隐变量应用 InfoNCE；实例级匹配则对 EOS 全局嵌入应用相同的对比损失。 §3.2
• KL 蒸馏损失使因子化隐变量的更深层注意力分布与解码器的空间 alpha 掩码对齐；空间蒸馏损失仅在目标侧前向传播中定义。 §3.2
• 训练采用分阶段策略：Stage 1 仅优化重建以预热隐变量和解码器；Stage 2 使用 DoRA 和完整目标训练 MLLM 骨干；后训练加入 MLLM 增强的三元组。 §3.3
• 实现细节设置 K=8 个隐变量、2x2 目标布局先验、解码器层 ℓ=14，并从顶部第三层进行蒸馏，损失系数为 λ_imag=1.0 和 λ_distill=0.5。 §4
• 多样性分析报告，完整方法在实例内隐变量相似度上低于仅用因子级 InfoNCE 训练的隐变量，包括移除原型之后。 §B