Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning

论文提出 ReGap-Bench，这是一个配对基准：固定场景、问题和答案，仅改变视觉参考；发现任务匹配的参考可将多模态推理提升至多 25%，而不匹配的参考收益很小甚至有害。

多模态大语言模型能识别视觉内容，但在多步推理中失败，这类失败常被归因于感知。论文认为缺失的能力是参考鸿沟：语言推理没有稳定绑定到相关视觉实体、区域或位置。先前工作要么训练模型输出坐标，要么同时改变图像和提示，因此没有隔离参考本身，也没有测试任务需要哪种参考。ReGap-Bench 被提出以固定场景、问题和答案，仅改变参考。

ReGap-Bench 将普通图像与从同一场景生成的一个或多个参考版本配对，覆盖五个任务：形状计数、角度排序、大小排序、时钟排序和变换预测。每个任务有 200 个场景。参考包括编号、阴影和网格线；每种条件满足内容保持、答案不变性和无答案泄漏。参考的效果用 delta(c)=Acc(c)-Acc(c0) 衡量。论文评估五个 MLLMs 和六个从 2B 到 235B 的 Qwen3-VL Thinking 模型，使用 exact match 和排序任务的 pairwise accuracy。它还将参考打包为免训练视觉技能，并在 BenchFlow 下用 Codex GPT-5.5 智能体在 100 个 CartoMapQA 任务上测试。

• 任务匹配的参考提升了全部五个任务的准确率；编号在形状计数上带来最高 17.5% 的提升，在时钟排序上带来 25% 的提升。 §1
• 在形状计数中，编号平均提升准确率 11.3%，而阴影仅提升 1.7%，网格线则使准确率下降 4.1%；论文以此论证增益并非仅来自添加的标记。 §4.2
• 时钟排序的平均准确率随着表盘编号变得更完整而上升：无数字时为 23.9%，两个数字时为 25.3%，四个数字时为 31.8%，全部十二个数字时为 38.0%。 §4.3
• 在形状计数上，六个参数从 2B 到 235B 的 Qwen3-VL Thinking 模型中，编号优势范围为 9.0% 到 23.5%，且并非单调下降。 §4.4
• 在 100 个 CartoMapQA 任务中，智能体在 57 个任务上绘制覆盖层；编号任务从 63.7 升至 70.1，网格线任务从 92.5 升至 96.7，阴影任务从 33.3 升至 66.7。 §5

• 该基准涵盖五个任务和三种参考支架；其他视觉流程、任务和参考类型未测试（未覆盖 §3 和 §3.1 的范围）。
• 所有 ReGap-Bench 场景均由 Python 和 Pillow 以固定种子生成；在自然或非合成图像上的性能未测试（未覆盖附录 B）。
• 模型规模分析仅在形状计数上评估六个 Qwen3-VL Thinking 模型，因此未测试规模对其余四个任务的影响（未覆盖 §4.4）。
• 视觉技能评估使用 Codex GPT-5.5 在 BenchFlow 下的 100 个 CartoMapQA 任务；未测试迁移到其他智能体或数据集（未覆盖 §5）。

• 参考鸿沟定义为无法在语言与相关视觉实体、区域或位置之间保持稳定联系；它不同于感知失败。 §2.1
• 提出编号以支持标记和索引，阴影以支持有界激活，网格线以支持系统性焦点转移和边界追踪。 §2.2
• 配对设计固定场景、问题和答案，仅改变参考，并满足内容保持、答案不变性和无答案泄漏。 §2.3
• 五个任务及其匹配支架包括：编号用于形状计数和时钟排序，阴影用于角度排序和大小排序，网格用于大小排序和变换预测。 §3.1
• 基准包含 1,000 个场景和 3,800 张图像，每个任务 200 个场景。 §B.1
• 论文评估五个 MLLMs 以及六个从 2B 到 235B 的 Qwen3-VL 模型；exact match 是主要指标，排序任务额外使用 pairwise accuracy。 §3.2
• 一种免训练视觉技能让智能体在图像副本上选择并绘制参考，并在 CartoMapQA 上测试。 §5