Rust in Everything
← 论文速递

Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang

2026-10-30▲ 91arXiv 2610.36671v1Hugging Face代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

LOWN 使用廉价的 TEXT-ONLY 前向来认证最新的图像条件预测，仅当认证前缀过短时才运行图像条件 FULL 前向，在 35.3% 的解码 FLOPs 下保留 LLaDA-V 99.6% 的分数。

要解决的问题

扩散视觉语言模型在每个去噪步骤都处理整个输入，而在所研究的基准上，视觉 token 占 LLaDA-V 输入的 89–97%，因此大部分解码计算会重复处理未变化的图像。视觉 token 剪枝会移除一些视觉 token，但会丢失它们的信息，并且仍在每一步处理剩余图像。现有的缓存和少步方法没有询问当前步骤是否需要图像。

方法

LOWN 将最新图像条件 FULL 前向的 top-1 预测和置信度存储为锚点。在每个步骤中，它运行廉价的 TEXT-ONLY 前向，按锚点置信度降序排列被掩码的位置，并在 TEXT-ONLY top-1 与锚点一致时认证候选。最长的按置信度排序的认证前缀为 U_text；当其长度至少为 k 时，该步骤跳过 FULL 前向，并将整个前缀解掩码为锚点预测。当前缀短于 k 时，LOWN 运行 FULL 前向，替换锚点，并按分歧优先顺序解掩码 k 个位置。该方法不使用训练或任务特定阈值，也不改变模型参数或注意力模式。

实验结果

  • 无需训练或调优阈值，LOWN 在十个基准上以一小部分解码 FLOPs 保留了 LLaDA-V 的大部分分数。 §Abstract
  • 成对的 FULL 和 TEXT-ONLY 前向在大多数解掩码决策上以及在解掩码前的大多数最终 token 上一致，而图像平均在少数步骤上改变了解掩码决策。 §3.2
  • 依赖图像的步骤占比在不同基准之间差异很大，从 MMBench 到 DocVQA。 §3.2
  • 在 LLaDA-V 上，独立的 LOWN 在 0.353 倍基线 FLOPs 下保持 99.6% 的平均归一化分数，而采用 50% 保留率的 RedVTP 的 LOWN 在 0.223 倍基线 FLOPs 下保持 98.3%。 §5.2
  • 与固定和随机图像访问调度相比，LOWN 在可比 FLOPs 下在 MathVista 上得分更高：LOWN 在 0.325 下得到 56.00，Period 4 在 0.321 下得到 52.00，Random 在 0.349 下得到 53.40。 §5.3
  • 同一规则可迁移到 LaViDa，其中 LOWN 在 0.174 倍 FLOPs 下保留了基线平均值的 99.7%。 §E.3

局限

  • 在一个 DocVQA 表格问题上，LOWN 在 15 个步骤中的 14 个步骤运行 FULL 前向，成本为基线 FLOPs 的 0.90 倍，而整个基准为 0.45 倍；论文将其作为节省最少的案例。
  • 视频评估使用受控协议：128-token 响应、128 个基线扩散步骤、块长度 32 和 32 帧，这与 VidLaDA 发布的 64 帧、两 token 评估不同。
  • FLOPs 核算仅计算矩阵乘法，并排除视觉编码器，后者会在十个基准上增加基线解码成本的 0.16–1.89%，同时也不包括非 matmul 操作。
  • TEXT-ONLY 接受并非完全可靠：一次新的 FULL 前向会推翻 LOWN 在 TEXT-ONLY 步骤上解掩码的 2.2–4.7% 的 token。

要点

  • 视觉 token 在基准上占 LLaDA-V 输入的 89–97%，而没有它们的单次前向成本仅为其 3–10%。 §1
  • 该测量在同一个部分掩码响应上同时运行 TEXT-ONLY 和 FULL，保留非视觉 token 的位置 ID，并仅让 FULL 前向决定轨迹。 §A.1
  • 平均而言，83.4% 的解掩码决策在 FULL 和 TEXT-ONLY 之间一致，85.0% 的最终 token 在解掩码前已经是 top-1，依赖图像的步骤平均为 22.8%。 §3.2
  • 依赖图像的步骤在十个基准中的八个上集中在早期，但并非普遍存在且随任务变化，这促使采用自适应而非固定的图像访问。 §3.2
  • LOWN 以最新 FULL top-1 预测和置信度为锚点，通过 TEXT-ONLY 一致性认证候选，并使用最长认证前缀设置接受长度。 §4.1
  • 如果认证前缀至少有 k 个 token，LOWN 跳过 FULL 前向并解掩码整个前缀；否则运行 FULL 并按分歧优先顺序解掩码 k 个位置。 §4.2
  • 成本模型为 R = f + sigma rho：认证降低 FULL 前向频率，整前缀接受可减少步骤数，而视觉剪枝只改变 FULL 前向项。 §4.3
  • LLaDA-V 结果显示，在 0.353 倍 FLOPs 下平均归一化分数为 99.6%，而采用 50% 保留率的 RedVTP 的 LOWN 在 0.223 倍 FLOPs 下给出 98.3%。 §5.2

思维导图

mindmap
  root["LOWN"]
    ["动机"]
      ["视觉 token 主导输入"]
      ["图像需求不均匀"]
      ["固定调度匹配不佳"]
    ["认证方法"]
      ["最新 FULL 锚点"]
      ["TEXT-ONLY 一致性认证"]
      ["前缀长度决定解掩码数"]
      ["短前缀触发 FULL"]
    ["成本模型"]
      ["R = f + sigma rho"]
      ["剪枝组合"]
    ["结果"]
      ["35.3% FLOPs 下 99.6% 得分"]
      ["可与剪枝和 KV cache 组合"]
      ["迁移到 LaViDa 和 VidLaDA"]
    ["局限"]
      ["部分 DocVQA 输入常需图像"]
      ["视频协议与发布版不同"]
      ["FLOPs 未计视觉编码器"]