Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers

Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu

2026-10-30▲ 32arXiv 2610.40647v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

SpecSlot 将固定 token 预算拆分为空间锚点和频谱槽，并仅让每个锚点中径向频率最低的槽通过全局块，从而将输出细节与全局注意力解耦。

要解决的问题

像素空间生成 Transformer 将全分辨率图像表示为 patch token，因此 patch 网格同时决定输入读取方式、输出细节以及全局注意力中的 token 数量。更细的细节会使注意力成本按二次方增长：在 256x256 图像上，将 patch 大小从 16x16 减小到 8x8，会使 token 数从 256 增至 1,024，并使稠密注意力的二次项增大 16 倍。现有像素空间方法会压缩或限制通信，但在很大程度上仍将输出细节绑定到空间 patch 网格。

方法

SpecSlot 使用共享的像素空间 rectified-flow 目标，并用 W 个空间锚点替代 patch 网格，每个锚点扩展为 K 个带索引的槽，因此 N=WK。Read 提取不重叠的 sxs 输入单元，将其投影为锚点向量，施加残差 depthwise 输入混合器，并将每个锚点扩展为 K 个隐藏槽状态。Allocate 为每个槽分配一组互不相交的径向 DCT 系数，并解码 lapped-DCT 频谱基加上锚点对齐的空间校正。Route 仅将槽 0（最低频组的拥有者）送入全局块，而所有 K 个槽在各自锚点内进行局部混合；global-global-local-local 块重复三次。在 ImageNet-256 上，W=256、K=4 时，全局序列包含 W+C=288 个 token，而不是 WK+C=1,056。

实验结果

在 ImageNet-256 上，SpecSlot W256/K4 相比 JiT-B/16 有所提升，并且相比 JiT-B/8 少用 40.9% FLOPs，而 JiT-B/8 仍是质量领先者。 §4.2 ImageNet Results
在 ImageNet-512 上，SpecSlot W256/K4 相比 JiT-CM 将 FID 降低 2.84，同时 GFLOPs 少 3.9%；在成本低 38.2% 的情况下，FID 落后 JiT-B/16 0.69。 §4.2 ImageNet Results
在文本到图像生成中，SpecSlot 在 DPG-Bench 上以 40.6% 更低的前向成本超过 JiT-B/8 1.06，得分为 62.21 对 61.15。 §4.3 Text-to-Image Generation
在固定 W256/K4/B1536 时，GGLL 达到 FID 6.59，而 FLOPs 匹配的 Dense-global-CM 对照为 6.81，并节省 42.8% 的全全局注意力成本。 §5.1.3 Carrier Routing
将全局载体从槽 0 改为槽 1、2 或 3，会使 FID 从 6.59 分别升至 6.91、7.21 或 6.97。 §6.2 Carrier Identity and Routed Communication
在固定 W=256 时，熵有效槽占比从 K=2 的 0.803 降至 K=8 的 0.495，而最后一次将 K 翻倍仅换来 0.31 FID 的改善。 §5.1.1 Anchor Density and Coefficient Subdivision

局限

在 ImageNet-512 上，这两个工作点与锚点内部分配相一致，但仅凭它们无法单独确定相对 JiT-CM 更大优势的原因（见 §4.2）。
偏好更多空间锚点而非更大 K 的趋势仅在已测试的 N=2,048 配置范围内测得；论文明确不声称该趋势能推广到该范围之外（见 §5.1.1）。
增加频谱槽会带来收益递减：熵有效槽占比从 K=2 的 0.803 降至 K=8 的 0.495，且论文不保证每个新增槽贡献相同信息（见 §5.1.1 和 §E.2）。
文本到图像表格报告 SpecSlot 的 GenEval 为 26.99，而 JiT-B/8 为 29.78，论文未分析这一较低的 GenEval 结果；文本到图像评估在 256x256 下进行（见 §4.3）。

要点

Token 数按 N=WK 拆分：W 决定锚点密度，K 决定频谱细分，因此全局序列可保持在 W 个载体。 §3.2 SpecSlot Architecture
仅被分配最低径向组的槽 0 进入全局块；在重复三次的 GGLL 调度下，所有 K 个槽在各自锚点内混合。 §3.2.3 Route: Carrier and Local Attention
在 ImageNet-256 上，s=16、K=4 时，全局序列包含 W+C=288 个 token，而不是 WK+C=1,056。 §3.2.3 Route: Carrier and Local Attention
全局二次成本随 W 增长，而非随 WK 增长：GGLL 的二次项为 6(W+C)^2 d + 6WK^2 d，而全全局为 12(WK+C)^2 d。 §3.2.3 Route: Carrier and Local Attention
在已测试的 N=2,048 配置内，将拆分偏向更多锚点会单调降低 FID，而增大 K 则收益递减；论文不声称该规律能推广到测量范围之外。 §5.1.1 Anchor Density and Coefficient Subdivision
在相同频谱输出下，空间输入优于频率输入，双基混合达到 FID 6.59，比最佳单基变体的 6.99 低 0.40。 §5.1.2 Input and Output Representations
GGLL 比 FLOPs 匹配的 Dense-global-CM 对照更好且更快；全全局注意力达到更低 FID，但成本高 74.8% 且吞吐更低。 §5.1.3 Carrier Routing
最低径向载体的分配很重要：用其他槽替换槽 0 在所有情况下都会提高平均 FID，并且该频带最早越过 DNR=1。 §6.2 Carrier Identity and Routed Communication

思维导图

mindmap
  root["SpecSlot"]
    ["问题"]
      ["Patch 网格耦合细节与全局成本"]
      ["更细细节使注意力二次增长"]
      ["现有方法仍耦合输出与通信"]
    ["分配"]
      ["N 等于 W 乘 K"]
      ["W 决定锚点密度"]
      ["K 决定频谱细分"]
      ["每个槽拥有一个径向 DCT 组"]
      ["全局序列保持 W 个载体"]
    ["路由"]
      ["槽 0 是全局载体"]
      ["所有槽在锚点内混合"]
      ["GGLL 重复三次"]
      ["类别上下文仅在全局组"]
    ["输出"]
      ["Lapped-DCT 频谱基"]
      ["锚点对齐的空间校正"]
      ["像素空间 rectified-flow 损失"]
    ["结果"]
      ["ImageNet-256 K4 比 JiT-B/8 少 40.9% FLOPs"]
      ["ImageNet-512 K4 比 JiT-CM 低 2.84 FID"]
      ["DPG-Bench 62.21 对 61.15，成本低 40.6%"]
      ["GGLL 在相近 FLOPs 下优于 dense-global 对照"]
    ["分析"]
      ["空间校正补充后期高频细节"]
      ["最低径向载体身份很重要"]
      ["有效槽占比随 K 增大而下降"]
      ["在测试 N 范围内偏好更多锚点"]