CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models

Yingzhuo Deng, Chong Li, Bingxin Liu, Yi Shu, Tianyu Peng, Can Xie et al.

2026-10-30▲ 11arXiv 2610.21143v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

CoSTA 通过用 BPE 压缩的语音单元扩展生成词表、适配模型，并在未改动的解码器前将生成单元确定性展开，从而解耦 SDM 的生成与合成 token 空间，实现约 1.7× 的语音 token 生成加速。

要解决的问题

现有 SDM 在自回归生成和合成中使用同一语音 token 空间，因此长 token 序列会增加生成成本、使文本-语音对齐复杂化并拖慢响应。较低速率的 tokenizer 可以缩短序列，但可能带来压缩-质量权衡，并且可能需要联合重新训练或适配 tokenizer、配对解码器和 SDM，同时仍耦合生成与合成。论文提出的问题是：能否在保留原始语音 tokenizer 和解码器的同时解耦生成与合成 token 空间。

方法

CoSTA 对原始语音 token 序列应用 BPE，并通过加入的 BPE 单元扩展 SDM 生成词表，同时保留原始语音 tokenizer 和解码器。对于每个加入的 BPE 单元，其 embedding 和 LM-head 行通过平均其确定性组成原始 token 的对应行来初始化。随后在压缩 TTS 数据上进行发音适配，数据包含交错的文本和语音目标，仅压缩语音 token；第一阶段在 50% 数据上以 1.6×10−4 训练 embedding 和 LM head，第二阶段在剩余 50% 数据上以 2.0×10−5 解冻中间层。随后在压缩语音到语音对话数据上进行对话适配，仅更新 LLM 参数，而语音编码器、适配器和解码器保持冻结。推理时，仅对生成的语音 token 流应用确定性 BPE 展开，并将恢复的原始 token 序列送入未改动的语音解码器。

实验结果

CoSTA-ZH 和 CoSTA-EN 在中文和英文基准上分别实现平均生成 token 压缩率 66.81% 和 70.17%，相对展开语音 token 生成速度分别为 173.63% 和 165.94%。 §3.3
在并发数为 8 时，CoSTA-ZH 的完整响应延迟为 9.49 s，吞吐量为 0.820 req/s；相比之下，Step-Audio 2 mini 为 15.56 s 和 0.515，Vanilla-FT-ZH 为 13.71 s 和 0.601。 §3.3
CoSTA 将中文 LLM 解码组件从 164.42 ms 降至 122.98 ms，将英文从 165.08 ms 降至 115.96 ms，分别对应 25.2% 和 29.8% 的降低；首包延迟降低分别为 9.4% 和 9.6%。 §C.5
移除对话适配使生成 token 压缩率从 66.73% 提升到 81.05%，并将 G-Eval 从 72.27 降低到 24.35；CoSTA-ZH 的 ASR-CER 为 1.51%，UTMOS 为 3.75。 §4.3
将新增词表从 10K 增加到 80K 会使生成 token 压缩率从 76.66% 降至 67.50%，并将展开语音 token 速度从 78.67 tokens/s 提升到 103.03 tokens/s；在 160K 时，压缩率进一步降至 63.62%，但速度仅达到 104.18 tokens/s，相比 80K 提升 1.1%，同时 G-Eval 从 81.36 降至 78.87。 §C.9
人工评估使用 60 个查询、6 名评估者和 1,080 次响应级评估；CoSTA 在每个汇总比较中胜多于负，其中流畅性方面平局占多数。 §C.6

局限

对话适配数据由合成的语音到语音示例构建；论文称未来工作可探索合成会话语音数据与真实会话语音数据如何互补。
该方法采用 BPE 作为确定性、无损且易于集成的压缩方法；其他无损语音 token 分割策略留待未来工作。
评估聚焦于通用语音到语音对话和效率；情感对话、个性化说话风格和多样声学环境等更细粒度场景仍待探索。
报告的推理节省不包括一次性适配和数据准备成本；论文指出这些成本应与推理节省一并考虑。

要点

语音 token BPE 压缩通过增大词表缩短序列，并在 10K–320K 新增单元、八种 tokenizer 配置、数据源和语言上呈现近似的对数线性趋势。 §1
在跨数据源和语言的留出集压缩中，该近似对数线性趋势得以保持，R² = 0.9942 – 0.9997，RMSE 为 0.10 – 0.47 pp。 §C.4
原始语音 token 词表包含 6,656 个 token；CoSTA 用 80K 个额外 BPE 语音 token 扩展它，并将 token ID 映射到 Unicode 以进行 BPE 训练。 §A
词表扩展将每个新增单元的 embedding 和 LM-head 行初始化为其组成原始行的平均值，保持原始词表参数不变。 §3.1
发音适配是渐进的：第一阶段仅在 50% 数据上以 1.6×10−4 训练 embedding 和 LM head；第二阶段在剩余 50% 数据上以 2.0×10−5 解冻中间层。 §3.2
对话适配仅更新 LLM 参数，同时保持语音编码器、适配器和语音解码器冻结。 §3.3
推理时，仅对生成的语音 token 流应用确定性展开；原始 token 保持不变，展开后的序列送入未改动的语音解码器。 §3.4
在 OpenS2S 上，CoSTA 保留原生 GLM-4-Voice tokenizer 和解码器，在中文和英文上分别实现平均生成 token 压缩率 78.83% 和 81.36%，提高平均内容分数和对齐度，同时略微降低平均 UTMOS。 §C.7

思维导图

mindmap
  root["CoSTA"]
    ["问题"]
      ["生成与合成耦合"]
      ["长语音 token 序列"]
      ["低速 tokenizer 权衡"]
    ["方法"]
      ["BPE 语音 token 压缩"]
      ["词表扩展"]
      ["均值初始化"]
      ["发音适配"]
      ["对话适配"]
      ["确定性展开"]
    ["结果"]
      ["约 1.7× 生成加速"]
      ["更低延迟与更高吞吐"]
      ["响应质量保持"]
      ["词表大小权衡"]
      ["跨架构迁移"]
    ["局限"]
      ["合成对话数据"]
      ["仅 BPE 压缩"]
      ["通用对话评估"]
      ["未计一次性适配成本"]