Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use

Aman Tiwari, Akshay Kalkunte, Akintunde Oladipo, Jash Shah, Tara Bogavelli, Hoang Nguyen et al.

2026-11-02▲ 33arXiv 2610.40738v1 Hugging Face

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

Apriel Voice 27B Preview 是一个开放语音语言模型，基于 Gemma 4 26B-A4B 构建，采用两阶段语音适配方案，统一语音理解、推理、对话和工具调用，同时保留文本和图像输入。

要解决的问题

语音助手必须理解口头请求、基于上下文推理、维持对话并通过工具行动。识别准确率是必要的但不充分，而且当请求以音频形式到达时，强大的文本性能并不能保证可靠推理。论文目标是一个开放语音语言模型，保留文本和图像输入，并使用单一主干完成响应和工具调用。

方法

Apriel Voice 27B Preview 从经过后训练的 Gemma 4 26B-A4B 检查点开始，并加入语音接口。冻结的 Whisper large-v3-turbo 编码器馈入一个带帧堆叠和 MLP 层的可学习投影器。第一阶段仅在多语言转写、翻译和续写任务上训练投影器，主干冻结。第二阶段使用语音任务、合成语音条件对话、工具交互和文本回放，更新投影器、语言主干和混合专家路由器。源相关的交叉熵和 forward KL 监督将任务目标与来自起始检查点冻结副本的在线教师分布结合。训练使用本地教师 worker、单批次 lookahead 以及融合的 CE/全词表 FKL 内核；语音合成是外部的。

实验结果

在 thinking 模式下，Apriel Voice 在 Big Bench Audio 上得分 98.90，在 Speech-BFCL 上得分 81.13，在 tau-Voice 上 task success 为 65.51%，平均延迟为 1.91 秒。 §Abstract
英文 EVA accuracy 和 experience pass@1 分别达到 51.27% 和 74.13%。 §Abstract
表 4 报告 Apriel Voice 平均 WER 12.61 和翻译平均 BLEU 42.87。 §9
表 19 按领域报告 tau-Voice Pass@1 和延迟：airline 69.33 和 2.22，retail 81.58 和 1.79，telecom 45.61 和 1.73。 §E
表 18 按领域报告 EVA-A 和 EVA-X：airline 59.3 和 66.7，ITSM 48.7 和 85.0，HR 45.8 和 70.7。 §E
表 14 报告内部 tau2-Bench 平均 task success：thinking 模式下为 70.95，non-thinking 模式下为 49.14。 §C

局限

论文指出，评估考察的是组合方法；组件效果需要受控消融实验。
论文指出，转换保真度检查不能确立合成任务或其目标答案的正确性。
论文指出，对其他输入的保留能力仍是经验性问题，尤其是当教师不正确或不适配新任务时。
论文指出，完整 logits 仍会被物化；该节省内存机制限制的是临时工作，而非消除 logit 存储。

要点

Apriel Voice 从指令微调的 Gemma 4 26B-A4B 检查点开始，并保留其文本和图像输入模态及输出词表。 §3.1
冻结的 Whisper large-v3-turbo 编码器馈入一个具有 47,722,496 个参数的投影器，将 1280 维特征映射到 2816 维解码器嵌入。 §3.2
第一阶段在编码器和主干固定时训练语音投影器；第二阶段更新投影器、语言主干和混合专家路由器。 §3.3
第一阶段在两次完整 epoch 中使用 18.17 M 个训练样本，每个 epoch 覆盖 32.2k 小时音频。 §4.2
第二阶段在三个 epoch 中提供 52.6473 B 总 token 暴露量，每个 epoch 包含 61.5k 小时音频加文本数据。 §4.4
语音条件对话使用自动 span 选择、每段对话一个参考语音，并对结构化材料进行文本保留。 §5.2
每个训练来源选择交叉熵、forward KL 或加权组合；暴露权重独立于损失设置决定采样频率。 §6.2
训练使用本地教师 worker、单批次 lookahead 将教师推理与学生计算重叠，以及融合的 CE/全词表 FKL 内核。 §7

思维导图

mindmap
  root["Apriel Voice 27B Preview"]
    ["架构"]
      ["Gemma 4 26B-A4B 主干"]
        ["文本和图像输入"]
        ["共享输出词表"]
      ["语音接口"]
        ["冻结 Whisper 编码器"]
        ["47.7M 投影器"]
        ["八帧堆叠"]
      ["外部语音合成器"]
    ["训练配方"]
      ["第一阶段接口学习"]
        ["训练投影器"]
        ["冻结主干"]
      ["第二阶段广泛 SFT"]
        ["更新投影器和主干"]
        ["更新 MoE 路由器"]
      ["源相关 CE 和 FKL"]
    ["数据构建"]
      ["合成任务对话"]
        ["文本交互"]
        ["语音条件转换"]
      ["自动 span 选择"]
        ["五种策略"]
        ["一致参考语音"]
      ["保真度检查"]
        ["span 验证"]
        ["口语形式判定"]
        ["识别判定"]
    ["高效训练"]
      ["本地教师 worker"]
        ["16 个教师 GPU"]
        ["48 个学生 GPU"]
      ["单批次 lookahead"]
      ["融合全词表损失"]
    ["评估"]
      ["语音推理与工具"]
        ["Big Bench Audio"]
        ["Speech-BFCL"]
        ["tau-Voice"]
      ["识别与翻译"]
        ["LibriSpeech"]
        ["FLEURS"]
        ["CoVoST 2"]
      ["对话与任务完成"]
        ["EVA"]
        ["tau2-Bench"]
        ["EnterpriseOps-Gym"]
      ["保留检查"]
        ["文本评估"]
        ["图像和文档评估"]