Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes

Falcon 是单遍因果音视频目标说话人提取器，并与 RealSSA 基准配套；相比因果 AV-TFGridNet，它以显著更低的参数量、计算量和延迟获得强提取质量。

现有因果 AVTSE 基准将说话人数固定为两人，忽略近场/远场干扰、混响和突发噪声，且缺少真实录音评测。高性能因果架构对边缘部署过重，而轻量替代方案反复调用小型分离器，抵消了节省。SI-SNR 训练未显式将估计推离近场干扰源，导致残余泄漏。

论文发布 RealSSA，其中 RealSSA-Sim 提供可控仿真场景，包含 1–5 个近场干扰说话人，并在适用时包含 10–15 个远场干扰源；RealSSA-Real 提供留出的真实录音评测集。Falcon 使用冻结的 FRCNN 视觉主干和 STFT 音频编码器，在融合前细化音频与视觉特征，并预测复数时频掩码。其 Separator 是非对称 U-Net，在单次编码器–解码器传递中通过层级特定 TFRB 进行多尺度时频建模。训练增加编码器空间说话人对比损失，以估计目标为 query，以干净目标加近场干扰源为参考，并对参考使用 stop-gradient。该损失在推理时丢弃，可接入其他音频编码器 AVTSE 主干。

• 相对于因果 AV-TFGridNet，Falcon 将参数量降低 91.9%，计算量降低 20.2 倍，GPU 推理延迟降低 11.1 倍。 §Abstract
• 在 RealSSA-Sim 上，Falcon 达到 7.7 dB SI-SNRi，而 AV-TF-GridNet 为 7.6 dB。 §6.1
• Falcon 相对 Swift-Net-12 的 SI-SNRi 增益在 VoxCeleb2-2Mix 上最大，达到 1.1 dB。 §6.1
• 在 RealSSA-Real 上，Falcon 获得 DNSMOS 3.276，与 Swift-Net-12 持平，并超过 AV-TF-GridNet 的 3.030 和 Dolphin 的 2.960。 §6.1
• 在 RealSSA-Sim 上，Falcon 取得最低提取 WER 25.47%，相比 AV-TF-GridNet 降低 1.84 个百分点。 §6.1
• 与 Swift-Net-12 相比，Falcon 使用 10.6 G MACs，而 Swift-Net-12 为 45.3 G，降低 76.6%；GPU 延迟从 172.1 ms 降至 51.3 ms，降低 70.2%。 §6.2

• 分离器和编码器空间说话人对比损失均为单通道；论文将附录 A.2 中仿真的四元阵列留作未来多通道扩展。
• RealSSA-Real 覆盖约 84 分钟，涉及 10 名参与者和 8 种环境；论文表示可在后续发布中扩展规模。
• 对比损失依赖仿真中可获得的近场干扰源干净逐源波形；将其适配到无标注真实录音留作未来工作。
• 缺失视觉实验中，对嘴部裁剪位移以及跟踪到不同说话人的敏感性留待单独评测。

• RealSSA-Sim 具有四种场景类型，并联合采样 RT60、近场/远场几何、环境噪声和突发噪声；近场干扰说话人从 1 到 5 变化，适用时包含 10 到 15 个远场干扰源。 §3
• RealSSA-Real 是留出的真实录音评测集，仅用于评测，从不用于训练或验证。 §3
• Separator 是非对称 U-Net，在编码器瓶颈处进行时频建模，并在每个解码器分辨率上使用层级特定 TF 块；一次传递产生四个 TF 尺度。 §4.2
• 编码器空间说话人对比损失以估计目标为 query，以干净目标加每个近场干扰源作为正、负参考并使用 stop-gradient；远场干扰源被排除。 §4.3
• 对比损失使 Falcon 提升 0.4 dB SI-SNRi，使 SwiftNet-12 提升 0.2 dB，使 Dolphin 提升 0.3 dB。 §6.4
• 将下采样深度从一级增加到三级使 SI-SNRi 提升 0.6 dB；三级是流式因果性允许的最大深度。 §6.4
• RealSSA-Sim 训练提升了全部五个模型的 DNSMOS 和其中四个模型的 NISQA；Falcon 的 NISQA 从 2.431 升至 3.615。 §6.3
• Falcon 具有 0.5 M 参数、10.6 G MACs、51.3 ms GPU 延迟、125.3 MB CPU RAM 和 364.7 MB GPU 显存。 §6.2