Introducing the FFASR Leaderboard: Benchmarking ASR in the Real World

介绍 FFASR 排行榜：在现实世界中评估 ASR

返回文章

[-1

]

[0

发布于 2026 年 6 月 24 日

GitHub 上的更新

点赞

4

[

Daniel Gert Nielsen

daniel-treble

关注

treble-technologies

Shivam Saini

whojavumusic

Alessia Milo

alessia-treble

Georg Götz

georg-goetz

Eric Bezzam

bezzam

🚀 首个开放的远场 ASR 基准：在 14 个模拟房间中进行社区驱动的评估，与真实世界测量结果进行验证：https://huggingface.co/spaces/treble-technologies/ffasr

📉 差距是真实存在的，并且很大：在所有提交的模型中，低信噪比下的远场 WER 通常比相同语音内容下的近场 WER 高出数倍

🔬 可信赖的方法论：混合波基模拟、模拟到现实验证、移动源拆分（Beta 版）、保留音频和跨所有提交的标准化评估硬件

⚡ 准确性与速度并重：帕累托前沿图将平均 WER 与 RTFx 对比，以便您评估适合部署的权衡

👀 更多内容即将到来：多说话人场景、麦克风阵列支持和回声消除正在路线图中

基准性能与现实世界部署之间的差距是 ASR 开发中最持续存在的挫败感之一。在标准评估中表现良好的模型一旦涉及真实房间声学特性时，表现往往不同：混响、背景噪声、麦克风距离。这些因素之间的复杂相互作用影响性能的方式是干净语音基准所无法捕捉的。FFASR 排行榜是我们尝试量化这一差距的努力。

Treble Technologies 和 Hugging Face 正在推出远场 ASR（FFASR）排行榜，这是首个开放、社区驱动的基准，旨在评估 ASR 模型在真实远场声学条件下的表现。它现在已上线，我们邀请社区提交模型、探索结果，并帮助塑造未来的发展方向。

为什么远场评估很重要

语音接口已经远远超出了耳机和智能手机的范畴。AI 语音代理、会议室转录、车载助手、人形机器人、智能眼镜和免提工具都在迅速普及。它们的共同点是，它们都在声学环境复杂的环境中运行：混响、背景噪声、重叠声音，以及麦克风可能距离说话者从一米到数米不等。

主导的 ASR 评估范式尚未跟上这一现实。干净、近距离麦克风的基准仍然是标准，尽管它们对于衡量核心识别质量很有用，但无法预测远场表现。在 LibriSpeech 或其他近场数据集上表现良好的模型一旦真实房间声学条件进入画面，可能会显著退化。虽然已有多个围绕远场和嘈杂语音评估的研究工作，包括 CHiME、URGENT 和 NOIZEUS，但社区尚未有一个标准化、开放的方式，以持续更新的排行榜格式一致地衡量模型之间的这种退化。FFASR 就是为此而构建的。

远场评估的一个主要挑战是数据的可用性。仅依靠物理测量，大规模地在各种具有代表性的房间类型、麦克风距离和噪声条件下收集远场录音的成本是难以承受的。通过模拟，可以系统地覆盖这些条件，并且随着时间的推移扩展覆盖范围，而不会导致测量成本的相应增加。

FFASR 的另一个目标是鼓励开发对这些条件具有明确鲁棒性的模型。历史经验表明，排行榜在引导研究方向方面非常有效。通过使远场性能可见并可比较，我们希望提高整个领域对真实世界声学鲁棒性的重视程度。

基准的构建方式

FFASR 排行榜在九种条件下对模型进行评估。决定主要排名分数的四个条件（截至 2026 年 6 月 22 日）如下：

• 近场（干燥）——在无回声室中测量的干净语音（类似于 Librispeech，但回声极小）

• 远场高信噪比（高于 14 dB）

• 远场中等信噪比（8 到 12 dB）

• 远场低信噪比（低于 6 dB）

为了让你了解这些条件的实际声音效果，以下样本可以让你听到同一句话分别以干燥无回声音频的形式、与房间脉冲响应卷积后、以及在每个信噪比层级上添加噪声后的效果。干燥录音与低信噪比远场条件之间的差异，可以合理地反映排行榜所衡量的问题规模。

另外两列“实验室测量”和“实验室模拟”作为仿真到现实的验证轨道。排行榜还包含移动源分割，目前处于测试阶段，用于评估模型在说话人移动而非静止时的表现。这种条件适用于人形机器人、车内语音、移动语音助手等使用场景，其中说话人与麦克风之间的声学几何关系是持续变化的。

声学数据是通过 Treble 的混合仿真引擎生成的，该引擎在低至中频使用基于波的求解器，在高频使用几何声学建模。这种方法能够捕捉简单仿真方法通常忽略的物理现象：衍射、散射、干涉和模态行为。结果是生成的仿真数据与实际测量的声学条件非常接近，这一点通过“实验室测量”和“实验室模拟”列直接验证，因为它们在两种条件下运行相同的评估。

基准中包含了 14 间完全配备的房间，体积从 20 到 470 立方米不等，涵盖了浴室、带走廊的客厅、办公室、教室和餐厅空间。每个声学场景中包含一个目标说话人，该说话人在无回声室中录制，以避免录音环境中的回声伪影，并且最多包括三个噪声源。每个场景都包括一个瞬态噪声源（如咳嗽）和一个连续噪声源（如 HVAC），在三个信噪比水平下进行测试。这种覆盖范围旨在反映部署语音系统实际运行的各种空间类型。

除了词错误率（WER）外，排行榜还报告了 RTFx（音频秒数/推理秒数），所有提交内容均在相同的 NVIDIA L4 GPU 条件下进行评估。准确性和延迟在实际部署中同样重要，分析标签页中的帕累托前沿视图明确展示了这种权衡。

该基准测试基于 Treble Technologies 自有的模拟引擎所生成的模拟声学空间。Treble10 数据集是去年发布的，其中包含了一个引擎输出的示例，该数据集建立了模拟流程，并为训练和研究提供了远场 RIR 数据。FFASR 在此基础上扩展为一个标准化的评估框架，包括保留的测试集、一致的归一化处理和自动评分。

数据已经显示出的趋势

随着排行榜的上线，所有提交模型中出现了一致的趋势：近场和远场性能之间的差距较大，且随着信噪比（SNR）的降低，差距显著增加。在干净的干燥语音上，近场词错误率（WER）值与这些模型在已建立的基准测试中所达到的水平相当。而在低信噪比下的远场 WER 则讲述了一个不同的故事，通常高出数倍。该基准测试以一种以前在专有评估流程之外难以实现的方式，使这种性能退化变得清晰且可比较。

平均 WER 与 RTFx 的帕累托前沿也揭示了一些重要信息。目前的提交中代表了各种方法：一些模型以牺牲部分准确性为代价优先考虑速度，一些模型则以牺牲吞吐量为代价追求更高的准确性，还有一些模型在两个方面都达到了有竞争力的位置。将这些权衡与远场准确性而不是干净语音准确性进行对比，会呈现出系统之间真实差异的显著不同图景。分析标签页中包含的内容值得在主排名表之外进一步探索。

对于开发者来说，一个值得关注的观察点是：排行榜同时报告了近场（干燥语音）和远场 WER。这种区分是有意为之且非常有用的。它使得区分真正准确的模型和在声学条件下容易失效的模型成为可能，这对于决定是否投入远场微调、语音增强预处理或采用不同的架构具有重要意义。

如何提交

在 FFASR 领跑榜上打开“提交”标签页，粘贴一个 Hugging Face 模型 ID，评估将在服务器端针对保留的测试集进行。该流程支持 Whisper 变体、IBM Granite Speech、Cohere Transcribe、Wav2Vec2 和 HuBERT CTC 头、SpeechBrain ASR，以及 Hub 上的大多数其他 ASR 架构，无需任何自定义配置。

对于使用更复杂推理堆栈的团队，包括将语音增强与 ASR 结合的系统，可以使用自定义评估器选项来定义自己的 evaluate() 函数。自定义评估器在经过管理员审核后将在 Hub Jobs 上运行，提交说明字段是记录任何预处理步骤的好地方，以确保结果对其他人是可解释的。

保留的评估集使用了 14 个房间中 2000 个无混响语音样本，分布在三个信噪比（SNR）层级，每个条件大约有 8 小时的音频，且一致应用了 Whisper 风格的文本归一化处理。音频内容不会暴露给提交者，以避免测试集污染。

接下来将推出的内容

我们正在积极探索未来赛道的条件，包括多说话人场景（同时有多个说话人活跃）、麦克风阵列评估（涵盖波束成形和空间滤波方法），以及回声消除（适用于任何在播放音频的同时也在监听的设备）。

我们接下来要构建的内容将取决于社区告诉我们哪些方面的差距最大。如果你正在使用一个在当前基准测试中没有充分体现的部署环境或用例，我们希望听到你的声音。FFASR 排行榜的设计是为了不断扩展，其发展方向应反映实际需求。

提交你的模型，探索分析标签页，在 FFASR 论坛上发布你的想法和建议，帮助我们构建一个真正对领域内所研究的问题有实用价值的基准测试。

本文中提到的空间 1

本文中提到的集合 1

更多来自我们博客的文章

audio

speech

leaderboard

将 Benchmaxxer 驱避剂添加到 Open ASR 排行榜

• +7

18

2026年5月6日

Open ASR 排行榜：新多语言和长文本赛道的趋势与洞察

27

2025年11月21日

社区

编辑

预览

通过拖拽到文本输入框、粘贴或

点击此处

来上传图片、音频和视频。

轻点或粘贴此处上传图片

评论

· 注册或登录以发表评论