Introducing Falcon ASR

介绍 Falcon ASR

返回文章

[0

团队

]

文章

发布于 2026 年 10 月 7 日

[-1

点赞

1

[

Abdul Muneer

abdulmuneertii

关注

tiiuae

Rishabh Saraf

rishabh-saraf

Ramesh Gundluru

gundlururamesh

Shamsa Hamad

shamsaH

Lepauloux

Ludovick

Hakim Hacid

HakimHacid

英语 · 阿拉伯语

阿拉伯语 WER: 20.92% · 参数: 1.6B · 阿联酋 WER (TII 评估): 22.73%

我们推出了 Falcon-ASR，这是一款拥有 16 亿参数的阿拉伯语语音识别模型，特别专注于阿联酋方言。该模型由阿布扎比的先进技术研究院（TII）开发，同时也支持英语、法语、西班牙语和葡萄牙语。

在我们的评估中，Falcon-ASR 在六个阿拉伯语测试集上的平均词错误率为 20.92%，优于我们所使用的榜单快照中最佳已发布结果 23.17%。在内部阿联酋评估中，它在我们比较的系统中记录了最低的词错误率和字符错误率。

我们还支持转录的词级时间戳，将每个转录词与其在音频中的位置关联。

尝试 Falcon ASR →

识别口语阿拉伯语

阿拉伯语语音因地区、说话人和场景而异。能够处理正式新闻播报的模型可能仍难以应对阿联酋方言的对话或通过电话线路记录的语音。方言阿拉伯语的转录资源比现代标准阿拉伯语（MSA）更少，这使得训练和评估更加困难。

我们使用阿联酋方言、现代标准阿拉伯语（MSA）、其他海湾阿拉伯语方言、阿拉伯语方言以及英语对 Falcon-ASR 进行训练。我们的目标是转录人们在日常对话中使用的词汇，包括方言形式和语言间的转换。

阿拉伯语基准测试结果

由 ELM 研究中心维护的 Open Universal Arabic ASR 榜单根据六个测试集的等权重平均词错误率（WER）对系统进行排名。它还报告字符错误率（CER）。两个指标的数值越低越好。我们的 Falcon-ASR 评估遵循这一协议。

WER = 词错误率；CER = 字符错误率。数值越低表示性能越好。

我们使用榜单固定清单对 Falcon-ASR 在相同的六个基准测试中进行了评估。竞争对手的数据是 2026 年 9 月 30 日检查的已发布榜单平均值。Falcon-ASR 的平均 WER 比该快照中的最佳已发布结果提高了 2.25 个百分点。

评估阿联酋语音

现有的公开评估数据已包含阿联酋内容：Casablanca 包含阿联酋子集。我们通过使用保留录音和人工验证的转录本对额外的阿联酋和海湾语音进行内部评估，以评估超出公开阿联酋子集的转录准确性。

在我们的内部阿联酋评估中，Falcon-ASR 实现了 22.73% 的 WER 和 10.19% 的 CER：

在所比较的系统中，Falcon-ASR 的 WER 和 CER 是最低的。其 WER 比次优结果 Qwen3-Omni 低 4.07 个百分点。这些结果表明，在此次评估中，Falcon-ASR 在词级和字符级的转录准确性都有所提升。

针对不同录音条件的训练

我们包含了背景噪音、重叠语音、音乐、房间混响和电话效果，以及速度和音高变化。我们对阿联酋录音也采用了相同的处理方式，使模型能够接触到在会议、通话和其他日常录音中可能遇到的各种条件。

英语和其他语言

Falcon-ASR 也可以使用相同的模型权重进行英文转录。在 Hugging Face Open ASR Leaderboard 所使用的七组公共英文测试集评估中，其平均词错误率（WER）达到 5.74%。

该模型还支持法语、西班牙语和葡萄牙语。五种语言共用相同的模型权重，无需指定语言标志。输出结果为对应语言的转录文本。

模型基础

Falcon-ASR 基于我们的 Falcon3-Audio 研究成果。Falcon3-Audio 的架构和训练方法详见论文《Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data》。

尝试 Falcon ASR

我们的 Hugging Face Demo Space 提供 Falcon-ASR 体验和转录功能演示。API 接口和原生应用开发计划中。欢迎使用 Demo 空间上传自己的录音进行测试。

致谢

感谢 Falcon-Emirati 模型团队对阿拉伯语基础模型的支持。可通过 Falcon-Emirati 博客了解他们的最新研究进展。

同时衷心感谢 Mikhail Lubinets 对计算基础设施的持续支持。

我们推出 Falcon ASR

我们推出 Falcon ASR，这是拥有 16 亿参数的阿拉伯语语音识别模型，特别关注阿联酋方言。该模型在阿布扎比的 TII 技术创新研究所开发，同时支持英语、法语、西班牙语和葡萄牙语。

在评估中，Falcon-ASR 在六个阿拉伯语测试集上的平均词错误率为 20.92%，优于我们所参考的排行榜中公布的最佳结果 23.17%。在针对阿联酋方言的内部评估中，该模型在单词和字符错误率方面均优于我们对比的其他系统。

我们还支持词级时间戳，使每个单词都能与音频中的位置对应。

立即体验 Falcon ASR ←

阿拉伯语语音识别

阿拉伯语口语因地区、说话人和录音条件而异。某个模型可能能准确转录正式新闻播报，却难以处理阿联酋方言对话或电话录音。此外，阿拉伯语方言的语音转录数据远少于标准阿拉伯语，这增加了训练和评估的难度。

我们训练 Falcon-ASR 时使用了阿联酋方言、标准阿拉伯语、海湾方言及其他阿拉伯语变体，同时包含英语数据。我们的目标是转录人们日常对话中使用的词汇，包括方言表达和语言转换。

阿拉伯语测试结果

由 ELM 研究中心管理的阿拉伯语语音识别开放排行榜，根据六个测试集的平均词错误率对系统进行排名，每个测试集权重相等。排行榜同时显示字符错误率（CER）。数值越低表示性能越好。我们的评估遵循这一标准协议。

WER 是词错误率，CER 是字符错误率。数值越低表示性能越好。

我们使用排行榜中固定样本列表对 Falcon-ASR 在相同六组测试集进行评估。竞争模型的数值为排行榜公布的平均值，数据验证日期为 2026 年 9 月 30 日。该模型的平均词错误率比排行榜公布的最佳结果提升了 2.25 个百分点。

阿联酋方言评估

目前已有公开的阿联酋方言评估数据，Casablanca 数据集包含专门的阿联酋语部分。我们通过内部评估补充了更多阿联酋和海湾地区语音数据，使用专用测试录音和经过人工校对的参考文本，对额外数据集的转录精度进行评估。

Falcon-ASR 在我们内部的阿联酋评估中实现了 22.73% 的词错误率和 10.19% 的字符错误率：

Falcon-ASR 在此处对比的系统中实现了最低的词和字符错误率。其词错误率比排名第二的 Qwen3-Omni 低 4.07 个百分点。结果表明，该模型在词和字符层面的转录精度均有显著提升。

在不同录音条件下训练

我们的训练数据集包含背景噪音、混杂语音、音乐、回声以及电话通信的干扰效果，并涵盖了语速和音量的变化。我们对阿联酋录音应用了相同的预处理流程，使模型能够适应会议、通话和其他日常录音可能遇到的多样化场景。

英语及其他语言支持

Falcon-ASR 使用相同的模型权重处理英语语音。在 Hugging Face 开源语音识别榜单的七组通用英语测试集上，其平均词错误率为 5.74%。

该模型还支持法语、西班牙语和葡萄牙语。这五种语言共用同一组权重，无需预先指定语言。输出结果为语音所用语言的文本转录。

模型基础

Falcon-ASR 基于我们的 Falcon3-Audio 研究。论文《Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data》详细描述了 Falcon3-Audio 的架构和训练方法。

Falcon ASR 体验

我们通过 Hugging Face 提供的试用界面，可体验 Falcon-ASR 的语音转录能力。API 接口和原生应用接入功能正在规划中。欢迎使用自己的录音进行模型测试。

致谢

我们衷心感谢 Falcon-Emirati 团队在阿拉伯语基础模型开发方面的支持。可通过 Falcon-Emirati 相关论文了解团队最新研究成果。

同时感谢 Mikhail Lubinets 对计算基础设施的持续支持。

本文提及的数据集 1

本文提及的空间 2

更多文章

Falcon-Emirati：当大语言模型学习方言、文化与细微差别

20

2026年10月6日

Falcon OCR Arabic：2.7亿参数的阿拉伯语OCR最先进模型

15

社区

编辑

预览

通过拖拽、粘贴或点击此处上传图片、音频和视频

.

点击或粘贴此处上传图片

评论

· 注册或登录以评论