Hugging Face Blog

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

8.5内容质量
NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

TL;DR · AI 摘要

NVIDIA推出Nemotron 3.5 Transcribe模型，支持40种语言转录及翻译，搭配Granary v2数据管道，开发者可自定义模型适应不同领域。

核心要点

  • Nemotron 3.5 Transcribe支持40种语言转录，翻译31种语言，处理长达1小时录音。
  • 模型在Hugging Face ASR排行榜英语项目中位列开源模型第一。
  • Granary v2提供多语言数据集及微调工具，适配医疗等专业领域术语。

结构提纲

按章节快速跳转。

  1. §引言

    介绍NVIDIA推出的新一代多语言转录模型及配套数据工具。

  2. ·模型功能

    Nemotron 3.5 Transcribe支持转录、翻译、说话人归属及音频问答。

  3. ›性能指标

    模型在英语ASR排行榜位列开源模型第一，支持8人同时说话识别。

  4. ·数据管道

    Granary v2提供多语言数据集及可复用的数据处理流程。

  5. ›微调适配

    通过NeMo工具可自定义模型适应医疗等专业领域术语。

  6. ·部署方案

    量化版本支持本地RTX设备运行，数据中心GPU可扩展训练。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Nemotron 3.5与Granary v2
    • 模型功能
      • 多语言转录/翻译
      • 说话人归属
      • 音频问答
    • 性能优势
      • ASR排行榜第一
      • 8人语音识别
    • 工具生态
      • Granary v2数据集
      • NeMo微调工具

金句 / Highlights

值得收藏与分享的关键句。

#NVIDIA#Nemotron#Granary#多语言转录#模型微调
打开原文

一个开源模型，支持多语言语音转录、说话人归属、翻译和音频问答，位居排行榜首位，同时提供开源的Granary v2数据管道和微调方案以实现模型适配

一份语音转录文本可以记录所有 spoken words，但用户或应用程序仍可能不清楚是谁说了什么、如何翻译、或者如何处理特定领域的术语。多语言通话、快节奏会议和医疗口述记录都需要不同的输出形式：翻译、说话人标签或正确拼写的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开源权重、可提示的模型，能够将录音语音转换为实用文本，现已在 Hugging Face 和 ModelScope 上发布。该模型将语音转录、说话人归属（说话人分离）、翻译和音频问答整合到一个检查点中：支持40种语言的转录，其中31种语言可与英语互译，并支持13种语言的说话人归属。它可以处理长达一小时的录音，并标记最多八位说话人。开发者可以通过自然语言指导输出内容，选择音频处理位置，并根据领域词汇和口音调整识别效果。

在 Hugging Face Open ASR Leaderboard 英语语音识别榜单中，Transcribe 是首个开源权重模型，并在 Artificial Analysis 的准确率-活跃参数前沿中占据重要位置。在说话人归属方面，它在 David AI 的 21 语言说话人分离排行榜 中实现了最低错误率，并在 VoiceArena 的 14 系统对比 中排名第一。量化版本即将推出，您可以在 RTX Spark、DGX Spark 或 Jetson AGX Thor 上本地运行 Transcribe，或在 Blackwell 数据中心 GPU 上进行扩展。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）和可重复使用的数据整理管道，结合 NeMo Speech 微调工具，将提示级别的控制扩展到训练过程：开发者可以定义所需的书面形式，并将模型适配到应用程序遇到的语音。在 医疗案例研究 中，微调使保留说话人上的词错误率（WER）相比最佳提示降低了 45.8%。

[使用自然语言指导转录和分析](https://huggingface.co/blog/nvidia/nemotron-transcribe-granary#guide-transcription-and-analysis-with-natural-language)

相同的模型检查点可根据指令生成不同输出：

  • "转录此录音并为每位发言人添加标签"
  • "将此音频翻译成英文"
  • "这次会议做出了哪些决定？"

在下方视频中，模型演示了如何处理1940年经典喜剧《His Girl Friday》中著名的密集对话场景（该影片以快速且高度重叠的对话著称）。

视频3_Nemotron 3.5 Transcribe 为《His Girl Friday》（1940）场景添加字幕并标注发言人，包括重叠对话_

对陌生术语，建议先通过上下文理解再进行训练。例如在医疗场景中：

以原始语言转录此医学讨论。可能术语：HbA1c、二甲双胍。仅在音频支持时使用这些术语。保留标准医学拼写，数字采用常规书面形式。

模型卡片包含推荐预设配置，包括音频问答推理设置、完整提示指南和任务-语言矩阵：不同任务的语言支持存在差异，音频问答功能仅在英文训练。支持逐字时间戳。与任何语音模型一样，需对照录音抽查姓名、发言人切换和回答准确性。

从实时课堂到持久学习资源。Agora的实时音视频平台为应用中的实时对话提供支持，其课堂演示使用了逐字时间戳：Nemotron 3.5 Transcribe将录制的课程转化为与回放并列显示的文本，使学生能查看发言内容及时间。Agora博客详细介绍了他们的实现方式。

[从转录到发言人归属的排行榜表现](https://huggingface.co/blog/nvidia/nemotron-transcribe-granary#leaderboard-wins-from-transcription-to-speaker-attribution)

在开源权重模型中，Transcribe在"说了什么"方面领先；在"谁说的"方面，其在两个发言人归属基准测试中排名第一。

Hugging Face Open ASR 排行榜。该榜单通过公共测试集的词错误率（WER）衡量转录准确性，包含三个赛道：

  1. 英文：在开源权重模型中排名第一，平均WER为5.33%（图1）
  2. 多语言：在七种语言中平均WER为4.62%，低于模型卡片中Open ASR对比测试中评估的其他开源权重模型
  3. 长文本：平均WER为10.98%，同样低于该对比测试中的其他模型
图1：Hugging Face Open ASR 英文排行榜表格，显示模型在Hugging Face英文Open ASR排行榜中的排名，包含排名、模型、平均WER、RTFx和数据集得分列。nvidia/Nemotron-3.5-Transcribe在开源权重模型中排名第一，平均词错误率（WER）为5.33%，RTFx为462.09。
图1：Hugging Face Open ASR 英文排行榜表格，显示模型在Hugging Face英文Open ASR排行榜中的排名，包含排名、模型、平均WER、RTFx和数据集得分列。nvidia/Nemotron-3.5-Transcribe在开源权重模型中排名第一，平均词错误率（WER）为5.33%，RTFx为462.09。

Image 2: ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct '26)Scatter chart from Artificial Analysis plotting word error rate (AA-WER, non-streaming) against active parameters on a log scale for open-weight speech models. Nemotron 3.5 Transcribe sits on the Pareto frontier at about 4B active parameters and 2.80% WER.](https://cdn-uploads.huggingface.co/production/uploads/68127936de624fb6f57d9989/a7N1ycYypBeM7WKuUphE7.png)

人工分析语音识别排行榜。人工分析通过其词错误率指标（AA-WER）独立评估语音识别模型。Nemotron 3.5 Transcribe 在开放权重模型中以 2.8% 的 AA-WER 并列第一，其活跃参数约 40 亿个，而并列模型的参数规模为 240 亿个。在 AA-AgentTalk 测试集（占 AA-WER 指标 50% 的语音代理数据集）中，Transcribe 的词错误率为 1.8%，优于其他最佳开放权重模型的 2.3%。Transcribe 将语音编码器与混合专家语言模型（Mamba-Transformer 混合架构）结合，每个 token 仅激活约 40 亿个参数。这使其在 人工分析 的开放权重模型准确率与活跃参数帕累托前沿中占据位置。在人工分析的全模型榜单中，其表现优于多个主流商业语音 API。

_Figure 2. 领先 AA 准确率 仅需六分之一活跃参数：Nemotron 3.5 Transcribe 以约 40 亿个活跃参数实现 2.80% 的 AA-WER。_

跨语言及重叠场景的说话人识别。Sortformer 说话人提示信息通过声学特征传递至语言模型，使 Transcribe 能在生成过程中直接标记每个对话回合，而无需依赖后续步骤将说话人信息附加到文本。

David AI DAI-ASR-I18N 排行榜。在 David AI 的 DAI-ASR-I18N 综合语音识别与说话人识别榜单 中，Transcribe 在评估的开放权重模型中排名第一，整体排名第二。在包含 21 种语言的说话人识别（Diarization）子榜单中，其识别错误率（DER）低于测试的 14 个系统，略优于 NVIDIA 专用的 Nemotron 3 说话人识别模型。

Image 3: DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy Bar chart from David AI’s DAI-ASR-I18N benchmark ranking diarization systems by overall diarization error rate (DER) across 21 languages, where lower is better. Nemotron 3.5 Transcribe ranks first at 18.26%, followed by Nemotron 3 Diarization at 18.38%; the remaining open-weight and proprietary systems range from 22.85% to 37.55%](https://cdn-uploads.huggingface.co/production/uploads/68127936de624fb6f57d9989/zwwsN64zfjYDvTOhQapp5.png)

图3。NVIDIA模型在David AI的多语言说话人分割排行榜中占据前两名：Nemotron 3.5 Transcribe在21种语言中实现了最低的整体说话人分割错误率（DER）18.26%，其次是Nemotron 3 Diarization的18.38%。DER衡量说话人时间错误率，数值越低越好。

VoiceArena说话人分割基准测试。在VoiceArena的英文全会话基准测试中，Transcribe在14个系统中实现了最低的拼接最小排列词错误率（cpWER）32.4%，在面对面和在线场景中均排名第一。它也是删除词数最少的模型：删除词占参考词的8.32%，而中位数约为31%。

图4：VoiceArena_Track2_cpWER_ranking_1：VoiceArena说话人分割基准测试v1的条形图，按拼接最小排列词错误率（cpWER）对14个说话人分割加ASR系统在英文全会话（含重叠语音）中的表现进行排名，数值越低越好。NVIDIA Nemotron 3.5 Transcribe以32.4%排名第一，其次是NVIDIA Multitalker Parakeet + Nemotron 3 Diarization的34.2%；其余系统范围从34.7%到71.9%
图4：VoiceArena_Track2_cpWER_ranking_1：VoiceArena说话人分割基准测试v1的条形图，按拼接最小排列词错误率（cpWER）对14个说话人分割加ASR系统在英文全会话（含重叠语音）中的表现进行排名，数值越低越好。NVIDIA Nemotron 3.5 Transcribe以32.4%排名第一，其次是NVIDIA Multitalker Parakeet + Nemotron 3 Diarization的34.2%；其余系统范围从34.7%到71.9%

图4。NVIDIA模型在VoiceArena的14系统对比中占据前两名：Nemotron 3.5 Transcribe以32.4% cpWER领先，其次是NVIDIA Multitalker Parakeet搭配Nemotron 3 Diarization的34.2%。Diarization-Bench v1涵盖英文全会话、重叠语音及2-8人对话场景。cpWER在匹配说话人标签后统计词错误率，数值越低越好。

更多评估结果。Ocular AI的Converse-STT评估将Transcribe列为最佳开源模型。Josh Talks的印度之声排行榜报告了Transcribe在印度语言中的表现。

高吞吐量转录。在基准测试中，Transcribe在单块NVIDIA RTX PRO 6000 Blackwell Server Edition GPU上，使用即将推出的NVFP4量化版本，用不到三分钟处理了100小时音频。测试结果基于高并发下的30秒片段进行测量。

今天即可使用vLLM部署可用检查点。本地部署支持NeMo-Speech.cpp即将推出，与量化版本同步上线。Transcribe专为录音音频设计，不适用于实时流媒体。

专业录音仍可能需要针对领域词汇和转录惯例进行适配。Granary v2和NeMo Speech微调可解决此问题，从Transcribe背后的数据开始优化。

[Granary v2：Transcribe背后的数据处理管道](https://huggingface.co/blog/nvidia/nemotron-transcribe-granary#granary-v2-the-open-data-curation-pipeline-behind-transcribe)

可提示语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音集合 的组成部分。该数据集基于 NVIDIA NeMo Curator 构建，其可复用的处理流程为 Nemotron 3.5 Transcribe 的训练准备了多语言语音数据，生成了对齐的文本变体、任务标签和可检查的质量元数据。公开的清单覆盖了 48 种语言和 16 个来源语料库的 463,062 小时语音数据，相比 Granary v1 的 25 种语言有显著扩展。这些数据描述的是数据集发布的规模，而非 Transcribe 完整训练混合数据或其采样权重。

Granary v2 为每个录音生成三种文本形式（表 1），包括开发者可通过提示词向 Transcribe 请求的原始文本和清理后文本风格。除转录功能外，该流程还生成短音频字幕、借词代码转换恢复、基于语音的问答对、上下文 ASR 偏置术语以及附带自动质量评分的翻译。

| 训练目标 | 示例文本 | | --- | --- | | 文本归一化（原始） | 我付了，呃，二十五欧元。 | | 逆文本归一化（含不流畅） | 我付了，呃，€25。 | | 逆文本归一化（无不流畅） | 我付了 €25。 |

_表 1. Granary v2 对相同语句的训练目标_

该处理流程分为四个可复用阶段：

  • 1. 音频准备（元数据）： 对原始音频或长时音频进行分段，跟踪全录音中的说话人，并标注声学事件和语言。由于 Granary v2 的来源数据已预先分段，此版本跳过了该阶段。
  • 2. 转录（ASR）： 将每种语言路由至主 ASR 模型和恢复 ASR 模型，当主模型通过幻觉检测时会进行降级处理。人工参考文本在保留可信拼写的同时，增加了口语化表达和不流畅内容。
  • 3. 任务标签生成（文本）： 生成文本变体后，检查字符率、幻觉模式以及模型与人工参考的一致性。只有通过验证的记录才会获得上下文 ASR 术语和翻译。
  • 4. 高保真（HiFi）： 过滤掉噪声、截断或包含多说话人的片段，保留更小规模的高质量录音用于非 ASR 用途。在 VoxPopuli 数据集中，该阶段将 354,000 小时语音数据缩减为 22 种欧洲语言的 111,000 小时。
Image 5: fig6-granary-v2-pipeline-redesign Granary v2 管道设计图，展示从原始音频到训练目标的约12分钟样本流程。元数据管道通过语音活动检测和说话人分离对音频进行分段并识别语言。语音识别管道使用主模型和备用模型转录片段，并保留最佳预测结果：“Like, Granary-v2 is, uh, making every word matter.” 文本管道生成 tn_raw、itn_raw 和 itn_clean 三种转录文本，以及翻译、字幕、语音问答对和上下文语音识别术语。训练视图将这些内容打包成指令对，将“Transcribe without disfluencies”映射为“Granary-v2 is making every word matter.”
Image 5: fig6-granary-v2-pipeline-redesign Granary v2 管道设计图，展示从原始音频到训练目标的约12分钟样本流程。元数据管道通过语音活动检测和说话人分离对音频进行分段并识别语言。语音识别管道使用主模型和备用模型转录片段，并保留最佳预测结果：“Like, Granary-v2 is, uh, making every word matter.” 文本管道生成 tn_raw、itn_raw 和 itn_clean 三种转录文本，以及翻译、字幕、语音问答对和上下文语音识别术语。训练视图将这些内容打包成指令对，将“Transcribe without disfluencies”映射为“Granary-v2 is making every word matter.”

图6. Granary v2 数据整理管道，展示从原始音频经过元数据、语音识别和文本阶段到训练示例的流程。

开发者可以使用 NeMo Curator 管道 结合 Ray 和 NVIDIA Dynamo 后端，在自己的录音或授权的公共语料库上运行，或基于 Granary v2 公共清单 进行开发。清单包含 tn_raw、itn_raw 和 itn_clean 三种转录形式，上述描述的标签、实体提示、派生指令对、来源信息以及每条记录的质量标志。请根据每个语料库的原始许可协议单独下载源音频，并遵循发布条款。

适配关键词汇的识别

从指定语言、脚本和转录格式的开发集提示开始。在下面的案例研究中，提示中明确指定英语和拉丁字母，使完整基准测试的词错误率（WER）从 30.8% 降至 23.8%。对于剩余的领域错误，NeMo 语音微调工作流会将代表性语音与明确的书面目标配对。

NeMo 语音医疗 ASR 案例研究 展示了这一进展在 Eka Care 开源基准 上的表现，该基准包含来自印度医生和医学生共 3,619 段录音，且未指定训练分割。该研究从生成的医学文本和公共医学目录构建适配数据，然后整合约 153 小时合成语音、29 小时 Common Voice 的口音英语以及 63 小时 MultiMed 的医学录音。

Image 6: fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech
Image 6: fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech

图7。在Eka Care印度医疗语音基准的完整测试集上，更优的提示将词错误率（WER）从30.8%降至23.8%，微调后进一步降至11.8%，相比原始模型减少了约62%的转录错误。完整数据集包含用于选择提示和检查点的855个调优片段；下方的保留结果是更干净的测试集。

合成生成将书面目标与语音呈现分离：“HbA1c”是标签，而“H B A one C”被发送给合成器。多个TTS语音扩展了音频内容；真实录音增加了口音和录音条件。训练文本经过过滤，确保与基准参考的精确匹配和共享的八词序列。

与Granary v2的显式目标类似，训练示例在数字、单位间距、公司名称扩展和品牌名称连字符方面存在差异，指令中指定了所需的规范。一些提示包含带有近似干扰项的术语列表，使模型学会仅在音频支持时使用特定拼写。最终系统使用一个固定规范提示和一个模型遍历，不进行检索或转录后处理。

该方案训练语音编码器和投影，并使用LoRA适配语言模型。两次运行使用不同的数据混合；在适配器合并后，选择的检查点被均匀平均为一个最终模型。检查点选择使用解码开发集结果，而非仅依赖训练损失。从文本生成到评估的完整适配过程在单个NVIDIA GB300上耗时约14个GPU小时。

在保留说话人上测量的领域增益

研究将基准按说话人分为855个调优片段（用于选择提示和检查点）和2,764个保留片段（每个最终系统解码一次）。使用Eka Care的KARMA评分流水线，微调将最佳提示基线的保留WER从22.44%降至12.17%，相对减少了45.8%，这是增益泛化到新说话人的最明确证据。关键词WER从9.2%降至6.5%，语义WER从10.0%降至7.6%。在相同的保留说话人和评分器上，适配模型的12.17% WER优于开源医疗专家模型（13.79%）和广泛使用的通用ASR模型（14.92%）。

在通用英语方面，LibriSpeech测试集的干净语音词错误率（WER）略有上升，从1.54%上升至1.69%。医疗专业领域在品牌药物和诊断的精确匹配上仍保持领先；该研究指出，下一步应使用临床医生实际说出品牌名称的真实录音。对于您自己的领域，至少保留100个真实标注的音频片段用于检查点选择，并评估您的应用所依赖的实体类型，同时与通用语音保留率一同进行评估。

案例研究包含重现每一步的命令。微调教程涵盖训练、导出和评估的配方、资源需求及工具，包括新语言和代码切换的ASR。配套的代理技能可让编程代理执行工作流，从基线选择和数据检查到训练验证、适配器合并和评估。

ModelScope还通过其ms-swift框架使开发者能够对Nemotron 3.5 Transcribe进行微调，以实现特定的多模态应用。

开始使用Nemotron 3.5 Transcribe和Granary v2

在Hugging Face演示或ModelScope Studios上尝试Nemotron 3.5 Transcribe，然后从Hugging Face或ModelScope下载检查点。对于自托管转录，可从vLLM或SGLang-Omni开始，两者都提供从第一天起的支持。

如果要跳过自托管，可以使用Baseten、DeepInfra或Simplismart提供的托管端点。

要将其适配到您的领域，请从Hugging Face或ModelScope上的Granary v2清单以及医疗ASR案例研究开始，或让编程代理通过微调代理技能驱动工作流。

模型与数据集

仓库与教程:NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2 管道 | vLLM 部署指南 | 语音微调指南 | 微调代理技能

合作伙伴博客:Agora | Inflection AI | VoiceArena | Simplismart | DeepInfra

本地AI:NVIDIA RTX PC、笔记本电脑和DGX Spark上本地AI的最新进展