How Nvidia's New Nemotron Model Works

TL;DR · AI 摘要
How Nvidia's New Nemotron Model Works ByteByteGo Nov 02, 2026 Shared Integrations Shouldn’t Need Per-User Tokens Sponsor...
核心要点
- 主题聚焦:How Nvidia's New Nemotron Model Works
- 来源:ByteByteGo Newsletter,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
Nvidia 新 Nemotron 模型的工作原理
ByteByteGo
2026 年 11 月 2 日
共享集成不应需要每个用户的令牌(赞助内容)
某些集成属于整个公司:共享的 Slack 机器人、团队分析 API 密钥、服务器到服务器的凭证。要求每个用户都连接自己的账户会导致令牌重复、设置未完成,每次有新成员加入时都需要创建新的支持工单。
WorkOS Pipes 处理 OAuth 和令牌存储,使您的产品能够连接 300 多个集成。通过连接共享功能,组织管理员只需通过嵌入式 Pipes 管理小部件一次连接提供方,所有活跃成员即可立即使用。凭证存储在组织层面,永远不会发送到浏览器。
了解共享集成如何工作 →
Nemotron 是 Nvidia 推出的一系列大型语言模型(LLMs)。
Nvidia 工程团队在构建 Nemotron 时采用了一个核心设计理念。这个理念是构建一个具有良好容量的语言模型,同时降低计算和内存需求。为实现这一目标,他们结合了不同类型的神经网络层。他们仅使用每个令牌的部分参数。最后,他们还优化了模型生成答案的方式。
在本文中,我们将探讨 Nemotron 的工作原理以及 Nvidia 在构建过程中使用的各种技术。以下是本文将涵盖的内容:
- Nemotron 如何生成文本
- Transformer 模型如何消耗资源
- Nvidia 的 Nemotron 如何降低成本
- Nemotron 如何使用 Mamba 和 MoE
- Nvidia 如何训练其模型
- Nvidia 如何使用多令牌预测
- Nvidia 如何减少模型存储
免责声明:本文基于来自多个来源的公开信息。文末有参考文献。如果您发现任何不准确之处,请在评论中指出。
来源:Nvidia 开发者博客
Nemotron 如何生成文本
Nemotron 是基于 Transformer 的大型语言模型(LLM)。因此,您可以预期它的工作方式与其他任何 LLM 几乎相同。
在典型的 LLM 中,用户会向模型发送一些输入文本。这段文本会被分割成令牌。这些令牌可以是单词、单词的一部分、标点符号或其他文本片段。在处理过程中,模型会将每个令牌转换为称为嵌入的数值表示。接下来,模型会通过一系列层处理这些嵌入。
在输出时,模型会作为解码过程的一部分计算可能的下一个令牌的分数。解码步骤会选择一个令牌并将其附加到序列中。然后继续生成后续的令牌。这些计算中,模型会使用其参数或权重。这些参数是在训练阶段学习到的。
Nemotron 的主要目标是尽可能高效地实现文本生成过程。这种效率对 AI 代理至关重要。这是因为 AI 代理会反复阅读指令、调用工具、从这些工具获取响应,并决定下一步该做什么。您可以看到,一个编码代理在尝试解决问题时可能需要进行数十次模型调用。良好的效率对这类代理来说效果显著。
Nemotron Lightning 模型总共有 300 亿个参数,试图优化这种重复执行的工作。
Transformer 模型如何消耗资源
基于 Transformer 的语言模型会在注意力机制和前馈计算上消耗资源。
如你所知,模型会将文本拆分为称为标记的小块。然后,它将每个标记转换为数字列表。你可以将这个列表视为标记的表示形式。随着模型处理文本,这些数字会发生变化。模型会逐渐了解标记及其上下文的信息。因此,某种意义上说,标记的表示形式会随之改变。
注意力机制使信息能够在标记之间传递。例如,假设你有一句话:“Adam 把冰淇淋放进冰箱,因为它正在融化”。要理解“它”这个词,模型需要知道句子中先前提到的“冰淇淋”。注意力机制提供了一种方法,可以将之前的信息带入“它”这个词的表示形式中。
要理解这种信息收集机制的工作原理,你需要了解三个术语:查询(query)、键(key)和值(value)。
查询是指用户想要了解的信息。键描述了某个注释可能涉及的内容。值包含注释能够提供的实际信息。模型会将查询与可用的键进行比较,然后结合值,并对匹配度更高的部分赋予更大的权重。所有这些都是数值计算。
多个注意力头可以并行执行多次这样的计算。每个头会学习不同的匹配和结合信息的方式。最终,前馈网络会处理每个位置上的信息。它通过应用矩阵运算并执行非线性函数来生成另一种表示形式。例如,在注意力机制将“冰淇淋”的信息带入“它”的表示形式后,前馈计算可以利用训练过程中学习到的模式来进一步优化该表示。
你可以将注意力机制视为从不同地方收集所有有用的注释。另一方面,前馈网络则作用于你在注意力机制中收集到的注释。
现在让我们来看成本部分。
如你可能已经知道,模型会逐个标记生成答案。它生成一个标记,然后将该标记作为下一步输入的一部分,继续生成。这种机制被称为自回归生成。在这些步骤中,大部分文本内容保持不变。然而,如果你每次都要重新计算键和值,就会重复大量工作。键值缓存(KV cache)会存储这些重复的工作,以便模型可以重复使用。但缓存的工作仍然会占用内存。在完整的注意力机制中,较长的历史记录意味着需要存储更多的键和值。此外,每一步都需要检查更多的信息。
在读取初始提示和继续生成答案之间也存在成本差异。例如,当你处理一个完整的提示时,模型需要在许多标记位置之间计算关系。在向后查看的模型中,第一个标记只有一个位置需要考虑。第二个标记有两个位置,第三个标记有三个位置,依此类推。这些比较会随着整个提示的长度而累积。
从这一点你可以轻松推断出,如果你将提示长度加倍,所需的注意力比较工作量将增加到四倍。这呈现出二次增长。而使用键值缓存后,早期信息已经准备就绪,因此将历史记录长度加倍只会使注意力工作量增加一倍。这呈现出线性增长。
Nvidia 的 Nemotron 如何降低成本
Nvidia 的 Nemotron 3 模型使用 Mamba 层和专家混合(mixture of experts)来降低成本。
Mamba层维护一个紧凑的数值状态。随着新token的到达,该状态会持续更新。可以将其想象成一个持续记录已读内容的动态笔记。该状态由训练过程中学习到的数值特征组成,可用于在长序列中传递信息。但与之不同的是,状态不会通过为每个历史token单独存储键值对来增长。
在生成过程中,Mamba层的状态大小和每个token的更新成本保持固定。可以持续更新模型而无需让层去搜索不断扩展的缓存。但固定状态也带来一个权衡:将长历史压缩到有界表示中,可能会使精确检索内容变得困难。
专家混合(MoE)架构改变了前馈计算方式。在这种架构中,模型包含许多称为专家的前馈网络。一个路由器会选择一组专家来处理每个token。模型可能具有大量容量,但每个token只会使用其中一部分容量。
Nemotron如何结合Mamba和MoE
Nemotron在一个网络中同时结合了Mamba和注意力机制。
Mamba使序列处理变得高效,而注意力机制可直接访问早期位置的表示。Nemotron将这两种机制交错排列,使信息在通过网络时能同时经过两者。
层序列由架构定义,每个token表示都会按顺序经过该序列。它会在特定位置依次遇到Mamba、注意力和专家变换。因此,注意力层运行在已经被前面层处理过的表示上。这样,序列处理的大部分操作都使用紧凑状态,而选定的层可以保留注意力连接远距离位置的能力,其余注意力层则维持KV缓存。
专家混合(MoE)为模型提供了容量而不必激活所有专家。在密集模型中,每个token都会经过同一层的相同前馈网络。而使用MoE时,一个层包含多个替代前馈网络,路由器会选择使用哪组网络。选定的专家处理表示后,其输出会通过路由权重进行组合。
Nvidia的Lightning配置提到每个MoE层有128个路由专家,每个token会选择6个专家。这就是一个拥有约300亿参数的模型,但每个token只使用约30亿参数的原因。
当然,未使用的专家仍然是模型的一部分,必须保持对后续token的可访问性。通过稀疏激活,可以减少每个token的计算量,但总参数数量仍会影响模型所需的内存。
Lightning在注意力机制上指定了32个查询头和仅2个键值头,这属于经典的分组查询注意力架构。
在基本的多头注意力中,每个注意力头都有自己的键和值。而使用分组查询注意力时,多个查询头可以共享键值表示。模型在存储更少独立键值表示的同时,仍能保留多种查询上下文的方式。
Nvidia如何训练他们的模型
训练过程中,首先构建一个语言模型,然后教导它执行有用的行为。训练决定了权重的取值以及这些计算能支持的能力。
第一阶段是预训练。在此阶段,您通过预测标记并调整模型权重以减少预测误差,使模型从大量文本中学习。通过处理大量示例,可以构建语言、代码、事实和其他模式的表示。Lightning的基础模型是在爬取和合成的材料上训练的,这些材料涵盖了代码、数学、科学和常识。
Nvidia的预训练尝试将模型从广泛的数据混合转向更强调高质量材料。更广泛的内容覆盖了更全面的领域。后续采样则更侧重于选定能力的权重分配。
下一个训练阶段是监督微调(SFT)。在此训练中,您使用期望行为的示例来训练模型。可以包括指令、对话、代码、工具交互和结构化响应。
在Nvidia的SFT方案中,用户和系统消息提供上下文。但训练目标是基于助手生成的标记计算的。因此,模型会学习在特定对话中应生成哪些响应。如果您需要结构化输出的任务,期望的响应可以提供正确信息的示例和所需的JSON格式。
强化学习通过模型自身的尝试添加反馈。Lightning使用组相对策略优化(GRPO)。模型针对提示生成多个响应。这些响应会获得奖励。训练过程会比较它们的相对表现以更新模型。
完整的训练方案包含一个评估环境,该环境可以评估数学答案、执行代码测试、检查指令遵循情况并验证输出模式。
如您所见,训练阶段存在逻辑上的递进关系。预训练有助于发展广泛的预测能力。SFT提供有用行为的示例。强化学习通过生成尝试的反馈来优化行为。
Nvidia如何使用多标记预测
即使每个标记的成本降低,普通生成也无法按顺序进行。下一个标记依赖于前面的序列,包括刚刚生成的标记。
多标记预测(MTP)训练一个辅助机制以预测更远的内容。在推理阶段,这些预测可以支持推测性解码。在此方法中,您有一个轻量级的草稿机制,用于提出多个候选标记。主模型在验证过程中评估提出的延续内容。
当您接受多个提出的标记时,可以在较少的主模型顺序遍历中实现多个位置的标记生成。如果拒绝某个提案,生成将从已接受的前缀继续。
Nvidia的模型内置了集成的MTP功能和独立的草稿模型。
Nvidia如何利用低精度数字减少存储
Nvidia还对计算中涉及的数字表示方式进行了另一项优化。
BF16权重使用16位。如果使用更少的位数表示权重,可以减少存储需求。同时减少通过内存传输的数据量。挑战在于近似误差,因为更小的数字集合无法精确复现每个原始权重。
Nvidia采用NVFP4格式。该格式将四比特浮点值与缩放信息相结合。每组16个值共享一个FP8缩放因子,并在张量层级增加额外的缩放。Nvidia还使用了量化感知蒸馏(QAD)技术。在QAD中,首先从BF16模型创建一个量化学生模型。BF16模型保持固定作为教师模型。学生模型通过模拟量化进行训练,学习将输出得分接近教师模型的得分。
Nvidia成功将模型大小从BF16的约66GB减少到NVFP4检查点的约22GB。
结论
Nvidia的Nemotron 3 Super模型总参数量约为1200亿,激活参数为120亿。通过Ultra版本,这一数字扩展到总参数5500亿和激活参数550亿。两个模型均采用混合Mamba-注意力设计,并引入了LatentMoE。
LatentMoE解决了专家处理的另一个成本问题。
宽泛的token表示移动和加载专家权重可能非常昂贵。解决方案是将表示投影到更小的空间以进行路由专家计算。专家处理这种紧凑表示。它们的输出被合并后,结果再投影回主模型维度。如果减少路由计算的宽度,可以节省内存流量和通信开销。Nvidia利用这些节省支持更多专家和更多激活专家组合,同时保持相似的推理预算。
Ultra模型还新增了一种名为多教师策略蒸馏的训练技术。模型生成自己的尝试,并从多个领域专用的教师模型获得指导。“策略内”意味着从当前学生生成的尝试中学习。这使教师模型能够指导学生模型实际遇到的情况。
参考文献:
- Nemotron 3系列白皮书
- Nemotron 3 Super:开放、高效的MoE混合Mamba-Transformer模型
- 解析Nvidia Nemotron 3:使其高效准确的技术、工具和数据