Another Giant Leap: The Rubin CPX Specialized Accelerator & Rack

另一个巨大的飞跃：鲁宾CPX专用加速器与机架

[](https://semianalysis.com/)

订阅 登录

另一个巨大的飞跃：鲁宾CPX专用加速器与机架

新的预填充专用GPU、机架架构、物料清单、解耦电源分配、每总拥有成本性能更高、总拥有成本更低、GDDR7与HBM市场趋势

Dylan Patel，Daniel Nishball，Kimbo Chen 和其他三人

2025年9月10日

∙ 付费

28

1

分享

英伟达宣布了鲁宾CPX，这是一种专门为预填充阶段优化的解决方案，单芯片鲁宾CPX主要强调计算浮点运算能力（FLOPS），而不是内存带宽。这对推理来说是一个变革性的进展，其重要性仅次于2024年3月宣布的GB200 NVL72奥伯龙机架规模形式因子。只有针对推理的不同阶段（预填充和解码）专门设计的硬件才能实现解耦服务的全部潜力。

因此，英伟达与其竞争对手之间的机架系统设计差距已经变得像峡谷一样大。AMD和其他自定义硅片竞争对手可能已经在模仿英伟达的72-GPU机架规模设计方面取得了一小步进展，但英伟达又迈出了另一个巨大的飞跃，再次让竞争对手成为后视镜中的遥远目标。

AMD和ASIC供应商已经投入大量资金来追赶他们自己的机架规模解决方案。特别是AMD一直在不懈努力改进他们的软件堆栈，以缩小与英伟达的差距，但现在每个人都需要加倍投资，因为他们将不得不开发自己的预填充芯片，这将进一步推迟他们能够缩小这一差距的时间。通过这次公告，英伟达的所有竞争对手都将回到绘图板上，重新配置他们的整个路线图，就像奥伯龙如何改变了整个行业的路线图一样。

鲁宾CPX

因为在推理过程中的预填充阶段通常会大量使用计算能力（FLOPS），而只轻度使用内存带宽，所以在一块配备昂贵且高内存带宽的HBM芯片上运行预填充是一种浪费。答案是一块内存带宽较少但计算能力较强的芯片。这就是鲁宾CPX GPU。

来源：英伟达

鲁宾CPX提供了20 PFLOPS的FP4密集计算能力，但只有2TB/s的内存带宽。它还配备了128GB的GDDR7内存，相比VR200，这是更少数量的较便宜内存。相比之下，双芯片R200提供了33.3 PFLOPS的FP4密集计算能力和288GB的HBM，提供20.5 TB/s的内存带宽。

来源：SemiAnalysis，英伟达

鲁宾CPX的引入扩展了VR200系列机架服务器的种类：

1. VR200 NVL144：18个计算托盘中包含72个GPU，每个计算托盘包含4个R200 GPU模块。

1. VR200 NVL144 CPX：除了18个计算托盘中的144个鲁宾CPX GPU模块外，还有72个逻辑GPU模块，每个计算托盘包含4个R200 GPU模块和8个鲁宾CPX GPU模块。

1. 维拉鲁宾CPX双机架：两个独立的机架——一个VR200 NVL144机架加上一个VR CPX机架，18个计算托盘中有144个鲁宾CPX GPU，每个计算托盘有8个鲁宾CPX GPU。

来源：SemiAnalysis，英伟达

在本报告中，我们将首先解释迄今为止的故事以及由于内存在这推理的预填充和解码阶段中扮演的不同角色而推动 Rubin CPX 开发的动力。然后，我们将深入探讨 Rubin CPX 芯片的架构及其部署的机架规模解决方案。接下来，我们将从过去和现在转向关于解聚合推理服务的未来展望，以及今天的公告如何影响其他商业加速器供应商和定制硅项目的未来路线图和竞争力。在本文的最后一部分，我们将简要列出机架和主要组件组的预算分析的关键物料清单 (BoM) 项目。

内存：迄今为止的故事

内存墙一直是人工智能最重要的限制因素。为了将更大的模型加载到加速器中，需要更大的内存容量，而内存带宽则是推理和训练吞吐量的主要瓶颈。这就是为什么每块 GPU 的高带宽内存 (HBM) 容量和带宽迅速增加——从 H100 的 80GB 和 3.4TB/s 增加到 GB300 的 288GB 和 8.0TB/s，不到三年内内存容量增加了三倍以上，带宽增加了约 2.5 倍。

因此，从 Hopper 到 Blackwell，HBM 在加速器物料清单中的占比一直在增加，如今对于 GB300 来说，HBM 已成为封装物料清单中最大的单一组件。HBM 对于训练和推理都非常有价值，但当我们分解推理过程为预填充和解码步骤时，HBM 只在解码步骤中有很高的价值。在预填充阶段，这是一个计算密集型过程，由于预填充的并行性质，KVCache 的生成带宽需求较低，因此在此步骤中 HBM 利用率不高。

HBM 相对于其他形式的 DRAM 具有昂贵的溢价，因为其具有更高的带宽，当这种带宽利用率不足时，这种 HBM 就会被浪费掉。HBM 占据越来越多的物料清单比例，这又构成了另一个“障碍”，也是开发 Rubin CPX GPU 的动力所在。

来源：SemiAnalysis

现在我们已经简要探讨了迄今为止内存所扮演的角色，让我们转向今天的公告，并详细探讨 Rubin CPX 的架构及其部署的机架规模服务器。

带宽和计算差异

每个 Rubin CPX 芯片将是一个单片 SoC，采用传统的倒装芯片 BGA 封装。与使用 HBM 不同，Rubin CPX 将配备 128GB 的 GDDR7 DRAM。从使用 HBM 转换为更便宜的 GDDR7 内存，每 GB 的成本降低了超过 50%。

内存速度可能达到 32Gbps，总线宽度为 512 位。这使得每个 Rubin CPX 的内存带宽达到 2TB/s，而每个 R200 的内存带宽为 20.5TB/s。值得注意的是，在这次主题演讲中，Nvidia 还确认了常规 Rubin 的显著带宽升级。R200 的 HBM4 速度已大幅提高到 10Gbps，以实现每个 R200 的 20.5TB/s 内存带宽，正如我们在之前讨论的 加速器和 HBM 模型 中提到的那样。相比之下，R200 最初发布时仅宣称具有 13TB/s 的内存带宽规格，速度为 6.4Gbps。我们在模型中也讨论并量化了对 HBM 供应商的影响。

144 个每个提供 2.0 TB/s 内存带宽的 CPX 芯片和 72 个提供 20.5TB/s 内存带宽的 R200 芯片将共同提供总计系统内存带宽为 1.7PB/s。

在计算方面，每个 CPX 提供 30 PFLOPs 的稀疏 FP4 计算吞吐量（20 PFLOP 密集），而 R200 提供 50 PFLOPs 的稀疏 FP4 计算吞吐量（33.3 PFLOPs 密集）。Rubin CPX 的密集 PFLOPs 遵循与 R200 相同的 3:2 稀疏到密集比率，因为它继承了类似的张量核心架构。CPX 相对于 R200 的两个计算芯片提供了非常强大的单芯片 FP4 计算吞吐量。这些提升可能是通过减少更高精度的计算单元来实现更多的 FP4 ALU。这正是在 B300 上实现的，以在相同的 4NP 节点上获得比 B200 更高的 FP4 吞吐量。

然而，正如往常一样，峰值理论 FLOPs 实际上很难达到。像 Nvidia 的其他受功率限制的 GPU 一样，考虑到我们估计的约 800W 的额定功率，Rubin CPX 很难维持接近峰值的 FLOPs：我们看不到它能够突破 1W/mm² 的功率密度，尤其是在板卡采用夹层形式集成的情况下（更多细节见下文）。

网络也有所不同。没有用于扩展的 NVLink SerDes，相反，Rubin CPX 依靠 PCIe Gen 6 通过 scale-out 网络上的 CX-9 网卡与其他 GPU 通信。通过实施管道并行性，这种减少的网络能力是完全可行的，我们将在下面讨论这一点。

由于较低的总硅含量和成本更低的内存，鲁宾 CPX 的生产成本远低于 R200。降低总内存容量并使用成本更低的 GDDR7 意味着内存成本降低了 5 倍。芯片架构也更为简单，因为避免了 HBM 并且只有一个光罩大小的裸片而没有任何 I/O 小芯片，因此不需要 CoWoS 封装。为了提供一些背景信息，鲁宾 CPX 的设计类似于下一代 RTX 5090 或 RTX PRO 6000 Blackwell，两者都使用一个大的单片裸片，并具有 512 位宽的 GDDR7 内存接口。由于这些芯片基于消费者版 Blackwell GPU 裸片，这些芯片只有其 HBM 版本 B200 的 20% 的浮点运算能力。对于鲁宾 CPX，这一比例上升到 60%，因为它将是一个单独的流片，更接近于 R200 计算裸片。作为实现每单位成本最大浮点运算能力的练习——鲁宾 CPX 是无与伦比的。

在文章后面的部分，我们将分解鲁宾 CPX 的物料清单优势，并估计通过将预填充从 R200 移动到鲁宾 CPX 可以节省多少成本。

英伟达奥伯隆机架架构升级：VR NVL144 CPX、VR NVL144、VR CPX

让我们离开鲁宾 CPX 芯片，进入将容纳 CPX 的两个新的鲁宾机架。

去年三月，在 GTC 2024 上，英伟达介绍了其奥伯隆架构的第一代：GB200 NVL72。再过一年半，奥伯隆的第二代——GB300 NVL72 即将大规模生产。这两代之间的设计变化和升级非常有限。奥伯隆架构的第三代，鲁宾（VR），是伊恩今天在 AI 基础设施峰会上演讲的重点。预计在 2026 年推出，不到奥伯隆机架外形尺寸首次亮相三年后，VR 将在设计和升级方面有显著的变化。

鲁宾奥伯隆将奥伯隆架构的功率密度推向极限，需要对电源交付内容进行重大升级，并在冷却解决方案中进行设计变更。选择无电缆设计是为了克服 GB200/GB300 组件中飞越电缆布线的困难以及内部托盘电缆带来的可靠性挑战。连接 OSFP 笼子到 ConnectX 网卡的电缆已被移除。连接从 PCIe 到前端 BlueField DPU 和本地 NVMe 存储的电缆也被移除，以及其他旁带电缆。

鲁宾中的关键变化和升级集中在重新设计以下三个鲁宾（VR）计算托盘 SKU：

• VR NVL144（仅限鲁宾）

• VR CPX（仅限鲁宾 CPX）

• VR NVL144 CPX（同一托盘中的鲁宾 + 鲁宾 CPX）

这三种计算托盘类型是讨论的三种机架解决方案的基础：

• VR NVL144

• VR NVL144 CPX

• VR NVL144 + VR CPX（双机架）

来源：SemiAnalysis

首先介绍的是 VR NVL144 CPX 机架。这与 VR NVL144 类似，不同之处在于在每个包含 18 个计算托盘的 VR NVL144 CPX 中，除了 4 个 R200 GPU 和 2 个鲁宾 CPU 外，现在每个计算托盘还增加了 8 个鲁宾 CPX GPU。

VR NVL144 CPX 机架也将采用液冷方式，但其功率预算更高，约为 370kW，而 VR NVL144 的功率预算约为 190kW。

另一种部署选项是鲁宾 CPX 双机架。顾名思义，这种解决方案允许已经部署了 VR NVL144 机架的客户稍后向其数据中心添加 VR CPX 机架，从而为其提供专门用于解耦 PD 推理的硬件。VR CPX 不通过 NVLink 连接，因此 VR CPX 机架不包含 NVSwitch 托盘。VR CPX 机架通过扩展的 InfiniBand 或以太网网络连接到集群，并可以方便地添加到集群中的物理位置——它不必与 VR NVL144 物理相邻。

与 VR NVL144 CPX 相比，双机架解决方案提供了更多的灵活性，因为客户可以根据自己的喜好设计预填充与解码的比例。此外，并不是所有数据中心基础设施都准备好支持约 370kW 的 VR NVL144 CPX。另外，与单一机架变体相比，失败的范围较小。

来源：SemiAnalysis, Nvidia

在下表中，我们可以看到在一个计算托盘中塞进了多少计算和网络内容——每个计算托盘中有总共 22 个英伟达芯片（其中 14 个是 XPU），或者每个 VR NVL144 CPX 机架中有 396 个芯片。为了将上述所有内容塞进一个计算托盘，英伟达转向了无电缆和模块化设计，并重新设计了计算托盘内的冷却回路。

来源：Nvidia, SemiAnalysis 估算

NVL144 CPX 将在计算托盘机箱的后半部分保持与 GB200/GB300 类似的计算板设置。显著的区别在于采用了可插拔的 SOCAMM DRAM 模块，而不是焊接的 LPDDR5X 内存，这些内存由 CPU 控制。VR NVL144 CPX 和 GB200/GB300 之间的主要区别在于机箱前半部分的主机处理器主板（“HPM”）计算板下方的部分，也称为 Blackwell 一代的“Bianca”板。

在前面，VR NVL144 CPX 设计是模块化的，由 7 块子卡模块组成。

• 在机箱两侧各放置四块子卡模块。每侧有两个堆叠在一起的子卡。这四块子卡每块包含两个 800G CX-9 网络接口控制器（NIC），一个 1.6T OSFP 笼子，一个 E1.S SSD NVMe 模块，以及两个 Rubin CPX。

• 机箱中间的一块子卡（下图中较低的中心位置）装有 Bluefield-4 模块，该模块包含一个 Grace CPU 和一个 CX-9 NIC。

• 这块 Bluefield-4 模块上方堆叠的一块子卡装有电源分配板（PDB）。PDB 负责将从背板连接器进入机箱的 48-54V 电压降至 12-13.5V。

• 最后一块子卡较小，位于 Bluefield-4 模块右侧。它更薄，并且装有包含 BMC、HMC、DC-SCM 和管理 I/O 的公用管理模块。

来源：SemiAnalysis 估算，Nvidia

我们估计 Rubin CPX 芯片的 TDP 大约为 800W，但考虑到整个模块包含 GDDR7 内存时，总 TDP 上升到 880W。为了冷却计算托盘前端的 7,040W 的 Rubin CPX 模块，机箱前部的冷却必须从空气冷却升级为液体冷却。

为此，NVIDIA 重新采用了其 2009 年 GTX 295 的设计。Rubin CPX 和 CX9 子卡采用夹层设计，中间有一个共享的液冷散热板。

来源：SemiAnalysis 估算，Nvidia

在外侧的 PCB 上，热管和热扩散器将每个夹壳 GDDR7 内存模块背面的热量转移到主散热板上。通过充分利用 1U 托盘的高度并使用散热板的双面，可以最大限度地提高密度，从而将计算托盘区域减半。

来源：SemiAnalysis 估算，Nvidia

VR NVL144 CPX 的另一个关键设计变化是采用了无电缆设计。正如我们在 PCB 超级周期核心研究笔记 中讨论的那样，以及最近关于 Amphenol 的 AI 内容 的核心研究笔记中提到的，这种设计有两个原因。首先，飞线电缆在组装过程中容易损坏，存在多个不同的故障点。其次，VR NVL144 CPX 的高密度设计没有空间来布线电缆。

那么信号是如何在没有电缆的情况下传输的？答案很简单：来自HPM（Bianca）板的信号通过Amphenol的Paladin板到板连接器离开该板。我们在最近关于Amphenol AI内容的文章中有更详细的讨论[[1]](https://semianalysis.com/core-research/amphenol-content-growth-vr-nvl144-backplane-board-to-board-connectors-dac-acc-aec-tam-kyber-midplane-backplane/)。然后信号通过位于机箱中间的PCB中板进行路由。在PCB中板的另一侧，子卡通过另一组Paladin B2B连接器与PCB中板相连。

来源：SemiAnalysis 估算，Nvidia

为了适应这种无电缆设计，HPM（Bianca）板上上部的CX-9网卡从机箱后半部分移到了前半部分，如下图所示。对于GB200/GB300，GPU/CPU与CX-7/8之间的PCIe信号距离比CX-7/8与OSFP笼之间的以太网/InfiniBand信号距离短。

之前——必须将计算托盘后半部分NIC中的200G以太网/InfiniBand信号传输到计算托盘前部的OSFP笼，这需要使用飞越电缆，因为每条通道在200Gbit/s（单向）时的信号损耗过高。

但现在由于NIC更接近OSFP笼，较低速度的每条通道PCIe Gen6信号（每条通道64Gbit/s单向）可以传输更长的距离，并且这种连接现在可以通过PCB进行路由。尽管通过PCB传输PCIe Gen6信号仍然具有挑战性，但通过升级PCB材料，仍可以实现适当的信号完整性。

来源：SemiAnalysis 估算，Nvidia

为了更好的可维护性，子卡也被设计成模块化。每个子卡模块都可以滑入和滑出子卡模块托架。在计算托盘内部，设计有用于此目的的内部导轨套件。

下面我们将展示不同Vera Rubin计算托盘SKU内的信号路由方式以及Vera Rubin SKU的计算托盘拓扑结构。这些图表的一个亮点是，CX-9在启用Rubin CPX和扩展连接方面起着关键作用，因为它也是一个集成的PCIe交换机。

来源：SemiAnalysis 估算，Nvidia

巨大的飞跃：解耦服务

今天发布的Rubin CPX对推理来说是一个改变游戏规则的产品，其重要性仅次于GB200 NVL72 Oberon机架规模外形规格的首次发布。只有专门针对推理的不同阶段（预填充和解码）的硬件才能真正实现解耦服务。

在本节中，我们将解释从传统服务到使用统一硬件的解耦服务的演变，并以专门硬件的解耦服务分析结束。我们将展示使用统一硬件的解耦服务会带来多少浪费。一旦专用推理硬件变得普遍，使用统一硬件的感觉就像用风镐砸一只虫子一样。

服务LLM请求涉及两个阶段：预填充阶段和解码阶段。在预填充阶段，LLM根据用户提示生成第一个标记。这个阶段影响时间到第一个标记（TTFT），并且通常是由计算限制的，未能充分利用内存带宽。另一方面，解码阶段在从KV缓存加载前一个标记的同时生成一个新的标记。这个阶段影响每输出标记的时间（TPOT），并且总是由内存限制的，未能充分利用计算能力。

来源：NVIDIA

来源：SemiAnalysis 估算

在下面的图表中，我们看到一个示例，展示了在相同系统上进行预填充和解码时，内存带宽与浮点运算（FLOPS）利用率之间的权衡。单个标记的预填充所需的浮点运算随着输入序列长度线性增长。解码所需的浮点运算也随着系统中的用户数量（即批处理大小）和序列长度而变化。

较短的输入序列长度可能无法完全利用推理系统的浮点运算能力，在这种情况下，系统的输出将受限于参数加载到芯片内存的速度——这是内存带宽的一个函数。然而，随着输入序列长度的增加，工作负载最终会使用推理系统上的所有可用浮点运算能力，此时工作负载将受到系统总浮点运算能力的限制。在下图的右侧部分，我们展示了当序列长度超过32k时，浮点运算利用率达到了100%，而内存带宽利用率下降了。

来源：SemiAnalysis

因此我们可以看到，当节点执行非常重的预填充工作负载——具有长序列长度或大批次大小时，内存带宽未被充分利用。正如前一节提到的，由于过去几年中芯片物料清单（BOM）中用于内存的比例不断增加，这最终导致资源的昂贵低效利用！

效率低下还来自于预填充和解码阶段的工作负载特性本质上如此不同，以至于当它们并发处理时，预填充和解码请求总是相互干扰性能。有许多优化尝试来平衡两者——例如添加预填充计算以确保请求长度相对均匀，从而提高利用率，但这些方法总会带来权衡。另一种方法是完全分离预填充和解码阶段，但如果优先考虑解码阶段，则预填充需要等待——导致第一个标记的时间很长。相反，如果优先考虑预填充，解码阶段将被迫等待，并且由于内存带宽未被充分利用，标记间的延迟会变慢。

**第一步：使用同一硬件分离预填充和解码**

第一级解决方案是实现分离服务，首先通过将预填充和解码请求路由到不同的计算单元来解决干扰问题，使其更容易理解和管理性能。这种方法的好处是可以更好地管理服务水平协议（SLA），这些协议通常关注每秒令牌/用户的水平。然而，这种方法也有一些局限性。这种完全分离仅在某些输入/输出序列长度比值和较长解码长度的情况下提供出色的结果，其他场景下的收益并不明显。此外，这种分离仍然存在“错误尺寸”问题，即纯预填充操作几乎总是严重未充分利用内存带宽。

在下面的示例中，我们展示了R200在仅用于预填充时几乎不会使用其大部分内存带宽。随着序列长度的增加并更有效地使用可用浮点运算，内存带宽利用率变得越来越小——实际上浪费了非常昂贵的HBM内存。

来源：SemiAnalysis

**下一步：在专用硬件上分离预填充和解码——鲁宾CPX登场**

由于预填充本质上会低效利用内存带宽资源，一种减少浪费的方法是减少内存的数量和成本。这正是鲁宾 CPX 采取的方法，它使用了较少数量的较便宜的 GDDR7 内存。

在下面的示例中，我们展示了当仅用于预填充时，R200 几乎不会使用其大部分内存带宽。相比之下，鲁宾 CPX 在相对较短的输入长度下就能更高效地利用其内存带宽，在我们通常认为典型的输入长度下，其利用率会进一步下降。

来源：SemiAnalysis

确实，我们强调这不是为了效率而效率——这对底线有着巨大的影响！在下面的表格中，我们提供了一个示例来比较 R200 GPU 和鲁宾 CPX GPU 的内存带宽利用率。在这种情况下，两者都遭受了非常低的内存带宽利用率，但不同之处在于鲁宾 CPX GPU 至少留下了更少量的廉价内存。对于 R200 来说，运行在 CPX 上的相同预填充工作负载会导致每小时总拥有成本浪费高达 $0.90！

来源：SemiAnalysis

鲁宾 CPX 提供了更多的内存容量，但这些位的质量较低，因为它们是 GDDR7，其成本仅为 HBM 的一半左右。从内存供应商的角度来看，GDDR7 的利润率较低，因为它是一种技术要求较低的产品，并且市场竞争更为激烈（即三星可以供应它）。

这意味着使用 CPX 系统会降低 HBM 在整个系统内容中的份额。对于每一美元花费在 VR200 NVL144 CPX 或 VR CPX 机架上，与在独立的 VR200 NVL144 机架上花费相同金额相比，用于 HBM 的比例更低。假设固定金额用于 AI 系统，每美元花费的 HBM 需求将会下降。

**为什么不进一步减少内存？**

许多读者无疑会对减少 HBM 花费的想法感到兴奋，并在想：为什么不在系统中进一步减少内存？如果一个典型的预填充序列长度意味着内存利用率只有个位数或十位数，为什么不将内存容量减少到原来的十分之一？这是否意味着对 HBM 需求和内存需求的末日？

来源：SoftRAM

然而，技术问题并不那么简单。鲁宾 CPX 所做的是降低预填充和令牌的成本。较低的令牌成本会增加需求，这意味着对解码的需求也会增加。像许多其他降低成本的技术创新一样，需求的增加通常会超过成本的下降，最终导致市场总规模扩大。

这种 GDDR7 需求还带来了额外的供应链影响。RTX Pro 6000 也使用 GDDR7，但速度较低，为 28Gbps。英伟达已经为 RTX Pro SKU 下了大量的供应链订单，最初计划将芯片卖给中国作为 H20 的替代品，但在 H20 出口许可证重新发放之前。这些订单主要由三星承担，三星有能力满足这些突然增加的订单。SK 海力士和美光无法满足这一需求，因为它们的晶圆产能被其他订单占用，比如 HBM 订单。由于三星能够提供具有竞争力的 GDDR7，三星也可能从鲁宾 CPX 中受益。

**关于预填充流水线并行性：鲁宾 CPX 分布式预填充的一个有趣方面**

在前面的部分中，我们概述了鲁宾 CPX 如何减少内存浪费，但鲁宾 CPX 放弃了使用非常快速的扩展网络解决方案（如 NVLink），这也是另一个关键节省。鲁宾 CPX 的片外 I/O 限制为 16 条 PCIe Gen6 通道，相当于大约 1Tbit/s 的单向带宽，而 R200 的 NVLink 带宽为 14.4Tbit/s。这对于执行现代 MoE 前沿 LLM 的预填充来说已经足够了。

例如，DeepSeek V3 在 NVFP4 数字格式下运行时需要 335GB 的内存容量来加载所有模型权重——这超过了单个 CPX 芯片的 128GB 内存容量。这可以通过使用流水线并行性（“PP”）来克服，即将模型的不同层分布在不同的 GPU 上。在 PP 中，每个 GPU 依次处理令牌并将激活传递给管道中的下一个 GPU。

使用 PP 的缺点在于令牌需要依次通过许多 GPU，这会导致阶段间通信的延迟。重要的一点是，PP 在每个 GPU 上的令牌吞吐量往往会高于专家并行化（EP），但代价是 PP 的首次令牌时间（TTFT）比 EP 更长。由于 EP 包含全对全集体操作而 PP 只涉及简单的发送和接收操作，因此 PP 的令牌吞吐量更高。

因此，在管道并行推理中，更简单的通信需求意味着预填充几乎永远不会使通信链路饱和——这意味着无需配置昂贵的快速扩展网络。就像 HBM 一样，这是另一个可以通过去掉另一层在预填充操作期间未使用的设备来节省成本的领域——从而避免系统所有者浪费总体拥有成本（TCO）资金。

在下面的表格中，我们显示了使用 PP8 或 PP4 并行方案时，DeepSeek 的预填充每令牌的消息大小为 7kB。如果我们试图完全利用 PCIe Gen6 x16 通道的消息传输能力，这意味着我们最多可以每秒传输（因此处理）18.3M 个令牌。这就是通信限制。

转向计算限制场景，我们可以看到每令牌的预填充浮点运算（FLOP）为 0.074 TFLOP。因此，如果我们用 Rubin CPX 的密集 FP4 吞吐量 19,800 PFLOPS 除以 0.074 TFLOP，我们得到的最大令牌吞吐量为 267.6k 个令牌/秒。

这个数值远低于通信限制，并且即使对于相当普通的 PCIe Gen6 I/O 也远远不能饱和，更不用说提供超过 16 条 PCIe Gen6 通道带宽 14 倍以上的 NVLink。

我们估计，NVLink 扩展到最终系统所有者的总成本（包括 NVSwitch 和背板）大约为每 GPU 约 8k 美元——这仅略高于每 GPU 集群总成本的 10%。这是 Rubin CPX 为最终用户带来显著节省的另一个方面。

来源：SemiAnalysis

然而，尝试使用低速网络连接的专家并行化会导致延迟问题和瓶颈。通信需求与 top_k 乘以层数的乘积成比例。DeepSeek V3 的 top_k 为 8，有 61 层，因此粗略计算表明，使用 EP 而不是 PP 将使通信需求增加约 488 倍。

**关于扩展和黄氏定律的更多内容**

今天的讨论集中在使用 NVFP4 数值格式进行推理的指标上。确实，推理提供商一直在通过采用越来越低精度的数值格式来不断解锁更高的吞吐量。然而，一旦达到 FP4，我们将开始榨干性能。

稀疏性被提出作为另一个可以继续解锁更多吞吐量的杠杆，这也是为什么大多数市场规格和演示文稿都以稀疏 TFLOPS 表达的原因之一。然而，稀疏性尚未真正实现其承诺的好处——远远没有达到它所承诺的 2 倍提升。

今天的公告还展示了 Rubin 的稀疏性。这种稀疏性方案不同于 Hopper 和 Ampere 中使用的 2:4 结构化稀疏性，也不像 Blackwell 的 4:8 成对结构化稀疏性。我们希望 Rubin 稀疏性能能够带来有意义的吞吐量提升，并使黄氏定律得以持续！

硬件专用解耦服务的缺点

尽管预填充专用芯片的出现令人兴奋，但我们还没有达到理想状态，硬件专用解耦服务也有其缺点。随着提供商的工作负载和模型变化，他们必须能够改变预填充到解码实例的比例（PD 比例）。

自定义硅片的下一步是什么？

最优的 PD 比例受多种因素影响，包括模型架构、SLA、网络带宽等。然而，Vera Rubin NVL144 CPX 的一个关键缺点是它具有固定数量和比例的 Rubin 和 Rubin CPX 芯片，这使得如果想要改变 PD 比例，则灵活性较差。

Nvidia 在芯片演进方面的敏捷性正在迅速改变其竞争对手的竞争格局。正如竞争对手即将在性能或架构方面达到平手时，Nvidia 会沿着另一个维度进化其产品。让我们讨论广泛采用 Rubin CPX GPU 如何影响竞争解决方案。

Google TPU

TPU 的 3D Torus 扩展网络提供了一个独特的优势，即允许最大集群规模达到 9,216 个 TPU。这是业界最大的集群规模，同时它提供了每加速器最低的扩展网络成本。这使得其他较小集群规模可能无法支持的大量并行方案成为可能。

话虽如此，理想情况下，Google 应该开发一个仅用于预填充的芯片，以继续维持其内部工作负载的每美元性能优势。他们有足够的内部工作负载来生成锚定需求，以启动和资助开发一个仅用于预填充的芯片，该芯片稍后也可以对外销售。

Google 独特的拓扑结构意味着某些推理系统配置和模型的性能甚至可能超过某些 Nvidia 系统。

AWS Trainium3 Max NVL72、AWS EFA NICs 和 Meta MTIAv4 SUE72

系统来自提供内部工作负载但追求设计以模拟 NVL72 机架外形的供应商，形成了另一个类别。这些供应商也有内部工作负载来启动仅预填充芯片的发展，因此他们这样做是为了与 Nvidia 的 VR200 NVL144 CPX 保持同步。

例如，一个用于与 Trainium3 Teton-3 Max NL72（具有 72 个逻辑 GPU 并且所有到所有切换扩展大小与 VR200 NVL144 相同）一起使用的仅预填充芯片，可以依赖 Anthropic 对共同设计和获取其推理工作负载的支持。

由于 AWS 的 VR 144 CPX 面临的主要上市时间挑战在于其 1U 计算托盘已经紧密集成并装有 4 个大型 Rubin GPU 包和 8 个 CPX GPU 包，没有空间添加 AWS 的自定义 EFA 网卡，因此 AWS 将不得不克服这一挑战。亚马逊并不想使用 ConnectX-9。AWS 喜爱 EFA！

我们相信他们会继续使用 EFA，并通过将 EFA 网卡解耦到一个仅 EFA 网卡侧车机架，并使用外部 PCIe AEC 电缆连接 VR 144 CPX 机架和 EFA 网卡侧车机架来解决这个问题。此外，由于他们不会使用具有集成 PCIe 交换机的 ConnectX-9 网卡，他们还需要使用 Astera Labs 的专用 PCIe 交换机来连接 Vera CPU、本地 NVMe、Rubin CPX GPU 以及到侧车机架中 EFA 网卡的外部 PCIe AEC 电缆。

MTIAv4 的 SUE72（具有 72 个逻辑 GPU 和所有到所有切换扩展大小，就像 VR200 NVL144 一样）的设计同样可以依赖 Meta 内部的推理工作负载。即使新兴的设计如 OpenAI 的芯片也有可能竞争，因为它们将针对 Frontier 模型进行共同设计，并以内部分工作负载作为后盾。

尽管享受到了内部需求的好处，MTIAv3 被排除在这个类别之外，因为它只有 16 个 GPU 的世界规模。它现在实际上需要开发仅预填充的硅片才能有机会与即将到来的 Nvidia 系统保持同步。

AMD MI400 系列 UALoE72 和 MI500 UAL256

然而，随着 Rubin CPX GPU 的推出，AMD 的反击策略现在看起来不够迅速或激进，AMD 将发现自己再次追赶 Nvidia。AMD 即将赶上机架规模的 MI400，但 Nvidia 提高了标准。

AMD 与上述供应商之间的关键区别在于 AMD 缺乏强大的内部工作负载来提供收入和需求支持，以便进行另一项芯片开发项目以跟上步伐。

AMD 今年早些时候在其推进 AI 活动中首次推出了 MI400 72 GPU 机架规模系统。我们当时的文章分析 指出，MI400 在每 FP4 FLOPS 的总拥有成本方面可以比 VR200 NVL144 系统更低，同时提供 19.8TB/s 的内存带宽，而最初 VR200 NVL144 宣传的内存带宽为 13.0 TB/s。

Nvidia 的 VR200 NVL144 现在通过向供应商请求更快的速度等级来宣传每个逻辑 GPU 的内存带宽约为 20.5TB/s。VR200 的内存带宽现在与 AMD MI400 相匹配，但 HBM 位点较少。

来源：SemiAnalysis AI TCO 模型

如果 MI400 的 FP4 有效密集 FLOPS（即微基准测试实际提供的性能而不是市场推广的吞吐量）最终与 VR200 NVL144 相当或更低，那么 AMD 将在市场推出时晚于 Nvidia，推出与 VR200 NVL144 类似的碳复制产品。与此同时，Nvidia 将再次凭借 VR200 CPX NVL144 在长上下文长度方面的每 TCO 性能优势领先。AMD 则需要等到 2027 年才能赶上。

然而，我们认为 AMD 仍处于战争模式，现在需要开辟另一个战线，在开发其机架规模系统和改进软件的同时，争取在 2027 年前追赶上 Nvidia。

Nvidia

最后——为什么 Nvidia 只要专注于预填充芯片呢？为什么不开发一个专门用于解码的芯片呢？Nvidia 至今只推出了一个专注于预填充的芯片，而解码步骤仍然保留在现有的 R200 芯片上，而不是一个专门用于解码的 SKU。

一个专门用于解码的芯片将是预填充芯片的相反：计算能力较弱，但内存带宽较大。这种芯片将类似于 R200，但不需要那么多的计算能力。理想情况下，I/O 应该通过保持 I/O 小芯片的尺寸来保留内存和外部 I/O，但面向 I/O 小芯片的主计算芯片边缘可以减少，同时保持相同的边缘以容纳每边两个 HBM 位点。结果是一个更小的计算芯片。

通过大量缺陷 SM 和显著提高的参数化良率，还可以获得额外的成本节约，以及与电源传输和热管理相关的大幅降低的 TDP 成本。这与预填充芯片的情况相反，其中 HBM 的数量得以保留，而系统其他部分有所减少，从而提高了 HBM 在物料清单中的份额。

这篇文章是为付费订阅者准备的

订阅

已经是付费订阅用户？**登录**

上一节 下一节

© 2026 Dylan Patel · 隐私政策 ∙ 条款 ∙ 数据收集通知

开始使用 Substack获取应用程序

Substack 是优质文化之家