Inside Prometheus: Meta’s Journey to a Gigawatt-Scale Supercluster

Prometheus内部揭秘：Meta打造千兆瓦级超大规模集群 - Meta工程实践

POSTED ON

OCTOBER 19, 2026

TO

Core Infra

,

Data Center Engineering

Data Infrastructure

ML Applications

Networking & Traffic

Production Engineering

Prometheus内部揭秘：Meta的千兆瓦级超大规模集群之旅

.entry-meta

.entry-header

By

Kevin Lee

Yashar Bayani

Ahmed Sharif

Yee Jiun Song

• 随着Muse基础模型系列的最新发布，我们想带您深入了解支撑这一切的基础设施。

• 我们的千兆瓦级超大规模集群Prometheus第一阶段已圆满完成，目前正朝着部署约100万块GPU的目标迈进。

• Prometheus还配备了闭环液冷等技术，帮助实现高效运行。

目前在俄亥俄州纽阿尔巴尼，Meta正在开展迄今为止最雄心勃勃的AI基础设施项目。我们的千兆瓦级超大规模集群Prometheus，是基础设施领域的一项重大突破，正在训练下一代基础模型，这些模型将为数十亿人带来全新的AI体验。

两年前，纽阿尔巴尼还只是一个运行网络流量的传统数据中心站点。随着硬件、网络和建筑设计的进步，我们重新改造了这个站点，使其成为前沿模型训练项目的基地。我们分阶段建设这个超大规模集群，第一阶段已经完成，并用于训练Muse基础模型，包括我们最新推出的前沿模型Muse Wonder，这些模型在个人和专业代理任务上实现了最先进的性能表现。

大规模训练任务需要所有组件协同工作以维持性能；单个主机上的问题可能会减缓甚至停止整个任务，降低其"有效吞吐量"。通过专注于提升系统的稳定性和可靠性，我们实现了预训练任务超过85%的有效吞吐量，以及Muse Wonder强化学习（RL）任务超过90%的有效吞吐量。在这些训练过程中，我们实现了约47,000 GPU小时的平均无中断运行时间。此后，我们对整个集群进行了进一步优化，包括固件修复使平均无中断运行时间提升至超过54,000 GPU小时，并持续改进这一指标。

现在，我们正继续扩大Prometheus的规模，目标是部署Meta超智能实验室的下一代前沿模型。

https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_Video_v1.mp4

Prometheus超大规模集群位于Meta俄亥俄州纽阿尔巴尼数据中心。

超大规模集群：解锁新的AI能力

目前，Prometheus包含多个互联建筑中的数十万块GPU，包括传统数据中心建筑、AI优化建筑和快速部署结构，所有建筑通过数英里的光纤紧密连接，作为一个整体协同运作。

这种规模使我们能够开发比以往更大、上下文窗口更长的模型。在全面部署后，Prometheus将包含约100万块分布式GPU，所有GPU将同步协同工作。

多代AI硬件

Prometheus目前部署了两种NVIDIA GPU平台，第三种基于NVIDIA Vera Rubin NVL72的平台即将上线。每一代平台都在性能和效率上实现飞跃，利用我们的NVL72机架架构，其中72块GPU在相同网络架构中作为一个加速器协同工作。

Catalina: NVIDIA GB200

我们的首个平台 Catalina 采用 NVIDIA GB200 NVL72。我们部署了 Ariel 配置方案，这是一种双机架架构，每个机架中的 36 块 GPU 通过 NVLink 互联，形成统一的 72 块 GPU 域。与 Grand Teton H100 相比，Catalina 在原始计算能力和内存容量方面均有提升。该平台采用我们为 Open Compute Project（OCP）贡献的 Open Rack V3（ORv3）高功率机架（HPR）结构。

GB200 NVL72 的 Ariel 配置方案以 1:1 的 CPU/GPU 比例将每块 NVIDIA Blackwell GPU 与 NVIDIA Grace CPU 配对，并配备 2 块 NVIDIA ConnectX-7 400G 网卡，使我们能够比行业其他厂商更早实现每块 GPU 800G 的 I/O 带宽。我们选择 Ariel 的原因在于，与 NVIDIA H100 相比，GB200 NVL72 在几乎所有维度都实现了显著提升：FLOPS、HBM 带宽、扩展带宽和扩展域规模，而每块 GPU 的扩展带宽仍保持在 400G。我们预计这种不平衡会影响性能，因此选择了每块 GPU 提供 800G 扩展带宽的配置方案。这还使我们在区域扩展过程中规格参数更加统一，且 800G 扩展带宽成为可用标准。

https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_GB200_GIF_v1.mp4

Catalina GB200 NVL72 的特性包括：

• 72 块 NVIDIA Blackwell GPU，配备 13.4 TB HBM3e（每块 GPU 192 GB）。
• FP8 训练计算峰值达 720 PFLOPS（FP4 时为 1,440 PFLOPS）。
• 域内峰值 NVLink 带宽达 130 TB/s。
• 峰值聚合内存带宽达 576 TB/s。
• 双机架对总系统功耗约为 120 kW。

Clemente: NVIDIA GB300 NVL72

我们的第二个平台 Clemente 升级至 NVIDIA GB300 NVL72，在 GPU 和平台层面均优于 Catalina。GB300 将每块 GPU 的 HBM 容量提升 1.5 倍（从 192 GB 提升至 288 GB），同时以相似倍数提升密集 FP4 吞吐量，并将注意力（softmax）加速能力提升约 2 倍。在平台层面，扩展带宽不再是 GB200 NVL72 时代的限制因素：NVIDIA ConnectX-8 SuperNIC 可原生实现每块 GPU 800G 带宽，因此我们在 Ariel 上早期部署的特性已成为基准。结合 2:1 的 GPU/CPU 比例，Clemente 可将完整的 72 块 GPU 域封装在单个机架中，简化物理部署流程。Clemente 可采用我们模块化的风冷辅助液冷（AALC）方案部署，也可在新设计的数据中心中使用设施级液冷（FLC）。可维护性也显著提升，布线需求减少。

https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_GB300_GIF_v1.mp4

Clemente GB300 NVL72 的特性包括：

• 72 块 NVIDIA Blackwell Ultra GPU，配备 20.7 TB HBM3e（每块 GPU 288 GB，比 GB200 多 50%）。
• 峰值 FP4 计算能力超过 1 exaFLOP。
• 峰值 NVLink 带宽达 130 TB/s（每块 GPU 双向带宽 1.8 TB/s）。
• 机架功耗约 135 kW。
• 相比 GB200 NVL72 性能提升 5-10%。

连接超大规模集群

在传统网络服务中，数据中心网络用于在实例之间传输请求和响应，这些实例通常不需要高带宽、高性能以及跨多台服务器的紧密同步协调。大规模AI训练需要所有这些特性，这意味着连接它们的网络现在已成为AI工作负载的重要组成部分。为了解决这一问题，除了标准数据中心网络外，几年前我们还基于以太网添加了一个专用的后端（BE）网络，以实现数据中心内部和跨数据中心的GPU到GPU直接通信。

大型预训练任务将训练过程划分为数据并行模型副本，从而在网络使用上形成层次结构：对延迟和带宽敏感的操作集中在单个副本内部，而对延迟容忍度较高且带宽需求较低的流量则在副本之间调度。我们的网络设计与这种层次结构相匹配，建筑内部采用低延迟、高带宽的网络拓扑，建筑之间的网络则通过汇聚层连接。

我们与Meta超智能实验室紧密合作，确保并行设计、流量模式、通信算法和软件均经过优化，以最大限度减少网络通信的暴露。这使GPU尽可能保持高利用率，避免因等待网络而产生空闲。

Meta团队在过去几年中已将这些网络概念应用于建筑级24,000 GPU集群和区域级100,000+ GPU集群，并在Prometheus项目中将规模和距离推向了新的高度。

网络拓扑

在建筑层面，每个基于以太网的网络拓扑通过多层结构将最多20,736个GPU连接在一起。我们最初的架构采用分散式调度网络（DSF），通过子数据包级多路径路由和网络拓扑中的数据包重排序，配合虚拟输出队列和基于信用的端到端流量控制，缓解了由训练集合引发的网络拥塞问题。这类训练集合通常会产生少量但持续时间长的大流量，在传统负载均衡技术下容易发生冲突。

随着以太网网卡技术的进步，端点设备实现了数据包重排序功能，我们升级为采用浅缓冲51.2T以太网交换机的非调度网络（NSF），例如支持动态负载均衡的Minipack3，以及基于NVIDIA Spectrum-4交换芯片ASIC并配备NVIDIA ConnectX网卡自适应路由功能的Minipack3N。DSF和NSF均基于Meta的FBOSS网络栈，使我们能够在Prometheus项目中快速迭代优化网络拓扑，并实现大规模集群的可视化运维。

网络汇聚

后端汇聚（BAG）网络是一个多层的星型拓扑结构，用于连接Prometheus集群内各建筑级网络拓扑，覆盖距离从2公里到超过100公里。该网络采用Arista 7800系列机箱，搭载深度缓冲Broadcom Jericho3芯片，每对区域间可提供多个Pbps的带宽。

在该网络上运行预训练任务需要与Meta超智能实验室进行专门的优化协作，以确保训练过程不会因光速限制而减慢，特别是在如此长距离的传输场景中。

将所有这些整合起来，Prometheus网络的复杂性涉及数百万英里的光纤、数万台交换机和数百万个光模块——从建筑物内部的2×400G FR4 LITE短距离、低成本可插拔模块，到用于超过10公里链路的800G-ZR相干光模块。

每个层级的可靠性工程

在Prometheus的规模下，每个组件都需要监控其可靠性。任何地方的单个故障都可能导致整个训练任务中断，并浪费宝贵的计算资源。

在这一层级上维持可靠性，需要与NVIDIA建立超越传统供应商关系的联合工程模式。我们的团队深度嵌入数据中心，共享实时遥测数据，并进行联合故障排查会议，以通过根本原因分析分解每个系统故障。

这种基于归因的问责模式确保双方都专注于针对性改进。Meta优化调度和基础设施，而NVIDIA则处理固件、信号诊断和内存管理。这种透明度消除了模糊性，推动两家公司更快地解决问题。

72-GPU故障域

从H100一代的NVL8架构过渡到NVL72，从根本上重新定义了我们对基础设施弹性的方法。在NVL8时代，扩展域（通过NVLink紧密耦合以实现张量并行的GPU组）被限制为8个单元。随着NVL72的推出，该域扩展到72个GPU，使故障影响范围扩大了9倍。

更大的扩展域赋予了NVL72带宽优势，但也使72-GPU机架成为我们规划容量的分配单位。训练并行性最有效地映射到2的幂次组大小，因此每个NVL72域运行64-GPU切片，并将剩余的8个GPU作为机架内备用。当GPU发生故障时，备用GPU会立即顶替其位置，任务从最近的检查点重新启动，而不是等待硬件修复，机架仍保留在任务中。机架内冗余将有效机架故障率降低到仅由能移除整个机柜的故障所设定的水平；对于更罕见的整机架故障，我们额外保留约2%的备用机架。对于32,768个活动GPU的训练运行，这意味着需要配置523个NVL72机架，或37,656个GPU，比活动规模高出约13%。其中大部分余量（11%）来自72个GPU中64个的切片几何结构，而非绝对可靠性成本。

物理复杂性进一步加剧了这些可靠性要求。单个NVL72域包含5,184个经过调优的差分对信号链路，每条链路以200Gbps运行，每条链路都可能经过多个潜在故障点，包括GPU SerDes、计算托盘PCB、线缆模块和交换机托盘接口。在如此密集的结构中保持每通道200Gbps的信号完整性，代表了在这个规模上前所未有的工程挑战。

故障恢复

故障恢复处理我们如何应对故障以最小化对训练时间的影响。根据故障的范围（即影响区域），我们通过两种机制进行处理：

基于并行性的容错机制（PAFT）：当故障可隔离至数据并行模型副本时，我们通过允许单个故障副本下线，同时集群继续执行训练步骤，从而降低硬件故障的影响。受影响的切片会在可用备用主机上重启并重新同步，将潜在的系统完全停机转化为短暂的吞吐量小幅下降。

检查点机制：当故障影响范围超过单个数据并行模型副本时，整个作业将从最近的检查点重新启动；频繁的检查点机制可减少此类事件中丢失的工作量。我们的分布式检查点架构通过异步方式将模型状态（包括梯度和优化器数据）保存至多级存储。我们采用增量检查点和内存中转技术，确保这些操作对训练吞吐量的影响最小。

这两种容错机制与备用策略相结合，利用机架内预分配的备用GPU托盘以及备用机架，最大限度缩短替换硬件的部署时间，减少硬件故障导致的工作量损失。

中断的系统性降低

在训练前沿模型时，基础设施可靠性需要超越简单可用性的视角。根本挑战在于在不频繁中断系统运行的前提下维持训练动量。在Prometheus系统中，我们将任何导致作业暂停并启动恢复周期的故障（从GPU硅片缺陷、网络架构异常到存储瓶颈或热限）都定义为中断。

这些中断会带来巨大的运营开销，因为我们的工作负载高度相互依赖；单个72-GPU域内的故障可能影响整个集群的总吞吐量。这种性能损失直接影响工程迭代速度，导致计算效率降低，并延长向数十亿用户交付先进AI体验的时间线。

在2025年中期Prometheus初期阶段，我们的中断率曾达到每天每8000个GPU近1000次事件。经过一年严格的跨职能工程优化，我们实现了中断率99%的降低，使集群能够同时支持数万个GPU的多个训练作业。

实现这一稳定性需要对所有中断来源进行粒度分解，并为每个故障类别部署针对性的工程解决方案：

NVLink信号完整性：最初是GB200部署的主要瓶颈。在超过60万个NVLink连接中，即使微小的信号退化也会触发频繁的NVLink恢复周期。我们实施了持续遥测和自动化标记机制，利用L11诊断烧录在生产前隔离弱连接。我们的分类工具可区分瞬时故障与持续信号完整性故障，指导针对性维修和部件更换，并在系统返回生产前验证修复效果。

内存可靠性（HBM 和 LPDDR）：随着 GB300 的内存容量提升，与内存相关的故障已成为主要的中断来源。我们与 NVIDIA 密切合作，通过舰队遥测数据和详细的错误分析识别出重复出现的故障特征，通过优化 HBM 固件设置、内存擦除、改进 LPDDR 的错误校正算法以及基于模式的预测性检测，提前退役性能下降的设备以避免影响作业吞吐量。我们正在全舰队部署这些改进措施，并测量其对中断率和硬件更换需求的影响。

NVLink 交换机与网络健康：单个交换机故障可能危及整个 NVL72 域。我们以毫秒级精度监控网络健康状况，利用自动化恢复路径隔离故障组件，并在不中断作业的情况下重新平衡剩余基础设施的流量。

后端网络事件：在 BAG 超级脊椎层，链路事件通过基于硬件的故障检测透明管理。我们的平面拓扑结构确保单根光纤或端口故障可被重新路由，而不会中断同步的 GPU 流量突发。

持续改进得益于我们的运营基础设施：新奥尔巴尼站点的驻场应急团队、3 月全面稳定性冲刺期间实现的堆栈级修复同步，以及严格的归因驱动问责框架。每台修复设备在返回计算池前都必须经过强制隔离验证，以确保系统完整性。

我们可靠性目标仍是每天每 8000 个 GPU 发生两次中断，即约 10 万 GPU 小时的 MTBI（平均无故障时间）。将中断率峰值降低 99% 证明了在 Prometheus 规模下，稳定性是一个可通过工程手段解决的工程挑战。

在舰队规模上成熟硬件

部署数十万块第一代加速器暴露了低产量时隐藏的质量问题。GB200 部署使硬件成熟度成为我们团队和合作伙伴的主要工程学科。

工程重点领域包括：

• 快速固件包部署：我们构建了可靠且高效的固件包自动化系统，可在数小时内向超过 10 万台 GPU 部署固件和驱动修复。单节点升级时间的 P90（90%分位数）从早期硬件引入时的 7 小时以上降至 2 小时。这使我们能够快速推送针对主要中断类别的修复到全舰队。

• 舰队健康：我们跨多机架系统关联遥测数据，对每个作业中断进行分类，以指导软件修复、硬件维修和更换决策。我们跟踪 MTBI 指标，结合可用容量和有效训练吞吐量，并通过硬件和软件可靠性改进的稳健反馈循环，转化为更具生产力的计算能力。

• 跨合作伙伴认证：与多个制造合作伙伴并行验证，通过生产舰队的持续反馈确保质量一致性。

• 自动信号筛选：在任何生产流量路由前，使用诊断压力测试验证超过 60 万个 NVLink 通路。即使在这一规模下微小的缺陷率也需要主动识别。

• 电源输送压力测试：研究在单个GPU承受1,400W负载时，电源模块与电压调节器的交互方式，揭示仅在高负载场景下才会出现的故障模式。

• 精密液冷系统：对冷板与流体通道组件实施严格的质量门禁控制，确保整机群的结点温度保持最佳水平并防止泄漏。

• 机群维护体系：通过前瞻性准备、快速处置、修复优先级排序和备用件预置，构建完整的维护流程。

• 健康状态检测：采用高级别数据摄入/老化测试和作业前健康检查机制，筛选出适合参与大规模训练任务的健康节点。

从Blackwell到Vera Rubin的每一代新平台架构，都融入了这些实际运营经验，使我们在每个设计环节都持续收紧筛选标准和规格要求。

电源优化与瞬态管理

在既定功耗范围内最大化吞吐量、减少闲置电力损耗，以及同步分布式训练带来的电力输送挑战。当数万块GPU同时执行计算密集型任务和通信周期时，会引发集群级的电力瞬态波动——在集群内产生30-40%的负载突变。启动或暂停大型训练任务可能在数秒内使负载发生超过数十兆瓦的剧烈变化。

我们通过Dynamo Dimmer（动态调光器）集群级电源管理系统应对这一挑战，该框架实现了智能电源限制控制。当集群接近电力上限时，Dimmer不会强制停止工作负载，而是逐步调整GPU的功耗上限，确保训练过程持续不间断。该系统由机架级电池备份模块（BBU）处理瞬时峰值、电容托盘（CBUs）实现峰值平滑、设施级电池储能系统（BESS）以及与电网运营商的深度协同，共同构建了完整的电力管理架构。

异构机群的冷却管理

虽然分布式架构使我们能够快速构建Prometheus系统，但也需要在不同地点应对特定的供电和冷却限制。

我们的物理基础设施整合了多代冷却技术，以满足这些高功耗机架的液冷需求。Prometheus系统同时运行多种模块化空气辅助液冷（AALC）方案，包括我们自主建设的自由空气数据中心建筑和快速部署结构。现在我们专为AI优化建造的设施已全面采用设施级液冷（FLC）技术，实现最大功率密度。

通过整合战略合作伙伴的租赁容量与自有建筑资源，我们显著加速了部署周期并提升了总部署能力。同时，我们的工业级快速部署结构重新定义了建筑施工规范，实现了更快速度的生产就绪计算系统部署。

高效运营实践

在New Albany，我们长期与本地电力公司合作，确保为站点支付完整的能源成本，避免对本地电网造成任何不必要的负担。同时我们与能源开发商合作，将能源使用与新增的清洁能源和可再生能源供应相匹配。

Meta最新推出的AI优化数据中心采用闭环液冷系统，这是冷却GPU服务器最高效的方式，同时能实现水资源的高效利用。直接对芯片的闭环液冷技术通过提升服务器机架的GPU密度有效节省空间。我们还通过OCP（开放计算项目）向更广泛的行业共享IcePack等系统的设计方案，进一步推动可持续发展工作。

超越Prometheus

我们将继续与NVIDIA紧密合作，通过NVIDIA GB300 NVL72和NVIDIA Vera Rubin NVL72的混合配置扩展Prometheus的算力规模。

NVIDIA下一代Vera Rubin NVL72平台将在单块GPU性能上实现代际突破，并可直接集成到Prometheus现有的网络架构中。随着集群逐步成熟，我们将通过即将推出的San Miguel平台，用Vera Rubin增强现有容量（主要为互联的GB300s），从而实现每瓦特更高的计算性能。

San Miguel Vera Rubin NVL72将具备以下特性：

• 72块NVIDIA Vera Rubin GPU，配备288 GB HBM4显存，每块GPU峰值带宽达19.2 TB/s。
• 每机架FP4训练计算峰值达2.52 EFLOPS，FP8训练计算峰值达1.26 EFLOPS。
• 峰值NVLink带宽216 TB/s（每块GPU双向带宽3 TB/s）。
• 峰值聚合内存带宽约1,500 TB/s。
• 每机架功耗超过170 kW的全液冷计算模块。
• 相比GB300 NVL72，每瓦特性能提升10%-20%。

Prometheus项目中取得的技术成果为我们奠定了超大规模集群设计的蓝图。我们即将在路易斯安那州里奇兰教区部署的Hyperion超集群将从零开始设计，充分借鉴Prometheus的经验。该集群将采用闭环液冷系统，实现与电力合作伙伴Entergy的全电网连接（Meta承担全部费用），并采用下一代网络架构设计。

了解更多关于我们在纽阿尔比市社区工作的信息。