OCP Summit 2026: Powering AI with Open Innovations in Scale-Up, Scale-Out, and Scale-Across Networks

TL;DR · AI 摘要
OCP Summit 2026: Powering AI with Open Innovations in Scale-Up, Scale-Out, and Scale-Across Networks - Engineering at Me...
核心要点
- 主题聚焦:OCP Summit 2026: Powering AI with Open Innovatio
- 来源:Engineering at Meta,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
OCP Summit 2026:通过扩展、横向扩展和跨域网络的开放创新推动AI发展 - Meta工程团队
发布日期
2026年10月12日
分类
数据中心工程
数据基础设施
DevInfra
机器学习应用
网络与流量
开源
OCP Summit 2026:通过扩展、横向扩展和跨域网络的开放创新推动AI发展
.entry-meta
.entry-header
- 在2026年Open Compute Project全球峰会上,Meta正在分享下一代开放网络基础设施,包括:我们的首个液冷网络机架(IcePack),以及102.4T交换机平台(IceCube)。扁平化平面结构(FPF),一种多平面后端横向扩展架构,从根本上改变了GPU与网络的连接方式。MetaRoCE,我们的开源AI传输协议。在OCP内启动开放交换平台架构(OSPA)倡议。
- 我们邀请工程师、芯片供应商、系统集成商和运营商加入我们与OCP社区,共同应对构建开放、高效和可持续AI基础设施的挑战。
在Meta,我们认为开放网络对于构建高性能、可扩展和可持续的基础设施至关重要,自2011年与他人共同创立Open Compute Project(OCP)以来,我们一直践行这一信念。
在持续进行的AI革命中,Meta不断突破数据中心网络的极限,并与行业分享我们的进展。在2025年OCP峰会上,我们推出了最新的AI横向扩展架构,并推动了面向扩展网络的以太网(ESUN)倡议的创建。
今年在2026年OCP峰会上,我们将分享直接支持最新AI工作负载的网络创新,例如Meta的Muse Wonder和Muse Spark模型,以及面向所有人的个人AI代理Muse。以下是一些最新进展:
- 102.4T横向扩展交换机:Meta的首个液冷网络机架(IcePack)和102.4T交换机模块(IceCube),专为高功率密度设计,可实现更高的热效率,并支持千兆瓦级AI集群。
- 横向扩展扁平化平面结构(FPF):Meta的多平面架构,可实现更大规模、高效率的GPU集群,降低延迟——并已与云合作伙伴分享相关经验。
- 跨域多站点集群:Meta的PB级后端聚合(BAG)超脊架构,以及大规模训练任务如何在这一规模下处理故障——概述我们如何利用FBOSS和SAI构建SRv6区域骨干网,以应对更长距离传输。
- 面向扩展网络的以太网:Meta的MTIA 300系统采用Tahan,这是一种基于以太网的51.2T扩展交换机,每个加速器可提供6.4Tbps带宽——预览基于102.4T芯片的下一代每机架72个加速器设计,并向基于ESUN的实现过渡。
- 开放交换平台架构(OSPA):由Meta、微软和阿里巴巴共同牵头的新OCP倡议,标准化交换平台层——规范v1.0现已提交至OCP。
- MetaRoCE:Meta的AI网络RDMA传输协议——现已提供开源实现。
102.4T时代:在AI规模上实现液冷网络
随着AI集群扩展至千兆瓦级,网络交换机必须在日益密集的供电和冷却限制内提供显著增加的带宽。我们的解决方案是IcePack机架,这是Meta首款液冷网络机架。
IcePack 基于 OCP 的 ORV3-HPRv1 机架标准。IceCube 交换刀片——提供 128×800G 无阻塞交换容量的 102.4-Tbps 网络交换机——安装在每个机架中。IceCube 提供两种版本,一种基于 Broadcom 的 Tomahawk6C 交换 ASIC,另一种基于 NVIDIA Spectrum-6 交换 ASIC。两者均运行 Meta 开源的 FBOSS 网络操作系统,该系统采用 OCP SAI(交换抽象接口)。
新一代产品在带宽方面实现了两倍于我们 51.2T 平台的提升,同时满足下一代 AI 数据中心所需的热密度要求。
IcePack 机架——Meta 首个采用液体冷却的网络机架,搭载 IceCube 102T 交换刀片。
IceCube——Meta 的 102.4 Tbps 液体冷却交换刀片,提供 128×800G 无阻塞容量并运行 FBOSS。
从建筑到区域扩展 AI 网络架构
如 Meta 和行业其他企业所展示的,AI 集群现在已跨越建筑、园区和多个区域。这要求网络架构不仅规模庞大,还需具备高可靠性和灵活性。
扁平化平面架构(FPF):更可靠、更大规模的集群
我们推出扁平化平面架构(FPF),这是 Meta 的多平面后端扩展架构,从根本上改变了 GPU 如何连接网络以及网络控制平面。
在 FPF 架构中,每个 GPU 通过 8 条独立的 100G 链路连接到 8 个不同的交换机(每个网络平面一个)。这种多平面方法取代了传统的单平面上行架构,带来四大优势:
- 相比单平面拓扑,可构建更大规模的无阻塞 GPU 集群,满足我们最大 AI 训练工作负载所需的扩展能力
- 扁平化拓扑结构:从 NSF 架构的三层 Clos 架构升级为两层 Clos 架构。移除这一层交换机可减少网络跳数、降低延迟并节省基础设施成本
- 网卡级硬件负载均衡:传统由网络交换机执行的负载均衡,现在从网卡层面开始,通过硬件将每个数据包分散到所有 8 个平面
- 统一控制平面实现容错:FPF 控制平面同时包含交换机和主机,允许主机在出现故障平面时引导流量
Meta 与 NVIDIA 密切合作开发了运行在 Meta 基础设施中的 FPF,利用 NVIDIA Spectrum-X 多平面创新技术,确保 FPF 在各种故障条件和运营生命周期场景下仍能保持高性能。除了自身基础设施,Meta 和 NVIDIA 还与我们的联合云合作伙伴紧密合作,基于我们的 FPF 经验帮助他们在合作伙伴内部标准化多平面架构的实现。
连接本地数据中心与公共云
与云服务商在 FPF 方面的合作只是 Meta 如何帮助合作伙伴建设基础设施的一个例子。
我们扩展 AI 能力的目标无法仅靠建设数据中心实现,因为数据中心建设需要数年的前置时间,而需求变化却以月为单位。因此我们结合自建园区、租赁设施和公共云资源共同应对。但只有在网络表现无论 GPU 位于何处都保持一致时,这种模式才能奏效。
在 OCP,我们正在分享如何将这些环境整合为统一的运维模型。这包括标准化的性能验证框架——云合作伙伴在集群交付前运行统一的点对点和集体基准测试套件,规模从数十到超过千块 GPU,从而证明性能而非假设性能。这还包括对异构、多平面网络结构的标准化,将不同供应商的流量类别方案和拥塞控制参数映射到我们无损 RDMA 的分类中,使端到端路径在不同厂商的网卡和交换机上表现一致。
我们始终坚持的一个原则是:异构性可以管理,但标准化才是使其经济可行的关键。测试与认证、RDMA 传输和拥塞行为、遥测数据等在不同供应商之间仍存在差异,每处差异都会增加工程工作量。
BAG:跨规模聚合
Meta 在本十年承诺的 AI 容量规模——Prometheus 预计 2026 年达到约 1 吉瓦,Hyperion 则向 5 吉瓦扩展——意味着单个集群的规模已超出任何单一区域的承载能力。我们的后端聚合(BAG)层是一个基于以太网的集中式超脊结构,将多个脊层网络结构连接为一个跨建筑、园区和区域的超大规模集群。其运行规模达到 Petabit 级——两个区域间的 BAG 容量可达数十 Petabit/秒。正是 BAG 使得 Prometheus 能够作为一个统一集群运行,尽管其容量分布在传统数据中心建筑、防水户外结构和邻近的共置空间中。
在如此大的规模下,距离本身成为设计约束。无损以太网需要与电缆长度成比例的缓冲空间,因此一旦链路延伸至数十公里,缓冲管理就从调优细节转变为首要问题。错误的配置可能导致拥塞蔓延到引发问题的链路之外。FBOSS 现在通过实际测量现场电缆长度,利用非拥塞队列上的探测流量计算往返距离,并根据测量结果分配缓冲空间,而非为最坏情况距离预置链路。
负载均衡也需要考虑路径退化而非简单断开。BAG 使用 eBGP 链路带宽信号,使流量按每条路径实际可用容量进行分配,并通过有意的衰减机制,防止单条链路故障引发整个域的路由震荡。由于跨网络结构的延迟是网络内延迟的数倍,集体通信库——通常在不了解网络距离的情况下选择算法——可能突然遭遇性能断崖。
我们从两个方向同时着手解决这个问题:通过自适应路由优化减少延迟惩罚,同时通过调度策略最大限度降低需要跨BAG层传输的集体流量。训练过程始终保持着韧性,当某个副本发生故障时,系统会自动将其排除,剩余副本将继续在BAG层进行同步。
当前的发展方向是更长距离的训练任务——跨区域数十、数百甚至数千公里的训练作业,以及日益增长的异构集群,这些集群混合了不同代际和厂商的硬件。
后端聚合(BAG)将建筑规模的AI网络(包括DSF和NSF)从子区域连接到统一的训练网络中。
基于SRv6的区域骨干网(使用FBOSS)
我们已使用FBOSS部署了基于IPv6的分段路由(SRv6)作为区域骨干网络。这使得在跨地域连接AI集群时,能够实现更灵活的流量工程和简化的运营——运行在由思科SiliconOne芯片驱动的开放浅缓存交换平台之上,目前正在进行其他芯片系列的集成工作,所有操作均通过FBOSS和OCP SAI进行管理。
Meta区域骨干网(RBB)连接数据中心园区并桥接至公共云容量。
以太网扩展:我们对以太网的承诺
OCP 2026的重要里程碑是证明以太网能够服务于扩展领域——传统上需要专有技术的高带宽、超低延迟互连,用于机架或机柜内加速器之间的连接。
Tahan:基于以太网的扩展交换机
我们推出了Tahan,这是Meta专为MTIA 300训练加速器打造的基于以太网的扩展交换机。Tahan基于博通51.2Tbps Tomahawk 5 ASIC构建,总容量达到64×800G,其中一半用于通过背板为加速器提供扩展连接。四个Tahan交换机以非阻塞拓扑结构连接16个加速器。
重要的是,Tahan复用了我们扩展网络中的无损RoCE传输协议(路由IPv6、PFC、AI调优QoS),在FBOSS下实现了扩展和扩展网络的统一。
Tahan,Meta首款开放的基于以太网的扩展交换机(32×800G),采用液冷技术并运行FBOSS。
下一代扩展:102.4T芯片支持每机架72个加速器
我们还预览了下一代扩展刀片——基于102.4Tbps博通Tomahawk6C芯片构建的216×400G交换机。八个这样的交换机可将每机架的加速器连接数提升至72个,这种密度的显著提升得益于102.4T芯片的带宽。未来该扩展刀片将采用OCP以太网扩展网络(ESUN)作为扩展数据平面,进一步巩固我们对扩展堆栈全栈开放标准的承诺。
下一代MTIA扩展刀片:基于102.4T芯片的216×400G交换机,采用OCP ESUN作为扩展数据平面。
ESUN的演进
我们去年在OCP发起的ESUN计划已取得显著进展。与AMD、Arista、ARM、博通、思科、HPE、Marvell、微软和NVIDIA合作,ESUN正在推进以下开放规范:
- 针对扩展拓扑优化的协议头和帧格式。
- 适用于无损多跳网络的错误处理机制。
- 与UEC和IEEE标准的对齐。
这项工作已取得具体成果,今年早些时候发布的ESUN 1.0网络运营商需求基准规范就是明证。ESUN 1.0刻意聚焦于网络架构,明确网络必须提供的功能,同时为GPU和加速器厂商保留实现灵活性,这有助于扩大采用范围。该规范还与现有标准组织协调,利用IEEE和超以太网联盟(UEC)正在进行的工作,而非重复已有成果。
自发布ESUN 1.0以来,该工作组现已接近下一个版本ESUN 1.1,该版本将解决交换机配置文件和数据包间隔减少等新特性,进一步优化以太网在低延迟、扩展性使用场景中的表现。
ESUN的技术重点:以网络架构为核心的范围定义,在保留GPU实现灵活性的同时,与IEEE和UEC标准工作协调,ESUN 1.0规范已正式发布。
随着Tahan今日发布,每机架72个加速器的设计方案即将采用ESUN作为其数据平面,而ESUN继续完善其开放规范,我们正在构建一个面向扩展性未来的完整开放平台。
生态系统赋能与开放传输
我们对开放性的承诺贯穿整个网络协议栈——从交换平台硬件到传输协议。
OSPA:开放交换平台架构
SAI使交换机数据平面软件能够在不同芯片上运行。但其下层的交换平台层一直保持专有且碎片化。每种新硬件平台都需要数月的重复定制工程才能部署,缺乏统一平台设计导致长期维护和故障排查成本成倍增长。在AI硬件周期不断压缩的当下,这种部署成本已难以为继。
为解决这一问题,我们正与微软和阿里巴巴共同牵头启动一项新的OCP计划——开放交换平台架构(OSPA),为交换平台层提供统一的参考设计。
OSPA标准化了以下硬件和软件接口:
- 电源管理和电源时序
- 传感器与环境控制(包括温度和风扇管理)
- 硬件库存管理和设备枚举
- 出带宽硬件接口(管理以太网、串行控制台、USB、LED指示灯)
- 固件维护和更新
- 平台故障排查和诊断
FBOSS生态系统赋能
过去一年,我们重点推进开源FBOSS的扩展,使交换机厂商能够自主部署其平台,无需Meta工程师参与端口开发。目标是建立一个自助服务模型,使多个新交换平台能够并行开发,让厂商在构建FBOSS兼容硬件时可使用经过超大规模验证的网络操作系统(NOS)。
厂商和开发者可通过FBOSS文档站点和FBOSS GitHub仓库开始使用。
MetaRoCE:面向AI集群的开源传输协议
正如我们近期宣布的,MetaRoCE是我们为以太网AI集群网络优化的开源RDMA传输协议。MetaRoCE提供了分布式AI训练工作负载所需的拥塞控制和可靠性语义,专为大规模以太网架构中集体通信的特殊流量模式而设计。
在OCP峰会上,我们将发布开源的MetaRoCE实现,使更广泛的AI基础设施社区能够采用并构建基于生产验证传输栈的解决方案。
加入我们,共建AI网络的开放未来
AI基础设施的演进速度持续加快。构建开放、高效且可持续的AI网络所面临的挑战,已远超任何单一企业所能独立解决的范围。
我们邀请工程师、芯片供应商、系统集成商和运营商与我们及OCP社区携手,共同定义未来的发展方向。欢迎访问OCP 2026上的我们的演讲,探索包括FBOSS和MetaRoCE在内的开源贡献,并与我们合作构建AI时代所需的网络基础设施。
作者是Meta网络基础设施团队的成员。