MTIA 300: Meta’s First Training Chip with Built-in NICs and Communication-Offloading Engines

MTIA 300：Meta 首款内置网络接口卡和通信卸载引擎的训练芯片 - Meta 工程实践

发布日期

2026年8月24日

分类

数据基础设施

,

开发基础设施

网络与流量

生产工程

MTIA 300：Meta 首款内置网络接口卡和通信卸载引擎的训练芯片

.entry-meta

.entry-header

作者

Rajiv Krishnamurthy

Wes Bland

• MTIA 300 是 Meta 自研训练和推理加速器系列的首款产品，专为训练推荐和排序模型优化。

• 我们将分享 MTIA 300 如何通过内置的网络接口卡芯片实现卓越性能，满足训练推荐模型的通信需求，超越通用 GPU 的表现。

• 通过与芯片协同设计通信库 HCCL，我们从根本上改变了芯片设计方法，使通信成为芯片设计中的一等公民。

深度学习模型可通过应用程序向用户推送个性化内容，从短视频到好友动态。随着模型复杂度的提升，训练它们所需的计算能力和连接这些加速器的网络的重要性也日益凸显。

训练推荐模型是一项独特的基础设施挑战。与需要巨大浮点吞吐量的大型语言模型不同，推荐模型的瓶颈在于训练它们的加速器之间需要快速高效的通信。它们的嵌入表可能包含模型参数的99%以上，需要混合并行性，这会在数百个加速器之间频繁生成 AllReduce、AllToAll 和 AllGather 集体操作。在 GPU 等芯片上，这些通信操作会与训练计算争夺相同资源，导致昂贵的硬件利用率低下。

我们从 Meta 训练和推理加速器（MTIA）开始解决这一挑战，这是我们的自研 AI 芯片系列，MTIA 300 是该系列中首款专为训练推荐和排序模型优化的产品。通过与 HCCL（与硬件从零开始协同设计的通信库）协同设计 MTIA 300，我们使通信成为芯片设计中的一等公民，而非由通用计算核心处理的次要功能。

在芯片上直接集成网络

在 MTIA 300 上，网络接口直接集成在芯片封装内部（见图1）。两个网络芯片模块，每个包含六个定制的 800 Gbps RDMA 网络接口卡，提供总计 1.2 TB/s 的 I/O 带宽，无需经过 PCIe 总线。这消除了传统 GPU 架构中主机设备网络接口的瓶颈，其中 CPU 必须在加速器和网络之间进行中介。（有关硅芯片设计的更多细节，请参阅我们最近在 ISCA 26 会议上发表的论文。）

由于我们使用相同的 12 个基于以太网的网络接口卡进行扩展通信（在 16 节点机架内，最高达 1 TB/s）和扩展通信（跨机架，达 200 GB/s），我们可以灵活地划分这些网络接口卡以适应不断变化的需求。

图1。MTIA 300 芯片架构。MTIA 300 芯片示意图。

当模型需求发生变化时，我们可以通过重新配置网络而非更换硬件来调整这种划分。为了最小化每笔交易的延迟，我们引入了快速门铃机制。工作请求写入本身即作为门铃，省去了一次额外的内存读取，每笔操作节省约 800 纳秒。

从计算网格卸载通信

在 GPU 上，NCCL 等库通过 GPU 内核执行集体通信，这些内核使用流式多处理器——与训练计算所需的相同硬件。当集体通信和训练内核同时运行时，两者都会变慢。

MTIA 300 采用不同方法。除了用于计算的 12×6 处理单元（PE）网格外，芯片还包含 16 个专用消息引擎（ME），独立处理所有通信。每个 ME 包含：

• 一个 RISC-V 核心用于协调工作
• 一个 NIC 接口，将请求路由到正确的 NIC
• 一个近内存计算（NMC）模块，以 128 字节/周期的速度执行归约操作

NMC 模块位于芯片边缘，紧邻 HBM 和缓存，共同提供超过 2.8 TB 的归约吞吐量——超过 I/O 带宽的两倍——使 AllReduce 和 ReduceScatter 集体操作无需访问计算网格即可实现线速执行。

结果是近乎完美的隔离。在大型 GEMM 与集体操作并行运行时，计算吞吐量仅下降不到 0.5%，而传统 GPU 由于通信由相同 GPU 资源处理，可能下降超过 20%。

编译通信模型

我们的通信库 HCCL 与 MTIA 300 共同设计。HCCL 不在主机端执行时驱动通信，而是将每个集体编译为完整的子图集合——包含显式依赖关系的工作队列条目数组——并分派给 ME 以实现完全自主执行。一旦工作到达设备，主机将不再参与。图 2 展示了将指令复制到 HBM 后，CPU 不再参与的过程。

图 2. 传统加速器设计（基于主机网络指令）与 MTIA 300 卸载通信模型的对比。

这种编译模型与 PyTorch 的 c10d 和 torchcomms 接口自然集成。通过 torch.compile 跟踪的集体操作会与计算算子一起编译为单个图。HCCL 选择拓扑感知算法，利用扩展与横向扩展之间的非对称带宽，最小化带宽受限场景下的跨机架流量。针对推理工作负载，我们开发了额外路径：PE 通过快速门铃直接提交工作的单边通信，以及计算内核在并行流上触发硬件卸载通信的设备触发集体操作，无需中断图执行。

生产环境性能

HCCL 在单个机架内可实现高达 940 GB/s 的通信带宽。在运行于 40 个加速器上的 1500 亿参数生产推荐模型中，MTIA 300 的总通信时间比同等 GPU 集群快 3.9 倍。

MTIA 300 的设计支持进一步协同设计策略：其 216 GB 的 HBM3E 允许更大的本地批量大小（减少训练器数量和通信开销）；其 1:1 的 CPU 与加速器比例可实现数值密集型优化器操作的 CPU 卸载；其高网络带宽使我们能够使用更高精度的数据类型来保持精度。

未来展望

虽然MTIA 300最初是为训练推荐模型而设计，但其架构原则——集成网络、卸载的集体执行以及计算与通信的系统级协同设计——使其能够应对更广泛的工作负载。随着AI推理向推理型、智能体型和长上下文场景演进，通信需求正在发生转变：消息规模变得更小、频率更高且对延迟更敏感，每个集体操作的预算限制也更加严格。

将网络视为首要的系统约束的架构设计，通过优化带宽、延迟和消息速率，能够很好地满足这些新兴需求。MTIA 300和HCCL中建立的架构模式，构成了Meta下一代AI芯片的基础。

了解更多关于MTIA 300的信息

如需深入了解MTIA 300的芯片设计以及本文所述工作，敬请阅读我们的论文：

• “MTIA 300：Meta首款集成网络接口卡和集体卸载引擎的训练芯片”（ISCA ‘26会议论文）
• “HCCL：面向Meta训练和推理加速器的集体通信库”（将于SC26会议发表）