Deep dive into Azure Maia 300 architecture

自诞生之初，Azure Maia就围绕着一个核心架构理念构建：通过优化整个系统实现大语言模型（LLM）推理，使每瓦特电力和每美元投入都能产生更多智能价值。现已进入第三代的Maia 300，最完整地体现了这一理念。Maia 300作为一个完整的系统，其软件、芯片、物理机架基础设施、网络和数据中心均经过协同设计，作为一个统一平台运行，以满足云规模智能体推理的需求。

随着智能体工作负载（包括多步骤执行、长上下文解码和工具使用）改变推理的计算特征和算术强度，这种系统级方法变得越来越必要。满足这些需求需要保持数据局部性，提供足够内存容量和带宽的计算能力，最小化数据移动，高效扩展通信能力，并在数据中心固定的供电和冷却条件下实现最大能力部署。

在微软，我们通过客户日常使用的微软copilot、GitHub Copilot和Microsoft Foundry等产品和平台，亲眼见证这一变革。大规模运营这些工作负载使我们能够深入了解AI在各行业的应用方式以及支持下一代AI应用和智能体所需的基础设施。Maia 300旨在最大化每瓦特和每美元的有用token数量，为这些产品和微软更广泛的AI产品组合提供更强的容量、能力和性能。

通过软件定义数据流实现能效推理

Maia 200引入了一种名为软件定义本地访问数据流架构（SDLA）的新一代加速器架构。该架构基于一个观察：在现代AI系统中，高效的数据管理（包括存储、移动和转换数据）是核心挑战之一。Maia可编程数据流架构将控制路径编程与数据路径执行分离，允许软件在专用本地内存、DMA引擎、计算引擎和网络之间显式协调数据放置、移动、转换和同步。

Maia 300片上系统架构

Maia 300 通过一系列架构创新，针对长上下文、推理密集型和解码密集型推理场景进行了优化，显著提升了性能与能效。首先，内存架构从 SoC 的统一内存访问（UMA）组织转变为跨芯片的小局域感知非统一内存访问（NUMA）组织，使软件能够将数据放置在使用它的计算单元附近。其次，新型窄精度格式结合硬件加速的数据类型转换，显著减少了每个 token 的数据传输量。第三，机架规模扩展至 96 个加速器，scale-up 域扩展至包含 12,288 个加速器的超级集群（superpod），使更多加速器能够作为单一系统协同工作。

Maia 300 不仅通过增加功耗和硅面积提升性能，更通过以下架构创新实现每瓦性能的显著提升，优化了系统层面的数据移动、局部性、精度和内存效率：

• 多芯片架构提升性能：将计算单元部署在 TSMC N2P 工艺上，该先进工艺提供最高的每瓦性能增益，同时将内存控制器和 I/O 功能分离至针对带宽、连接性和成本优化的独立芯片上。这增加了用于计算性能的硅面积，使每个功能模块都能使用最适合其角色的技术，而 SDLA 负责管理芯片内局部性与数据移动。该策略使系统计算 FLOPs 提升 36%，HBM 带宽增加 2.5 倍，并提供 14% 更高的 scale-up 带宽。
• 优化低精度推理：引入增强型 MXFP4 格式和低于 3 位的存储格式。更紧凑的数据表示减少了内存占用和数据移动，使系统在相同功耗限制下支持更大模型、更长上下文和更多并发会话。
• 通过 ISA 增强优化推理内核：向量引擎对关键推理内核（包括 softmax、低精度数据转换等操作）进行了专项优化。
• 高效片上数据移动：Maia 300 将内存从统一组织转变为跨芯片的非统一（NUMA）组织。每个计算区域都有邻近的内存，SDLA 对 DMA 引擎、本地 SRAM、HBM 和片上网络的显式控制，使数据始终位于使用它的计算单元附近。数据传输距离缩短，显著降低移动能耗。
• 按每瓦带宽优化的内存层次结构：结合软件管理的片上 SRAM 与八组 HBM4 堆栈（每加速器提供 288 GB 容量和 18 TB/s 带宽）。与 Maia 200 相比，内存带宽提升 2.5 倍，容量增加 33%，每瓦 HBM 带宽提升约 2 倍，使更多模型和 KV 状态保持在计算单元附近。

与 Maia 200 相比，Maia 300 内存带宽提升 2.5 倍，容量增加 33%，每瓦 HBM 带宽提升约 2 倍

一体化 scale-up 架构：从集群到超级集群

Maia 300 将网络作为其软件定义数据流架构的原生扩展。Maia 的 AI 网络控制器基于以太网实现了定制的 AI 传输协议。双层网络构建出最高可容纳 12,288 个加速器的高性能超级节点。Maia 向软件提供统一的通信模型——在超级节点内可直接将数据传输至任意加速器，语义保持一致。

• 半交换式机架内拓扑

每个加速器将其扩展连接能力在直连链路和交换路径之间分配。直连链路连接机架内同 tray 的两个加速器，而交换式架构则将机架内所有 96 个加速器连接为一个节点。所有机架内连接均采用电气链路，以降低功耗和成本。

• 跨机架的光学第二层网络

第二层交换机可将最多 128 个机架连接为一个超级节点。光学技术提供了扩展跨节点网络所需的传输距离。

从节点内加速器到超级节点的统一网络架构

• 统一网络架构而非独立扩展/收缩域

集成网络 控制器和专用 AI 传输协议在节点内和跨超级节点中使用相同的通信语义。Maia 加速器可直接向超级节点内任意加速器发起通信，无需经过主机或独立的扩展网卡。

• 低跳数通信路径

存在三个延迟域：直接相连的加速器对属于最低延迟域，节点内加速器相距一个交换机跳数，跨节点加速器相距三个交换机跳数。软件可将对延迟敏感的张量并行流量限制在最低延迟域内。

• 按工作负载分配带宽

每个加速器在机架内和跨机架带宽的分配比例并非在系统设计时固定，而是根据任务调度动态设置为可配置参数。当仅部分加速器跨机架通信时，单个加速器可向超级节点内任意对等加速器提供高达 750 GB/s 的带宽。参考下文的备用 tray 示例。

• 灵活的任务部署

张量并行可在 96 加速器机架内执行，而更广泛的专家并行和流水线并行可跨机架扩展。任务可跨机架边界使用计算资源，当工作负载规模与物理机架配置不匹配时可减少资源闲置。

64 加速器任务可拆分为四个 16 加速器分片，每个分片部署在不同机架中

• 扩展域内的解耦推理

预填充和解码工作节点可独立配置和部署。预填充计算完成后，键值状态会通过同一扩展网络架构直接传输至选定的解码节点，而非经由主机中介的独立扩展路径离开当前域。

• 跨机架的容错能力

当加速器不可用时，调度器可透明地利用超级节点内其他机架的热备资源。工作负载持续保留在扩展网络架构中，通过增加路径延迟换取更高的可用性和资源利用率。

一个机架中的备用托盘可以抵消另一个机架中出现故障的托盘

用于部署效率的机架级架构

在数据中心规模下，效率由在固定供电和散热范围内能够部署和运行的有用基础设施数量决定。基于Maia SoC架构的基础能效，Maia 300机架通过协同设计服务器布局和密度、网络拓扑和交换、供电和散热设计以及高级遥测技术，相比Maia 200实现了每瓦性能提升达2.5倍。

• 167千瓦机架内集成96个加速器

Maia 300在167千瓦机架中整合了24个四加速器托盘共计96个加速器，使加速器密度相比Maia 200翻倍。每个托盘包含四个加速器及其主机处理器、内存、存储和散热系统。取消独立的主机托盘可释放机架空间，使电源和热管理资源能作为统一系统进行管理，从而提升每个机架内部署的推理能力。

• 整合式交换架构

六个高基数交换ASIC芯片集成在三个液冷交换托盘中，为所有96个加速器提供机架本地连接，同时最大限度减少交换所占用的空间和功耗。

• 机架级供电设计

双路供电输入、高容量电源架和50伏母线架构可高效地将电力分配至加速器和交换托盘，同时提供操作冗余。集成的机架自动转换开关即使在单路供电因维护而离线时也能保持高可用性。

• 灵活的散热架构

液冷系统可移除机架中加速器、电压调节器和交换ASIC芯片超过80%的热负荷，而风冷系统则支持内存、存储和其他辅助组件。Maia 300可根据现场条件直接连接设施用水，或在风冷数据中心环境中使用热交换器单元排热。这为系统在大规模部署时的部署位置和方式提供了更大的灵活性。

• 数据中心集成遥测

我们已将部署经验纳入设计，强化了可靠性、可用性和可维护性（RAS）、可观测性、可调试性、故障处理和冗余性，随着部署规模的扩大提升了系统的稳健性。机架和行级电源遥测数据可与数据中心运营系统对接，使操作参数能够根据可用电源和散热能力进行管理。这些数据可驱动算法动态分配电源并优化工作负载部署位置和密度，从而提升利用率和每瓦特交付的令牌数。

Maia 300 的交付成果

Maia 300 是一项跨代计划的下一步，旨在规模化部署高效的人工智能系统。该设计在软件、芯片、物理机架基础设施、网络和数据中心等方面实现端到端优化，为云规模智能代理推理带来性能和效率的飞跃。

与 Maia 200 相比，Maia 300 在完整 96 个加速器配置下可实现高达 7 倍的机架级令牌吞吐量，且每瓦性能超过 2.5 倍。它在每瓦内存带宽和每机架加速器数量上实现提升，同时基于 SDLA（我们的软件定义数据流架构）和双层扩展网络，支持从内核到数据中心规模的统一编程模型。这些进步使我们能够更高效地为更多个人和组织提供更实用的智能。

与 Maia 200 相比，Maia 300 的机架级令牌吞吐量最高提升 7 倍，每瓦性能超过 2.5 倍

前方的机遇不仅仅是构建更多计算能力，而是让先进的人工智能功能更加普及、经济实惠且实用。Maia 300 是实现这一目标的重要一步。

下个月，我们将在 Microsoft Ignite 2026（旧金山现场及线上）分享更多关于人工智能战略、技术采用趋势以及 Frontier Transformation 成果的信息。

• * *

在这里了解 Azure Maia 300 的最新消息。

在这里了解更多 Azure Maia 300 信息。

在这里了解 Azure 的芯片到系统方法。