Microsoft Azure Blog

Infrastructure for the frontier era: Scaling intelligence through open industry collaboration

8.5内容质量
Infrastructure for the frontier era: Scaling intelligence through open industry collaboration

TL;DR · AI 摘要

微软推出Azure Maia 300加速器,能效提升40%,推动AI基础设施革新。

核心要点

  • Azure Maia 300相比GPU系统能效提升40%
  • Maia 200在微软产品中实现1.7倍能效提升
  • 开放行业合作是推动前沿基础设施的关键

结构提纲

按章节快速跳转。

  1. 微软构建前沿企业的愿景及基础设施的重要性。

  2. Maia系列加速器的设计与性能指标。

  3. Maia 200在微软产品中的部署与效果。

  4. 开放行业合作推动基础设施发展的策略。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 前沿基础设施与AI协作
    • Azure Maia 300
      • 40%能效提升
    • Azure Maia 200
      • 1.7倍能效提升
    • 行业合作
      • Open Compute Project Foundation

金句 / Highlights

值得收藏与分享的关键句。

#AI加速器#云计算#微软Azure#能效优化
打开原文

在微软,我们的愿景是构建前沿企业:在这里,人与技术协同工作,将人类的专业知识、背景和判断力与能够将智能延伸至日常工作的技术相结合。潜力巨大:帮助人们创造、解决复杂问题,并在社会最重要的挑战上取得进展。

但要实现这一潜力需要前沿基础设施。超级智能的下一阶段需要统一的基础设施引擎,以更高效的方式提供更多的智能,使AI在科学、医疗保健、教育和经济领域更加普及、可靠和可持续。这是整个生态系统的工作成果,也正契合我们多年来通过开放计算项目基金会的行业协作所推进的愿景。

与实际工作负载协同设计硅芯片

随着超级智能进入下一阶段,推理正成为主要的工作负载,而效率、延迟和成本在此时尤为关键。Azure Maia 300是我们Maia系列的下一代AI加速器,推动了推理效率的前沿发展。Maia 300是专为今天新兴的AI工作负载而设计的完整系统:长上下文推理、延迟敏感的对话体验以及持续的多步骤智能体任务。通过提升系统整体效率,我们预计Maia 300相比领先的GPU系统,每瓦特可生成的令牌数量将提升40%。在完整的96个加速器配置中,其机架级令牌吞吐量将达到Maia 200的七倍。

Maia体现了我们的系统协同设计方法。它与微软基础设施和生产工作负载共同设计,将模型、应用框架、内核、通信库、系统软件和定制硅芯片整合到一个优化循环中。Maia 200正在美国、欧洲和澳大利亚部署,与领先的GPU基础设施相比,微软Teams、Copilot和协作体验内置AI功能的每瓦特令牌生成量提升高达1.7倍。

图1:Azure Maia 200系统安装在微软数据中心内。
图1:Azure Maia 200系统安装在微软数据中心内。

数据中心内的Azure Maia 200系统

AI 不仅仅关乎加速器。智能代理工作负载对 CPU 提出了全新的需求。每一次代理交互都会产生编排、数据检索、内存管理和服务调用,这些操作必须快速且高效地完成。正因如此,我们设计了 Cobalt 200,这是一款专为代理工作负载优化的原生代理 CPU。Cobalt 200 相比 Cobalt 100 实现了超过 50% 的性能提升,将代理调用延迟降低了 33%,同时在代理工作负载上的吞吐量提高了 23%。

Image 2: Rows of Azure Cobalt 200 server systems installed in a Microsoft datacenter.
Image 2: Rows of Azure Cobalt 200 server systems installed in a Microsoft datacenter.

数据中心中的 Azure Cobalt 200 系统

我们与企业最大规模的工作负载在循环中共同设计了 Maia 和 Cobalt。这使微软在调整生产环境中的性能、可靠性和成本方面拥有独特优势,能够精准匹配客户需求。

我们正在将这一原则应用于存储和安全领域。Azure Boost 数据处理单元 将压缩、网络事务和安全功能从 CPU 移动到专用硅芯片,使我们能够在显著降低功耗的同时实现四倍的性能提升。

而 Azure 集成 HSM 则将安全功能作为硬件基础的一部分,所有新数据中心服务器均搭载我们自主研发的安全芯片。它将加密操作更贴近工作负载,同时在硬件安全边界内保护密钥,避免密钥暴露在应用程序内存中。

构建开放、弹性的 AI 架构

计算创造智能,而网络使智能在大规模场景中得以应用。

通过与行业合作伙伴协作,微软开发了 多路径可靠连接(MRC),重新定义了 AI 场景下的以太网。其多平面架构通过双层网络架构支持超过 10 万台 GPU 的扩展,显著降低功耗、复杂性、故障点和成本。通过智能地在多路径间分配流量并利用数据包分散技术,MRC 有效缓解拥塞,为前沿级训练保持稳定可靠的性能。

我们还在通过光学计算互连多源协议(OCI MSA)推动开放的扩展连接技术。作为首个面向多机架扩展系统的光学规范,OCI 实现了高带宽、低功耗、多厂商兼容的基础设施。未来,我们将继续与行业合作,扩大 OCI MSA 的参与范围。

重新思考从电网到芯片的电力供应

AI 基础设施也正在推动电力传输的根本性重新设计。通过 OCP 和 Open Systems for AI 计划,微软正在帮助推动行业向 800 伏特直流(VDC)基础设施的转型。

微软的 Mt. Diablo 是一种解耦的高压数据中心(DC)侧车架构,将电源转换与计算机架分离,使两者能够独立扩展。该架构包含模块化设计,支持约 100 千瓦(kW)至超过 1 兆瓦(MW)的功率范围,具备冗余供电、遥测功能和可选的储能系统。微软与 OCP 合作伙伴共同向 OCP 提交了 Mt. Diablo 规格 v0.7 和 v1.0。

微软及其合作伙伴正在推进基于固态变压器的架构,以提高下一代 800 VDC 数据中心的电源转换效率、响应速度和可扩展性。通过 OCP 的 Clean Backup Power 计划,我们正在制定开放的可靠备用系统标准,以减少对柴油的依赖。同时,微软与合作伙伴合作发布了通用电网接口规范,以协调电力公司、运营商和设备供应商,推动超大规模电力架构的发展。了解更多关于 微软在 800VDC 过渡和可持续扩展电力基础设施方面的方法。

微软认为强大的云安全应通过开放性, 透明度和行业协作来构建。这一原则体现在我们作为机密计算联盟创始成员的贡献,我们推动Caliptra作为开源硅基信任根的建立,以及我们对OCP S.A.F.E.安全合规框架的贡献。随着人工智能重塑网络安全格局,量子计算的进步带来新的加密风险,保护数字信任基础的密钥和凭证比以往任何时候都更加重要。

为应对这些挑战,并基于我们对安全透明度和行业协作的承诺,微软、Marvell和Oracle推出了Tessera Integrated HSM,这是一个集成硬件安全模块的开源项目。Tessera Integrated HSM继承了Azure Integrated HSM引入的工作负载直连HSM架构,开源其架构、规范、协议、驱动程序、软件、固件和硅芯片设计,向更广泛的社区开放。了解更多关于Tessera Integrated HSM的信息。

大规模舰队弹性

随着AI基础设施扩展,舰队可靠性对于保护客户工作负载、容量和服务质量至关重要。通过OCP,微软发布了通用的RAS(可靠性、可用性、可维护性)、调试、遥测和诊断规范,同时贡献了硬件故障管理、CPU和GPU管理以及舰队内存故障管理相关工作。我们利用多年的舰队数据,并使用AI验证、预测和驱动舰队操作,旨在预防故障、精准定位问题,并实现更自主的恢复。了解更多关于微软如何通过行业协作推进舰队可靠性的信息。

推动基础设施堆栈的可持续发展

负责任地扩展AI意味着要考虑整个数据中心生命周期,以帮助实现到2030年的承诺:实现碳负排放、水正效益和零废弃物。作为一家公司,我们致力于将可持续性融入数据中心的设计、建设和运营中,并延伸至我们建设的社区。通过OCP,微软与合作伙伴合作开发低碳钢铁和混凝土——每立方码混凝土的碳排放量可减少超过50%。

我们正在推进废热再利用,并帮助制定云服务产品类别规则,以实现一致且可审计的生命周期碳排放报告。在我们的数据中心内部,闭环液体冷却、智能电源管理和可再生能源协议有助于减少资源使用,而循环数据中心将超过90%的服务器和组件重新利用或回收。在数据中心之外,我们正在投资于本地技能、合作伙伴关系和基础设施,使承载这种增长的社区能够与我们共同发展。阅读微软2026年环境可持续性报告。

共同构建前沿

我们的愿景是帮助每家企业成为前沿企业,通过将人类专业知识与人工智能结合,构建持续学习的循环,将知识和创造力转化为可扩展的智能。实现这一愿景需要全栈协同设计:硅芯片、计算、内存、网络、电源、冷却、模型和应用需协同工作,形成一个安全、可靠、高效且可持续的平台,同时为客户提供选择自由,而不会将复杂性转嫁给他们。

这样的未来无法由单一组织实现。通过OCP,我们正在推动开放接口,分享在全球规模运营基础设施的经验,并与行业各方协作,使创新加速发展,避免生态系统反复解决相同的问题。携手合作,我们可以将前沿创新转化为基础设施,让每家企业、每个行业以及世界每个地区都能以可负担的成本获得智能能力。

我们诚邀社区在2026年OCP全球峰会共同构建这一未来。