OpenAI and Broadcom unveil LLM-optimized inference chip
TL;DR · AI 摘要
OpenAI 与 Broadcom 合作推出 Jalapeño 推理芯片，显著提升大模型推理性能。
核心要点
- Jalapeño 芯片性能每瓦表现优于当前最先进的技术。
- 该芯片由 OpenAI 与 Broadcom 共同设计，支持当前及未来 LLMs。
- Jalapeño 将部署在多个数据中心，实现大规模生产。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- Jalapeño 推理芯片
- 性能优势
- 性能每瓦优于当前最先进的技术
- 支持当前及未来 LLMs
- 部署与生产
- 部署在多个数据中心
- 实现大规模生产
金句 / Highlights
值得收藏与分享的关键句。
Early testing shows that the first-generation accelerator will deliver performance per watt substantially better than current state-of-the-art.
Jalapeño was delivered to OpenAI CEO Sam Altman and President Greg Brockman by Broadcom President and CEO Hock Tan and President Charlie Kawwas.
The architecture reduces data movement and balances compute, memory, and networking resources to achieve realized utilization much closer to theoretical peak performance.
标题：OpenAI 与 Broadcom 推出面向大语言模型的推理芯片
URL 来源：https://openai.com/index/openai-broadcom-jalapeno-inference-chip
Markdown 内容：
- 早期测试表明，第一代加速器在每瓦性能方面将显著优于当前最先进的水平
- 从零开始构建，适用于当前和未来行业内的大语言模型
- 从设计到生产仅耗时九个月，OpenAI 的模型加速了这一过程
- 扩展了 OpenAI 的全栈平台，涵盖产品、模型，现在扩展到芯片
- 将与数据中心合作伙伴一起在千兆瓦级规模部署，跨越多个世代
OpenAI 与 Broadcom（纳斯达克代码：AVGO）今天发布了 Jalapeño，这是 OpenAI 的首款智能处理器：一种围绕 OpenAI 对大语言模型推理未来愿景设计的加速器，也是两家公司正在共同构建的多代计算平台中的首款人工智能加速器，旨在使先进的人工智能更快、更可靠，并让更多人可以使用。
Jalapeño 芯片由 Broadcom 首席执行官 Hock Tan 和总裁 Charlie Kawwas 交付给 OpenAI 首席执行官 Sam Altman 和总裁 Greg Brockman，标志着 OpenAI 在构建其模型和产品背后完整堆栈战略中的重要一步。
OpenAI 围绕其对大语言模型基本原理的深入理解，与合作伙伴 Broadcom 和 Celestica 一起，从零开始设计了这款芯片，这一设计基于其模型路线图、内核、服务系统和产品需求。合作伙伴帮助通过芯片实现、电路板、机架系统集成、高性能网络和可扩展生产系统来工业化该平台。Jalapeño 的设计具有灵活性，能够与所有大语言模型配合使用，这是基于 OpenAI 对当前和未来人工智能模型推理需求的洞察。Jalapeño 芯片的工程样品已经在实验室中以生产目标频率和功耗运行，包括 GPT-5.3-Codex-Spark。
尽管 OpenAI 仍在测量最终性能，但早期测试表明，Jalapeño 的每瓦性能将显著优于当前最先进的水平。关于性能的详细技术报告将在未来几个月内发布。该架构减少了数据移动，平衡了计算、内存和网络资源，使实际利用率更接近理论峰值性能。Broadcom 的硅实现和网络技术，包括 Tomahawk 网络硅，有助于将平台大规模投入生产。
“世界正在向以计算驱动的经济迈进，”OpenAI 首席执行官兼联合创始人 Greg Brockman 表示。“Jalapeño 是我们长期全栈基础设施战略的一部分，旨在使计算资源更加丰富，从而实现更快、更可靠、更经济的人工智能，使个人和企业能够解决更多重要问题。通过自行设计更多堆栈组件，我们可以更高效地提供更多的智能，并不断推动先进的人工智能向更广泛的用户开放。”
“Jalapeño 是从零开始为 LLM 推理设计的，这得益于我们与 OpenAI 研究人员密切合作所获得的深入洞察，”由 OpenAI 硬件项目负责人 Richard Ho 表示。“我们围绕对前沿 AI 模型最重要的内核、内存移动、网络和推理模式优化了架构。根据初步测试结果，Jalapeño 将能够以接近硬件理论极限的效率执行我们最重要的工作负载。”
“我们与 OpenAI 的合作体现了我们对为未来十年 AI 所需的物理基础设施进行扩展的坚定承诺，”博通公司总裁兼首席执行官 Hock Tan 表示。“这只是我们多代产品路线图的开始。通过与 OpenAI 联合开发我们行业领先的芯片，我们正在与微软及其他合作伙伴从 2026 年开始部署千兆瓦级的数据中心。”
专为 LLM 推理打造的最佳平台
Jalapeño 是一个专为现代 LLM 推理而设计的全新架构，而不是从早期 AI 工作负载中适配而来的通用加速器。它受到 OpenAI 每天在 ChatGPT、Codex、API 以及未来代理产品中运行的系统的启发，同时它也被设计为适用于当前和未来整个行业中的 LLM。目标是将当今领先的 AI 加速器的性能和吞吐量与接近最快专用推理系统的延迟相结合，使 Jalapeño 非常适合大规模的交互式 LLM 产品。
这就是全栈优势。OpenAI 不仅在开发前沿模型或在其之上构建产品，它还在其下方设计基础设施：芯片架构、内核、内存系统、网络、调度、部署系统和产品体验。由于 OpenAI 横跨整个技术栈运行，每一层都可以围绕同一个目标进行优化：使模型对用户来说更快、更可靠、更经济实惠。
Jalapeño 加强了 OpenAI 进步的飞轮效应。更好的基础设施提高了计算效率。更高的计算效率使训练和推理表现更好，最终推动出更强大的 AI 模型。更好的模型成为更优质的产品，为人们、开发者和企业服务。更优质的产品带来更多的使用量、更多的客户和更多的收入，这使 OpenAI 能够重新投资于下一代基础设施。随着时间的推移，这个循环有助于让所有人都能获得更强大、更可靠且更便宜的智能。
九个月完成流片，OpenAI 模型加速开发
Jalapeño 从最初设计到制造流片仅用了九个月时间，而定制 AI 加速器项目代表了我们所认为在高性能先进半导体领域实现的最快 ASIC 开发周期。这种速度反映了与 OpenAI 工程团队的深度软硬件协同开发，博通在芯片实现方面的专业知识，以及利用 OpenAI 模型来加速设计和优化过程的某些部分。
用于服务用户的相同模型正在帮助改进用于运行未来模型的基础设施。如果 AI 能够帮助工程师更快地设计出更好的芯片，它就能降低整个行业的计算成本，并有助于普及先进 AI 的访问权限。
与合作伙伴共建多代平台
Jalapeño 是一个多代计算平台的第一步，该平台计划于 2026 年底首次部署，并在随后几年内逐步扩展。该平台结合了 OpenAI 设计的加速器与 Broadcom 的硅芯片实现、网络和连接技术，以及 Celestica 在电路板、机架和系统方面的专业知识。
让先进的人工智能更广泛可用
这项工作的目标很简单：推理是人工智能触及人们的环节。成本、速度和可靠性的每一次改进，都可能体现在更快的 ChatGPT 回答、一个可以执行更多步骤而无需等待的 Codex 任务、一个更便宜构建的 API 产品，或是在需求高峰时更可靠的访问。
让人工智能民主化意味着让先进的模型足够可用、可靠和经济实惠，使更多人每天都能使用。Jalapeño 帮助 OpenAI 将其更多基础设施转化为对学生们、开发者、小企业、研究人员、企业以及任何试图学习、创造或解决难题的人有用的人工智能。