Red Hat delivers peak performance on Kubernetes and CPUs in MLPerf Inference v6.1

Red Hat 在 MLPerf Inference v6.1 中实现 Kubernetes 和 CPU 的峰值性能

Component | Article_teaser

2026年9月29日

6

分钟阅读

AI 推理

Alberto Perdomo

Ashish Kamra

Diane Feddema

Harika Pothina

Michael Goin

Michey Mehta

Naveen Miriyalu

Nikhil Palaskar

Thameem Abbas Ibrahim Bathusha

Subpattern | social_share_set

Component | social_share

分享

Subpattern | subscribe

Component | social_icon

订阅 RSS

Component | Icon

© Red Hat, Inc. CC-BY-4.0 授权

Subpattern | results_nav

组布局

Component | Nav_links

• 返回所有文章

Component | Generic

Red Hat 非常自豪地宣布我们在行业标准 MLPerf Inference v6.1 基准测试中的成果。此次提交延续了我们在近期轮次中的表现：在 v5.1 中，我们展示了在 NVIDIA H100 和 L40S GPU 上使用 vLLM 实现的 Llama-3.1-8B-FP8 推理的性价比；在 v6.0 中，我们在 NVIDIA H200 和 B200 以及 AMD Instinct MI350 GPU 上实现了 Qwen3-VL、Whisper 和 gpt-oss-120b 的结果，包括首次基于 Kubernetes 的提交。我们的 v6.1 结果突出了三个重点：在 Kubernetes 上的峰值性能、一个推理引擎（vLLM）同时支持图形处理单元（GPU）和中央处理单元（CPU），以及小模型纯 CPU 服务的可行性。我们的提交涵盖了 4 个开源模型——gpt-oss-120b、Qwen3-VL-235B-A22B、Llama-3.1-8B 和 Whisper-Large-v3——在 NVIDIA GB200 NVL4 系统和纯 CPU 英特尔® 至强® 6 服务器上运行。

我们参与 MLPerf 是因为它代表了行业标准的同行评审推理性能衡量方式：它让企业能够在同等条件下比较硬件和软件堆栈，并确保我们的开源堆栈达到与专有替代方案相同的标准。

本轮亮点

• 在任何规模下（从 4-GPU 节点到完整的 NVL72 机架），使用 Red Hat OpenShift 和 vLLM（本轮唯一基于 Kubernetes 的 GB200 提交）实现的 GB200 提交中每 GPU GPT-OSS-120B 离线吞吐量最高
• 与 Supermicro 和 NVIDIA 合作，在 GB200 NVL4 系统中实现的服务器场景 Qwen3-VL 结果最佳
• 纯 CPU 大语言模型和语音推理，与英特尔在至强 6 上的联合提交中，所有 2 插槽纯 CPU 提交中每核心 Llama-3.1-8B 和 Whisper 吞吐量最高

这些结果展示了 Red Hat AI 在 Kubernetes 基础设施上，通过一致的软件层在 GPU 和 CPU 架构上实现竞争性推理的能力。值得注意的是，本轮 32 个数据中心提交者中有 22 个在堆栈的某个位置使用了 vLLM，证实了其作为行业标准开源推理引擎的地位。

我们的结果

模型

硬件

场景

结果

软件堆栈

备注

gpt-oss-120b

GB200 NVL4（4x GB200，Supermicro）

离线

61,205.6 tok/s

OpenShift 4.21，vLLM 0.24.0

比唯一其他 4-GPU GB200 提交结果高出 20%

服务器

51,095.2 tok/s

所有 4-GPU GB200 提交中的最高值

Qwen3-VL-235B-A22B

50.68 queries/s

vLLM 0.20，NVIDIA Dynamo，RHEL

所有 4-GPU GB200 提交中的最佳服务器结果

58.08 samples/s

与最佳 4-GPU GB200 结果相当

Llama-3.1-8B

2S 英特尔 至强 6972P（纯 CPU）

1,507.21 tok/s

RHEL 9.9，vLLM

所有 2 插槽 CPU 提交中每核心吞吐量最高

644.79 tok/s

Whisper-Large-v3

1,966.11 samples/s

图 1：Red Hat MLPerf Inference v6.1 结果，封闭组别，数据中心。

在 GB200 NVL4 上使用 Red Hat OpenShift 的 GPT-OSS-120B（推理模型）

GPT-OSS-120B 是一个包含 1170 亿参数的混合专家模型，适用于推理、智能代理工作流和代码生成，具有高度可变的输入长度和严格的服务器场景延迟要求。

与 Supermicro 合作，我们在 NVIDIA GB200 NVL4 系统上提交了结果，该系统配置为 2x Grace CPU（每颗 CPU 72 个 ARM 核心）和 4x GB200 GPU（每块 GPU 配备 189GB HBM3e 显存），运行 OpenShift 4.21、Red Hat Enterprise Linux CoreOS 9.6 和 vLLM 0.24.0。Supermicro 服务器的完整规格请参见此处。这是唯一一个在 Kubernetes 基础设施上运行的封闭数据中心组提交。

离线：每秒 61,206 个标记 —— 比唯一其他 4-GPU GB200 提交结果高出 20%

服务器：每秒 51,095 个标记 —— 在所有 4-GPU GB200 提交结果中表现最佳

图 2：GPT-OSS-120B 吞吐量：4x GB200 提交结果 —— MLPerf 推理 v6.1（封闭数据中心）

按 GPU 规范化后，我们离线结果约为每 GPU 每秒 15,300 个标记，是本轮所有 GB200 提交结果中在任意规模（包括 72-GPU NVL72 机架级系统）下的最高值。72-GPU 系统的每 GPU 吞吐量在 12,300–12,700 个标记/秒区间。我们的结果表明，基于 Kubernetes 编排的 4-GPU 节点配合 vLLM 能更充分地利用每块 GPU，而 OpenShift 相比裸金属服务堆栈没有性能损耗。

图 3：所有 GB200 提交结果的离线吞吐量（按 GPU 计算）

Qwen3-VL-235B-A22B 在 GB200 NVL4 上运行（多模态视觉）

Qwen3-VL-235B-A22B 是一个包含 2350 亿参数的专家混合（MoE）视觉-语言模型，其中 220 亿参数处于激活状态。该模型在包含 48,289 个样本的 Shopify 产品目录数据集上进行了基准测试，其中图像分辨率最大相差 20 倍，对视觉编码器造成压力并产生高度不均衡的请求规模。

与 NVIDIA 和 Supermicro 合作，我们在 GB200 NVL4 上使用 vLLM 和 NVIDIA Dynamo 提交了结果：

服务器：每秒 50.68 次查询 —— 在所有 4-GPU GB200 提交结果中服务器性能最佳

离线：每秒 58.08 个样本 —— 与最佳 4-GPU GB200 结果相当

图 4：Qwen3-VL 在 4x GB200 提交结果中的服务器和离线表现（注：不同场景单位不同）

本轮系统级主要发现是 NUMA 拓扑结构。在 GB200 NVL4 上，如果不固定 vLLM 工作线程，会导致 61-89% 的工作线程内存分配到远程插槽，主机到设备的带宽下降约 3.3 倍（从约 166GB/s 降至约 50GB/s）。根本原因分析显示瓶颈是插槽 0 的内存带宽拥堵，而非每页远程访问延迟。通过 numactl 按插槽固定工作线程后，带宽恢复并实现了约 9% 的端到端吞吐量提升。

第二个发现：在本工作负载中，尾部延迟受预填充阶段限制——主要由视觉编码器和图像标记预填充主导，而非 KV 缓存容量（KV 缓存利用率始终低于 3%）。对于多模态服务，优化重点应放在编码器吞吐量和预填充调度上，而非内存余量。

Llama-3.1-8B 和 Whisper（仅 CPU 推理）

Llama 3.1-8B 是一个包含 80 亿参数的密集型 Transformer 模型，用于摘要任务，服务器场景对其有严格的首令牌生成时间和每输出令牌时间限制。它代表了企业实际部署的模型类别——规模足够小以实现经济高效的部署，性能足以完成实际工作。

与英特尔合作，我们提交了一台双路Intel Xeon 6972P系统，配备192个Granite Rapids核心，未使用加速器，运行Red Hat Enterprise Linux 9.9。这在本轮测试中实现了所有双路CPU提交方案中最高的每核吞吐量。

Whisper-large-v3是一个包含15亿参数的编码器-解码器语音识别模型，其性能通过与转录语料库的词错误率进行评估。语音转文本是生产环境中最常见的推理工作负载之一，且通常不需要加速器。

在相同的双路Xeon 6972P系统上，我们实现了1,966.11个样本/秒的处理速度。

Llama-3.1-8B离线：所有双路CPU提交方案中最高的每核吞吐量（7.85 令牌/秒/核）

Whisper-Large-v3：所有双路CPU提交方案中最高的每核吞吐量（10.24 个样本/秒/核，比第二佳结果高出13%）

图5：Llama-3.1-8B每核吞吐量（双路CPU-only提交）

为什么CPU推理很重要？许多企业已经拥有大量通用服务器。本轮测试中，7个提交者共发布了9个仅使用CPU的Llama-3.1-8B结果，这明确表明行业将CPU推理视为可部署选项，适用于延迟容忍型批量工作负载和小型模型的中等吞吐量服务。这些结果还表明，像经过微调用于防护机制或嵌入生成的小型模型，可以与运行在加速器上的大型模型同时在CPU上运行，从而释放加速器资源用于需要它的任务。

图6：Whisper-Large-v3离线吞吐量（仅使用CPU的提交结果，Red Hat高亮显示）

在CPU上，推理瓶颈几乎从不是原始计算能力：其瓶颈在于内存带宽、调度器干扰和空闲状态延迟。我们的调优针对这三个方面进行了优化。

• 核心保留：设置VLLM_CPU_NUM_OF_RESERVED_CPU=1可为每个rank保留1个核心，在我们的配置中每个NUMA节点保留1个核心。所有非模型计算的任务都需要运行空间：vLLM的服务前端，以及在MLPerf提交中基准测试框架本身（包括LoadGen）。如果没有保留核心，这些线程会在不可预测的时刻从推理工作线程中抢占周期，这会直接表现为延迟抖动。在192个核心中保留几个核心对容量影响可以忽略不计；但它们带来的调度稳定性正是实现服务器场景延迟约束的关键。

• C状态调优：现代CPU在工作间隙会积极进入空闲状态，而C1E状态会带来唤醒惩罚，这会直接体现在请求到达部分空闲机器时的首令牌生成时间上。对于持久化配置，可通过内核启动参数限制C状态，例如intel_idle.max_cstate=1，或应用调优后的配置文件如latency-performance。通过sysfs在运行时禁用C1E也适用于测试，但重启后配置会丢失：这是一个容易丢失的设置，且由于所有功能仍然正常工作只是变慢，因此很难发现性能回归。

• 带宽上限：我们使用Intel的PerfSpect遥测工具进行的性能分析表明，内存带宽饱和度而非核心数量是该工作负载的主要限制因素，这与上述每核结果一致，其中每个插槽96核的部件实现了比共享相似内存子系统的128核部件更高的每核吞吐量。

关键结论

Kubernetes已准备好支持高性能推理。我们的GPT-OSS-120B提交是该类别中唯一在Kubernetes上运行且实现了本轮最高每GPU GB200吞吐量的方案。

vLLM 是一个跨 CPU 和 GPU 的统一引擎。同一推理引擎在英特尔至强 CPU 和 NVIDIA GB200 GPU 上均实现了有效的 MLPerf 结果，并在本轮 22 个提交者的技术方案中均有应用。该软件投资不仅覆盖 GPU 厂商，更延伸至整个硬件类别。

在如此规模的系统中，拓扑感知已成为基本要求。在 GB200 NVL4 这类紧密耦合的平台上，仅 NUMA 布局就带来了约 9% 的吞吐量提升。在我们对 CPU 和 GPU 的调优案例中，内存带宽而非原始计算能力，都是性能瓶颈所在。

后续发展方向

随着 MLPerf 启动针对智能代理工作负载的多轮任务工作组，基准测试正逐步接近真实世界的交互式 AI 系统。Red Hat 已为此做好准备，我们构建了专门应对此类场景的推理技术栈。我们计划展示 llm-d 技术，其特性包括前缀感知评分机制以及跨副本的分布式推理，可高效支持多轮对话的智能代理工作负载。

若需复现我们的测试结果，请查看包含 MLPerf 推理 v6.1 测试结果及部署文档的 GitHub 仓库。查看完整的 MLPerf 推理 v6.1 测试结果，了解 Red Hat AI 的更多信息。

Block | Dynamic pattern deluxe promo

Component | Band_header

Product trial

Red Hat AI 推理 | 产品试用

免费试用 60 天的 Red Hat AI 推理服务，这是一个集成技术栈，可实现大规模、快速、稳定且成本效益高的推理服务。

Component | spacer

Component | Cta_multi_basic

Subpattern | simple_cta

Component | CTA

立即试用

Deluxe mbox

Component | Card_header

作者简介

Subpattern | speaker

Card layout

Component | Image_embed

Component | Person

Alberto Perdomo

AI 系统性能工程师

Subpattern | social_links

Alberto Perdomo 是 Red Hat PSAP 团队的 AI 系统性能工程师，专注于分布式系统、AI 推理和开源技术的交叉领域。主要工作集中在利用 vLLM 和 llm-d 优化分布式大语言模型推理，以实现高性能的生产部署，同时在分布式 AI 系统领域有其他多项前沿研究。

阅读该作者的更多文章

Ashish Kamra

软件工程高级经理

Ashish Kamra 是一位经验丰富的工程领导者，在人工智能、机器学习和云计算领域拥有超过 15 年的管理经验。他于 2017 年 3 月加入 Red Hat，目前担任 Red Hat AI 性能高级经理。在此职位上，Ashish 主导优化 Red Hat OpenShift AI 的性能和扩展性，这是一个端到端的 MLOps 平台，特别关注大规模语言模型的推理和训练性能。在加入 Red Hat 之前，Ashish 曾在 Dell EMC 担任领导职务，推动企业级和云存储解决方案以及容器化数据服务的开发与整合。他拥有扎实的学术背景，2010 年获得普渡大学计算机工程博士学位，研究方向为数据库入侵检测与响应，并在多个知名期刊和会议上发表过多篇论文。热衷于利用技术创造商业价值，Ashish 正在 Warwick 商学院攻读兼职全球在线 MBA 以补充其技术专长。在空闲时间，他喜欢打乒乓球、探索全球美食以及环游世界。

Diane Feddema

首席软件工程师

Diane Feddema 是 Red Hat Inc 性能与扩展团队的首席软件工程师，专注于 AI/ML 应用。她曾在 MLCommons MLPerf 推理和训练的多轮基准测试中提交官方结果，最早可追溯至 MLPerf 初始轮次。Diane 负责 MLPerf 基准提交的性能分析与可视化工作，并与 Red Hat 硬件合作伙伴协作创建联合 MLPerf 基准提交。Diane 拥有计算机科学学士和硕士学位，目前担任 MLPerf 联盟最佳实践小组联合主席。

Harika Pothina

高级 AI 推理工程师

Harika Pothina 是 Red Hat PSAP 团队的 AI 系统性能工程师，专注于分布式系统、AI 推理与性能工程的交叉领域。她的工作重点是通过 vLLM、MLPerf 和 OpenShift 优化大规模 VLM 推理，实现高性能生产部署，同时在现代 GPU 平台上推动基准测试、性能分析和系统级调优。

Michael Goin

首席工程师

Michael Goin 是 vLLM 的首席维护者，vLLM 是用于大语言模型推理的高性能开源引擎。他的贡献涵盖核心领域，包括内核优化、系统调度、新型模型架构以及 GPU 和新兴加速器的硬件效率。Michael 曾在 Neural Magic 领导性能工程，该公司已被 Red Hat 收购，他将推理系统经验带入开源 AI 社区。

Michey Mehta

首席软件工程师

Michey 是 Red Hat 性能工程团队成员，专注于裸机/虚拟化性能和机器学习性能。他的专业领域包括存储性能、Linux 内核性能和性能工具开发。

Naveen Miriyalu

AI 性能工程师

性能工程师，专注于 MLPerf、LLM 推理性能和分析。此前有硬件性能建模经验。

Nikhil Palaskar

Red Hat 性能与扩展工程团队高级软件工程师

Nikhil Palaskar 是 Red Hat 的高级软件工程师，属于性能与扩展工程团队。Nikhil 目前的重点是为推理服务大语言模型，并在 Red Hat OpenShift AI 和 Red Hat Enterprise Linux AI 环境中优化其部署性能。Nikhil 还积极参与在 AMD 硬件上使用 ROCm 软件栈运行大型语言模型的性能实验与调优。此前，他参与构建了基准测试与性能分析框架（Pbench）。Nikhil 的职业兴趣围绕 AI/ML、深度学习、统计学、性能工程和应用分析展开。工作之余，他喜欢徒步旅行。

Thameem Abbas Ibrahim Bathusha

PSAP 团队软件工程师

我是 PSAP 团队的软件工程师，专注于 Red Hat 产品上的 AI/ML 性能，主要涉及 vLLM/llm-d。

类似内容

动态模式

博客文章

从微调模型到更便宜更快的推理：使用 Kubeflow 在 Red Hat OpenShift AI 上进行 Speculator 训练

从裸机到多样化的 AI 收入流：应对 GPU 云平台挑战

子模式 | card_flex

子模式 | text_basic

继续探索

• 免费试用：Red Hat 学习订阅试用

• 开始免费产品试用 试用

• 无成本订阅 Red Hat TV 视频

继续探索 mbox

Subpattern | simple_text

按频道浏览

浏览所有频道

Pattern | raw_html

自动化

关于IT自动化在技术、团队和环境中的最新动态

人工智能

关于让客户能够随时随地运行AI工作负载的平台的最新进展

开放混合云

探索我们如何通过混合云构建更灵活的未来

安全

关于我们在不同环境和技术中降低风险的最新动态

边缘计算

关于简化边缘运算平台操作的最新进展

基础设施

关于全球领先的企业的Linux平台的最新动态

应用程序

深入了解我们解决最复杂应用程序挑战的方案

虚拟化

关于企业虚拟化未来，适用于本地或跨云工作负载的方案