Where the Industry Is Investing: A Look at MLPerf Inference v6.1

行业投资方向：MLPerf Inference v6.1深度解析 - MLCommons

行业投资方向：MLPerf Inference v6.1深度解析

在本次分析中，MLPerf Inference工作组主席Miro Hodak和Frank Han对创纪录的30家提交者、120个系统、智能体与端到端基准的引入，以及这些结果所揭示的推理工程发展趋势进行了深入解读。

2026年9月17日

每一轮MLPerf® Inference都是行业工程投入方向的快照，而v6.1版本在两个方面尤为突出：这是迄今为止提交者数量最广泛的版本，同时标志着行业向智能体和端到端基准测试的明显转折，伴随着大量新硬件的提交。

本轮亮点包括创纪录的提交者数量、显著提升单设备性能的新加速器，以及全新的多轮基准测试。以下是我们对结果的分析：

数据中心结果

边缘设备结果

提交者与提交内容

本轮吸引了创纪录的30家提交者，涵盖芯片厂商、系统构建商（OEM和ODM）、云服务与新云服务提供商，以及专业推理软件公司。本轮有多个联合提交案例，两家机构合作完成：Dell_AMD、Dell_MangoBoost、RedHat_Intel和RedHat_Supermicro。

下表展示了各机构提交的系统和得分详情：

================================================================ MLPerf Inference v6.1 — 按提交者分类的结果（可排序） 将整个代码块粘贴到WordPress "自定义HTML"模块中。无需依赖项。所有样式均限定在#mlc-sbc范围内。 ================================================================

按提交者分类的结果

结果

系统

A – Z

结果（得分）

总计，
数据中心和边缘套件中，
在封闭和开放组别中，
提交了120个系统。
``

基准测试

MLPerf Inference基准测试分为数据中心和边缘设备两类。每个基准测试支持多种场景，可能包括：离线、服务器、交互、单流或多流。提交内容也可分为封闭或开放类别。封闭提交要求使用与参考实现数学等效的模型，本质上固定模型以实现直接比较。了解更多关于MLPerf Inference基准测试设置的细节，请访问https://mlcommons.org/benchmarks/inference-datacenter/ 。

MLPerf Inference v6.1包含10个数据中心基准和6个边缘基准，其中两个为新增基准：端到端RAG和智能体边缘推理。两个基准进行了更新：对于基于Qwen3的VLM（视觉语言模型），新增了交互场景；在GPT-OSS-120B中，交互场景更新为支持推测解码。

================================================================ MLPerf Inference v6.1 — 按结果分类的基准（数据中心 vs 边缘） 将整个代码块粘贴到WordPress "自定义HTML"模块中。无需依赖项。所有样式均限定在#mlc-bench范围内。 ================================================================

数据中心 — 10个基准

gpt-oss-120b

已更新

112

54个系统 · 服务器、离线、交互

llama2-70b-99.9

87

39个系统 · 服务器、离线、交互

llama3.1-8b

76

31个系统 · 服务器、离线、交互

deepseek-r1

70

32个系统 · 服务器、离线、交互

VLM

46

/

19 个系统 · 服务器、离线、交互式

text_to_video

30

15 个系统 · 单流、离线

whisper

23

23 个系统 · 离线

dlrm-v3

6

3 个系统 · 服务器、离线

rgat

5

5 个系统 · 离线

端到端问答

新

1

1 个系统 · 离线

端到端向量数据库

边缘设备 — 6 个基准测试

智能边缘

5 个系统 · 单流

yolo-95

9

3 个系统 · 单流、多流、离线

2

2 个系统 · 离线

yolo-99

3

1 个系统 · 单流、多流、离线

resnet

1 个系统 · 单流、多流

llama3.1-8b-edge

1 个系统 · 单流、离线

条形图长度在每个套件内进行缩放，因此数据中心和边缘设备的条形图不可相互比较。

MLPerf 推理提交者可以选择提交到任意基准测试。在数据中心类别中，最受欢迎的基准测试是 gpt-oss-120b，其次是 Llama2-70b。这是 gpt-oss-120b 首次登上榜首，在此前几轮中 Llama2-70b 是最受欢迎的。这表明高度重视稳定性和可比性的 MLPerf 基准测试社区现已全面接受 MoE 模型。

本轮性能提升

为衡量自上一轮以来的性能提升，我们比较了当前最佳的每加速器离线和服务器得分与 v6.0 的结果。

================================================================ MLPerf 推理 v6.1 — 每加速器最佳性能 vs v6.0 离线/服务器切换。粘贴到 WordPress "自定义 HTML" 块中。无需依赖项。所有样式均限定在 #mlc-perf 内。 ================================================================

与 v6.0 相比的最佳每加速器得分

离线

服务器

百分比数据如结果分析中所报告。条形图按模型进行缩放，因此仅在同一行内长度可比。rgat 的最佳离线得分略低于 v6.0。

在离线和服务器场景中，VLM 和 DeepSeek R1 的性能提升最为显著，远超其他基准测试的提升幅度。这是因为这两个基准测试是在由 Nvidia Vera Rubin 提供支持的新预览类别系统上提交的。其他基准测试的最高得分是在与 6.0 相同的硬件上实现的，因此结果反映了软件堆栈和算法优化带来的渐进式性能提升。

Llama2-70b 是 MLPerf 推理套件中运行时间最长的大型语言模型，自 2024 年初 v4.0 轮次引入以来一直存在。因此，它是一个很好的工具，可以展示大型语言模型随时间推移的性能改进。如下所示，在服务器场景提交的中位数每加速器性能方面，经过 6 次运行后提升了 5.58 倍。性能提升的三大主要原因如下：

• 数值精度降低：部分 v6.1 提交使用了 FP4 精度，而早期轮次使用的是 FP8。由于 MLPerf 推理对准确性有严格要求，因此性能提升并未以牺牲准确性为代价。

• 新一代加速器：在 Llama2-70b 基准测试初期轮次中使用的加速器已更换为更新、性能更强的加速器。

• 软件性能改进：即使在相同硬件上，每次提交轮次都能看到性能提升，这体现了提交者带来的改进以及该领域持续的技术进步。

在 DeepSeek R1 基准测试中也出现了类似趋势，尽管该基准测试存在时间较短。下图显示，一年内每加速器最佳性能在离线场景中提升了 2.7 倍，在服务器场景中提升了 5.7 倍。同样地，交互场景仅进行了两轮提交，但性能也提升了 2.7 倍。

结果亮点

除了性能提升外，结果还包含其他重要进展。一个持续的趋势是多节点推理。如下面的图表所示，最近几轮中多节点提交的数量显著增加：

这一增长趋势始于两年前的 4.1 轮，而这一轮达到了创纪录的 16 次多节点提交。我们还看到提交系统的规模在扩大。仅上一轮就创下了 288 个加速器的记录，但本轮中 Crusoe 提交的 6.1-0026 和 6.1-0027 使用了 512 个加速器，打破了这一记录。后者在 MLPerf 推理基准的 GPT-OSS-120b 离线测试中生成了接近 580 万 tokens/秒，创下了 tokens/秒生成数量的新纪录。

MLPerf 推理的另一个趋势是混合提交，使用不同类型的加速器协同工作。这些系统带来了独特的挑战，因为提交者需要考虑设备不同的计算能力。本轮包含两个此类提交：

新加速器与系统

v6.1 引入了多种新提交的加速器和系统——从设备端部件到下一代机架级平台——覆盖多个加速器厂商和不同规模的部署。

提交者自述

许多参与组织提交了补充声明，描述他们认为 v6.1 提交最重要的方面。完整声明可在结果仓库中找到；以下是亮点内容。

================================================================ MLPerf Inference v6.1 — 提交者自述 粘贴到 WordPress "自定义 HTML" 块中。无依赖项。所有样式均限定在 #mlc-quotes 中。 ================================================================

AMD

“AMD 非常高兴分享迄今为止最广泛的推理提交，从 v6.0 的三个模型扩展到覆盖三个 AMD Instinct GPU 平台（MI355X、MI350X 和 MI350P）的七个模型。”

ASUSTeK

“亮点包括 Llama 2-70B 服务器场景中 113,455 tokens/s 的性能……从高并发交互服务到峰值批量处理，始终表现出强劲的性能。”

Atlas Inference

“过去几年中，严肃的代理工作意味着需要数据中心往返。这一假设正是本次提交旨在消除的。”

Cisco

“Cisco 提交了该基准测试首个跨厂商异构加速器部署，将八块 NVIDIA H200 和八块 AMD Instinct MI350X GPU 通过 Cisco G200 网络统一到一个推理池中。”

CoreWeave

“借助 GB300 NVL72，CoreWeave 实现了每秒 116 万 tokens 的总吞吐量，每 GPU 吞吐量较 MLPerf v6.0 提升了 17%。”

Crusoe

“在 AMD MI355X 上，gpt-oss-120b 每秒超过 550 万 tokens，DeepSeek-R1 每秒 290 万 tokens，同时在 NVIDIA GB200 上也有结果，所有提交均来自 Crusoe 管理的 Kubernetes 和 Slurm 系统。”

Dell

“配备 8x AMD Instinct MI355X GPU 的 PowerEdge XE9785L 在 Llama2 70B 和 GPT-OSS-120B 上表现出色。”

富士通

“我们成功将上一轮测试结果提升了约 50%。”

GigaComputing

“本轮测试将 B300 GPU 与 120 核 Intel Xeon 6979P 配对……结果变得更有意思。亲自看看吧。”

谷歌

“谷歌在 MLPerf 6.1 推理提交中刻意聚焦于 DeepSeek-R1，因为行业正在从标准大语言模型向大规模专家混合架构（MoE）过渡。”

HPE

“配备 NVIDIA Blackwell Ultra GPU 的两台 HPE Compute XD690 服务器……实现了每秒 136,000 个 token 的吞吐量，并且在 DeepSeek-R1 上实现了每 GPU 每秒 8,500 个 token 的显著表现。”

英特尔

“仅通过软件优化，Intel Xeon 6 在本轮实现了历史上最大的代际性能提升。在与 v6.0 相同的硅芯片和相同插槽数量下，Xeon 6980P 上 Llama3.1-8B 服务器吞吐量提升了 2.4 倍（+142%），离线吞吐量提升了 56%。”

Inventec

“这些经过基准测试验证的平台可提供顶级 AI 性能，为企业客户提供灵活的液冷和风冷选择。”

Krai

“我们提交了来自 KRAI/Gentic 的首个结果——我们的自动化代理式全栈优化框架……可自动搜索更快的内核并将其与 vLLM 集成。”

Lambda

“我们在 NVIDIA B200 和 GB300 芯片上对 Qwen3-VL-235B-A22B-Instruct 和 GPT-OSS-120B 进行的基准测试实现了极快的吞吐量，GPT-OSS-120B 在 MLPerf 推理 v6.0 上的相同工作负载中吞吐量提升了高达 8.85%。”

MangoBoost

“Mango LLMBoost 在 AMD Instinct GPU 上实现了首个预填充/解码分离结果。我们还提交了历史上最大的多区域集群：两个大洲的四个站点……以 97% 的扩展效率作为单一端点运行。”

MiTAC

“我们的 G8825Z5、G4826Z5 和 G4520G6 AI/HPC 服务器系列已证明其能力，成功运行了全面的高要求生成式 AI 和大语言模型架构套件。”

Nebius

“Nebius 是两家使用下一代芯片的提交者之一。”

NVIDIA

“NVIDIA Vera Rubin NVL72 平台在 MLPerf 首次亮相，针对两个最具挑战性的专家混合基准测试，DeepSeek-R1 的吞吐量最高提升 2.5 倍，Qwen3-VL 的吞吐量最高提升 3.7 倍，较上一代产品。”

Oracle

“在推理 v6.1 基准测试中，Oracle 展示了在 NVIDIA GB300 和 B300、AMD Instinct MI355X 以及 Intel X12 平台上的性能表现。”

Orrick Industries

“我们专有的推理技术应用于 NVFP4 精度的公开模型权重，并结合 FP8 KV 缓存……Llama-3.1-8B — 每秒 274,927 个输出 token。”

Quanta Cloud Technology

“QCT 提交了基于两个 AI 平台的结果，这两个平台分别针对不同的部署、性能和扩展需求。”

Red Hat

“本轮我们展示了在两种截然不同的硬件类别上实现高效推理：由 OpenShift 协调的 Grace-Blackwell 系统，以及通用型 Xeon CPU，开源 vLLM 同时为两者提供服务。”

SciTiX

“在 DeepSeek-R1 基准测试中，离线场景的吞吐量达到 60,411 token/s，服务器场景达到 59,668 token/s，严格符合 MLPerf 定义的准确性和延迟限制。”

Supermicro

“在本次 Inference v6.1 基准测试中，Supermicro 提供了 NVIDIA B300、AMD Instinct MI355X、Intel Arc Pro B70 和 Intel Xeon 6/6+ CPU 的测试结果。”

TTA

“TTA 对 DeepGadget dg5W 的评估证明，企业级大语言模型服务不再需要庞大的数据中心基础设施，这为韩国及全球生态系统带来了高密度 AI 的普及化。”

VibeHPC

“我们的八块 GPU B300 系统在 Whisper 离线场景中实现了 53,267.2 个样本/秒的性能……对于 Llama 3.1-8B，同一系统在服务器场景中达到 156,867 tokens/秒，在离线场景中达到 161,767 tokens/秒。”

Wiwynn

“该节点在离线场景中达到了 63,991 tokens/秒……p99 TTFT 为 336 毫秒，低于 3,000 毫秒的限制，准确率超过 83%。”

Naeem Khoshnevis — 个人贡献者

“单块 NVIDIA H200 显卡实现近 7,800 tokens/秒：这项提交展示了当 FP8 量化与优化的推理堆栈结合时，Llama 3.1-8B 能够实现的性能。”

总结

================================================================ MLPerf Inference v6.1 — 总结信号（轻量版，2 列）粘贴到 WordPress 的 "Custom HTML" 块中。无依赖项。所有样式均限定在 #mlc-summary 内。 ================================================================

MLPerf Inference v6.1 是该基准测试历史上规模最大的一轮：30 家组织在数据中心和边缘套件以及封闭和开放分组中提交了 120 个系统。

与数量同样引人注目的是范围——从单加速器边缘设备到包含数百个加速器的机架级平台，所有系统均在统一的方法论下进行测试。一些明确的信号开始浮现。

01

工作负载组合更倾向于专家混合模型

首次出现 GPT-OSS-120B 成为最受欢迎的模型，DeepSeek-R1 和 Qwen3-VL 也获得了高度参与。

02

代理式和端到端基准测试已到来

从单次基准测试转向代理模型评估的转变。

03

全谱系中出现了新型硬件

从数据中心到边缘设备，推动了本轮每加速器性能的历史最佳表现。

04

混合和可扩展部署正在兴起

首次出现异构提交，结合了不同供应商的加速器，以及跨大洲地理分布的提交。

05

推理是横向扩展型工作负载

本轮创下了最大规模提交的记录，达到 512 块 GPU——对横向扩展推理部署的兴趣持续增长。

一如既往，这些结果在结合上下文阅读时最有价值：封闭分组仍是同类比较的基础，而开放分组则展示了那些通常预示主流趋势的优化技术。我们鼓励读者参考结果表格和提交者声明。

像这样的轮次反映了巨大的集体努力。感谢所有提交的组织——无论是成熟供应商还是首次参与的机构——以及众多推理工作组成员，他们构建、审查并审计这些基准，使 MLPerf 始终保持严谨、相关且公平。

类别

MLPerf Inference

新闻

作者

Miro Hodak（AMD）、Frank Han（Dell）

分享

• 邮件分享

• Facebook 分享

• LinkedIn 分享

• X 分享

• 复制链接