MLCommons Sets Participation Record with New MLPerf Inference v6.1 Benchmark Results

MLCommons 创下参与纪录，发布新的 MLPerf 推理 v6.1 基准测试结果 - MLCommons

MLCommons 创下参与纪录，发布新的 MLPerf 推理 v6.1 基准测试结果

该基准测试最新版本新增两项测试，涵盖新兴 AI 部署模式，包括智能代理推理

2026年9月16日

MLCommons ® 宣布其行业标准 MLPerf ® 推理 v6.1 基准测试套件取得新成果。此次发布创下提交组织数量的新纪录，新增两项与最新 AI 推理部署趋势对齐的测试。同时首次发布多项近期发布或即将发布的 AI 平台经过同行评审的性能数据，相比一年前性能提升最高达 5.7 倍。

开源的 MLPerf 推理基准测试套件以架构中立、具有代表性且可复现的方式衡量系统性能。它为行业竞争创造公平环境，推动整个行业在创新性、性能和能效方面的进步。发布的测试结果提供关键技术信息，帮助采购和部署 AI 系统的客户基于可信的实证数据做出明智决策。

基准测试演进：新增测试，支持主流优化

MLPerf 推理 v6.1 版本新增两项测试，反映行业向更复杂、多步骤和智能代理式 AI 推理技术部署的演进趋势，涵盖数据中心和边缘设备场景。

端到端检索增强生成（RAG）基准测试用于评估多模型协同的复杂问答流水线。该工作负载将任务分解为多个步骤：嵌入模型将查询转换为向量，检索器从向量数据库中提取候选段落，重排序器优化候选列表，一个或多个大语言模型（LLM）基于数据进行推理生成答案。该测试针对两个相关但独立的任务生成性能数据：将文档语料库摄入构建向量数据库，以及对预构建向量数据库进行查询问答。有关端到端 RAG 基准测试的更多信息，请访问此处。

边缘智能体推理基准测试反映了从单次交互向复杂多轮工作负载（如智能体编程）的转变。与单次推理不同，智能体工作负载具有不断增长的对话历史，每个查询都依赖于之前的查询，模型需要将证据收集与后续的推理过程结合，并根据需要进行迭代以得出最终结果。这是一种更强大的使用模式，能够解锁单次推理所不具备的巨大新能力，同时显著增加对AI计算的需求。智能体AI部署在边缘设备上日益流行，在边缘设备上，每个用户使用固定内存、处理能力、功耗和上下文进行服务，带来了独特的性能挑战。该测试采用即将发布的MLPerf智能体数据中心性能基准测试的框架和方法论，并通过边缘模型和量化、单流编码工作负载、延迟指标以及统计稳健的准确率阈值进行专门优化。该测试包含两个任务：在时间限制下测量工作负载的准确性，以及测量一个确定性工作负载的性能，其中准确率检查是工作负载的固有属性。有关边缘智能体推理基准测试的更多信息，请访问此处。

MLPerf推理6.1版本还新增了对一种目前在生产推理系统中广泛使用的性能优化技术的支持。推测解码（Speculative Decoding）是一种流行的优化技术，通过单次前向传递预测并验证多个标记，现在在两个推理基准测试的交互场景中得到支持，并在GPT-OSS任务中新增了支持。

“我们正在努力确保MLPerf推理基准测试持续反映AI社区最重视的场景，”MLPerf推理工作组联合主席Miro Hodak表示。“我们新增了端到端RAG测试，因为很明显，问答系统已经超越了单纯基于语料库训练的大型语言模型；利益相关者需要了解当今构建的多步骤、多组件流水线的真实性能。同样，我们新增了边缘智能体推理测试，因为具有智能体特性的复杂推理系统越来越多地部署在边缘计算设备上，为我们的客户带来了新的性能挑战。我们致力于提供及时且相关的性能数据，反映真实生产系统和当前部署的性能优化。”

提交结果与创新速度

本次基准测试突显了AI技术和部署的快速发展，提交的系统涵盖了从加速器、开发板、工作站到服务器的各种硬件选项。结果包括五种新的处理器或加速器：AMD Ryzen AI Max+ 395、AMD Instinct MI350P和Intel Arc Pro B70均已发布，而NVIDIA Rubin和NVIDIA Vera Rubin NVL72正处于预览阶段。此外，结果还包括提交到MLPerf推理基准测试的有史以来最大的系统，包含512个加速器和两种新型异构系统。第一个异构系统将高性能网络与来自不同供应商的加速器结合，第二个系统则是地理分布式的——横跨太平洋。

性能提升持续累积，不断打破AI加速器能力的记录。在视觉语言模型（VLM）测试中，本基准轮次中每加速器服务器场景的最佳结果相比v6.0版本仅六个月前提升了2.99倍。在Deepseek R1测试中，每加速器服务器场景的最佳结果相比一年前的v5.1版本提升了5.7倍。这种性能提升为终端客户带来了更多能力，可能使系统服务更多用户或支持更复杂的推理使用场景。

“凭借MLPerf Inference基准的关键数据，AI社区再次证明了可衡量之处便能改进。”MLPerf Inference工作组联合主席Frank Han表示，“随着工作负载和底层系统在更广泛形态因子和物理配置中的能力、规模和复杂性持续提升，我们明显看到业界对确保推理能充分利用硬件、软件和架构进步的兴趣正在复苏——无论是数据中心还是边缘设备。通过Inference v6.1基准的性能数据，客户可以更好地理解成本效益权衡，并做出更明智的采购和部署决策。”

AI社区持续拥抱并投资MLPerf Inference

MLPerf Inference 6.1基准测试收到了创纪录的30家参与组织提交的成果：AMD、ASUSTeK、Atlas Inference、Cisco、CoreWeave、Crusoe、Dell、Fujitsu Limited、GigaComputing、Google、Hewlett Packard Enterprise、Intel、Inventec Corporation、KRAI、Lambda、MangoBoost、Microsoft Azure、MiTAC、Nebius、NVIDIA、Oracle、Orrick、Quanta Cloud Technology、RedHat、ScitiX、Supermicro、Telecommunications Technology Association、VibeHPC、Wiwynn以及个人贡献者Naeem Khoshnevis。

“我欢迎我们的六家首次提交者：Atlas Inference、Crusoe、Orrick Industries LLC、ScitiX、VibeHPC以及个人贡献者Naeem Khoshnevis，”MLPerf负责人David Kanter表示，“AI社区参与度的显著提升告诉我们，我们的工作具有重要意义，并正在为利益相关者带来积极影响。”

此外，超过50%的提交者在提交中使用了MLPerf新推出的以API为中心的测试框架——这是下一代MLPerf Endpoints基准套件的基础。新框架通过行业标准API采用真正的客户端/服务器架构，将推理查询和结果与被测系统进行通信，更准确地反映实际数据中心部署场景。“我们很高兴看到提交者采用我们以客户为中心的工具和工作负载，并与我们合作改进AI领域的行业基准测试状态，”Kanter表示，“未来，MLPerf Endpoints将取代Inference成为我们数据中心基准测试系列的核心，而API为中心框架的快速采用将有助于实现这一过渡的无缝衔接。”

查看结果

要查看MLPerf Inference v6.1的结果，请访问数据中心和边缘设备基准测试结果页面，并在我们的补充材料中阅读各提交结果的详细信息。要交互式查看数据中心结果，请访问MLPerf基准测试结果仪表板：https://mlcommons.org/visualizer。此外，提交者还提供了补充声明，以帮助理解其提交内容和结果的背景信息。

关于MLCommons

MLCommons 是全球领先的 AI 基准测试机构。作为由 130 多个成员和附属机构支持的开放工程联盟，MLCommons 一直致力于汇聚学术界、产业界和民间社会力量，共同衡量并提升人工智能技术。MLCommons 的起点可以追溯到 2018 年推出的 MLPerf 基准测试，该基准迅速发展成为衡量机器学习性能和推动机器学习技术透明度的行业标准指标。此后，MLCommons 继续通过集体努力推动行业发展

MLCommons 创下参与记录，发布全新 MLPerf 推理 v6.1 基准测试结果

欲了解 MLCommons 的更多信息或申请加入，请访问 MLCommons.org 或发送邮件至 [email protected]

媒体联络：请发送邮件至 [email protected]

分类

MLPerf 推理

新闻

作者

ML Commons

分享

• 邮件分享
• Facebook 分享
• LinkedIn 分享
• X 平台分享
• 复制链接