Open, peer-reviewed measurement for today’s AI buyers: MLPerf in the EU’s AI Gigafactories tender, and Endpoints v1.0 opens for submissions
TL;DR · AI 摘要
MLPerf in the EU AI Gigafactories Tender - Endpoints v1.0 Open Open, peer-reviewed measurement for today’s AI buyers: ML...
核心要点
- 主题聚焦:Open, peer-reviewed measurement for today’s AI b
- 来源:MLCommons,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
MLPerf 在欧盟 AI Gigafactories 招标中的应用 - Endpoints v1.0 开放提交
为当今 AI 采购者提供开放、同行评审的性能衡量标准:MLPerf 被纳入欧盟 AI Gigafactories 招标,Endpoints v1.0 开放提交
滚动提交、强制性功耗报告以及参与欧盟 AI Gigafactories 招标的机会:采购者可信赖的性能衡量标准。
2026 年 10 月 13 日
随着人工智能在经济各领域的广泛应用,AI 采购者对 AI 系统的提问已超越单纯的芯片速度,转而关注更复杂的性能问题。他们希望了解部署服务的实际性能表现、特定工作负载下的成本以及能耗情况。自 2018 年以来,MLPerf 一直是衡量 AI 系统性能的标杆;如今,它正在演进以应对所有 AI 采购者提出的这些复杂问题。
首先,来自欧洲的进展:MLPerf 被选为评估欧盟 AI Gigafactories 招标中训练和推理性能的基准。其次,MLPerf Endpoints v1.0 开放提交,标志着我们向以开放、标准化方式解答复杂 AI 采购问题的新时代迈进。
这两项更新指向同一个方向:行业、政府和采购者正在共同认可开放、同行评审的衡量标准作为 AI 采用决策的基础。
MLPerf 是欧盟 AI Gigafactories 招标中的性能基准
2023 年 7 月,欧盟启动了 AI Gigafactories 招标:计划建设最多 7 个大型 AI 计算设施,由欧盟及国家资金共同支持(总额高达 100 亿欧元),预计可撬动超过 300 亿欧元的总投资。该招标由 EuroHPC 联合体与国家采购机构联合执行,投标截止日期为 2026 年 11 月 12 日。
招标文件明确指定 MLPerf 作为衡量投标方技术性能的标准。提案将根据 MLPerf Training v5.1 和 Inference v5.1 基准进行评分。在两个基准套件中,招标文件列出了超过六个来自 MLPerf 标准工作负载的模型:训练侧包括大型模型如 Flux.1 和 Llama,推理侧则包括 Llama 3.1 405B、DeepSeek R1 和 SDXL 1.0。所要求的信息直接基于 MLPerf 的标准性能指标——训练时间、首次生成 token 时间以及每输出 token 时间,并补充了如加速器利用率等额外细节。投标方需分别报告 Phase 1 提供的容量和 Phase 2 扩展计划的性能结果。
当如此规模的公共资金面临风险时,采购团队需要能够信任和比较的性能声明。开放、经过同行评审的结果正好提供了这种保障。
“MLPerf 的设计旨在帮助采购者在部署 AI 能力时做出明智决策。我们非常荣幸看到我们的工作正在指导欧盟朝着 AI 领导地位迈进,并为公民和企业未来的繁荣赋能。”——MLPerf 负责人 David Kanter
MLPerf Endpoints v1.0 开放提交
MLPerf Endpoints 通过实际使用的 API 测量 AI 性能:即应用程序调用以访问模型的实时 API。被测系统仅需是一个 URL,Endpoints 客户端通过标准接口与其通信。这意味着采购者可以公平地衡量硬件供应商、超大规模云服务商、新云服务商和托管 API 提供商,无论他们运行的是裸金属、托管云服务还是容器化软件栈。
与单一峰值数字不同,Endpoints会对每个系统在不同负载下进行全面测试,并生成完整的性能分析报告。测试结果涵盖并发性、交互性(每用户每秒令牌数)、系统吞吐量以及在90百分位测量的首次生成时间(TTFT P90),使买家能够将经过验证的运行点与自身应用和服务目标进行匹配。作为MLPerf系列的首次实践,Endpoints 1.0引入了强制性预置功耗测量,彰显了对能效的承诺。这有助于买家理解并比较每种解决方案的能效表现和成本特征。每个测试结果都会以帕累托前沿的形式呈现在LoadStair可视化工具中,清晰展示系统在负载增加时的稳定区间以及性能骤降的临界点。
1.0版本现已发布,基于7月推出的v0.7基础版本进行升级。该版本涵盖生成式AI工作负载,包括DeepSeek-R1、GPT-OSS 120B和Llama模型,同时新增基于DeepSeek v4 Pro、Kimi K3和Qwen 3.6的智能编码工作负载。
Endpoints现在支持滚动提交功能,使成员能够在新芯片或软件优化发布后立即提交同行评审结果,而无需等待固定周期。所有结果仍需经过MLPerf的同行评审和审计流程。我们预计首批v1.0测试结果将于11月公布。
准备提交?MLCommons成员可通过mlcommons.org/benchmarks/endpoints 查阅提交指南和规则。还不是成员?立即加入参与。
分类
MLPerf Endpoints
新闻
作者
ML Commons
分享
- 邮件分享
- Facebook分享
- LinkedIn分享
- X平台分享
- 复制链接