MLCommons Selected as Benchmarking Team for U.S. National Science Foundation–Backed AI Efficiency Challenge to Build MLPerf Agents

MLPerf Agents - NSF资助的AI效率挑战 | MLCommons

MLCommons被选为美国国家科学基金会支持的AI效率挑战基准团队，用于构建MLPerf Agents

一项为期两年、总额350万美元的资助将用于建立完整智能体AI工作流程效率的行业标准基准

2026年10月15日

MLCommons已被选为STRIDE Ventures AI效率挑战的基准团队，该计划由美国国家科学基金会技术、创新与合作伙伴关系办公室（NSF TIP）提供支持。通过为期两年、总额350万美元的资助，MLCommons将开发MLPerf Agents，这是一个新的基准，用于衡量智能体AI系统完成实际工作的效率——从委托目标到验证结果的完整过程。

作为一个由公司、学术机构和非营利组织组成的非营利联盟，我们很感激有机会帮助加速采用能显著提升效率的AI解决方案。

以下是我们的具体计划。

为什么智能体需要新的基准

衡量推理时间、成本和能耗的基准仍然重要，但需要进一步发展以更好地反映智能体的工作方式。

智能体AI本质上不同于单一模型响应单一提示。智能体需要跨多轮对话，调用工具，检索信息，维护不断增长的上下文，从失败中恢复，并检查自己的工作。

现有的MLPerf基准已经捕捉到部分复杂性。MLPerf推理工作组正在开发反映智能体对模型服务需求的智能体推理基准：多轮对话、工具调用、扩展上下文和缓存重用。

MLPerf Agents的范围更广、更深入。它将测量范围扩展到完整的工作流程——包括智能体框架、模型选择、智能体推理、检索、工具执行、编排、状态管理、故障恢复和验证。这种更广泛的视角使我们能够研究框架和模型如何共同影响端到端效率，而不仅仅是模型生成token的速度。

MLPerf Agents的新特性

MLPerf Agents将带来四大创新：

• 与成功挂钩的效率。对成功完成的任务进行成本、能耗、延迟和吞吐量的测量，成功通过受MLCommons AI风险与责任工作组影响的技术进行验证。
• 全栈范围。资源统计覆盖整个智能体堆栈，明确显示效率低下的位置。
• 跨架构的可比性。通用工作负载、追踪、测量规则和验证方法使买家能够比较完整解决方案。
• 可信验证。隐藏的验证数据集和MLPerf的审查审计流程减少基准游戏行为。

初步工作负载计划涵盖软件工程、研究与数据分析以及客户服务领域。目标是为买家提供选择高效智能体系统的确凿证据，并帮助开发者发现能降低智能体AI扩展时成本和能耗的改进点。

基于八年MLPerf经验

MLPerf Agents将建立在行业已广泛使用的八年MLPerf基准基础上，包括MLPerf Inference和MLPerf Power。它将遵循相同的开放协作流程：由MLCommons社区开发工作负载、规则和参考实现，结果接受同行评审。

David Kanter，MLCommons创始人兼MLPerf负责人，以及Vijay Janapa Reddi教授，MLCommons联合创始人兼副总裁，将在MLCommons社区的支持下，联合高通、英伟达、英特尔、AT&T、Workato、Gimlet Labs等机构共同推进相关工作。

随着智能体AI的扩展，我们才刚刚开始理解如何在框架、模型调用、工具调用、重试等环节进行优化，以实现最佳的成本和能源效率。MLPerf Agents将为开发者提供发现并修复这些低效环节所需的证据，也为买家提供选择高效系统的依据。"——Vijay Janapa Reddi，MLCommons董事会成员兼研究副总裁

关于AI能效挑战赛

AI能效挑战赛由STRIDE Ventures主办，这是一个由美国国家科学基金会（NSF）和Start2 Group发起的全国性突破创新平台。该挑战赛由Start2 Group在与NSF签订的其他交易协议下管理。了解更多请访问stride-ventures.com/ai-efficiency-challenge。

本材料基于美国国家科学基金会支持的工作。本材料中表达的任何观点、发现、结论或建议均属于作者个人观点，不一定反映美国国家科学基金会的观点。

分类

MLPerf

新闻

作者

ML Commons

分享

• 邮件分享

• Facebook分享

• LinkedIn分享

• X平台分享

• 复制链接