MLCommons

Our mission, updated: standardize AI measurement and enable informed decisions

8.5内容质量

TL;DR · AI 摘要

MLCommons更新使命：通过标准化AI测量推动行业透明度，解决AI系统复杂性与成本问题。

核心要点

  • 标准化AI测量可量化系统性能与能耗，降低技术黑箱风险。
  • 工业级基准测试需包含测试工具、数据集和评估模型三要素。
  • MLCommons与ISO等组织合作，推动AI测量标准国际化。

结构提纲

按章节快速跳转。

  1. §使命更新背景

    MLCommons基于八年行业观察，更新核心使命聚焦AI测量标准化。

  2. ·测量必要性

    AI系统复杂性与高能耗需求客观测量，以支持决策与风险管理。

  3. ›基准测试框架

    工业级基准需整合协议、测试工具与受保护数据集，防止过拟合。

  4. ·行业影响

    标准化工作覆盖学术界、厂商、政策制定者等全链条参与者。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • AI测量标准化
    • 核心使命
      • 量化系统性能与成本
      • 降低技术黑箱风险
    • 基准测试要素
      • 测试协议
      • 受保护数据集
      • 评估模型
    • 合作组织
      • ISO
      • ADA
      • CoSAI

金句 / Highlights

值得收藏与分享的关键句。

#AI#标准化#基准测试#MLCommons
打开原文

我们的使命更新：标准化 AI 测量，助力明智决策 - MLCommons

我们的使命更新：标准化 AI 测量，助力明智决策

Peter Mattson，MLCommons 主席，谈 MLCommons 更新后的使命——以及未来的变化

2026年10月14日

过去八年，我们见证了 AI 行业和 MLCommons 的巨大发展与变革。这些成就离不开各位会员的支持。

今天，我们更新并明确 MLCommons 的使命，以体现我们始终如一的核心目标：

标准化 AI 测量，助力明智决策。

测量是负责任地释放 AI 巨大潜力的基础。这些系统本质上是黑箱：它们通过数十亿数字中的复杂模式生成复杂行为。我们对 AI 系统的工作原理只有模糊且令人不满的解释，而它们正变得越来越复杂。更糟糕的是，训练和运行 AI 系统既昂贵又耗能。更精确的测量使我们能够通过实证分析 AI 系统的行为特征及其运营成本。

如果某个 AI 硬件、软件或数据的特性会影响其交付的价值——无论是速度、能耗、可靠性还是质量——我们都会对其进行测量。通过这些工作，我们支持对当前可用 AI 系统的明智决策，实现成本效益权衡，为创新提供指引，同时支持风险管控（如保证和保险）。我们的工作惠及所有参与 AI 行业的人——学术研究人员、硬件和软件供应商、部署者、终端用户，甚至政策制定者。

我们之所以这么做，是因为这能降低 AI 市场的风险并推动其增长。

我们特别致力于开发和运营标准化测量，以工业级基准的形式呈现。这些基准结合了详细的协议和相关工具，如测试框架、保留测试数据集和评估模型。鉴于 AI 测试的复杂性（在许多情况下还存在主观性），仅凭根据论文标准构建的多个实现无法实现可比测量。此外，许多工具必须通过技术和法律手段进行保护以避免过拟合，而测量标准也必须与时俱进以匹配技术发展——所有这些都需要一个值得信赖且可持续运营的组织来实现。

我们存在的意义就是满足这些独立测量需求，并在此过程中为 ISO、Appia、CoSAI 和 ADA 等标准化组织的更广泛工作提供关键支持。

我们的工作是定义、构建、运营、认证、解释、演进和连接我们的基准。每项工作都对我们的使命至关重要：

  • 定义被测量的对象（无论是待测 AI 系统还是数据集）是实现测量标准化、可理解性和可重复性的关键。定义测量指标需要将直觉转化为协议、测试框架、预期行为、测量方法和结果展示的规则。在整个过程中，我们专注于通过透明社区流程制定的技术严谨定义，以衡量真实价值。我们不参与付费“基准营销”（pay-for-play benchmarketing）。
  • 构建基准测试是一项需要精心工程设计的工作，常常涉及新颖的科学方法。我们需要尽可能忠实将复杂、现实世界的使用场景转化为足够严谨的测试场景。对于主观性基准测试，我们需要可维护的AI驱动评估体系，使其能够跟上AI的发展步伐，并持续作为衡量相关任务的有效指标。
  • 运营基准测试需要将GitHub仓库和数据集转化为可实际运行的工具。通过提供Candela等运营基础设施和联邦评估方案，我们使基准测试既易于使用又具备高完整性。
  • 验证基准测试结果可为性能声明提供第三方确认，支持采购决策、质量保证、保险评估，甚至监管合规。我们致力于成为准确测量的黄金标准，并忠实支持基于这些测量结果制定要求的其他组织。
  • 解释基准测试是确保结果被理解和应用的基础。我们对基准测试背后的技术问题提供专业解读，召集并培训使用我们结果的专家，与标准和认证机构合作将结果纳入协议和政策中。
  • 持续改进基准测试是形成闭环的关键。我们致力于了解测量结果的使用方式和改进空间，跟踪技术进步并监控日益加剧的威胁，利用这些信息确保基准测试始终与时俱进。基准测试的价值在于能清晰展示被测系统的差异，因此我们需要随着系统性能的提升持续改进工作。
  • 将我们的基准测试与全球其他标准组织和新兴政策框架对接，将构建成熟的产业生态系统，帮助成员以更低风险和更高效率为客户持续创造价值。

在接下来的日子里，我们将进行组织调整以更好地支持这一关键使命。这些调整包括：

  • 通过改进网站和提供更多支持资源，更好地服务结果使用者，例如我们正在MLPerf Endpoints中所做的那样，帮助他们更便捷地查找和使用我们的结果。
  • 以新的方式推广我们的基准测试，通过引入更多产品和营销思维到董事会及团队中，并完善Candela服务。
  • 在组织和基础设施层面协调性能与可靠性工作，实现效率权衡。我们将支持AI供应商和部署方以更低的成本和能耗提供日益提升的质量。
  • 通过鼓励当前作为成员客户的AI部署方加入成为会员，扩大我们的社区。为支持这些新会员，我们将重构费用结构，使成本与收益更成比例。
  • 拓展我们的服务范围，通过探索效率、医疗保健和金融服务等关键市场的基准测试，服务更多人群。

在进行这些变革时，我们欢迎您的想法和反馈。随着领域的发展和AI数据科学等新领域的进步，我们将持续演进。MLCommons是您的组织，我们致力于为您，我们的会员，提供最大价值。

我们所做的事情离不开您的参与和支持。感谢您。我们期待与您合作，衡量人工智能的发展，并推动这一令人着迷的行业及其在社会中的深思熟虑的应用。

此致 敬礼

Peter

分类

新闻

作者

ML Commons

分享

  • 通过电子邮件分享
  • 在 Facebook 上分享
  • 在 LinkedIn 上分享
  • 在 X 上分享
  • 复制链接