Artificial Analysis v5 and the benchmarker's dilemma

Artificial Analysis v5 与评估者的困境

对基准测试行业及其缺失之处的简要回顾

Nathan Lambert

2026年10月28日

##### 常规说明：我正在出差，因此旁白将有所延迟。

爬坡容易，知道该往哪个方向爬坡却很难。让分数提升是昂贵的，但与当今AI前沿领域创建有意义基准测试的难度相比，我们对此有更清晰的应对方案。

语言模型的独立评估工作往往被低估了其难度。这些团队的工作不仅仅是对现有模型进行评分认证，这本身就是一个技术复杂的任务。如果AI进展缓慢，这将是他们的职责。当AI进展如此之快时，这项工作的技术细节就变成了试图用一个数字衡量当今优秀AI模型的常规工作。目标是获得一个能代表当前模型的单一数字，与直觉判断、社区观点和科学分析相匹配，同时具备前瞻性，不至于在三个月内过时。

每个构建基准测试的人都面临某种悖论。你需要让基准测试简化为一个单一数字，以便于讨论、报告使用和模型比较，但每种评分聚合方法都伴随着显著的权衡。顶尖科学家必须这么做，每个人也都必须这么做。关键在于创建你认为最公平的聚合指标，同时意识到总会存在缺陷。

在当今AI生态系统中巨额资金的推动下，独立评估的分量更加重要——你决定着价值千亿美元市场的赢家和输家。你还会对部分模型本身产生影响，引导进步的方向。这是一份巨大的压力！

本文的出发点是Artificial Analysis对其智能指数的最新更新v5。AA指数是最新前沿模型最突出的独立智能度量指标，其次是Epoch AI的能力指数（ECI）。迄今为止，这些指标对社区都极其有用，但同样存在严重缺陷！

Interconnects AI 是由读者支持的出版物。请考虑成为订阅者。

如今语言模型具备如此多的能力，且这种能力范围正在迅速扩展。我们单一智能指数的时代应尽快退出历史舞台，但这一过程将耗时长久。

以下是AAv5的简要总结，来自他们的博客文章，其中描述为“反映当今实际使用情况”：

智能指数v5权重： ➤ 知识工作（25%）：AA-Briefcase（15%）、AutomationBench-AA（5%）和GDP.pdf（5%） ➤ 编程（25%）：FrontierCode 2.0（15%）和Terminal-Bench 4.0（10%） ➤ 科学（25%）：Terminal-Bench-Science（15%）和CritPt v2 hard subset（10%） ➤ 通用（25%）：AA-Omniscience v1.1 15%（10%准确性，5%非幻觉）和HLE-Diamond（10%）

以下是模型的新排名：

今天尝试对实际应用进行基准测试的问题在于，它极其不规则，就像模型本身一样。最经过验证的应用场景是编程，其中开源模型更具竞争力，且很可能持续领先。在知识工作领域，我对开源模型的信心则相对不足。

乍看之下，整体来看，这确实看起来合理。然而，它也显示出一些紧张和混乱的迹象，正如任何基准测试都会这样，GPT 6.1 Terra 的表现超过了 Claude Fable 5.1。如今，一些基准测试衡量的是模型在开放任务中的绝对前沿能力，通过你最喜欢的工具链（通常需要大型模型）进行测试。另一些基准测试则衡量模型在重复代理任务中需要具备的特定技能。我感觉 AA 正在将他们的基准测试更偏向于前者，即一个通用的代理协作者，但这些行为之间存在重叠。

这让我想到了促使我写下这篇文章的图表，该图表展示了新基准测试中开放模型与封闭模型的平衡情况。该图表显示，8 个封闭模型击败了最佳的即将开放权重模型 Kimi K3.1 Pro（该模型未用蓝色标注）。这个基准测试试图衡量前沿模型正在向哪个方向发展，从而拉大了与开放模型之间的差距。这是一个合理的决定，但随着时间推移，当开放模型的现有工作流程成为经济中的关键因素时，这个基准测试可能会忽略行业核心经济引擎的真实位置。

开放模型的衰落似乎被大大夸大了，但我确实认为之前的指数对开放权重模型过于有利。考虑 Kimi K3.1 Pro 发布时的这张图表——是的，开放模型在某些情况下确实强大且有用，但 OpenAI 和 Anthropic 最佳模型在灵活性和可靠性方面已经取得了重大进展。

AAv5 中开放模型最落后的评估项目是“科学”类测试，如 terminal-bench-science 和 CritPT v2。开放模型确实落后，但它们的价值主张从未真正以竞争前沿为目标。开放模型经济将聚焦于：

• 将高市场需求的推理领域降低到硬件的 commodity 价格水平。

• 允许对智能的所有权，将其专门化到内部数据，并在经济中的多个公司之间控制内部代理。

这两点都需要非常长的时间，且在基准测试中部分体现。目前计算资源的供应量如此之低，以至于开放模型提供商也能获得可观的利润率——当这一供应量减少时，我们将知道系统开始真正运作。同样，扩散到企业领域的情况也尚不明确，因为今天构建评估和进行后训练所需的困难机器学习专业知识限制了其上限。

在下一次主要模型周期（比如 GLM 6 或 Kimi 3.5 在 2-3 个月后发布），我预计领先的开放模型实验室将在该指数上取得实质性进展，再次让许多观察者感到惊讶。这是我们多年来一直在经历的周期。

我多次撰文讨论过开放模型如何跟上前沿，总结如下：

• 最佳的开放模型在基准测试中表现略好。最差的开放模型在基准测试中表现较差（但无论如何也得不到太多关注）。

• 最佳的开放模型覆盖的能力范围略窄，如上文在科学领域差距所示。开放模型实验室正在努力解决这一问题，但我认为如果不专注于此，可能会成为战略失误。

今天对性能差距的解释有一个更细致的版本，其中许多训练收益来自于强化学习环境的分布与评估环境相近（更详细的分析请参见此处）。跟上多个领域快速进展需要一个复杂的强化学习架构，而并非所有开源模型实验室都具备这样的能力。有些实验室可能依赖购买存在一定滞后时间的数据。

此次公告的另一个重点是转向“私有基准测试”，即不公开提示内容，这表明开源实验室正在进行基准测试最大化。这种分析此前已有先例，也符合我之前对开源实验室如何进行基准测试最大化的理论。当你知道评估数据的结构时，更容易创建支持该评估的训练数据，但即使使用隐藏数据，任务也并非不可能完成。总体而言，我认为这一方向上的改变在某种程度上是合理的，但并非所有人都认同。例如，你将完全信任私有基准测试的构建者，因为不再能借助社区发现基准测试中的问题并推动其改进——这种情况经常发生！鉴于涉及的利益巨大，我更希望看到基准测试的透明化，让多方共同发现漏洞。

我需要强调的最后一点是，Anthropic和OpenAI等封闭实验室早已不再关注这些指标，甚至可能在数月或数年前就已停止。他们的主要关注点是支持内部用途（如AI研发自动化）以及那些投入数十亿美元的客户应用场景。是的，他们确实有团队成员在攀登其他能力以开拓新市场，但这些行为在很大程度上并非由公开基准测试驱动。与此同时，对中小型实验室而言，这些智能指标的表现至关重要，因为他们的品牌定位完全围绕着追赶前沿。有时这就像一场荒谬的猫鼠游戏，但这场游戏将持续下去。

我们当前平衡状态的唯一解决方案是引入更多具有不同偏见的智能指标，例如专门针对编程的指标（如CursorBench）。在某些方面，这一趋势正在形成，Vals AI和Intelligence.ai等机构正在成长，但目前人们的关注点仍高度集中在Artificial Analysis上。

每个基准测试创建者都有自己的世界观。困境在于，你总能通过调整数据来匹配自己的叙事。这一直是科学实践中的挑战。最常见的问题版本是“你应该投入多少精力来调整训练基线？”更多的调整会使结果更可信，但通常会降低方法的表面成功度。在智能体时代，这一点尤为明显，因为大量分析工作都是通过大语言模型的视角进行的。在评估时，这最终归结为你选择包含哪些基准测试在你的指标中。

基准测试行业归根结底是建立在信任之上。我对Artificial Analysis有相当程度的信任，但对生态系统中任何人的信任程度都不算最高。Artificial Analysis的商业模式是通过验证实验室结果来获取收入，他们通过这种方式赚取大量资金，这本身没有问题。其他基准测试公司也面临类似问题，例如Arena，他们通过为实验室提供预发布测试来维持生计。

我最信任在评估中保持公正的实体是非营利组织、学术机构以及像CAISI这样的政府机构。如今，我认为在前沿评估中准确性较高的机构是像Artificial Analysis和Arena这样的初创公司。因此，我们所有人都陷入了权衡与两难境地。没有任何数字是完美的，数字中存在大量可解释空间，人们可以据此得出不同方向的分析。这是第二个两难问题，某种程度上也是我的职责所在——作为“基准测试者的基准测试者”的困境。这更偏向社会学而非科学。

感谢你读到文章末尾！我想特别感谢我的忠实读者。Interconnects的很多增长都依赖于读者的口碑传播，如果你觉得有朋友会喜欢这篇文章，请分享给他们。

我还刚刚在YouTube上发布了一门关于开源模型的综合性入门讲座，希望你会喜欢。

Previous