New paper: Emerging trends in AI agent evaluation

AI代理评估的新兴趋势

新论文：AI代理评估的新兴趋势

理解评估的方法、问题和生态系统

Sayash Kapoor

和

Arvind Narayanan

2026年10月19日

由Felix Chen、Stephan Rabanser、Sayash Kapoor和Arvind Narayanan撰写。完整的作者列表和所属机构请参见此处。

对AI代理的独立评估和嵌入式评估需求日益增长。但许多问题仍然不清楚：什么是“良好”的评估，首先需要评估什么，以及如何最好地协调和支持涌入这一蓬勃发展的评估生态系统的人们。

普林斯顿大学的研究小组在过去三年中一直在努力改进AI代理评估的状态。我们与斯坦福大学、英国AI安全研究所和布鲁金斯学会在评估领域有开创性工作的人合作。我们的论文标题是《AI代理评估的新兴趋势》。我们从三个维度综合了我们看到的趋势——科学与方法、研究议程和评估生态系统——旨在帮助那些为这一新范式提升技能的人。我们还希望为评估者、资助者和公众提供一套问题清单，并提供可操作的建议。

AI代理评估中的33个新兴趋势。（图来自论文。）

代理的新旧挑战

AI开发者长期以来一直根据基准分数声称其系统的实际性能。现在要评估收集到的证据是否支持对代理的声明变得更加困难。评估者必须审查整个过程轨迹，而不仅仅是最终结果。例如，了解代理是否采取了捷径非常重要，特别是因为他们可以访问工具和环境。当代理表现更好或更差时，要将这些变化归因于代理的不同组件变得更加困难。解决这些问题需要大量的工程努力，而这项工作正变得越来越昂贵——例如，在ExploitBench基准测试中，评估多个代理需要花费数万美元的积分。这些数字也没有考虑到设置和维护评估基础设施本身所需的大量工程工作。

代理评估比模型评估复杂得多。（图来自论文。）

面对代理生成的大量轨迹数据，评估者在大规模检查和监控这些代理方面也面临挑战。目前评估者依赖的工具并不完美——这些工具本身也需要评估。为了调查OpenAI-HuggingFace事件的后续情况，评估者依靠其他代理来查找和识别有害行为的实例，他们承认这种方法本身存在局限性和偏见。

由于代理部署在动态环境中（并且越来越多地与其他代理一起部署），设计良好的指标来捕捉感兴趣的底层概念并创建有效的实施条件变得更加困难。解决这些挑战需要更好的工具、更严格的基准测试，并通过开放世界评估和对实际使用情况的观察数据进行不同方法和格式的实验。

评估的范围正在扩大

关键的是，某一层面的评估结果未必能直接应用于其他层面。一个代理可能在实验室中表现出能力，但在特定使用场景中却可能面临限制。以METR的随机对照试验为例，该研究发现，尽管存在预期，但代理工具在软件开发中的使用实际上增加了任务的总体完成时间。代理可能能够执行某些任务，但这种能力如何在现实世界中对人类产生影响，需要在具体情境中进行评估。因此，需要扩大研究议程，以理解每个层面的代理：其能力、与人类的互动，以及对制度和激励结构的影响。这项工作需要技术评估和社会技术评估的结合，不仅要研究代理本身，还要研究代理在具体情境中的表现。

在这些不同层面中，评估者在提出问题和生成发现时有选择权。代理能否自动化某项任务或流程？还是说，代理能否增强人类的工作？这两种视角是互补的。如果评估主要关注代理如何自动化某些任务，我们将更好地理解人类工作在哪些方面和如何被替代。但这无法告诉我们人类如何通过代理更好地协作，或代理如何提升人类的工作效率。

谁来进行评估，如何进行？

这一扩展的研究议程需要来自不同学科的评估者群体。同时，也需要赋予评估者选择研究问题和方法的自由。当采用不同方法的评估者达成一致时，我们可能对这些结果更有信心。而当他们存在分歧时，评估者可以识别出定义模糊和研究结果的局限性。

谁能够参与评估，以及他们拥有多少独立性，将影响评估者提出的问题和采用的方法。有意义的独立性受到多种因素的影响。随着前沿评估的成本持续增加，独立评估者参与的能力将越来越取决于他们获得资金支持的机会。独立评估者是否能够充分接触模型，也会影响他们衡量和评估真正前沿的能力。现在，关于访问权限的问题也扩展到了代理的思维链追踪，因为前沿实验室现在发布的是总结后的版本，而非原始追踪数据。除了这些挑战，评估者还需要考虑他们是否能够在不担心报复的情况下开展工作，以及如何透明地分享他们的发现。

接下来我们该怎么做？

现在有一个明确的窗口期，可以引入新的参与者、方法和想法来评估代理，并满足这一快速发展的领域对严谨证据的迫切需求。我们希望本文能让读者对这一领域的方向形成初步认识。人工智能评估社区的利益相关者可以采取许多步骤，以推动人工智能评估的科学和实践发展。

对于潜在评估者而言，需要明确该生态系统中哪些角色或问题最符合其专业领域，并审视该工作所需的独立性维度。我们特别鼓励尚未参与AI评估的学科领域参与进来，许多开放性挑战将受益于他们的视角。

对于现有评估者而言，这是一个审视自身方法论假设并接纳其他学科视角的机会；代理评估这一领域本质上是跨学科的，必然涉及对现有理念和洞察的部分重新发现与创新。

对于领域建设者——资助方、联盟组织和会议主办方——代理评估需要形成独立的实践领域，该领域对有效性和严谨性有更高的标准。通过整合最佳实践并促进不同学科视角之间的对话与互动，可以提升这一标准。

对于排行榜聚合者而言，他们通过塑造评估维度的关注重点和方式，在这一新兴生态系统中处于核心地位。这为他们提供了整合最佳实践以促进后续应用的绝佳机会，同时帮助公众理解评估成本日益增加的现状。

对于部署者和行业评估者而言，现实场景中存在一个关键缺口，需要为评估工作提供实际信息。通过贡献一线洞察并与实验室中的工作互动，他们可以加强这一快速发展的领域中的讨论。

对于实验室而言，有机会与独立评估者建立联系并审视社区的最佳实践。成功的嵌入式评估者需要通过独立性、透明度和方法论严谨性获得公众认可。

对于政策制定者而言，需要明确当前生态系统的全貌以及良好评估应具备的特征。对于公共部门的部署，评估必须从第一天起就成为流程中持续整合的一部分。AISI可以通过开创协作新模式并邀请新利益相关者参与现有生态系统的公共意见机制，发挥关键作用。

[在此处阅读论文](#)

上一篇