An update on independent evaluators

Anthropic 关于独立评估者的更新

公告

关于独立评估者的更新

2026年10月15日

上个月，我们承诺对模型和安全实践进行更严格的独立第三方评估。我们还签署了白宫《超级智能协议》，协议中企业承诺与独立外部审计机构或评估机构合作。今天，我们宣布已开始向METR组织的团队提供类似员工的访问权限，该非营利组织专门评估前沿AI模型。

METR将发布其风险评估结果。过去一年，我们与METR合作审查了多项《风险报告》。我们还与SecureBio和Accenture合作进行评估，并与包括Hugging Face在内的多家其他组织进行了初步讨论。

在这里，我们解释了与评估者合作的方法。

为什么与独立评估者合作

随着模型变得越来越强大，它们需要更强大的安全措施和更具挑战性的风险评估。我们希望对所做的决策进行公开问责。但我们无法公开分享所有与安全工作相关的信息。其中一些信息可能对恶意行为者有用，或者涉及商业机密，例如计算或训练信息。相反，我们向第三方评估者提供深入访问我们信息的权限，并让他们分享关于构建模型所涉及风险的证据和合理结论。我们的目标是弥合评估者对前沿AI公司系统理解与公司自身理解之间的差距。

要评估前沿模型，评估者需要以下条件：

• 评估前沿模型能力的专业知识，包括了解评估可能出错的方式，例如对齐欺骗。

• 独立性：他们不应持有被评估公司的股权，也不应在财务或运营上依赖该公司。

• 足够的访问权限以有意义地评估风险。除了访问最新模型外，评估者还需要了解这些模型是如何训练的，以及我们的安全措施如何运作等信息。

• 自由发布对模型或流程的观察和评估结果。

尽管类比并不完全准确，但银行监管遵循类似的逻辑。银行比外部人士更了解自身的风险状况，因此监管机构会指派常驻检查员在最大的银行内部工作。如果银行的风险承担可能危及公众利益，第三方会提前尝试发现这些问题。

对于AI行业来说，这是迈向健全安全监管的重要一步。我们正在与多个评估者快速推进，并积极学习哪些类型的合作伙伴关系有效。我们将继续分享进展更新。

METR 将发布对我们风险等级、事件或实践的分析。Anthropic 无法否决该分析的发布，但我们可以要求 METR 在信息属于上述狭窄预定义类别时进行删除处理。METR 可以公开描述我们的信息删除情况，并说明其是否认为这些删除是合理的，但前提是不能泄露被删除的信息。

我们与 METR 的合作仅限于一个小型团队，该团队在可执行协议下运作。其他 METR 员工与该团队的工作隔离，包括与我们合作其他项目的研究人员。嵌入式评估让少数符合 Anthropic 安全标准的人员能够深入了解我们的运营方式。这不是其他组织获取我们信息或客户和合作伙伴信息的方式。

我们的其他评估者合作

我们正在推进多个其他合作项目。由于这些合作仍处于早期阶段，我们向这些评估者提供的信息范围较有限，其发布权利也受到更多限制。我们与这些早期合作伙伴合作的目标是确保他们能够保护机密信息，并具备评估我们模型所需的资源和专业知识。随着合作的推进和信任的建立，我们希望逐步引入更多独立的评估者。

我们正在为评估者制定三个层级的访问权限。未来，我们希望有多个第三层级的评估者，每个团队都可以发布他们对我们风险状况和关键决策的独立分析。

在第一层级，评估者进行范围有限的风险调查。我们决定向第一层级评估者提供哪些访问权限，评估者在获得我们的批准后可以发布其发现。

在第二层级，评估者无需我们的批准即可发布内容，并且可以访问更多信息。尽管如此，我们仍可以要求删除特定类别的信息，但评估者可以发表他们对我们信息删除是否合理的看法。

第三层级是与 METR 的合作安排，其员工级别的访问权限和发布权利与第二层级类似。

SecureBio 目前处于第一层级。它正在审查我们 8 月风险报告中的化学和生物武器章节，在完成并发布对之前风险报告的试点审查后。在完成此次审查后，我们将考虑推进到具有更高访问权限和发布权利的项目。

与 Accenture 和 Faculty 合作，我们正在推进一项雄心勃勃的合作，包括评估和红队测试模型、进行对齐评估、测试模型安全措施，并在我们组织之间建立能力。

我们自愿嵌入评估者，我们认为所有前沿人工智能公司都应如此。

#### 附注

• 由于这些评估者（如银行检查员）可能还会与其他公司合作，我们对无意泄露的可能性保持谨慎。架构信息存在较高的无意泄露风险，且通常与风险评估的相关性较低。当其高度相关时，我们通常会寻求共享，但这需要明确的内部批准。

相关内容

为 2026 年美国中期选举做准备

今年早些时候，我们分享了关于选举保障措施的更新。在这里，我们概述了我们如何继续加强这些保障措施，以应对今年的美国中期选举。

了解更多

Anthropic 在新加坡开设办公室并与中国政府签署备忘录

Anthropic 已在新加坡开设办公室，并与该国政府签署备忘录，旨在推动安全、负责任的人工智能应用。

2026 年使用政策更新

我们发布了使用政策的新版本。在本文中，我们总结了所做的修改。