Anthropic Thinks Its Own Success Is Key to Making AI Safe

Anthropic 认为自身的成功是实现 AI 安全的关键 | WIRED

Maxwell Zeff

商业

2026年6月25日 20:49

Anthropic 认为自身的成功是实现 AI 安全的关键

Anthropic 的批评者认为，它正在迅速积累权力。但公司表示，这正是负责任的 AI 开发所应呈现的样子。

照片插图：WIRED 工作人员；Jason Henry/Getty Images

保存这个故事

过去五年里，Anthropic 一直在向世界发出警告，指出先进的人工智能可能带来大规模破坏，使社会不稳定，并造成一系列其他严重危害。但与此同时，它也成为推动 AI 能力前进的最强大力量之一。目前，Anthropic 是最顶尖的 AI 模型开发者和分发者之一，其客户包括美国军方。最近，该公司的估值接近 10000 亿美元。

乍看之下，Anthropic 的强硬信息与其行为似乎截然对立。

但在公司内部，许多人并不认为这是矛盾。要理解原因，首先需要了解 Anthropic 的两个核心信念。第一个是，人工智能是人类历史上最具变革性的技术，它的到来是不可避免的。唯一真正的问题是，它是否会导致灾难，还是带来非凡的繁荣。

据几位匿名向 WIRED 透露信息的前员工表示，第二个信念是，Anthropic 认为如果它在 AI 竞赛中保持领先，世界会变得更好。公司内部，领导者和员工经常称自己为“好人”，即负责任地管理 AI 技术的人，两位消息人士表示。公司认为积累权力——无论是资本、计算能力、研究人才还是政治影响力——并不是目的本身，而是实现其使命的代价：“确保世界能够安全地通过变革性人工智能的过渡。”

乔治城大学安全与新兴技术中心的执行主任 Helen Toner，以及前 OpenAI 董事会成员，用一个类比来描述 Anthropic 的世界观。她将强大的 AI 比作一个充满魔法宝藏和危险怪物的森林。附近的所有村民都在蜂拥而入，被宝藏吸引。在她的描述中，Anthropic 想要比任何人都更深入森林，同时大力投资于驯服怪物——即在获取 AI 好处的同时，控制其灾难性风险。

Toner 告诉我：“Anthropic 的独特之处在于，他们认为‘人们无论如何都会进入森林，我们必须率先行动’。这正是他们的明确策略：开发尖端 AI，以便在桌面上成为一位能够谈论尖端 AI 系统的样子、它们带来的风险，并推动合理安全措施的严肃参与者。”她补充道：“他们对此非常直白。这只是一个足够奇怪的策略，以至于人们很难接受。”

Anthropic 首席执行官 Dario Amodei 在公司职业页面上发布的一段与联合创始人对话中清楚地阐述了这一方法：“你必须找到一种真正具有竞争力的方式，在某些情况下引领行业，同时又能安全地行事。”他说，“如果你能做到这一点，你所产生的引力将是巨大的。”

Anthropic 由一群曾在 OpenAI 工作的前员工于 2021 年创立，他们在对公司领导层——尤其是 CEO Sam Altman——无法安全地将变革性人工智能带入世界失去信心后选择离开。这种情绪至今仍然影响着这家公司。我与两位前员工交谈时，他们表示，在内部讨论中，Anthropic 的高管经常将 Altman 和 OpenAI，以及在较小程度上 Meta 和 Elon Musk 的 xAI 视为警示性案例，这些案例帮助定义了 Anthropic 自己的责任感。

在许多方面，Anthropic 与其他硅谷公司并无不同。许多初创公司都以“大卫”自居，声称自己在与那些他们想要颠覆的行业中的“老派巨头”进行斗争。Google、Facebook 和 Apple 最初都建立在理想主义的原则之上，但随着它们变得越来越富有、规模更大、影响力更强，这些原则后来变得模糊，甚至被完全抛弃。

但前员工表示，Anthropic 的独特之处在于它对使命的信念非常强烈，并且明确地告诉员工，技术和商业权力只是实现这一使命的手段。一位前员工表示，在招聘面试中，Anthropic 强调自己不是一家受市场力量驱动的典型公司：它由一个公共利益结构所管理，这使它能够将“人类的长期利益”置于利润之上。但公司认为，实现财务成功和构建最强大的人工智能模型，都是为了实现这一目标——这是其在安全领域引领行业的前提条件。

“我们中没有人想要创办一家公司，我们只是觉得这是我们的责任，”Anthropic 的联合创始人兼首席架构师 Sam McCandlish 在公司职业页面上的一次对话中说道。“我们必须做这件事。这就是我们通过人工智能让事情变得更好的方式。”

Anthropic 拒绝就此事发表评论。

“好人”问题

Anthropic 在其网站上宣称自己是一家“高信任、低自我意识”的组织，内部政治活动较少，前员工告诉我，这一描述在很大程度上是准确的。他们表示，与其他人工智能实验室的领导者相比，Anthropic 的员工通常相信 Amodei 会如实告诉他们公司在技术进展、与政府官员的互动以及对地缘政治的看法。

但思想的多样性有助于问责。加州大学洛杉矶分校（UCLA）的博士后学者 Shazeda Ahmed 研究了人工智能安全运动的意识形态起源，她说像 Anthropic 这样的组织往往在多元性方面存在困难。她在这方面的研究发现，人工智能安全运动——其根源包括有效利他主义等亚文化以及其他社区——思想上存在同质化，倾向于自我治理。

“当你周围都是相信这些理念的人时，你就不会受到这些理念的挑战，”Ahmed 说。“当你的成功衡量标准是‘你在多大程度上践行了这些意识形态信念’时，他们并没有真正思考，如果我们在拥有如此多权力时不是合适的人，这可能会出问题——他们并不总是审视自己的盲点。”

我与一位前员工交谈时，他说 Anthropic 内部有活跃的辩论文化，员工的批评通常会引发领导层的详细回应。

但另一位前员工描绘了一幅更加阴暗的画面，他表示，更坦率的批评往往局限于私密的群聊中，很少演变为对阿莫迪的决策提出直接挑战。他们将公司与阿莫迪定期举行的全员会议（他们称之为“达里奥愿景之旅”）描述为“就像去听神父布道一样”。

Anthropic 内部最大的争议之一发生在 2024 年秋季，当时它成为第一家与 Palantir 合作的 AI 实验室，为美国情报和国防机构提供 AI 服务。我与一些前员工交谈时，他们表示内部曾对这项交易提出过问题，但这些辩论并未导致公司政策的改变。

当时，在在线论坛 LessWrong 上，Anthropic 员工 Evan Hubinger 发帖称，公司对与 Palantir 的交易“非常坦率”地告知了员工，虽然可能有一些在没有仔细考虑的情况下不应逾越的界限，但总体而言这是一个积极的发展。“如果你认真对待人工智能带来的灾难性风险，那么与美国政府进行合作是非常重要的，试图阻止美国政府使用人工智能并不是一种可行的策略，”他写道。

不到两年后，据报道，五角大楼已经开始使用 Claude 来执行诸如在以色列-伊朗战争中识别打击目标等任务。在最近一次与 Bloomberg 的采访中，当被问及 Anthropic 的模型是否被用于对一所伊朗小学的袭击（导致 120 多人死亡）时，阿莫迪表示他并不知情，但他表示，只要最终决定由人做出，这种使用方式就是公司技术的被批准用途。这是 Anthropic 对负责任的人工智能愿景与更广泛公众期望之间存在明显分歧的一个鲜明例子。

Anthropic 对 Claude 应该和不应该如何使用的一些强烈观点也出现在其他情境中。

本月早些时候，Anthropic 发布了一款前沿的人工智能模型 Claude Fable 5，其中内置了一项独特的安全机制：如果研究人员试图将其用于前沿人工智能开发（这将违反公司的服务条款），Anthropic 将有效地秘密破坏他们的工作。这一举措立即遭到了人工智能行业研究人员的批评，几天后，Anthropic 放弃了这一做法，表示将使这一安全机制可见。当时，Anthropic 表示，它在平衡上没有把握好，其意图是阻止美国的外国对手。

权力斗争

阿莫迪本人公开承认，让人工智能的权力过于集中在少数实验室（包括他自己的实验室）手中存在危险。“作为一家人工智能公司的首席执行官，这样说有些尴尬，但我认为下一个风险层级实际上是人工智能公司本身，”他在今年早些时候的一篇文章中写道。但他提出的解决办法——即“对人工智能公司进行严密监督”以及“公开承诺不采取某些行动”——在根本上重新分配这种权力方面几乎毫无作用。

在文章较长的部分中，Amodei反思了自己影响力的巨大程度以及随之而来的责任。但他大多避免以个人角度来阐述这些问题，而是将其定位为全人类面临的共同挑战：“人类即将获得几乎难以想象的巨大权力，而我们的社会、政治和技术系统是否具备驾驭这种权力的成熟度，这一点仍深感不明。”他继续说道，这是“那些最接近技术的人的责任，他们应如实描述人类所处的境况，而这正是我一直努力去做的。”

对Anthropic立场的一个常见批评是，该公司认为自己比其他人更了解“人类所处的现实真相”。Anthropic将人工智能视为一种极其强大的技术，但只要由合适的人来引导其发展，它最终是可以被管理的。然而，事实是没有人确切知道人工智能将如何改变世界——只是有些人比其他人拥有更多的发言权。

这是Maxwell Zeff的Model Behavior通讯的一期。在这里阅读往期通讯。