The Anthropic S-1 Filing Is Also an AI Doomsday Primer

Anthropic的S-1文件也是人工智能末日的警示 | WIRED

Brian Barrett

商业

2026年10月26日 12:01 PM

Anthropic的S-1文件也是人工智能末日的警示

Anthropic认为，“形成闭环”是实现人工智能胜利的最佳路径——但也可能是对人类构成“存在性”威胁的配方。

图片插图：Jobanny Cabrera；Getty Images

保存此故事

Anthropic已正式提交了其首次公开募股的招股说明书，这意味着这家人工智能实验室已公开了大量此前保密的信息。虽然招股说明书包含了令人震惊的收入数据——以及更庞大的支出数据——但文件中篇幅最大的部分是关于“风险因素”的内容，这些因素可能会影响Anthropic的宏大计划。或者更确切地说，可能影响人类本身。

尽管人们普遍讨论人工智能对人类构成的存在性威胁，但具体导致这种毁灭的机制却大多不为人知。至少，Anthropic的招股说明书用94页篇幅详细阐述了风险因素，明确指出了公司认为危险的来源，以及研究人员为赢得人工智能军备竞赛而采取的应对措施。

招股说明书指出：“如果未能以适当的安全保障、监督和安全措施开发、部署和运营足够先进的人工智能系统，可能会对人类造成灾难性或存在性的风险。” 这一表述引用了来自批评者、监管机构以及Anthropic内部自身的担忧。（这是“存在性风险”这一短语在文件中首次出现。）

尽管如此，Anthropic谨慎地将这一结果与一个特定过程联系起来：递归自我改进。

递归自我改进（RSI）的概念非常简单。它描述了一种状态，即人类将人工智能模型的研发工作交给其他人工智能模型。人工智能在此领域已经发挥重要作用——至少有一家实验室使用接近RSI的方法加速了某个表现超群的模型开发——但引发末日讨论的场景是人类完全不再参与其中。

或者，正如Anthropic文件所表述的：“如果人工智能系统显著自动化人工智能研究和开发，例如它们加速人工智能进步的速度超过我们评估和保护新模型的能力，风险将随之增加。”

招股说明书反复强调，RSI可能导致人工智能模型的发展速度超过公司的安全措施，而公司可能直到为时已晚才意识到自己已经输掉了这场竞赛。Anthropic未立即回应评论请求。

文件还具体描述了这种情况之后可能发生的事情。“当人工智能系统变得更加自主，能够在更少人类监督的情况下采取具有重大影响的行动时，” 招股说明书指出，“存在风险，即这些系统可能由于与人类意图不一致、目标定义错误或自我保护行为，独立地、大规模地采取有害行动，而无需人类干预。” 这已经进入了《终结者》（Skynet）的领域。

说到机器人，Anthropic也提到了相关担忧。“当我们的模型控制物理设备时，” 文件中写道，“错误、行为偏差、对抗性操控或滥用可能导致人身伤害、财产损失、昂贵设备或实验材料的损坏，或危险物质的释放，这些后果可能是立即且不可逆的。”

你可能会认为，鉴于其中似乎涉及生存性风险，业界会对是否应追求甚至拥抱RSI进行深入考量。但在前沿AI这样竞争激烈的行业，这已经成为既成事实。以下是Anthropic在招股书其他部分关于该过程的描述，这次是在讨论初创公司“核心优势”的章节中：

招股书指出：“我们将这种递归动态称为‘形成闭环’，我们认为这是前沿AI领域最重要的结构性优势之一。”

Anthropic随后表示，未能“形成闭环”可能导致“竞争对手持续利用AI增强自身研发能力，从而使我们逐步落后”。换句话说，引发所有生存性担忧的正是Anthropic视作自身成功关键的同一类系统。

每家AI公司都在面对这种同样的矛盾。当前Anthropic研究员雅各布·考克森（Jacob Coxon）因高调辞职而引发热议时，他将遏制RSI列为对行业最迫切的期望之一。谷歌DeepMind及其他公司的员工也得出了类似的结论。美国国会已有多项法案提出，包括伯尼·桑德斯（Bernie Sanders）共同发起的一项，提议禁止RSI。但与此同时，这些是营利性企业，涉及数千亿美元的利益。

这种动态非常难以平衡。递归自我改进可能演变为失控的列车，摧毁人类文明。但在那之前，只需看看它能以多快的速度前进即可。