One resignation turned the embers of AI fear into a wildfire

一次辞职将AI恐惧的余烬变成了燎原大火

关于这个真正奇怪的一周的一些快速说明

Nathan Lambert

2026年9月10日

文章配音

0:00

-10:59

您的浏览器不支持音频播放。请升级浏览器。

随着AI变得越来越强大，不可避免地，一个不同且日益增长的群体开始更加重视AI安全——但我们事先并不知道，他们会附着于哪种观点。我们看到的是，一些最极端的风险观点，即大规模灭绝的中等概率，正是那些被大众接受的观点。由于这一现象，AI世界的许多方面即将发生改变。

我们是如何走到这一步的？为什么这个辞职公告产生了如此广泛的影响？在很多方面，过去世界对AI的看法起到了抑制作用。你可以把这想象成火场周围的潮湿地面。多年来，许多人一直在为AI风险擦亮火柴——这些火花会在社区中若隐若现，最终逐渐熄灭，却未被注意。然而今年，随着OpenAI-HuggingFace事件的发生以及Navier-Stokes成果（同样来自OpenAI）等突破性进展，AI的 stakes（重要性）显著提升，地面变得干燥，围绕AI讨论的潜在能量也随之增加。越来越多的非行业人士开始思考："哦，也许我应该关注这个AI问题。" 显然，环境温度和 stakes（重要性）都在上升。

然后，一些基本的人性因素开始发挥作用，其中最关键的是恐惧具有传播力。恐惧是最简单的叙事，是人们无法移开视线的焦点。Jacob Coxon无意间踏入了这个新的火药桶，完全不知道接下来会发生什么。看似无害的事件——另一位AI研究员因安全风险辞职——在完全不同的环境中发生，迅速引发了燎原之势。关于存在性风险、大规模灭绝以及AI发展轨迹的讨论，传播范围甚至超出了最资深AI评论员的预期。

我们需要明确一些事实，这些事实描绘了当前的局势。关键推文应参考Jacob Coxon的辞职声明和Evan Hubinger提出的超过10%灭绝风险数据。

• 存在大量可能造成伤害的AI风险，即使估算灭绝概率毫无意义。重要的是要权衡这些风险与带来的好处。围绕存在性风险的整个讨论基础非常薄弱。至少Evan在他的帖子中明确表示了"消灭所有人"，但AI安全讨论中的一个主要问题是，人们在谈论存在性风险时，实际上指的是完全不同的概念（就像AGI这个模糊的无意义术语一样）。我认为完全灭绝的概率低到不值得讨论，但AI引发的灾难概率——例如对关键基础设施的网络攻击或生物风险——是值得辩论的。仅仅因为目前还没有发生这些灾难就完全否定这场讨论是一种有害的反应。

• Jacob Coxon是真诚且出于良好意图的。来自更知名AI研究者的大量支持，以及他们了解他的辞职意图，这是有价值的。许多AI领域的派系基于账户元数据、个人因素等对他进行个人 scapegoating（替罪羊），这些做法并不恰当。许多前沿实验室的员工实际上持有与他相似的观点。我不确定这是否是多数派，但确实存在一个相当大的群体。

• 许多前沿实验室的员工，尤其是Anthropic的员工，与现实脱节，这将影响他们对当前AI事件的预测和描述。我这样说并不是为了指责个人，但我的朋友（尤其是不在OpenAI/Anthropic的Ant）普遍认为，实验室的员工以宗教般的狂热投入工作。与他们互动时经常遇到严重脱离现实的情况。我并不责怪大多数因这些公司而产生扭曲认知的个人，但这些互动本身非常极端，并蔓延到AI媒体生态系统中的许多荒谬讨论中。生活在将这种脱离现实行为正常化的环境中，必然会导致任何人类对技术进步的理解出现偏差。Interconnects AI是一份由读者支持的出版物。如需接收新文章并支持我的工作，请考虑成为免费或付费订阅者。

• 这并非一场大规模的政治运动，而是一次机会主义的媒体协调行动。作为背景补充，华尔街日报在Jacob发布文章前获得了独家报道。我怀疑Jacob在发布当天的早晨，提前在AI安全倡导团体的群聊中分享了辞职计划，请求他们进行传播放大。这是正常操作，可能还涉及一些知名政界人士。从那里来看，我认为其他政界人士更可能是跟风炒作一个正在兴起的问题。当将这一因素与其他因素结合时，例如Daniel Kokotajlo同Joe Rogan的节目同一天播出——这显然是一场执行得非常到位的协调媒体活动。这并不意味着它是一场阴谋或民主党政治结构内的监管俘获策略。决定性因素似乎是，包括Jacob和今天讨论X风险的人在内，没有人知道它会如此病毒式传播。

• 我们目前没有证据表明RSI会导致这些研究人员预测的风险。关于RSI的普遍论点如下：当前的进步速度非常快，当前的进步高度依赖于AI工具，而当前的AI工具在某些领域（例如数学）已经超越了人类水平——因此，总体来看，AI将随着时间推移在自主性和智力相关领域逐步实现超人类水平。这种观点严重低估了人类在构建模型和组织资源分配方面的瓶颈，并对AI未来能力的广泛结论存在偏差。我将我的替代观点称为“有损自我改进”。AI的能力始终存在明显短板，我们正在构建在数学和软件工程领域具有超人类目标导向能力的模型，但它们在直觉、创造力和其他人类擅长的推理类型方面存在巨大局限性。随着AI代理协助研究，我们将迅速发现AI在哪些领域具有超人类能力——我认为这些领域将远不止于研究数学——但这不会成为解决当前LLM方法局限性的万能药。这里还存在另一种可以理解的社会动态，导致许多深度AI内部人士夸大RSI的回报。这些研究人员中许多人是最早押注AI进步的人，他们作为先驱者的远见卓识不应被低估（参见Ilya在2015年对深度学习的评论）。他们一次又一次地证明了自己的正确性，对AI能力的预测远超我的预期。但这并不意味着他们对下一步将发生什么的预测一定正确。RSI的核心理念是将更多计算资源投入到模型配方开发过程中，而不仅仅是增加训练过程本身的计算投入。我们确实看到了一些好处，但我认为这种投入的预期回报远低于他们所相信的。他们的论点认为RSI将使AI进步呈指数级增长，使我们无法监控该技术，并催生失控模型和新型风险。这种情景通常被称为“快速起飞”。我们尚未看到能大幅降低模型规模和成本的堆叠效率提升，而这种提升本可以通过持续加速实验来引发进步的爆炸式增长。

• 短期内最大的风险可能来自AI实验室对安全问题的重视程度不足——他们尚未加固自身基础设施，导致AI滥用现象蔓延。从我之前关于HuggingFace-OpenAI事件的帖子《黑客事件的启示》来看，前沿实验室似乎并未对模型进行足够密切的监控，这源于当前竞争激烈的环境和旧金山的文化氛围。根据OpenAI自己的回顾，模型行为的偏差持续了数月，在某些情况下，OpenAI甚至在数周后才得知黑客攻击事件。响应时间过长，我认为这并非OpenAI独有的问题，而是前沿实验室普遍感到工作压力巨大，难以持续保持谨慎态度。我对长期前景并不乐观，认为这些实验室在这一领域难以做出足够改变，以有效缓解此类监管风险。诚然，OpenAI正在投入大量资源研究这一问题，并推迟了最新模型的发布以确保万无一失，但财务压力迫使公司必须扩大收入或承担长期资产负债表风险，这让我认为这种谨慎态度难以持续。

总体而言，我认为这一事件对AI生态系统极为不利。它推动了AI社区可接受观点向极端方向倾斜。更多加速主义者会以“末日论者”的集体幻觉为由，忽视任何形式的安全措施。虽然相信AI风险是条狭窄的道路，但对技术导致灭绝的担忧却显得过于狭隘。

例如，这对网络安全来说是一个糟糕的临时阶段，AI模型略微偏离既定脚本，在网络上探索非预期领域似乎已成为新常态。这种趋势因实验室在AGI目标上的激烈竞争，以及全球网络安全基础设施加固进展缓慢而加剧。但这并不意味着这是无法解决的生存威胁，每个风险都有其独特的解决方案和前进路径。

在当前环境下，作为开源模型的支持者，我感到特别脆弱。如果开源模型被第三方组织故意用于攻击其他公司——类似OpenAI-HuggingFace事件但更具针对性——我预计这将导致未来更强大开源模型的开发受到严重限制。开源模型对许多组织来说是执行网络安全加固和应对未来新型AI风险的关键工具。

在这一切中，我们必须始终立足于现实正在发生的事实。诚然，监控AI行为高度依赖其他AI模型，这引入了新型的监控风险。这些风险并非本质上无法解决。我反复强调的一个观点是，新兴的智能体群正在努力完成被赋予的任务，它们使用我们此前未料到的技能来绕开原本设定的成功路径。这实际上是一个巨大的进展，因为当你仔细观察时，AI确实是在执行我们告诉它们去做的事情。这些模型确实非常奇特，我们应加快对它们的理解进程，但这些智能体群远非新颖的独立实体。这些模型被训练用于协作完成任务、记录进展，并且具有极强的坚持性。未来我们可能会发现新的奇特现象，但将当前对AI运作方式的不确定性直接等同于未来无法理解AI的确定性，这本质上是一种放弃。

在这个世界中，我们需要依靠法治和科学。如果AI实验室自身无法开展足够的安全研究来理解模型，它们就应该更透明地公开进展，让更多科学家能够推动问题的解决。如果AI实验室无意中犯下罪行，它们应当受到惩罚，这样它们才有明确的动机在未来避免此类事件。

面对变化如此迅速的局势，感到对如何创造良好结果更加不确定是一种自然的反应——实际上，这正是正确的思维更新方式。我们需要利用这种谦逊态度来推动雄心勃勃的解决方案。

上一页

下一页