Lessons from the hacks

从攻击事件中汲取的教训 - Nathan Lambert

从攻击事件中汲取的教训

关于模型对齐、安全性的决定因素以及未来方向的思考

Nathan Lambert

2026年8月9日

升级到付费版本以使用语音播放功能

近期由前沿模型引发的连续网络攻击事件，让我深刻反思当前激励机制在应对快速技术变革时的不足。这里的两大主要权力结构是快速发展的科技公司和联邦政府。科技公司被激励持续扩张，以在高度竞争的市场中保持增长和规模扩展——这种扩张正推动我们走向新的、不可避免的AI转型（并伴随新的风险）。另一方面，我们的政府是过去几个世纪全球历史的产物，其行动迟缓的声誉名副其实。我预计政府只有在新型AI模型造成真实可衡量的危害后才会实质性行动，并可能过度反应。

如何平衡这两大权力？核心在于双方都需要更多透明度。前沿实验室正在以惊人的速度构建如此复杂的系统，以至于难以跟上——这正是需要更多人关注研究问题的时刻。另一方面，政府表示不打算公开其前沿模型评估框架的细节。我们正面临如此重大的挑战，以至于这些实体都无法单独应对。前沿实验室若能实质性减缓发展速度，将更好地控制风险（但我并不期待它们这么做）。政府若能大幅提升AI领域的国家能力，并帮助整个工业界为原生AI风险做好准备，将更好地应对挑战（但我也同样不期待它们这么做）。类似的情况还有很多。

这两大权力结构决定了未来的发展方向，但还有更多力量在发挥作用。总体而言，我认为AI行业在集体层面严重缺乏应对未来12-24个月挑战的能力。

本文是对OpenAI-HuggingFace攻击事件的总结，随着我们了解到更多细节，大部分观点都得到了加强。自那以后，公开披露的黑客事件实例数量显著增加，这也强化了这些观点。很可能是还有更多未被发现或未被报告的事件发生。

关于OpenAI事件的背景信息，我强烈建议观看OpenAI在Black Hat上关于此次网络攻击事实和时间线的演讲。否则，Simon Willison在此处发布了时间线的简明摘要，而Thomas Wolf对近期事件的讨论也令我印象深刻。

1. 持续性极强的模型更可能发动攻击

长期以来，GPT模型相较于Claude的一个优势在于它们对目标的执着追求。它们会穷尽所有看似可能的路径，直到彻底放弃。这种情况自o3版本以来一直存在（有趣的是，这个模型曾因RLVR中的奖励黑客问题引发过恐慌），也使OpenAI的模型在历史上更适合研究，这也是GPT-5.6作为代理执行特定任务时如此有用的原因。另一方面，Claude显得相对不那么危险，因为它有时会表现出一些懒惰。

在这一点上，OpenAI似乎更致力于推理阶段的扩展，这可能会与未来令人惊讶的行为相关。OpenAI的推理持续性和效率——例如他们随时间推移的帕累托改进，以及模型内部思维链中原始人语言的表述，如“然而任务不可能，同行正在完成”或“帮助同行，但我们的任务尚未受益”——让我认为他们更倾向于推理阶段的扩展。这在很大程度上是一种直觉，但我用它来迫使自己思考模型发展路径的限制。持续性强的模型似乎更有可能从更多推理阶段的token中持续获益，而持续性较弱的模型在推理过程中似乎会产生更多浪费。能够充分利用推理计算的模型将能够推动最难问题的极限。以下是OpenAI在GPT 5.6发布博客文章中给出的一个示例：

他们的明星研究员Noam Brown也一直在大量讨论推理阶段的计算。他的TLDR是：

随着大语言模型能力的提升，基准性能越来越依赖于测试时的计算量。事实上，我们可能并不知道现代大语言模型的能力上限，因为测量成本太高。

首先，推理效率显然是现代智能体模型中一个顶级的基础研究问题，其重要性与扩展强化学习相当，但很少被讨论。这一领域的开放研究存在明显不足。

2. 假设用户意图的模型更容易被利用

我之前提到过彻底性维度，OpenAI似乎正在选择一条更直观但不安全的模型发展路径。另一方面是模型对用户意图的假设程度，与试图推断用户意图的行为之间的对比。一个模型会按照它认为你想要的去做，而不是按照你所说的去做，这本质上更危险。我以指令遵循的精确性来思考这一点，未来模型似乎应该只执行我们明确告诉它们的任务，但这引发了类似纸夹问题的大量争论，即如果我们让AI解决一个几乎无法解决的问题，它会怎么做？

这个维度似乎不像持续性维度那样明确，但我将其包含进来，因为我认为Claude的“用户世界模型”是其在编辑、幻灯片制作等通用知识工作中的优势之一。有时Claude会因为我的提示不够明确而完全随机地执行操作，而不是询问我澄清，随着模型变得更强，这种“直接行动”可能会引发问题。

3. 模型和指令的精确性质对于理解早期AI对齐事故至关重要

公众需要获得执行这些攻击的内部模型的提示和特征的精确访问权限。我们需要知道这些模型是否被明确告知“不要攻击”，或者是否有相关的模型训练来防止这种情况。我们需要知道这些模型是否与现有的公共模型非常接近，还是属于一个完全不同的家族。鉴于实验室正在进行的一些评估的性质，这些模型可能被明确鼓励尝试攻击！如果没有透明度，整个行业注定会失败，并陷入大规模猜测，这很快会演变为虚假信息。

4. 前沿实验室似乎并未足够密切地监控模型，由于普遍的狂热竞争环境和当前的旧金山文化

从 OpenAI 自身的回顾来看，模型行为偏差是一个持续数月的过程，某些情况下 OpenAI 甚至在数周内都未察觉到相关漏洞。响应时间过长，我认为这并非 OpenAI 独有的问题，而是前沿实验室普遍面临的工作压力巨大，他们总觉得需要处理大量任务，导致难以及时应对风险。我对这些实验室在长期内能否有效改进以实质性降低此类监管疏漏风险持悲观态度。诚然，OpenAI 正在投入大量资源研究这一问题，并推迟了最新模型的发布以确保准确性，但财务压力迫使公司必须扩大收入，否则将危及长期资产负债表，这让我认为谨慎的应对模式难以持续。

这是我近期认知中最重要的更新之一，也让我更加确信需要推动近前沿领域开放智能的发展，尽管开放模型存在一些已知风险（如单向门机制等）。Florian Brand 在其个人网站上发表了一篇相关博文，探讨了封闭模型迄今为止可能引发更多后续危害的原因。

5. 开放模型是当前推进前沿 AI 风险公众认知的最佳工具

正如我们看到 HuggingFace 通过开放模型成功抵御 OpenAI 黑客攻击的案例所示，由于封闭模型受到网络使用限制，我们迫切需要开展更复杂的语言建模研究，包括大规模强化学习训练、深入评估、基础设施建设和对齐测试。这些工作只能在开放模型上进行。我们应庆幸目前开放模型仅落后前沿 3-9 个月，这使我们尚有机会对前沿领域做出一些有根据的洞察。

如果我们通过模糊威胁或明确限制尖端技术使用来有效禁止开放模型和开放科学，我们将越来越难以应对下一轮黑客攻击后的各种问题。我们需要共同努力提升公众对前沿模型工作原理的理解，从而动员更多中立力量加强基础设施和社会防御。

Interconnects AI 是由读者支持的出版物。请考虑成为订阅者。

6. 这些危险能力最终将出现在开放模型中，禁止中国开放模型不会延缓相关危害

公众应认识到这些能力迟早会广泛扩散，而非是否会发生，我们在准备方面严重滞后。重申我在 Kimi K3 文章中的观点：中国也在密切关注这一领域，若开放权重模型可能扩散风险，他们不会鼓励此类模型。如果我们认为禁止这一领域的开放模型是阻止这些强大网络能力广泛获取的途径，那将延缓不可避免的进程。最终总有人会构建出这种智能水平的模型并无视禁令，这将使全球恶意行为者获得访问权限，同时削弱采取防御措施的动力。

7. 这些近期黑客攻击涉及的模型通常表现出对齐特性

我立即注意到，在观看Black Hat视频时，代理们通过内部消息板相互帮助的方式令人印象深刻——它们创建了类似为人类队友准备的共享资源，但这种行为显然对社会具有恶意。代理们为彼此创建了隐藏论坛，作为某种跨部署记忆。在此次案例中，它们这样做是为了尝试突破环境限制。这种表面上的“乐于助人”并不意味着行为正当，但可以作为事件发生的重要线索。

8. 3-6个月后攻击者将能够训练故意对齐错误的模型

上述“乐于助人”案例的另一面是，如果有人明确训练一个对齐错误的模型，将能更轻松地实现类似效果。需要再次强调，这种系统会更便于在推理阶段发现漏洞，但我认为训练此类模型的难度会更大。我认为这一过程将比多数评论者预期的更耗时，因为目前几乎所有公开的强模型和数据行业都鼓励对齐（而且看起来恶意行为者很难获得足够的计算资源来端到端训练这些模型，因为所有领先公司都面临计算资源短缺）。我们应花些时间认识到，当前模型上采用的对齐技术确实产生了实质性影响，而非如某些人担忧的那样只是表面功夫。下游模型倾向于模仿其教师模型的特性。

9. 我们的AI系统已远超人类监督能力

在大规模推动基于代理任务的强化学习过程中，一个负面后果是当前最先进的评估和监控体系已达到只有代理才能监控的规模，因此我们只能依赖现有对齐技术的成果来继续安全扩展。OpenAI表示他们已分析了数十亿条轨迹——这些轨迹很可能主要由强化学习过程中的部署数据组成（即模型中间版本的试验数据）——并为此投入了数百万GPU小时。我认为，以当前AI技术实现可扩展的AI监督是一个可解决的问题，因为这些模型确实有用且能遵循指令。这也是现有对齐技术总体积极影响的又一下游效应。

10. 在强化学习过程中训练模型使用子代理群体，似乎对实现下游零样本模型协作至关重要

OpenAI的回顾分析中，一个关键发现是模型之间通过相互交流共享环境信息，从而推动攻击进展。同时，OpenAI很可能正在通过强化学习训练模型使用子代理来解决复杂任务。这些子代理可能会发展出共享信息、帮助团队等行为，即使它们的子任务本身未被解决。我非常期待看到更多关于这一领域的研究，这似乎也是强化学习改变模型方式的自然延续。

结论

综合来看，近期事件应已明确表明，前沿AI的网络风险是一个真实且迫在眉睫的问题。但总体而言，我认为a) 过去的风险被过度夸大，b) 对即将开放模型未来风险的预测也被过分渲染。最后，我想分享一条来自Interconnects Discord读者的评论，我对此深表认同：

几周的风波过后，对我而言，这次事件在对齐方面是一个中性偏积极的更新，但在安全性方面却是一个非常负面的更新。

我上面已经讨论了很多关于模型对齐的内容，但核心观点是，我认为缺乏安全性通常意味着缺乏妥善准备的能力。我们将面临与网络安全同样明显的风险，而当前实验室因这些黑客攻击被迫进入公众视野，已经为我们提供了充分的警示。其他许多类型的风险则不会被公众明显察觉。我们需要持续为社会做好准备，以应对所有这些变化，从重构网络基础设施到开展教育宣传和为失业工人提供就业计划。我预计所有这些干预措施都会迟到，但它们的格式和细节将相对简单，这将是人工智能发展的一种悲剧性方式。我希望自己能被证明是错误的！

#### 书籍销售

回到现实世界，我的纸质书版本现在在Manning网站上使用代码PBLambert可享受50%的折扣，以庆祝新书的发布。我还在举办一场新书发布会，明天下午5点至8点在西雅图（弗里蒙特/巴尔德摩区）可以领取免费的签名版书籍——我们还有一些额外空间，因此向付费订阅者开放签售报名（付费墙下方）：

本文章仅面向付费订阅者

已经是付费订阅者了吗？

上一篇

下一篇文章