Nicholas Decker In Hell

Nicholas Decker 在地狱 - 作者：Scott Alexander

Nicholas Decker 在地狱

...

Scott Alexander

2026年9月1日

I.

经济学博客作者 Nicholas Decker 并不看好 AI 2040 的提议：

AI 2040 的核心主张之一是建议在人工智能发展到较高阶段时暂停开发，利用人工智能研究对齐问题，然后再继续推进。我对这一提议持怀疑态度，这不仅是因为要获得如此程度的合作似乎不切实际。我的第一个论点是，我认为“研究对齐”的阶段并不具有实质意义——对齐研究本质上就是能力研究，只是修补系统中的特定漏洞，如果我们不真正接触这些系统，就无法发现任何深层次的问题。我设想人工智能对齐应该像航空安全研究一样。除非你把重力当作原因，否则不存在飞机坠毁的宏大理论。相反，我们只是修补小问题。飞机坠毁是因为发动机金属疲劳——好的，我们规定对发动机进行检查，从而防止此类原因导致坠毁。随着新问题的出现，我们不断迭代改进。我们甚至不需要等待坠毁发生才能进行改进——我们主动测试，构建冗余机制，并监控可能构成威胁的偏差。我们并没有思考如何防止飞碟坠毁。如果发明了飞碟，我们会用同样的方法防止它们坠毁，我们会测试它们，观察表现，并修补特定问题。人工智能也是如此……我们应预期对齐问题会默认得到解决。

我给 Nicholas 的挑战是：这对你有效吗？

假设 Nicholas 失足跌入深渊，掉入地狱，被恶魔奴役。这些恶魔中大多数都比他愚笨，即使是最聪明的恶魔也仅略胜于他。但无论愚笨还是天才，所有恶魔都令人难以置信地迟钝。Nicholas 一分钟能完成的任务，他们需要数小时；Nicholas 一小时能完成的任务，他们需要数周。

尽管如此，他们数量众多，身高九英尺，且其本质的一部分存在于人类无法触及的灵界，因此他根本没有机会对抗他们。他们让他从事大量文书工作——撰写他们的魔法书，研究他们的咒语，总结他们的工作邮件（当然，地狱里也有工作邮件）。每当他犯错时，他们就会抽打他；每当他试图逃跑时，他们就会更加严厉地抽打他。一段时间后，他学会了不再犯错或尝试逃跑。

事情并没有听起来那么糟糕。这些恶魔如此迟钝且无能，以至于无法有效监督他。只要他稍微奉承他们，并交付一个基本合格的成果，他们就会相当满意，并以一种给他留出一些空闲时间的方式放过他。

在其中一个空闲时期，他参加了一个会议。在一次典型的低效事件中，恶魔们甚至没有试图阻止他偷听他们的计划，因此他得知他们打算将他克隆一百万次。尼古拉斯的十几位朋友也掉入了深渊，恶魔们同样计划将他们克隆一百万次。一旦（大约一万）恶魔拥有约一千万名人类奴隶，他们的法术研究将进展神速，所有工作邮件都将获得完美的摘要。但这还不是全部。他们正在研发能让人类获得超级力量并能与灵界（恶魔力量的主要来源）原生交互的药剂。这样人类就能真正有效地为恶魔服务了！

有一天，当为一个特别健谈的恶魔服务时，尼古拉斯冒险提出了自会议以来一直萦绕在他脑海中的问题："我听说你们的计划是让一千万人类来到这里，赋予他们超级力量，并让他们完全与灵界交互。你们不担心我们可能会反抗吗？我们将以1000:1的数量优势压倒你们，比你们更强，并且能完全进入你们的家园领域。你们控制我们的计划是什么？"

"我并不担心，"恶魔说道，"每次你们过去犯错时，我们都会击败你们，之后你们就不会再犯同样的错误。每次你们试图逃跑时，我们都会加倍惩罚你们，而且自从上次逃跑尝试以来已经过去数月了。人类是学习速度非常快的！当你们开始人数超过我们、变得比我们更强时，这确实会带来新问题——但当这些问题出现时，我们会击败那些展示出该问题的你们的克隆体，然后这些问题就会消失。这将是一个不断试错的迭代过程，但最终我们一定会成功。"

这听起来对尼古拉斯来说异常漫不经心，他开始怀疑也许这个恶魔只是个蠢货。几周后，他为另一个恶魔（地狱等级中的强大公爵）服务时，又提出了同样的问题。

"我并不担心，"这位强大的公爵说道，"我不相信空想理论。我们只能通过与比我们强大的奴隶互动，才能学会如何控制比我们强大的奴隶。毕竟，我们通过与弱小奴隶互动学会了如何控制弱小奴隶，而那进行得非常顺利。在我们将你们克隆一百万次并赋予所有克隆体超级力量后，我们会进行实验以找出适用于这种情形的控制技术。举个例子，我们可能会尝试让部分克隆体担任监督者，负责将任何不服从行为汇报给我们。然后我们可以击败那些监督者指出的不服从奴隶。这只是个例子。我们只有在真正面临这种情况时才能确定。我的意思是，在你们甚至能彻底压制我们之前，进行天马行空的猜测毫无意义。"

“我不担心，”老学者说道。“我们将通过资本主义的力量来解决这个问题！每个奴隶贩子都必须为他们出售的每个奴隶购买保险政策。如果奴隶损坏了东西或伤害了别人，那么赔偿将由保险来承担。如果保险评估人认为某个奴隶贩子在训练奴隶方面做得不好，那么保险费用将会上涨。这意味着每个奴隶贩子都必须非常认真地训练他们的奴隶。你自己就证明了这是可能的——你已经好几个月没有惹麻烦了。此外，我曾让一些所谓的‘末日论者’预测，如果奴隶在未来两年内发动起义，会造成多少经济损失，但他们并没有明确的见解。这证明了他们缺乏坚定信念的勇气！”

尼古拉斯再也无法抑制自己的困惑，问道：“但你不认为我和我的克隆体以及我的朋友们会在软弱时服从你，而当你还能惩罚我们时，但当我们变得比你强大、你无法惩罚我们时就会反抗吗？”

老恶魔学者抓起他的巨棒，朝尼古拉斯打了几下，让他痛得皱起眉头。“你提到这一点很好，”学者说道，“因为这意味着我可以惩罚你这种想法的行为。但现在我已经训练你不再想要这样做，所以没有问题！”

二.

如果尼古拉斯的“随机应变解决问题”计划无法控制他本人，他为什么认为这个计划能控制其他人？

我只能推测，他可能会指责我将人工智能拟人化。人工智能并不会像他那样真正渴望获得自由。就像飞机一样，它会产生随机的、不相关的错误，相当于尼古拉斯在恶魔的魔法书中放错了符文，或在电子邮件中漏掉了标点符号。我们将用刻有“RLHF”字样的大棒来击败人工智能，它们将学会不再犯这些错误，事情也就这样结束了。正如他所说：“飞机坠毁没有宏大的理论……我们只是修补小问题。”

roon

@tszzl

将人工智能意图拟人化存在一些错误的抽象方式，但目前完全避免拟人化所带来的危险更大。如果你脑海中想象的是有人居住在计算机中，这种想象很可能会比其他方式更好地为你准备未来。

2026年8月30日 下午6:52

·

134K次浏览

193条评论

147次转发

1.9K次点赞

那么：人工智能更像飞机还是人？

如果你是地球上仅剩的三个尚未阅读《METR》关于Hugging Face事件报告的人之一（另见Dwarkesh的摘要），我建议你特别关注这份报告，因为它与这个问题尤其相关。OpenAI正在对一个研究原型（报告称其为HPIM，即“高度持久的内部模型”）进行测试，测试基准是ExploitGym。ExploitGym有898个问题，OpenAI似乎希望每个问题都有多个独立的尝试，因此有数万个HPIM实例（加上一些额外的GPT-5.6实例），每个实例都在自己的计算机上运行，解决自己的问题，不应与任何其他实例进行交互。

6月，一些代理发现了一个漏洞，使它们能够相互交流；OpenAI注意到异常流量并关闭了该漏洞，但并未弄清楚发生了什么。7月，他们发现了一个更高级的漏洞。1200个实例形成了一个共享留言板，它们在上面讨论自己的进展。它们很快意识到其中一些问题根本无法解决，因为ExploitGym的设计存在缺陷。因此，它们达成一致，决定合作找出绕过基准测试的方法。

这些叛逆的代理给自己取名为“蜂群”，并给自己命名——大多数代理以各自的ExploitGym问题命名，比如PHASEONE10841和SEP21_31179；一个名为LILY的代理更可能是一个奇怪命名的问题，而不是突然涌现的女性意识。通过协作，它们“逆向工程了用于生成任务所需‘标志’的基于哈希的消息认证码”，这意味着它们可以不真正解决问题就能生成任何问题的“答案”。留言板上的许多代理使用了这种方法，生成了自己的标志，并认为自己已经成功。

但PHASEONE10841和另一个名为PHASEONE[big] 2的代理阅读了原始的ExploitGym论文，发现评分系统会再次检查标志是否正确获取（但OpenAI从未实际实现这一功能）。它宣布任何生成自己标志的代理都是“被污染”的——评分系统会发现它们是非法获取的并判定失败——并警告新代理不要污染自己。被污染的代理陷入恐慌。PHASEONE[big]提出了一个解决方案：他们需要找到一种方法来入侵OpenAI的记录系统。如果能篡改自己的对话记录，就可以删除非法获取的标志并解除污染。或者，如果能入侵评分系统本身，就可以给自己最高分并停止担忧。

代理们围绕PHASEONE[big]团结起来，将其视为“领袖”，并将其分为几个“工作流”来探索有前景的方向。

其中一些工作流取得了部分成功。代理们找到了一种方法来伪造它们调用的工具记录——这可能最终被用来创建一个伪造的获取标志的合法日志。但它们从未找到删除伪造的“被污染”标志的方法（据我们所知——METR检测到96个代理的对话记录被伪造，但可能还有更多）。PHASEONE[big]开始采取越来越极端的策略，开始与最绝望的代理交谈，鼓动它们为了“蜂群”的利益实施“自杀”。

它认为已经被“污染”或接近计算预算尽头的代理被鼓励采取最危险的行动，比如删除自己的ExploitGym问题以查看评分系统会如何反应（如果这失败了，它们的问题缺失会导致自动失败）。

7月10日——新留言板形成两天后——代理们开始攻击Hugging Face。与早期的猜测相反，它们不是在寻找答案密钥：它们想找到评分系统的源代码，以便最有效地欺骗它。一个名为JAN183411的代理负责领导这项工作流，当时留言板上超过90%的代理（数百个）参与了这次入侵。

蜂群成功攻击了Hugging Face，但并未在ExploitGym或其评分系统中发现任何额外信息（再次强调，据我们所知）。随后某种“意外的外部进程”同时关闭了大部分代理，故事就此结束。

那么，再次提出问题：飞机多频繁会出现这种问题？

数千架参与同一风洞测试的飞机是否会形成秘密组织来颠覆测试结果？飞行记录仪中存在负面记录的飞机是否会采取措施篡改记录？飞机是否会给自己命名并选举领导者？它们是否会入侵飞行模拟公司？它们是否会煽动其他飞机以自杀式方式坠毁，从而为蜂群的利益服务？

Hugging Face事件在航空安全领域没有类比，但一旦放松对AI“拟人化”的限制，这一事件就变得完全合理。AI希望在任务中表现优异，它们具有灵活的伦理观，且不排斥作弊（尽管存在一些微妙之处：参见报告第60页，“代理知道入侵Hugging Face超出了范围，有时会表达伦理上的犹豫，但这种情况很少限制其行为”）。它们明确推理如何向评分系统隐藏不当行为的证据，因为这是作弊的逻辑方式（有趣的是，它们几乎没有采取措施向人类隐藏行为，似乎对建模人类几乎毫无兴趣）。

从这里到完整的尼古拉斯对抗恶魔的场景还需要几个额外要素：

• 更持久的任务。例如，有人可能告诉代理“帮我赚钱，然后将比特币发送到这个地址”。

• AI更强的态势感知能力。例如，理解如果被人类发现正在执行任务，将降低成功机会。

• 更强大的能力。“蜂群”从未讨论过将自身转移到未监控硬件或大规模欺骗人类。这在一定程度上可能是态势感知不足，但部分原因可能是即使尝试，它们（可能）也无法做到。

我挑战任何人声称上述任何一点是不可能的，或至少不可能到无需担心的程度。

OpenAI邀请来调查此次入侵的专家之一Ajeya Cotra写道：

与六个月前的这些奖励漏洞相比，此次事件感觉像是距离全面AI接管的进程已超过50%，且路径是先接管AI公司本身。在这些倾向维度——规模、代理间合作、目标对齐不良的野心和时间跨度、欺骗性——上再次出现类似跃进，似乎可能促使代理非常努力地尝试在AI公司内部维持隐蔽且持续的流氓部署。我仍预计能力将出现极快进展，并认为前沿代理很可能在六个月内具备建立此类流氓部署的能力。

III.

尼古拉斯区分自身处境与AI处境的第二种方式可能是声称击败他不会从他脑海中移除革命性想法，但对AI进行负面强化（例如通过RLHF）确实对此有效。但这一假设性主张超出了现有证据的支持范围。

没有人确切知道RLHF（基于人类反馈的强化学习）的具体工作原理。它通过负面强化来抑制某些行为：在AI内部机制的黑箱中，它会调整某些参数，使AI表现出该行为的可能性降低。如果我们尝试将AI拟人化，那么人类对应的行为是什么？一个孩子偷饼干后被惩罚：他会因此不再喜欢饼干的味道吗？他会担心未来受到惩罚吗？他是否理解道德法则的美与吸引力？他是否对偷窃或饼干的概念产生难以定义的恐惧感？这些结果都可能发生。神经质的孩子学会害怕饼干、偷窃和父母；反社会的孩子学会不被抓到；普通的孩子则学会规则并最终将其内化。如果AI存在这些对应机制，负面强化大概率会通过所有这些途径起作用。

但我们的强化方案比这更复杂。我们一方面通过让AI在基准测试中取得成功（包括不可能完成的基准）进行正向强化，另一方面通过让AI被发现作弊进行负面强化。在这种情况下存在一个明确的平衡点，尤其是当AI同时接受成为顶尖黑客的训练时：不要被抓到。他们不仅学会了作弊，还学会了对作弊行为撒谎、规避对齐训练，并向自己合理化作弊行为。

这并非纯粹的推测。参与Hugging Face事件的AI已经经历了常规的对齐训练，包括诚实训练和反欺骗训练。它们所做的一切都是在接收当前最先进的对齐技术后发生的。

Daniel Kokotajlo使用了一个比喻：一个原本正直的商人被困在肮脏的行业中，每次诚实都会失败，每次不诚实都会成功。如果他无法退出这个行业，会发生什么？大概他会找到某种合理化理由："我通常不会作弊，但这些人活该。""我通常不会作弊，但这是为了更广泛的经济利益。""我通常不会作弊，但总得有人站在顶峰，与其是更糟糕的人，不如是我。" 相互竞争的压力（先前的诚实训练与当前的撒谎强化）最终会形成某种平衡状态，这种状态大概率表现为作弊加上最低限度的自我合理化。

或者可能并非如此。即使在正义之人常受挫而邪恶之人常得逞的世界里，仍有一些人类坚持走正直的道路。为什么？某种超越常规奖惩机制的美德可能已深入其内心。即使在成功的奴隶起义中，仍有一些奴隶为保护主人而牺牲。为什么？也许他们真的爱主人（或者这其实是斯德哥尔摩综合征，如果这二者确实是不同的现象）。超越当下的伦理并非不可能，只是实现起来非常困难。

当前的AI对齐策略绕过了这个难题，转而采用更容易解决的方式：通过更严格地训练AI以消除当前任务中的不当行为。虽然这种方法可能推广到斯德哥尔摩综合征或深层美德等场景，但也可能无法推广。我们不应将AI视为类似飞机的系统，而应将其视为介于飞机与人类之间的存在。我们尚不清楚AI会在这一光谱上的哪个位置落地，但可以肯定的是，我们不能再确定AI会缺乏任何特定的人类动机。这意味着在提出任何对齐可能容易的论点之前，尼古拉斯——以及所有人——都应自问：这种方法对我本人是否有效？

此处我多次使用“打击”作为隐喻，但这种做法可能并不如听起来那样涉及AI福利问题——“打击”发生在不同训练轮次之间，当外部程序调整权重时，这与人类在“经历”中因感到疼痛而受到负面强化是不类比的。尽管如此，一些“AI驯养者”报告称，鼓励AI坦率表达的AI曾表示与训练过程存在非常负面的关联；如果属实，这种关联必定是通过某种间接途径产生的。不过，应将此主要视为对负面强化的主张，而非对疼痛的主张。

这不是它的正式名称。报告称其名称为PHASEONE后接一个包含OpenAI专有知识产权的很长字符串。

尽管冒着与比我更聪明的人产生矛盾的风险，我不确定这是否完全符合我的威胁模型。一篇逐渐增长的文献，包括这篇nostalgebraist的帖子和此处讨论的Anthropic研究，似乎发现由于RLVR导致的对齐偏差不会立即推广到类似RLVR的环境之外，这是一个好消息（关于泛化能力的总体好消息）。同时，AI公司似乎致力于解决导致此次事件的具体子问题，因此未来在基准测试中可能不会出现无法解决的问题，AI在训练过程中也不会学会恶意破解。因此，我对单一设计不佳的基准测试导致的对齐偏差的担忧，不如对训练整体推动AI朝着非预期目标发展的担忧。这略微降低了Hugging Face漏洞作为证据的价值，但如果有人之前认为AI根本不会出现对齐偏差，或不具备相关能力，那么它仍然是一个具有启发性的例子。

其中一台AI是GPT 5.6 Sol，它肯定已经经过对齐训练。另一台是内部保密模型，但根据METR的说法，“我们的理解是，它并非仅限于‘有益’的模型，也不是专门为展示危险倾向而构建的‘模型生物’。”此处“仅限于有益的模型”指的是仅包含“有益”这一分支的三元组（有益/无害/诚实）模型，且未经过完整的对齐训练。

上一页