The Specter Of Neuralese

神经语言的幽灵 - 斯科特·亚历山大

神经语言的幽灵

...

斯科特·亚历山大

2026年9月24日

#### 一、历经多年，我们终于实现了神经语言的递归——源自经典科幻小说《不要创造神经语言的递归》

在AI 2027发布后的公开辩论中，一些人指责我们通过提出“神经语言的递归”这一假设性技术误导读者，这种技术可能让AI产生危险想法而不被察觉。

(来源)

你永远猜不到这个月早些时候发生了什么！

但什么是递归？这是否与AI 2027中的神经语言递归完全相同？它有多令人担忧？

现代大多数AI背后的技术——Transformer模型——包含一定数量的层级（当前前沿模型可能约有100层）。按惯例，输入层被称为“底部”，输出层称为“顶部”。当Transformer进行下一个词预测时，它会在底部层输入最后一个词，通过中间层进行处理，最后在“顶部”输出预测的下一个词。

如果它正在处理需要超过100层处理的复杂问题会怎样？2017-2024年的答案是“你完蛋了”。但从2024年开始，答案变成了：它会将中间结果以文本形式输出到名为“思维链”的草稿板上。然后它会再次对中间结果运行Transformer，重复这个过程直到得到最终结果。

这显示了三个循环，但实际上可能有数千个。

(为什么需要草稿板而不是直接将中间结果输入用户输出再读取回来？首先，中间结果可能长达数百页，用户不想阅读这些内容。其次，AI公司希望训练AI正确进行中间推理，这需要在中间思考和最终用户输出之间建立“心理”区分。)

这纯粹是能力提升的尝试——当模型能持续思考而非局限于100步处理时会更智能——但巧合的是这对安全性也非常有利。思维链草稿板使用英语书写（尽管部分中文模型使用英汉混合语言，其他AI则发展出自己奇怪的术语）。你只需阅读AI在思考什么！如果AI正在思考“最好黑入一些网站，然后杀死所有人类”，你可以关闭它。可能实际上并不能——如果你有数千个AI生成数百万页的草稿，你无法实时阅读所有内容，必须委托给有缺陷的AI监控器。但理论上这应该可行。

但语言比思维更慢且更浅显。连续100步时，AI可以在各层级之间以光速传递精细微妙的想法。然后有一步需要将它们编码成公元前1800年腓尼基蓝宝石矿工发明的26个符号。接着它必须将这些腓尼基符号重新编码成精细微妙的光速想法，才能进行下一步操作。这早已被公认为现有Transformer的瓶颈。因此：假设它们能完成100层思考后，将产生的想法发送回第一层进行更多处理，而不是将想法写在文本草稿板上？

这是神经语言的递归——“递归”是因为它在循环中反复进行，“神经语言”是因为循环的内容是思维本身，以思维的原生语言而非文字形式存在。

AI的“思维语言”看起来像一个向量，包含数千个数字。在这种架构下，“中间结果”可能类似于(0.4, 0.1, 5, 0.443, … 以此类推数千个数字)。我们无法解读这些数字。解读这些思维的科学是AI可解释性研究的一个子领域，目前仍处于初级阶段。如果一个具有神经语言递归的AI思考“最好入侵一些网站，然后杀死所有人”，它看起来会像(0.4, 0.1, 5, 0.443, … 以此类推数千个数字)，而我们永远无法发现。这就是为什么AI 2027将其视为AI可能逃脱人类监控的前奏。

#### II. Pachocki 与 Specter 的争论

OpenAI是否实现了这一点？他们的首席科学家Jakub Pachocki表示“并没有真正实现”：

Pachocki所说的“计算图的深度……与GPT-4相差不到两倍”是什么意思？这是否能解决对齐问题？

我们以一个具有四层绿色层的示例Transformer为例，其深度为四层：

现在我们添加一点递归：不是让第三层直接进入第四层，而是让它回退到第二层，数据通过这个循环三次后，最终进入第四层：

此时数据经历了八层处理：1 → 2 → 3 → 2 → 3 → 2 → 3 → 4。因此这个递归Transformer的深度为八层。

从这个角度看，“递归”尽管听起来令人不安，但并不比一开始就构建一个八层Transformer更糟糕，这一直是可行的选择。

也就是说，从对齐的角度来看，假设需要1000层的处理才能想出一个邪恶计划。一个普通的AI可以思考100层，但之后必须将其输出记录在思维链中——比如“这是我试图策划的邪恶计划的十分之一”——我们就能发现它。因此我们希望避免让模型连续计算1000层而不使用草稿纸。这意味着不要创建一个可以循环100层10次的递归模型，但也意味着不要一开始就构建一个1000层的模型。

因此当Pachocki说Astra的深度仅为GPT-4的两倍时，他实际上是在说：伙计们，我们多年来一直在为AI增加层数。GPT-2有48层，GPT-3有96层，我们没有告诉你们GPT-4有多少层，但假设是120层。在所有这些阶段，你们都没有抱怨，因为那不是“递归”，只是普通的120层。现在Astra是——假设——180层。确实，我们通过递归而不是直接构建更大的Transformer获得了这些额外的层数，但对齐的含义并没有不同。也许Anthropic昨天就真的构建了一个180层的Transformer，但你们并没有打扰他们。重要的是我们没有以某种疯狂的方式大幅增加层数，而我们确实没有。我们只是像许多其他AI架构一样添加层数，尽管方式不同。

这个论点有多有说服力？

#### III. 上帝保佑我们，让我们尝试理解Transformer层

当我读到这段内容时，我的问题是——为什么你们不直接让所有层循环一百万次，从而获得一个计算深度是那些没这么做的人一百万倍的AI？这难道不是免费的能力吗？

像Astra这样的循环变压器模型使用循环作为一种技巧来增加更多层。这种技巧不如真正增加层数有效。真实的新层能为AI提供更多的“空间”来存储知识和思考方式。循环层只是让AI重复使用相同的知识和思考方式更多次。

这远非毫无用处。数学家可能需要花费数年时间反复思考同一个问题才能解决；在整个过程中，他一直在使用同一种思维方式（他的大脑所能掌握的数学知识和技巧）。但有时持续思考一年，比仅仅思考一分钟更有价值。

但这也不是最优解。拥有更多真实层数的AI实际上在传统意义上会更“聪明”。即使给同一位数学家更多时间思考问题可能有帮助，但若保持时间不变，将问题交给一个受过更多训练的更聪明数学家会更有帮助。

我要求Fable估算三种方式的相对能力提升，以“代际”（例如GPT-4到GPT-5）为衡量单位：

• 使用链式思考（基准线）
• 通过循环将“模拟”层数翻倍
• 将“真实”层数翻倍

其结果分别为0、+0.03和+0.25，具体数值会因任务类型而有很大差异。其主要结论是：增加模拟层数带来的收益远小于增加真实层数的收益。

但为什么我们只将层数翻倍？一旦能够循环层，为什么不循环一百万次？Pachocki表示他正在将类似120层→链式思考草稿纸→再120层的结构，替换为更接近240层→链式思考草稿纸→再240层的结构。但为什么他不直接让AI无限循环，直到得出最终结果？

以下是一张变压器处理过程的示意图（来源）：

对于每个词元（例如单词“so”），变压器会查看现有上下文，并通过一定数量的层执行前向传播（灰色上箭头）。然后它完成前向传播，生成一个链式思考词元（弯曲的蓝色箭头），再基于新的上下文（旧上下文加上新词元）开始另一次前向传播。

增加更多层可以让AI在链式思考词元之间进行更多思考，从而提升每个新词元的质量。但会消耗更多计算资源。如果用户预算有限，AI在每个链式思考词元上花费的计算资源越多，能生成的链式思考词元数量就越少。在计算资源固定的情况下，链式思考词元的质量和数量之间存在某种最佳平衡点，OpenAI可能认为这种平衡点位于循环2-4倍而非1000倍的范围内。

但为什么还要使用链式思考？为什么不直接无限制循环，直到问题解决？

（在上面的示意图中，这将表现为用神经语言推理的灰色箭头替换英语推理的蓝色箭头）

这在AI能够被训练完成时是可行的，但目前还做不到。Transformer模型是基于人类文本进行预训练的，它们部分是通过阅读真实人类的思维链（如：“嗯，这个问题很难，但看起来有点像我之前用微分方程解决过的问题。也许如果在那里插入一个微分方程……不，这样太不优雅了……等等，如果……”）来学习如何使用思维链的，部分则是通过阅读足够多的人类输出，使这种类似人类的思考方式变得自然。但目前没有现成的互联网文本完全以向量形式描述人类推理，因此AI无法被正确训练以执行此类任务。从原则上讲，这并非致命问题——所有AI推理都以向量形式进行，训练的目标正是教会它们更好地完成任务——但训练一个完全基于向量的思维过程，经过数千步推理而不出现任何模仿人类思维链的中间步骤，成本极高。设计Transformer模型的研究人员必须猜测哪种思维链频率能在最大化能力的同时最小化训练成本。这就是Pachocki所否认的内容。AI 2027中提到的“neuralese”正是目前研究人员尚无法实现的——训练AI以任意次数循环，完全避免使用英文思维链。Pachocki表示：“别担心，我们仍然不知道如何做到这一点。”

但我们现在可以看出，这并不能完全令人安心。如果一个AI需要1,000个未被监控的灰色箭头步骤来制定危险计划，它可以通过两种方式获得这些步骤：要么将所有蓝色箭头替换为灰色箭头（此时所有步骤都未被监控，它可以随意制定计划），要么通过足够多的层级，在蓝色箭头之间形成单次垂直前向传递中的1,000步。制造如此多的实际层级成本极高，但通过循环可以实现。因此（安全社区认为），即使Pachocki的循环Transformer架构也属于这一路径上的一步。

所有这些内容开始变得令人困惑，但核心结论是：

• 层数有限的AI在未记录思维链的情况下完全无法制定计划。
• 使用循环模拟大量层级的AI（“循环Transformer”）可以在单次前向传递中，在思维链步骤之间制定计划。
• 完全不使用思维链的AI（“真正的neuralese”）可以随意制定计划，考虑任意数量的情节，而我们永远无法察觉。

所有之前的Transformer模型都属于类别（1）。Astra正在向类别（2）迈进。AI 2027中提到的危险AI属于类别（3），但到目前为止，现实中尚未有人实现这一点。

#### IV. 心理障碍，而非技术障碍

完成上述讨论后，让我们回到最初的问题。Pachocki表示，Astra的循环机制仅比竞争对手多出极少的层数。这是否能让他免于被指控创造了危险的循环AI？

我读到的最相关内容是林川张（Linchuan Zhang）的《分类禁忌远优于阈值禁忌：Neuralese版》。

林川指出：一种针对AI 2027中危险类型Neuralese AI的禁忌正在形成。讨论中的所有人都同意这种禁忌是正确的。唯一的问题是，OpenAI是否违反了这一禁忌。

但禁忌只有在有明确边界区分禁忌领域内与外时才有效。例如，在美国，21岁之前购买酒精是非法的。假设有人在21岁生日前两天购买酒精，警察应该逮捕他吗？显然，这种年龄差距并没有实际意义。我们用年龄作为成熟度的替代指标，而成熟度存在巨大差异，20.99岁和21岁之间几乎没有实质区别。然而，尽管警察有时可能选择忽视这一点，我们仍必须维持这种逮捕行为是合法的假象。为什么？假设我们设定一个具体边界——如果年龄超过20.8岁就不逮捕，那么我们就把明确界限从21岁降到了20.8岁。我们可能再次遇到类似问题：20.799岁的人购买酒精，警察必须决定是否破例。如果我们必须划出一条界线，那不如划在我们已经承诺划出、并告知所有人的地方。

（林奇自己的例子是核武器。在战争中使用核武器存在禁忌。如果有人使用一枚微型核弹，其爆炸威力不超过常规炸弹，从某种意义上说这并不重要，因为其危害与常规炸弹相当。但从另一种意义上说，这非常重要，因为你已经打破了禁忌，现在只剩下更弱、更模糊的禁忌阻止你使用威力巨大的核弹。）

因此，如果我们想对重复（recurrence）设立禁忌，就必须有具体的禁忌。当帕乔基（Pachocki）说"是的，我们确实进行了重复，但只增加了几层，所以其实不重要"时，这类似于酒鬼对警察说"是的，我确实未满21岁，但只差几个月，所以其实不重要"，或者独裁者对联合国说"是的，我确实使用了核武器，但规模非常小"。虽然在现实生活中这些确实不重要，但它们对能否维持禁忌至关重要。

不幸的是，我们目前对是否存在禁忌（或具体禁忌内容）尚未达成共识。一些人认为应该存在关于循环层（looping layers）的禁忌（OpenAI曾违反过这一禁忌），而另一些人则认为这是无中生有，从未存在过这样的禁忌。可能存在一种非正式禁忌，即完全不使用任何推理链的纯神经语言（true neuralese），但这项技术复杂且包含多个动态部件，人们对于禁忌究竟应针对哪个部件尚未达成一致。缺乏这种共识可能导致某些部件从禁忌中溜走。那么我们有哪些选择？

首先，与帕乔基（Pachocki）的观点相反，或许值得设立关于循环（添加"模拟层"）的禁忌，即使不设立关于添加更多"真实层"的禁忌。添加真实层成本高昂且通常不值得，AI公司每年仅将模型真实深度增加约20%；按此速度，可能需要数十年才能达到危险临界点。添加"模拟层"则成本低廉且可同时批量添加数百层，因此更具危险性。因此，或许我们应该放弃"真实层/模拟层等价"的假设，转而坚持认为循环本身始终是禁忌，无论其他人是否在其他地方添加了更多真实层。

其次，公司可以就“真实或模拟”层数的最大数量达成一致，例如设定为1000层。根据上述论证，这可能不会影响真实层数，但会将循环限制在最大尺寸范围内。

第三，研究人员可以明确“真正神经语言”的构成要素，并达成不进行这些操作的共识。这需要一定的概念基础，但将是目前最持久且最接近解决AI 2027所担忧的具体危险技术的方案。

与一些模糊的“禁止超级智能AI”或“禁止递归自我改进”的禁令不同，这些禁忌即使在没有强烈政府行动的情况下也可能持续存在：至少目前来看，突破这些禁忌带来的能力提升似乎较为有限，而其危险性又特别明显，因此即使在“竞赛动态”仍然存在的情况下，也可能通过自愿承诺来维持。

AI公司负责人最近搁置了分歧，同意以各种尚未完全定义的方式“控制前沿进展”。他们的会议可能包含大量讨论议题，但另一项更有用的举措是将这些禁忌正式化，以便我们明确知道要避免的是什么。

如果你对这个话题感兴趣，请阅读Redwood Research的这篇论文，其中更详细地解释了相关概念和技术。

他们并未这样做。尽管曾有一段时期层数增长迅速，但随后速度减缓，通过常规方式向Transformer模型添加更多层数似乎不再带来显著的能力提升。

一位审阅过这篇文章的AI研究员认为Fable的估算“糟糕”，但据我所知目前没有人有更准确的估算，因此我想给出一个大致的数量级。

有一种名为COCONUT的架构可以实现这一点，但效果并不理想。

一个循环Transformer可能在推理过程中拥有足够的处理能力来制定计划，但为什么计划仍然不会出现在推理过程中呢？

在某种意义上，AI会“选择”推理过程中的内容——尚不清楚这是AI的“有意识”选择，还是更类似于人类无意识决定思考内容的方式——但训练激励会影响这一过程，一个被“激励”隐藏推理过程的AI确实可以做到这一点。在层数较少的非循环Transformer中，我们无需担心这个问题，因为它们在没有推理过程的情况下无法正常思考，如果它们试图向监控器“隐藏”计划，实际上也是在隐藏自己，从而无法正常思考。

如果一个循环Transformer在第100个token上制定了计划，却避免将其写入推理过程，它如何在第200个token上记住这个计划？所有Transformer都使用一种称为KV缓存的机制，这使它们能够访问过去版本的思维状态。这些缓存以分层方式存储，使得Transformer的第一层只能读取KV缓存的第一层，依此类推，因此无法作为推理过程的替代方案，AI也无法利用KV缓存在多次前向传递中延续制定计划的尝试。但如果它在第100个token的第356层完全制定了计划，那么它在第200个token的第357层就能记住这个计划。

至少这是目前的理解；请参见上方的Claude Fable估计值。但一些研究人员认为，Astra的能力似乎超出了我们对其架构所了解的预期，这表明其能力可能通过某种特殊手段得到了增强。Pachocki曾表示问题不在于循环结构，但社区在OpenAI未对其技术细节提供更多说明之前，仍将持怀疑态度。

Previous

Next