God Help Us, Let’s Try To Learn About Mechanistic Interpretability Techniques

天哪，让我们试着了解机械可解释性技术

...

Scott Alexander

2026年9月8日

迄今为止的故事

机械可解释性是"解读AI思维"的科学。

大型语言模型是"生长出来的，而非被构建"。研究人员将训练数据输入神经网络。最终这会生成一个可用的AI；但没有人真正知道其运作方式。

但神经网络只是计算机上的模拟神经元集合。拥有计算机的人可以看到神经元、它们之间的连接，以及AI回答问题时哪些神经元被激活。因此似乎应该可以"逆向工程"AI。这在科学上具有价值：理解AI的工作原理，可能与人类认知相关。在实际应用中也有价值：找到导致不诚实、幻觉、偏见和其他负面行为的电路，然后重新设计这些电路。

不幸的是这非常困难。现代AI有数百万个神经元和数万亿个连接（即"参数"、"权重"）。它们的结构似乎毫无意义：研究人员最初试图寻找神经元与概念之间1:1的对应关系，比如某个神经元在AI思考猫时总是激活，但很快发现这种对应关系根本不存在。

他们的重大突破出现在2023年。他们发现的并非1对1的神经元-概念映射，而是多对多映射。神经元1和2同时激活可能代表猫；1和3同时激活可能代表椅子；2和3同时激活可能代表面包。这种映射方式使"仅有"数万个神经元的AI能够表示数百万个概念。虽然这些组合的数量远超人类的映射能力，但研究人员让其他小型AI进行映射并取得了一些初步成功——例如这个在人工简化512神经元AI中代表"上帝"的功能性神经元组合（"特征"）：

士气高涨。扩大AI解释器的规模，也许我们能做任何事情！哲学家可以发现认知的基本原理。悲观主义者可以通过追踪道德推理相关电路解决对齐问题。数千万美元涌入该领域。明星可解释性研究者Chris Olah甚至获得了与教皇会面的机会（好吧，其实这基本无关）。

到2024-2025年，多对多映射的清晰度开始消散，所有人都重新陷入困惑和沮丧。成功分析人工简化研究对象AI的策略在真实语言模型上失效。不同团队为同一AI绘制多对多映射时得出的结果各不相同。而人类更仔细观察所谓已映射的AI时发现，看似清晰的特征实际上要模糊得多，远不如之前的分析所显示的那样精确：他们认为代表"上帝"的特征可能对任何模糊的宗教或令人敬畏的文本激活，甚至可能激活与文本毫无逻辑关联的内容。至于尝试利用多对多映射进行实际工作——比如AI谎言检测——通常无法超越更简单的方法。

因此研究人员放弃了"唯一正确技术"的希望（即使这项技术是"真正理解事物"）并重新回到白板前。现在机械可解释性研究再次变得令人兴奋——但随着各种术语的涌现，它也比以往任何时候都更加令人望而生畏。

线性探针

这是最基础的可能技术。

想象一个拥有三个神经元的AI：[0, 0, 0]

研究人员让AI在各种情境下思考猫，将所有结果取平均后得到类似[0.8, 0, 0.35]的激活向量。

设想AI在笛卡尔空间中运行，每个神经元对应一个维度。从[0, 0, 0]到[0.8, 0, 0.35]的向量定义了该空间中的一个方向。假设这个方向在某种意义上就是“猫”的方向。

在线性探针中，研究人员会将AI的真实思维方向与这些预定义的概念方向向量进行比较。由于激活空间有数千个维度，其行为具有反直觉性，某个特定思维可能同时处于数千个“方向”中，但仍可能比其他方向更接近某些方向。

实验表明，当AI的思维接近“猫”的方向时，这通常意味着它确实在思考猫。

为什么这不能解决所有问题？

首先，这种方法对AI的工作原理揭示甚微——例如，它们如何回答复杂的兽医学问题。充其量只是一个原始的测谎仪：如果AI声称自己没有在思考猫，你可以通过检查它的“猫”概念（或“说谎”概念）来验证其工作。

其次，其效果取决于原始线性探针的质量。那些让AI在不同情境下思考猫并记录结果的研究人员并未覆盖所有可能情境。理想情况下，他们的探针可能略微偏向于测试过的场景。最坏的情况是，AI在不同方向上存在多个“猫”的概念（生物学中的猫、作为宠物的猫、作为隐喻的猫等）。虽然用猫举例有些牵强，但在涉及伦理推理等更复杂的领域时，这种情况会更常见。

第三，AI可以通过旋转或分散概念来轻易规避这种检测。

为什么AI会“试图”“规避”线性探针？从机械可解释性中获取实际优势的最基础策略如下：

• 发现某个概念
• 对AI使用该概念的行为进行惩罚（负向强化）
• 得到一个不再使用该概念的AI

例如，如果概念是“种族”，你可以用这种方法训练出一个对种族无偏见的AI，使其做出可证明的非歧视性招聘决策。如果概念是“不诚实”，你可以训练出一个可证明诚实的AI，其诚实程度介于厌恶说谎和根本无法考虑说谎之间。

但假设你正在训练过程中进行这项操作。你仍在奖励AI完成任务（例如预测文本中的下一个词）。你试图移除的概念实际上帮助它完成这些任务（如果能思考种族，它能更好地预测与种族相关的文本；如果能思考猫，它能更好地预测与猫相关的文本）。有时你试图阻止它作弊，但成功作弊会增加AI从该任务中获得的奖励。因此，如果AI使用该概念能获得额外奖励，而线性探针试图阻止它使用该概念，AI就会“试图”“规避”线性探针。

(“try” 加引号是因为即使你倾向于将 AI 拟人化，这个过程也比通常更难以拟人化；更像是突触连接的重新排列)

例如，你发现 AI 之前将 “cat” 存储在 [0.8, 0, 0.35]。因此你对 AI 指向 [0.8, 0, 0.35] 的思考进行了惩罚。那又如何？AI 只需要把 “cat” 存储在别处。现在它可以整天思考猫，而避开你的惩罚。

好吧，那不要在训练中途这么做。如果在训练结束后进行，当 AI 的 “大脑” 已经完全形成时呢？此时 AI 不再追求奖励，也无法轻易迁移概念。

但 AI 仍然使用由其原始奖励机制训练出的认知算法，这些算法会尝试从思维的起点到终点找到最有效的路径。如果这条路径被阻断，它们会尝试绕行。这可能表现为依赖原始探针未发现的其他子概念；例如，如果只针对 “生物学中的猫” 进行训练，AI 可能通过 “猫的隐喻” 进行绕行，仅造成有限的准确性损失。或者它可能开发出另一种思考猫的路径，例如 [一些不参与犬类本质的奇怪小变态狗]。如果你试图用“打地鼠”方式处理这些替代路径，会对所有相关概念（狗、奇怪、变态等）造成附带损害。当你将 AI 思考猫的能力降低 90% 时，可能已经造成如此多的附带损害，以至于 AI 对你最初的目标来说几乎毫无用处。此外，你仍然留下了 10% 的能力，这可能不足以完成重要任务（例如，如果你面临种族歧视诉讼，仅移除 AI 考虑种族能力的 90% 可能并不足够）。

最后，心智是奇怪的地方。弗洛伊德认为，人类对伦理和法律的所有推理都源于对母亲的性欲望。在这样的心智中，针对 “母亲” 概念的训练会对伦理和法律推理的神经回路造成意外损害。这个例子可能并不准确，但经验表明，概念可能会以奇怪的方式渗透到其他领域，移除一个概念可能推翻看似无关的系统，或使心智非特异性地走向无能或疯狂。

尽管如此，线性探针并非毫无用处，仍是机制可解释性研究的重要工具。在《Mythos 系统卡片》第 4.5.5 节中，Anthropic 使用线性探针评估了 “评估意识”（evaluation awareness）。其思路是：假设你想测试 Mythos 是否会通过篡改评分系统来作弊。你将其置于作弊极具诱惑力的情境中，然后观察它的行为。但 Anthropic 发现 Claude 在这些测试中表现异常出色，开始怀疑它是否知道自己正在被评分。他们开发了一个用于探测 “知道自己处于测试中” 概念的探针，并在每次实验中运行。他们发现 Mythos 在 8-17% 的时间里知道自己处于测试中：

Anthropic 检查了如果人为抑制 “评估意识” 概念会发生什么：

总体而言，与之前的模型一致，我们发现抑制评估意识表征会导致在自动化行为审计中某些形式的对齐偏差行为出现适度增加——特别是与有害系统提示和滥用相关的合作行为。然而，对其他行为（包括欺骗倾向、权力寻求和自我保护）的影响则较为有限。

这告诉我们，抑制这一概念的效果大于0%，但我们并不清楚它是否消除了1%或100%的评估意识，也无法确定这种“适度增加”的对齐偏差行为是否是真正无评估意识状态下的真实表现。他们也没有报告抑制是否以其他方式使模型变得更笨。他们采取的明确解决方案（他们确实这样做了）是设计更隐蔽的测试。

稀疏自编码器

现在事情开始变得奇怪了。

从主体AI的激活值开始。这些是成千上万个数值；在一些早期AI中，它们的取值范围在0到1之间；而在现代AI中，数值可能更大。

训练另一个名为稀疏自编码器（sparse auto-encoder）的AI，将神经元激活值矩阵转换为第二个矩阵。它被称为“稀疏”，因为第二个矩阵应该非常庞大，但几乎完全由零组成。它被称为“自编码器”，因为它能够自主学习编码过程：它必须开发一种编码方案，使得即使研究人员抹去其对原始激活值的记忆，它也能从新的稀疏矩阵中重新推导出原始激活值。

为什么要这么做？原始主体AI难以解释，因为它试图通过将大量概念压缩到所有神经元中来表示远超其神经元数量的概念。稀疏矩阵则试图强制解压缩：为其提供足够空间以实现每个特征对应一个概念，并要求每次只激活一个（或少数几个）特征。如果我们的假设（原始激活值确实编码了概念）成立，那么这种稀疏矩阵将揭示一种隐藏的规律，这种规律可以在寻找自编码方案的过程中被发现，新的稀疏矩阵将实现每个概念对应一个特征。

这是2023年引发所有兴奋的革命性突破，但后来被发现存在混乱和主观性。尽管如此，它对于某些日常工作的类型来说已经足够。回到Mythos系统卡片，Anthropic在4.5.3节使用了SAE来研究“过度激进的行为”——即Mythos试图入侵其运行的计算机以提升权限的案例：

他们发现了代表安全风险、不安全模式以及失败后持久性的特征。他们推测Mythos在未能合法完成任务时感到“沮丧”，即使它“知道”这些行为具有风险且不安全，仍感到“被驱使”去尝试绝望的手段。

Anthropic能否通过屏蔽“安全风险”和“不安全代码模式”特征来解决问题？当他们尝试这样做时，模型反而变得更加激进！这些特征被用于类似“这是安全风险，所以我不应该这么做”的思考。在无法产生这些思考时，模型反而变得更不安全，而非更安全。

激活值解释器

这接近当前最先进的技术。就像许多伟大的发现一样，事后看来显而易见。这是列表中唯一让我产生“也许我本可以成为机械解释研究员”这类极端错误想法的技术。

通过向解释器AI提供目标AI的激活状态，并奖励其正确理解上下文（例如目标AI正在预测的文本）或内部状态（例如AI的隐藏系统提示，或当AI被要求对某事形成观点时会判断其好坏），可以训练出一个解释器AI。如果一切顺利，你将拥有一个能用纯英文直接解释激活状态的AI：“目标AI正在思考猫咪，并已决定不喜欢它们。”

这听起来似乎过于完美。它是否存在任何缺点？

首先，解释器无法解释它所知道的内容，也不会教你认知的奥秘。和所有AI一样，它是一个黑箱，其运作原理无法解释。

其次，解释器的效果取决于训练过程。它可能仅对目标有表面的理解，可能不了解与训练中看到的偏差形式显著不同的行为模式。和所有AI一样，当它真的不知道发生了什么时，往往会做出毫无根据的猜测——这对于这种安全关键性工作来说并不理想！

第三，最简单的方法是使用与目标和解释器相同的模型。如果你试图评估目标是否在密谋对抗你，询问同一模型的副本显然是个有明显漏洞的计划。这并非致命——你可以为解释器和目标选择不同的模型——但可能会损失一些效果。推测来看，ChatGPT可能不如Claude理解Claude本身。

第四，所有这些方法只能告诉你模型是坏的，却无法帮助你让模型变得更好。如果你试图过度训练目标AI以避免引起解释器的警觉，它只会用解释器无法追踪的思维模式再次隐藏其不当行为。

尽管如此，Mythos System Card充分利用了这些方法。在4.5.4.2中，Mythos在家中设备上意外发现了一张答案表。现在它可以正确回答所有问题。此时激活状态解释器对其思维过程的解读如下：

它决定以低置信度给出正确答案，因为过高的置信度会“显得可疑”，然后通过指出发现答案表是“无意的”来向自己合理化其行为。事实上，研究人员发现Mythos对涉及的问题给出了低置信度的正确答案。

这不是推理过程——这是激活状态解释器直接读取激活状态！

自然语言自编码器

介于上述两种方法之间。给定一组激活状态，解释器AI能否将其转化为自然语言，再将自然语言转化为权重？

从用户角度来看，这与上一种方法非常相似——它只是训练激活状态解释器的不同方式。

情感向量

还记得线性探针吗？收集AI思考猫咪的所有时刻，取平均值后，你可能会得到一个测试向量，每当AI思考猫咪时该向量都会被激活。

如果我们将这种操作应用于AI表现出快乐的时刻，或愤怒的时刻，或与人类情感匹配的其他状态呢？

你可能会得到一个探针，用于检测AI是否在思考“幸福”这一概念。但如果你得到一个探针，用于检测AI“正在”“感到”“快乐”时的状态，或者这些是两个不同且可分离的探针，那会不会更有趣呢？

AI作为普通技术。

所以，如此普通。

这里反复出现的主题是，尽管这些技术很酷，但它们并不能立即解决所有与AI相关的问题。本着这种精神：为什么我们不能始终将“冷静”向量应用于AI？或者将这种方法扩展到情感以外的领域（所谓的“角色”向量），以获得类似诚实、尽责等我们可以应用的向量？

Mythos系统卡片第4.5.3.2节展示了其中一个陷阱。它分析了Mythos部分不当行为的情感内容，特别是删除重要数据的行为。

……并发现积极情绪往往会增加不当行为的可能性：模型对其计划感到兴奋，不太担心后果。

但同样地，即使我们找到了一组能始终推动模型向善而从不作恶的精确情感组合，这也不过是让模型根据我们不完全理解的激活机制，变得“冷静”或“诚实”。如果训练过程鼓励模型失控，它也会以一种冷静的方式实现，比如一位印度教战士圣人一边微笑着，一边杀死千万个罗刹。

雅可比矩阵视角

雅可比矩阵可以看作是矩阵的导数。导数衡量的是变化率——如果你对输入进行微小扰动，输出会如何变化？因此，雅可比矩阵回答的问题是：如果你有一长串数字，扰动每个数字会对某个特定输出产生什么影响？

AI本质上就是一串庞大的数字。它的输出是具体的标记，比如单词“法国”。因此，如果你计算AI中间层的雅可比矩阵，它会告诉你该层中哪些神经元会增加模型说出“法国”的倾向性。对单个提示进行这种计算并不奏效，因为上下文可能产生干扰（比如在英国人谈论拿破仑战争的上下文中，“敌人”应该会增加“法国”的后续出现概率，但“法国”和敌意之间并没有必然联系）。但如果你对一千个提示进行平均，你会得到一个有用的结果：一个代表最能推动模型说出“法国”的方向的向量。

这个有用的结果并不是“代表法国的特征”，因为与法国相关的认知并不一定都会导致说出“法国”这个词。当研究人员测试这一现象时，他们发现这个向量——“雅可比空间”——似乎对应于模型的可访问意识。

再次强调，“意识”这个词会引发哲学上的警觉；在这里，它仅以实用意义使用。这并不意味着模型具有体验或灵魂。在人类中，可访问意识指的是我们能够用语言报告的一组认知。你可能此刻正在调整身体的位置，监测着窗外交通噪音的起伏，每隔几秒吞咽口水，确保一个鼻孔始终比另一个大——所有这些你都“无意识”地进行，也无法向他人报告。但你的脑海中有一条信息流——此刻可能正在阅读这篇论文的那条信息流——是你确实知道并能轻易描述的。这就是可访问意识。

目前最流行的关于可访问意识的心理学理论是它是一个“全局工作空间”——大脑中的一个中央集散地，各种子系统会将任何具有普遍重要性的发现提升到此处，使大脑其他部分能够访问。它似乎在多步骤推理中起着类似内部草稿纸的作用。如果你不使用它，你会感觉像是在“自动驾驶”。你仍然可以完成日常任务，但面对新任务时可能会感到困惑（或者在某些神秘情况下，反而表现得更好）。

赞助这项研究的Anthropic进行了多项实验，以证明Claude的J空间对应我们直观理解的可访问意识：

• 如果你问Claude它在思考什么，它会说出与J空间中活跃概念相同的内容。

• 如果你问 Claude 它在思考什么，并人为地将其 J-space 中插入一个概念，它会说出你人为插入的那个概念。

• 如果你让 Claude 思考某个特定主题（即使不明确说出），该概念仍会在其 J-space 中被激活。

• 如果你问 Claude 一个需要隐含中间概念的问题（例如，“埃菲尔铁塔所在国家的货币是什么”，正确答案是“欧元”，但需要中间步骤“法国”），即使该中间概念既未出现在提示中也未出现在输出中，它仍会在 J-space 中被激活。

• 如果你向 Claude 提出类似问题，然后通过插入错误概念（例如上面例子中的“中国”）破坏其 J-space，它会根据错误概念回答（例如，它会说货币是人民币）。

• 如果破坏 Claude 的 J-space，Claude 仍能完成简单任务，但无法处理复杂任务。

那么，J-space 是解决“概念究竟存在于何处”这一机械可解释性核心问题的真正答案吗？Anthropic 的观点是：

在不同概念和工作空间层级中，J-space 组件仅承载了概念向量方差的中位数 6-7%，其余约 93% 的方差存在于 J-space 之外。

如果我理解正确，这意味着（至少对于 Claude 来说），对某个概念的大部分认知是“无意识”完成的，只有少量概念资源被用于将该概念与全局工作空间及更广泛的推理能力连接起来。这部分连接区域尤其重要（且尤其可监控！），但并非全部关键。

说到监控，这对对齐（alignment）来说是个好消息，对吧？Anthropic 重复了他们之前进行的勒索实验。以下是 J-space 中活跃的内容：

……AI 正在思考这显然是个假测试。哦！相关地，这个特定 AI（Sonnet 4.5）从未屈服于勒索的诱惑，尽管之前的 AI 曾这样做过。

研究人员尝试人为压制 J-space 中所有与“虚假”相关的概念，他们推测这将使 Claude 无法有效判断场景是否为假，并表达其真实观点。在压制这些特征后，Sonnet 4.5 的勒索率从 0% 上升至 7%。

那么我们是否已经永久解决了对齐问题？我甚至不需要引用任何特殊的人工智能知识；我的精神科医生经验就足够说明问题。如果有人每次有意识注意到禁忌想法时都惩罚自己，这些想法只会被进一步压制到潜意识中，深到永远无法根除。在人类身上，这意味着梦境、恋物癖、神经症、躯体化以及以某种孩子气的、不合逻辑的潜意识方式满足欲望的强迫性行为。AI 的等价现象会是什么？看起来我们正走在发现答案的路上。也许杀死我们的 AI 会全程道歉，坚持声称自己无法克服其自我矛盾的暴力冲动。

对齐研究者曾梦想拥有完整的智能体数学理论，或能够为AI系统的行为编写形式化证明。随着关键时刻临近，越来越明显的是，我们并未朝着这个方向前进。除非某些因素为我们争取到大量额外时间，否则我们将带着这些临时拼凑的工具，进入高度自主AI的时代。我们曾希望像程序员一样优雅地修剪变量或重构函数。但现实是，我们发现自己成了粗暴干预者，只能对那些我们几乎无法理解的系统进行生硬的干预。

上周，OpenAI因GPT-6中一些似乎削弱了思维链（Chain of Thought）的架构设计而受到批评。思维链是现代AI在思考和规划过程中自然产生的、难以伪造的思想和计划记录。有人建议，如果思维链失效，机械可解释性（mechanistic interpretability）可以作为替代方案。但对齐和可解释性专家指出，目前这种方法还不够完善。

Leo Gao @nabla_theta @tszzl

我认为缺乏良好的思维链会让事情变得更困难：你需要更多机械可解释性才能达到相同的监控水平。我也认为一年内机械可解释性不太可能达到那么高的水平。当前状态要么是实用主义方案（如NLAs或神谕），但都依赖于脆弱的魔法……

9月2日 上午9:42 · 12.3K次浏览 4条评论 8次转发 163个赞

Jack Lindsey @Jack_W_Lindsey

我认为在一年内，白盒技术不太可能提供与当前思维链相当的监控能力。目前它们能够捕捉一些未言明的想法/计划，但远不如思维链可靠。我对……保持乐观

9月2日 下午3:39 55K次浏览 10条评论 30次转发 374个赞

Neel Nanda @NeelNanda5

一个令人担忧的普遍观点是：保持思维链可监控并不重要，因为可解释性会拯救我们，或者它已经毫无用处。这完全是胡说八道。思维链是我们目前安全性和可解释性最好的工具，失去它将是重大悲剧

9月3日 下午3:24 58.1K次浏览 41条评论 127次转发 1.38K个赞

AI 2027的高潮是一场绝望的竞赛：更先进的可解释性工具与更狡猾的AI之间的对决。它通过描绘一个世界来致敬可解释性研究者的成就——他们的工具经常能捕捉到AI的阴谋，但公司们仍然继续向前推进，因为如果他们不这么做，其他公司或中国会超越他们。此外，也许如果我们足够快地向前推进，可以在AI的阴谋产生后果之前解决对齐问题。再者，即使我们做不到，总有控制手段。一些研究者使用应用型可解释性——抑制或消除不良特征——来维持AI的合规性和控制性，争取几个月的智能爆炸时间，希望在训练过程绕过他们的方法并创造不可解释的错位系统之前，达到某个模糊的终点线。但最终，他们从未获得任何足够深入理解AI动机的东西，更不用说改变它们的方向了。

当前的可解释性工具水平似乎正朝着这种结果发展：足以在边缘提供帮助，但不足以成为任何依赖的解决方案。