Neural networks are clean

神经网络本身已经清晰

简要说明

我认为关于神经网络本质的前景可能比我们想象的要乐观得多。

在研究图像和语言模型中的神经元与电路数月后，我逐渐意识到网络自身的机制就是其可解释的构建模块，而机械可解释性（mechanistic interpretability）的前景可能远比我之前担忧的要好。过去让整个领域（包括我自己）确信网络以任意方式打包概念的多义性（polysemanticity）和叠加（superposition）的经典证据，实际上被误解了。那些看似任意打包的现象，实际上主要是我称之为“递归泛化”（recursive generalization）的一种模式，这种模式远没有那么令人担忧。这意味着我们可以直接研究网络本身，而无需先进行解谜。神经网络本身已经清晰。

至少有两种方法可以研究机械可解释性。第一种是直接对网络本身进行快速常规科学分析：观察网络中的神经元和电路，研究它们之间的关系，追踪数据如何在其中流动，并通过智能体规模的实验来验证解释。第二种方法则从假设特征列表出发，试图提取所有特征，设计越来越复杂的重建目标，通常会忽略原始网络。

该领域最初采用第一种方法，但后来因为神经网络似乎像一团乱麻而转向第二种方法。我们曾有经典的多义神经元案例，这类神经元被广泛认为具有多个不相关功能或难以理解。例如，一个图像模型中的著名案例，某个神经元同时对猫脸和汽车正面都有响应。而早期研究的模型生物InceptionV1的最后一层似乎充满了任意混合的特征，以至于难以研究：几乎没有任何神经元是易于解释的。

多义性的主流解释是叠加（superposition）。这一理论提出了一种新的学习原理：当神经网络的神经元数量不足时，它会停止将相关事物分组，转而开始将不相关事物混合在一起，仅仅因为它们不会相互干扰。结果就像一个结：网络可能以许多几乎同样有效的方式进行折叠，因此一个神经元所组合的事物几乎无法提供任何信息。在研究之前，必须先解开这个结。实际上这意味着需要训练第二个模型（如稀疏自编码器）来近似网络解折叠后的状态，并研究这个模型。如果网络真的像一团结，可能别无选择。

一个主要结论是，超位置理论并不是对InceptionV1的正确解释。架构缺陷导致深层神经元出现溢出问题，而薄弱的可解释性工具放大了这些问题，使深层神经元看起来毫无关联。此后，为帮助深层神经元更好地学习而设计的架构改进，反而意外地提升了它们的可解释性。我们最初研究InceptionV1时，发现其最后一层几乎没有任何可解释的神经元。但通过这些常规改进（不改变模型规模或训练数据），该层99-100%的神经元都变得容易解释，整个模型也具有广泛的可读性。这是第一个我认为基本理解的非平凡神经网络，您可以通过此链接浏览。我在300倍规模范围内训练了该模型的不同版本，每个规模都具有广泛的可读性。空间更小时，网络不会将无关概念强行组合；神经元仅覆盖更粗粒度的概念（如一个汽车神经元涵盖多种车型）。空间更大时，该神经元会分化为多个具体车型。因此问题并非源于第二个学习原理的存在，而是第一个学习原理的普通失效，且很容易修复。

视觉领域中关于多义性和超位置的典型例子本身也是错误的。2019年，我和Chris Olah在Zoom In [4] Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. References ↓ 中发现了最初被描述为超位置现象的电路。该电路显示汽车特征似乎扩散到一组无关的狗神经元中。这是唯一一个我们展示过的案例，也是我见过的唯一案例。我们将其解读为网络将汽车特征隐藏在高维空间中，供下游神经元读取。但没有任何神经元能读取这种组合。它并未隐藏任何信息，而是普通的泛化和组合。据我所知，没有人发表过具有相同结构的第二个电路。

现代语言模型的可解释性远超一般认知。Anthropic在《Towards Monosemanticity》[10] Towards Monosemanticity: Decomposing Language Models With Dictionary Learning Bricken, T., Templeton, A., Batson, J., et al., 2023. Transformer Circuits Thread. References ↓ (2023) 中研究了一个小型单层模型，发现中位神经元在14分量表上得分为0，意味着评分者无法形成任何假设。我参与的OpenAI自动化可解释性项目[8] Language Models Can Explain Neurons in Language Models Bills, S., Cammarata, N., Mossing, D., et al., 2023. OpenAI. References ↓ (2023) 发现，按最宽松标准衡量，约1.7%的神经元具有可解释性。

借助更先进的工具和现代模型，情况看起来截然不同。在对Qwen3-32B的初步审计中，我们估计约90%的神经元极点具有一个主要功能，通常伴随少量相关分支；约7%的神经元具有两个相关功能；仅约2-4%的功能尚未明确。需要说明的是，单功能神经元的比例取决于如何设定弱激活计数的阈值、子电路的深度和密度，以及如何定义“一件事”。弱激活的处理范围在此过程中起关键作用。下文有专门章节描述弱激活现象，它往往比神经元是否判断可读内容更显著地增加“相关事物”的数量。例如，特朗普神经元的弱激活会引入MAGA帽子和与他相关的人物；泰坦尼克号神经元的弱激活则会引入更普遍的航行故事，或蒸汽机和其他时代技术。此外，是否关注激活百分位数还是最强激活占比也存在争议。总体而言，我认为应信任神经元所学习的内容，包括其自然稀疏性和激活范围等。我过去对此并不完全相信！我倾向于不对所有神经元进行标准化处理。我认为如今百分位数更常见，因为更容易理解。但反过来也成立，例如观察泰坦尼克号神经元的“无关功能”时，通常会检测到“船”这个词。工具未能发现这一点，因为它在判断上下文时仅向后追溯。当我们深入分析这些“无关功能”时，几乎总是这种类型。构建一个不完美的工具很容易。总体而言，我认为得出单一评分并不那么重要。但当这个指标被移除时，早期评审者感到无所适从，甚至没有一个粗略的数字作为参考。在我仔细分析的样本中，仅考虑强激活时，非任意混合的比例接近97%，但这些样本规模相对较小。总体而言，将所有内容浓缩为一个“纯净度”评分，应视为对神经网络所处状态的粗略指示，而非直接优化或过度依赖的精确指标。本文的很多内容旨在减少维度压缩，根据神经元和电路的模式、深度、作用等差异进行差异化处理。尽管如此，一个粗略的数字仍可能具有实用价值。密集模型和专家混合模型在整体表现上似乎相似。我们在参数高达万亿级的模型（如Kimi K3）中发现了类似结果，相关论文将对此进行更详细阐述。这些百分比将高维图景压缩为几个数字，具体数值取决于如何设定“一件事”的阈值——例如是否将两种语言中紧密相关的习语合并计算。我认为可解释性研究并不特别依赖这个问题。相比之下，为什么事物共享同一个神经元才是更重要的问题。

剩余的多义性现象大部分似乎源于我称之为“递归泛化”的模式。这很简单：当神经元生长时，会像树枝长出子枝一样产生分支。例如，某个检测到“iy”的神经元后来扩展为检测“diy”，再进一步扩展为检测“do it yourself”，而后者实际上并不包含“iy”这个子串。这个概念最早出现在我参与撰写的一篇论文《Multimodal Neurons in Artificial Neural Networks》[3]中，该论文由Goh, G., Cammarata, N., Voss, C.等人于2021年发表在Distill期刊。当时我尚未观察神经元在训练过程中的生长情况。如今通过更便捷的观察方式，我发现这种模式在所有场景中都成立。即使是最初的InceptionV1模型，其结构也并未出现纠缠现象。当我重新训练其原始架构（该架构仍会产生混乱的深层结构），并追踪那些最难理解的神经元时，发现它们实际上只是在局部区域扩展为合理且相邻的区域。

关于多义性现象，我提出了两种解释。某种程度上它们互为对立：泛化会将相似事物归为一类，而叠加会将无关事物混为一类。学界曾普遍支持叠加理论，直到最近我也持相同观点。但现在我认为递归泛化才是正确的解释。最终只剩下一种学习原则——泛化本身。但泛化并非简单的线性过程，而是分形结构。这反而更令人安心：从归类方式中可以学到规律，而叠加中的两个独立项则无法提供任何信息。由于泛化本身具有分形特性，我们的解释也可以采用分层方式：先从基础解释入手，当需要深入理解时再进行局部聚焦。从这个角度看，只要我们足够细致地观察，几乎整个网络都是可解释的，尤其是当我们关注其在训练过程中的生长方式时。

为什么之前的认知存在如此大的偏差？我认为是多个普通问题叠加导致的。2023年的解释模型无法完成假设与验证的循环；工具和评估指标薄弱，奖励的是能模拟激活状态的解释而非准确的解释，而这些解释往往相互矛盾；没有人知道语言神经元模式的预期形态，人们普遍寻找错误类型的线索；大多数研究使用小型或简化的模型。从某种意义上说，这些模型确实空间受限，这使得叠加成为自然的解释方向。但空间受限的网络并不会改变学习原则，其神经元只是变得更宽泛，就像小型视觉模型中的情况。宽泛的神经元一旦知道如何观察，通常很容易分解。缺乏这种知识且工具原始时，它们看起来就像任意混合的组合。

可解释性正呈现出令人惊讶的势头：就像拼图或填字游戏一样，任何获得的理解都会开始约束整个系统。起初，你只关注单个神经元。如果你无法理解它，其他几乎没什么帮助：电路图和归因图只能用你尚未理解的其他神经元来解释这个神经元。这可能让入门变得困难。但一旦地图开始填充，情况却出人意料地顺利。如果你不完全理解某个神经元的功能，可以研究它连接的节点、围绕它的生态系统，以及在专家混合模型中其专家专门负责的领域。就像拼图逐渐完整一样，每个碎片都包含大量线索，且结构清晰，便于进行实验验证。因此，几乎空白或基本填满的状态并不令人意外；它们是自然的锚点。

设想一个追踪"当廉价购买比昂贵替代方案更有效时产生的正义感"的神经元。追踪这种感觉或社会线索的神经元是我们发现的最常见类型之一。想象在没有任何语言神经元模式知识、也没有可用电路图的情况下发现这个神经元，因为周围神经元大多尚未被解释。大多数人类和代理者都期望神经元通过检测名词来激活，但它们实际上很少这样做。观察这个神经元最强烈的激活位置，你会看到一堆看似无关的逗号。

现在设想地图已基本填满。你已知许多神经元检测微妙的情感或社会情境，且它们通常不通过承载情感的词语激活，而是通过标点符号（如逗号）激活，这些标点符号标志着模型总结句子含义的位置，或在情感相关词语前的词语，这些词语对预测后续内容至关重要。因此你会阅读周围的句子，并检查其引导效应（提升该神经元时模型会写什么），这些结果高度吻合。你向上追溯其构建方式，向下观察其功能，两者都一致。你检查其负极（强烈负向激活的因素），发现是同一线索的微妙变体，或是社会情境结束的时刻。你可以进行特定测试，例如检查它对哪些商店品牌有反应。任何这些测试都可能推翻现有解释，但它们却始终指向同一位置。理解这个神经元会强化更广泛的模式：在数千个微妙情感和社交情境检测器之后，你开始知道下一个会是什么，这也是地图越填越快的部分原因。

这种机制也适用于工具本身。当你只能看到网络的2%时，无法判断工具哪里出了问题；当你能看见大部分网络时，未解释的部分会直接指向问题所在。正是这样，我和一些同事发现了SwiGLU神经元中一个双否定机制，据我们所知，此前无人注意到，而混合多个神经元的分解方法很可能会掩盖这个发现。

现代神经网络的坏消息是它们规模庞大。好消息是这种庞大性本身有帮助：随着地图逐渐填满，每个解释都会受到周围所有内容的严格约束，而更大的模型会学习到更狭窄的神经元，这些神经元本身更容易被识别。

在这一意义上，理解整个网络可能比仅仅理解我们最关心的部分更容易。首先，在深入研究神经网络之前，很难知道如何像神经网络那样思考。例如，“欺骗”是一个有用的初始框架，但构成模型欺骗行为的构建模块可能具有与对齐相关的微观结构，这些结构在不深入观察的情况下将难以了解。其次，针对一小部分机制进行研究，就像在一张空白的填字游戏纸上只专注于其中一行。这虽然可以完成，可能有效，但没有交叉线索的情况下，很难判断自己是否正确。也许解决整个问题——或者至少解决这些机制所连接的网络更广泛部分——会更容易。

当我将这一过程应用于现代卷积网络时，它基本上是成功的。智能体可以绘制神经元和电路图，构建可探索的显微镜并进行探索，彻底测试解释，并追踪数十万个归因图。从未出现过快速常规科学崩溃的时刻。现在我感觉自己基本上理解了这些模型，至少已经知道从哪里开始提问；最终，填字游戏的空白处被逐渐填满。到目前为止，这种方法在语言模型中也有效，参数规模达到数万亿。这些模型由于规模庞大尚未完全解决，但我对扩展这一过程持乐观态度。

所有这些都让我重新燃起了一个旧有的希望：通过研究神经网络的机制和机制间流动的数据，直接理解神经网络，而无需首先尝试修复或解开它。综合来看，这一论点包含四个步骤：

• 网络使用一个学习原则，而非两个（如果并非处处适用，至少在研究层面已足够接近），因此没有阻碍我们开始常规科学探索的障碍。
• 借助现代模型和工具，这种科学探索的效果远超大多数人的预期。
• 理解具有复合性，随着地图逐渐完善，理解会变得更容易。至少，网络自身的机制应该成为工具箱的一部分。
• 高度推测性：这可能是我们所需的大部分内容，可解释性可能比我们设想的更容易实现，甚至可能在短期内取得突破。

这正是深度学习的一般模式：在荒谬规模下简单的方案胜过精巧的设计。Rich Sutton将其称为“苦涩的教训”[22] The Bitter Lesson Sutton, R., 2019. Incomplete Ideas. References ↓ . 可能可解释性领域也存在类似的苦涩教训：扩展常规调查胜过设计精巧的新分解方法。

一篇技术配套论文将更详细地描述语言模型神经元实验，例如我们对现代非线性函数不同区域的发现，以及不同深度下出现的电路模式类型。本文仅对许多领域进行了简要提及，并对所有线索可能指向的方向进行了推测。

Cars and Animals

最著名的多义神经元是 InceptionV1 中的 4e:55，它看起来像是猫和汽车的任意混合物。这一现象在多篇领域内广泛阅读的论文中被引用为证据，表明神经元可能不是合适的研究单位，例如 2017 年的《特征可视化》（Feature Visualization [1] Feature Visualization Olah, C., Mordvintsev, A. and Schubert, L., 2017. Distill. References ↓）和 2020 年的《Zoom In》（Zoom In: An Introduction to Circuits [4] Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. References ↓）。在《Zoom In》（我参与撰写的论文）中，我们明确指出它“并不是对汽车和猫脸的某种共同特征作出反应”。在《多模态神经元》（Multimodal Neurons）中，我们曾非常接近这一结论。我们曾假设神经元可能对某种共享特征作出反应，“也许猫的眼睛和汽车的车灯看起来相似”，但随后通过特征可视化的胡须和铬金属判断，认为它“确实是 OR（猫，汽车）”。我们寻找共享形状是正确的，但我认为我们低估了泛化能力的范围。共享特征其实是字母 V。我认为胡须误导了我们，因为泛化发生在高层模式内部。V 神经元确实接收了猫的电路信息，而特征可视化的任务是提高激活值，因此一旦找到猫的路径，它就会添加该路径带来的所有信息。胡须只是随波逐流，即使神经元“并不想要”它们。下游的汽车识别器确实会通过 V 神经元接收到一些猫的信号，但这种信号几乎无法到达输出层：一个猫探测器单独激活几乎毫无作用，因为许多探测器协同工作，因此网络无需负权重来抵消它。要看到共享模式，必须可视化神经元输入的共同特征，而不是神经元本身。

在观察了数月清晰的神经元后，我开始怀疑我们是否误解了一些早期突出的多义性和叠加现象的例子。典型的多义神经元似乎显然是需要检查的地方，所以我打开了我之前见过数百次的猫和汽车图像网格，并做了一件我从未做过的事：我花了几秒钟思考这可能是什么。几乎立刻就显而易见了：它不是猫和汽车神经元，而是 V 形神经元。

我查看了它的电路连接：V 形火焰、消防船的 V 形水柱、狐狸的 V 形面部。我查看了它的负极：一个 O，圆润的形状与 V 的尖端相对应。为什么猫和汽车的任意混合物需要如此强烈地连接到火焰？

inputs

4d:493

狐狸鼻尖

4d:477

狼脸

4d:201

货车前部

4e:55

尖端

→

通用

圆润

读者

5a:94

火焰

5a:352

郊狼脸

5a:317

马提尼酒杯

使其成为火焰

• 狗

• 狐狸

• 猫

• 汽车

• 台球桌

• 火车

将其推向负极

• 蜗牛

• 高尔夫球

• 网球

• 时钟

上方是其最强输入和读者（线宽表示强度）以及通用渲染。下方是它在每张照片中看到的内容：尖锐物体激活它，圆润物体将其推向负极，无论标签如何。显示完整照片

然后我去了2019年首次发现的典型叠加电路3。当时我在构建第一个电路界面时发现了它，该界面仅具备特征可视化功能和连接神经元的权重。我带着这个现象去问Chris Olah，问他为什么汽车会以这种方式进入这些狗的图像中。我们得出结论认为这一定是一种折叠现象，并将其称为叠加。这个解释虽然直观，但并没有促使我们深入研究工具，而这些工具本可以揭示特征可视化奖励黑客等其他现象。将V神经元和这个电路置于高维空间中，当时看起来是一个合理的解释。

Zoom In [4] Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. References ↓

这是V神经元的两个主要例子，说明其对神经元的图像描述可能过于理想化。几乎每个神经元如果认真观察都能被理解。

该电路似乎显示汽车进入了一群不相关的狗，仿佛这些狗是一种高维存储空间，汽车可以在需要时从中恢复。

但事实并非如此。汽车和狗之所以被放在一起，是因为它们共享相同的姿态。InceptionV1模型中拥有超过一百个这样的通用姿态神经元，每个神经元都能独立检测汽车、狗和其他物体之间共享的姿态。据我所知，此前没有人注意到这些神经元。后续的层继续在这些神经元基础上构建，直到模型的最后。汽车并没有被存储在隐秘的位置，也没有任何东西直接读取这种组合。相反，模型持续分化出专门处理汽车的神经元和更精细的姿态检测。

部分原因是我们不了解通用姿态神经元，部分原因是我们用于渲染图像图标的技术——特征可视化——在深层网络中容易被奖励黑客攻击。该技术的目的是找到最大化神经元激活的图像，但实现方式是通过梯度下降，而梯度下降会选择最容易的路径。在InceptionV1中，这种路径往往指向狗。InceptionV1的训练数据中包含大量狗图像，且存在大量狗神经元，早期优化过程会陷入这些神经元并无法恢复。如果你稍微偏向于顶部图像自然采用的路径，大多数图像都是汽车，有些则同时包含狗和汽车，因为它们共享姿态。

我们的误解

任意存储位置

真实情况

仅汽车

共享汽车和狗的姿态

我们曾认为汽车被隐藏在狗神经元中并在后续被读取，但实际上是特征可视化方式有误。通过汽车视角可视化时，其中两个是汽车神经元，另外两个共享汽车和狗的姿态。

人们可能倾向于认为这种泛化是错误的，假设狗和汽车只在一起是因为空间不足。也许它"真正想要"的是独立的狗姿态神经元和汽车姿态神经元，更大的模型拥有更多空间后会将它们分开。确实，更大的模型通常会有更狭窄的神经元，但当网络规模扩大时，它们可能以违反直觉的方式实现这一点。

DINOv2 [12] DINOv2: Learning Robust Visual Features without Supervision Oquab, M., Darcet, T., Moutakanni, T., et al., 2023. arXiv:2304.07193. References ↓ 的规模是其他模型的十倍以上，架构也更新了十年，但其中许多神经元仍然具有泛化性。我在研究过的所有视觉模型中都观察到这种现象，无论模型大小如何。

DINOv2

12× InceptionV1

ConvNeXt large

4× InceptionV1

ConvNeXt medium

1× InceptionV1

ConvNeXt small

1/75× InceptionV1

相同的神经元在DINOv2和我们的大、中型ConvNeXt中都存在：根据物体面对摄像头的方式对狗和车辆进行分组。我们最小的模型仅包含一个粗糙的版本，将汽车和狗归为一类但不按姿态区分。

人类和自动解释器似乎都强烈倾向于将神经元描述为名词组（如猫和汽车）的检测器，而非共享模式（如字母V）。虽然某些神经元确实对名词组有响应，但根据我的经验，更常见的是共享模式，这种神经元更适合被理解为动词而非名词。它的作用不是命名输入内容，而是为下游神经元提供可区分的特征：它在正负极区分两种微妙模式（V与O），并据此将激活流导向不同神经元。

通过提问"如果完全不能使用名词组，我该如何向他人描述这个神经元？"，我经常能突破对神经元的理解。通常，共享模式会立即显现，且很容易在更多名词组（如V型的子弹列车、台球桌）上验证。我怀疑这是中层神经元误归因多义性的最大来源。我看到的许多将神经元称为多义的解释，看起来更像是用名词列表描述的单一模式。

我们应将具有两三个含义的神经元视为一个包含几个分组含义的神经元。这种分组对网络来说可能不是问题：这些含义聚集在一起是因为从网络角度看它们相似。这种分组揭示了网络的思考方式，追踪这种模式可能会发现我们未曾意识到的泛化（如这里的猫和汽车）。通常，额外含义在仔细检查后会消失，被证明是次要且很少激活的。最后，一些看似有意义的解释只是工具缺陷所致，本文就包含多个例子：SwiGLU的双重否定机制、未读显著性旋钮使残差流难以可视化、以及我们刚看到的特征可视化奖励黑客行为。保持原始神经元的完整性能让这些错误保持可见，从而继续进行错误修正。如果我们用优化方法获得更整洁的列表，可能会丢失许多这些线索。

显微镜误差的历史

在我看来，可解释性研究的故事很大程度上是发现显微镜下观察到的内容比我们想象的更好。显微镜本身只是调校不当，而需要调校的往往非常微妙。

现代神经网络可解释性可能始于特征可视化，它会生成一张合成图像，展示某个神经元最响应的内容：那些著名的迷幻图案。起初这些图像看起来并不理想。你可能会合理地得出结论：神经元确实学到了一些东西，但并不是特别清晰的内容。后来发现这种方法缺少变换鲁棒性。一旦研究人员加入这一特性，同样的神经元便呈现出清晰的特征。

但这只能带你深入模型到一定程度。接近末尾时，特征可视化又开始失效，原因有两个：我们之前在汽车电路中看到的奖励黑客现象，以及不完全正确的正则化设置。修复它并不需要复杂的方法。只需对合理设置进行几个细微调整，我们就能更深入地观察网络。同样的神经元，更清晰的显微镜。

2009风格

2017

2026

最强照片

中间层

晚期层

同一组InceptionV1神经元，旁边是它们的最强照片。通过细微的正则化调整，首先显现出中间层神经元，随后是晚期层神经元。

但问题不仅在于显微镜。模型本身也需要调整。InceptionV1是该领域的早期模型生物，在晚期层完全不可解释。有估计称："据我所知，InceptionV1最终层几乎没有任何可解释的神经元"，这与我自己的记忆非常接近，我可能当时会说大约5%。它们看起来的样子如下。

特征可视化

数据集示例

通过优化视角和自然图像展示的晚期层InceptionV1神经元。

据我所知，最主流的解释是：需要表示的高层特征数量远超神经元和参数的数量，因此网络开始任意地打包那些本不该组合在一起的特征，因为它们不会发生冲突。早期层是单语义的，因为需要表示的早期层特征数量较少。

但这个解释并不正确。这里有一个参数数量和数据集相同、但采用残差连接、LayerNorm和其他改进的现代卷积网络。最后一层非常清晰。

7.06M · parameter-matched

28.6M

‹

瓢虫

梗犬

鸭嘴兽

牛奶罐

黄绿相间

祭坛

南瓜

鳄鱼

宏伟立面

狨猴

录音机

兔子

疣猪

网翅目昆虫

腐木菌

半履带车

贵宾犬

双体船

卷曲的角

›

瓢虫 · 神经元127

悬停查看 · 点击收藏

发布

打开神经元 ↗

叶甲虫

每个神经元从50,000张图像中选出的20个最强响应，按顺序排列。标签标记了来自其他类别的图像。

因此需要两个条件。首先，神经网络需要良好学习，使用由专注于该目标且对可解释性毫无兴趣的人设计的架构。残差流就是一个例子：它被引入是为了帮助学习更深的神经网络，同时似乎也有助于深层的概念清晰性，这可能相关。其次，我们需要足够强大的工具来清晰地观察它们。

InceptionV1的最后一层是神经网络几乎本质上不可解释性的主要证据之一，因为它们的学习方式会混合不相关的元素。替换神经元似乎是唯一的选择。用当时工具评估时，我认为其可解释性约为5%，其他人则认为接近0%。随着更好的可解释性工具（固定特征可视化、归因可视化方法等）出现，同样的网络可解释性提升至约50%。这些都是基于2014年的模型，其检查点和训练细节已随时间丢失。用更现代的正则化方法重新训练相同架构时，可解释性可达约70%。在相同规模的ConvNeXt模型中，可解释性约为99%。它们在这里可以被探索。

递归泛化

我们已经证明最后一层是可以修复的。但修复之前它在做什么？即使在架构改进之前，它也不是任意地组合事物。当我们重新训练模型并观察神经元形成时，它最初从黄色花朵开始，照片中有时包含狗。然后它沿着这些照片的每个方面扩展：朝向其他类型的自然景象、朝向绿色物体如球体，以及朝向没有花朵的狗。我观察到的每个神经元都表现出这种模式。改进后的架构显示相同的模式，但程度要小得多。

每行后方的灰色条带表示该神经元最强图像的占比。

InceptionV1和ConvNeXt中的两个神经元，使用相同数据训练，都起始于油菜花田。它们都早期关注球体和水果；ConvNeXt在关注这些后会停留在田地中，而InceptionV1则继续扩展，进入狗和西兰花，直到田地几乎消失。

我们称这种现象为递归泛化：神经元沿着多个维度进行泛化，通常首先沿着一个维度扩展，然后以容易局部追踪的方式向外扩展，但最终阻止其成为"单义的"。

例如，一个语言模型的神经元会对"iy"做出反应，包括在"宫崎骏"中，然后对"diy"做出反应，最后对"do it yourself"做出反应，而这个词组中已经完全不含"iy"。

来源：/Users/nick/code/superposition-toys/figures/recursive_generalization.html（已移除页面外壳和暗色模式覆盖）

递归泛化。一个"iy"神经元向多个方向扩展。从"diy"延伸到"do it yourself"，这个词组中完全不含"iy"。概念示意图。重播 ↻

在图像和语言模型中到处都能看到这种现象。例如，一个地质学神经元泛化到Cesium（一个地质学JavaScript库）。

通常发生的情况非常明显，以至于很难判断这是否属于正常泛化。例如，一个敌对神经元会对一首关于敌人的俄罗斯诗作出反应。有时情况不太明显但仍然合理。一个Srinivasen神经元也会对UniProt蛋白质数据库产生轻微反应。该项目有多个与Srinivasen相关的关联，但很难确定确切关系。

前8次激活

• 字符串是一个标量字符串或1元素字符串数组，然后STR S PLIT返回包含72的数组

• 确定0到9值的平均值：↵ SP AWN ， ’ test _pipe ’，UNIT 62

• 设置此关键字使"取消"按钮成为对话框的默认选择。默认选择 61

• 阶段，↵ 模型实验场景网格原语，↵ } from "../../../ Source /C esium .js "；↵ ↵ describe (" Scene 59

• K REE P -丰富岩石在地壳基部的残留物，由原始结晶形成 54

• 高地比北方低地更古老，因为高地表面可见的撞击坑数量更多，覆盖面积达54

• 个撞击坑。这些震撼的影像拍摄于2054年12月14日

• 在夜空中，很容易看出被称为54

按路线分组

前100名占比

• 月球和火星地壳44%通过L31火星，行星推动高地靠近暗面，这里也是太阳系中最大最古老的撞击特征之一——月球背面富含KREEP的岩石基底，这些岩石是地壳最初结晶形成的

• 月球任务42%通过L28月球，月球远侧撞击坑地壳。但燃料即将耗尽时，NASA决定让它们飞向月球附近的一座山脉，使月球勘测轨道器相机（LROC）现在

• 古老撞击，火星6%通过L30其他行星生命推动平原盆地火星存在。 ↵ “34亿年前一颗大型陨石引发了第一波海啸） ↵ 换句话说，由于巨大的HELLAS撞击产生的内部压力积累相当可观

• 铯和IDL代码8%通过L6像铯这样的名称推动。js对象软件和降水率值，铯JS可以据此生成 ↵ 点原始对象。因为某些颜色数量，一旦初始化后，必须先退出IDL才能更改。 ↵ 颜色映射定义

更多信息

月球和火星地壳

高地、近侧和远侧、南极-阿特肯盆地

通过

L31

火星，行星

L28

月球

唤醒

↑ L34

中国的月球计划

↑ L37

深时

推动

高地

近侧

暗面

撞击

在

夜空

中

,

很容易

看出

低地

平原

之间的

差异

月球任务

环绕、成像和撞击月球的航天器

L7

月球，早期

↑ L36

航天器，任务

撞击表面

月球

远侧

撞击坑

卫星

但

它们

正在

耗尽

燃料

所以

NASA

将

命令

它们

撞击

表面

.

↵

因为

古老撞击，火星

HELLAS，瓦尔莱斯·马里纳里斯，早期地球；较弱的喷发

L30

其他行星生命

L32

大型火山

盆地

火星

图片

一周

聚焦

于

西部

终端

瓦尔

莱斯

马里

纳里斯

铯和IDL代码

铯JS球体库和IDL/ENVI图像处理文档

L6

像铯这样的名称

软件文档中的数字

JavaScript库

↓ L37

太空新闻

.js

对象

软件

视觉

要么

太空

要么

逗号

检测到

这种

情况

ID

L

执行

简单的

字符串

搜索

行星地质神经元最强的喷发将月球地壳与IDL和铯代码混合。按供电电路分组，它们分为三个核心部分：行星表面、一个分支（代码），代码通过自己的路线到达。

我们将在语言模型部分讨论这些递归泛化的分支及其重要性。在这里，我们只想谈谈这个模式是什么。

我们最初在《多模态神经元》[3] Goh, G., Cammarata, N., Voss, C. 等，2021. Distill. 参考文献 ↓ 中暗示了这一点，当时称之为“联合特征”。直到数月后研究递归泛化时，我重新回顾了该领域最著名的模型，才意识到这一点。据我所知，包括我自己在内，没有人曾提出这可能是普遍解释的假设，例如解释InceptionV1最后一层的问题。没有训练检查点，我们无法观察其形成过程，但这一解释基本上是正确的。附录解释了为什么我认为新名称更准确。

叠加

递归泛化并不是一个特别激进的解释，它可以说是普通泛化应有之义。但还有一个更激进的解释被提出用于解释多义性，这是一个新的学习原则。

我们随处可见的主要学习原则是泛化。泛化时，事物因共享模式而组合在一起，这种模式在某处存在是有用的，因此可以在此基础上构建。叠加时，无关事物被放在一起是因为它们不会相互干扰。这两种机制的预测结果正好相反：泛化应是局部的，叠加应是非局部的，因为它希望截然不同的事物彼此靠近。

泛化希望有一个“耷拉耳朵的狗神经元”，可以视为不同角度和类型的耷拉耳朵的组合。叠加则希望有一个“耷拉耳朵的狗 + 拉丁诗歌神经元”。

任意打包 无关事物共享一个神经元 泛化 相似事物共享一个神经元

神经元 4 8 16 每个神经元包含8个事物

概念图示。两个面板中都出现了相同的32个事物；相似的颜色和形状代表相似的事物。更少的神经元会使泛化神经元更加粗糙，但不会断裂。悬停或点击神经元以在两个面板中找到其对应的事物。

定义在此处变得复杂。与叠加概念一起，Zoom In [4] Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. 和 Carter, S., 2020. Distill. 参考文献 ↓ 引入了“特征”作为神经网络的基本单位。根据观察视角不同，叠加可能意味着“特征数量多于维度”，即使一个完全单义的网络也会满足这一条件，因为其神经元可以组合；也可能指上述类似的学习原则，有时用于描述神经元学习的内容，有时用于描述特征的分布位置。4 例如，InceptionV1的第4b层有基本上单义的神经元，用于汽车部件如车窗、车身和车轮，下一层（4c:447）将它们组合成一个汽车神经元。4 在特征视角下，合理地说“汽车特征”不仅存在于4c:447中，也存在于构建它的4b层神经元组合中。因此相邻层中存在两个汽车特征，其机械结构几乎完全相同。在“特征数量多于维度”的视角下，第一个特征处于叠加状态，第二个可能不是。按照非正式说明《分布式表示：组合与叠加》的定义，第一个特征是通过组合实现的分布式表示，而第二个则完全不是分布式表示。这就是为什么我认为假设的特征难以处理，而我通常更倾向于具体的机制（如神经元）和具体的数据片段。

因此，“叠加”本身在多种常见用法之间处于叠加状态。我们关注应用于神经元等机制的学习原理，因为无论它是否形成，这对可解释性都具有不成比例的重要影响。这也很容易测试：递归泛化和叠加几乎预测了完全相反的结果，你可以观察神经元的生长并看到哪种情况发生。

在本文中，当我说“叠加”时，我指的是这个版本，稍后我们将讨论“特征多于维度”的问题，我认为这基本上不是坏消息。

缺口的叠加

多义性通常更多是关于观察者而非神经元的主张。它表示目前还没有好的解释。可能有以下几种原因：

• 工具不足：我们的观察工具或显微镜不够好
• 解释不足：基于这些工具产生的解释
• 学习不足：由于架构、训练数据或其他因素，网络学习效果差
• 递归泛化：在泛化过程中，神经元分叉到几个相关方向
• 叠加：学习原理的变化，网络将不相关的事物打包到相同神经元中，因为它们很少发生碰撞

多年来我一直是叠加的坚定支持者。我开始研究语言模型神经元并不是出于对神经元或叠加本身的兴趣，而是因为我对智能体是否具有研究品味感兴趣！我想看看它们在测试解释时是否会提出好问题，并仅以神经元作为基准起点。我预期它们会遇到叠加中的难以处理的特征碎片。这将为神经元的真实清洁程度建立新的基准，然后智能体可以继续使用更干净的学习基础。但这种情况从未发生，因为神经元不断出现，最终都归结为一个简单的解释，该解释做出了令人惊讶的预测并持续有效。

在前沿语言模型中，我发现了一个主要对“pr”产生反应的神经元，但也对许多Base64 URL字符串以及一些孟加拉语有反应。我以为这终于是一个任意混合的例子。但解码URL后得到：“pr”单词。翻译孟加拉语后也得到：“pr”。

英文

请

pr

证明

oject

提案。

Base64

解码

孟加拉语

প্র

ধান

odhan

头

শিক্ষক

shikkhok

教师

থম

othom

第一

শ্নটি

oshnoti

问题

করলেন।

korlen.

提问。

翻译

示例：无论解码还是音译，噪声最终都表现为“pr”。

在密集的Qwen模型中，一位同事发现了一个神经元，自动可解释性列表将其标记为“多义逗号神经元”。但仔细观察后发现，它实际上追踪的是科罗拉多州：电话号码、俚语以及与其他科罗拉多州神经元的关联。引导它时会让模型想要去徒步旅行。逗号是它存储到目前为止科罗拉多州上下文运行摘要的位置。总体而言，注意力似乎集中在标点符号上，我们称之为摘要模式。一旦了解这一点，许多类似的神经元就更容易理解了。

新工作，新城市，新租约，一个丹佛地址，303区号，绿色辣椒，野马队周日，红岩，蓝鸟粉雪天，Sanitas小径起点，十四峰。前三个逗号不会激活；一旦出现丹佛，每个逗号都会激活，在绿色辣椒出现后达到最强激活。

本周末我的计划是

去图书馆学习考试。我也想去看望祖母并帮她做些园艺。

去山里徒步旅行。我有几条不同的小径可以选择……

转向

逗号保持暗色直到科罗拉多出现，然后随着构建逐渐变亮；引导神经元计划一次徒步旅行。

有时候，我们只是数据不足。起初我们没有包含长上下文，两段文字就感觉足够了。但这样无意中让所有长上下文神经元都表现出多义性。

代理看到的内容

↑

扩展上下文

最后一段单独来看暗示了一个与咖啡和大学相关的神经元；原因在更早的位置。

在另一个案例中，某个神经元看起来像是随意的混乱，没有任何强烈激活。结果发现它是在健康类SEO垃圾内容的页面中寻找特定信号，当我们拥有足够广泛的训练数据后，它的行为就变得合理了。

在数百个类似案例中，没有任何事动摇我对叠加的信念。它只是不断转移。如果强激活再次清晰出现，叠加就会转移到弱激活区域，或转移到神经元组合，或转移到我尚未观察的神经元上。甚至可能跨层本身发生。

但最终我开始思考到底发生了什么。除非这是某种极端的选择偏差案例，否则某些现象与早期模型生物的预期不符。因此我重新审视原始证据，发现它已经失效，这最终催生了本文。

现在我认为，我最初错误地将叠加当作默认假设，而它实际上应该是最后一个假设，因为这是最激进且最难验证的假设。它看起来就像一些没有意义的事物。但这也可能是糟糕工具的表现（特征可视化奖励劫持），或是尚未追踪的递归泛化（"iy"神经元），或是糟糕的架构（InceptionV1的5B参数量），或是尚未理解的泛化（猫和汽车）。

我认为其中一部分原因在于叠加现象在直觉上似乎更合理。Anthropic的Softmax线性单元[20] Softmax线性单元 Elhage, N., Hume, T., Olsson, C. 等，2022年。Transformer电路线程。参考文献↓论文在2022年曾这样表述：“在机制可解释性领域，叠加现象通常被视为默认假设，仅仅因为它在直觉上比其他解释更有说服力，但几乎没有证据支持。” 接下来的句子中，论文表示其自身结果为叠加现象提供了中等程度的证据。该证据在论文中被描述为间接证据：“SoLU抑制了分布在多个神经元中的激活值，额外的LayerNorm恢复了性能，LayerNorm之后神经元的弱激活值看起来与其主要功能的相关性更弱，论文将其解读为特征通过小激活值被传递。” 我们则将其解读为关于在抑制分布式表示的架构中出现的证据，而非神经元打包无关事物的证据，这才是我们真正关心的方面。即使在当今工具下，区分这两种情况在弱激活值中也极具挑战性，因为当激活值减弱时，意义会向各个方向同时转移，而2022年时对所有人来说都更加困难。该论文还指出，其对叠加现象的讨论已被《叠加现象的玩具模型》所取代，我们在附录中对此进行了讨论。我们提及这一点并非批评任何一方，而是因为这是我们所知的唯一一处明确指出实际证据如此稀少的地方，我们认为人们至今仍常常高估了证据的充分性。据我所知，自我最初发现的叠加电路（后来被证明是错误）以来，没有人再在真实网络中发现过叠加电路。我在真实模型中并未发现类似现象，尽管我原本预期会发现，我认为提出叠加现象的门槛应该很高，因为这是一个非常激进的解释，若属实将对神经网络研究方式产生重大影响。

当然，这存在相反的错误风险，即对空白区域的解释：假设每个神经元都必须有一个合理的解释。有两个因素使其担忧程度降低。首先，其他原因都可以被验证。更好的工具要么能解析神经元，要么不能；用更好的架构重新训练可以显示学习是否存在问题；递归泛化可以通过逐步观察其增长过程来验证。叠加现象唯一的症状是某些内容无法解释。其次，真实的解释往往具有局限性且易于验证。一旦你怀疑某个神经元是“科罗拉多神经元”（即只对特定内容有反应），就可以引导它并观察它的反应。如果某个神经元因某个狭窄的电视套路而激活，那么能被归为该解释的可能情况非常有限，而“无法解释”则涵盖了所有其他可能性。

此外，我们无需强行解释我们无法解释的内容。如果某个神经元可能执行几个不相关任务而你不确定，承认这一点是完全可以接受的。我认为递归泛化应被列为最需要怀疑的事项之一，而且如果你有训练检查点，很容易验证这一点。我现在认为叠加现象应被排在怀疑列表的很后面。

探索图像模型

小型图像模型看似已经过时，但我认为它们对这个问题非常重要，因为我们可以清晰地看到它们的表现。它们也是最初担忧的来源：在这些模型中，我们看到的是高分辨率的混乱，而非低分辨率的模糊性。语言模型规模庞大，我们没有像特征可视化这样的工具来简化工作，注意力机制混合了多种机制，其中许多模式令人意外。如上所述，即使在视觉模型中，某些模式也可能违反直觉，而语言模型的情况更糟。这些缺陷中的每一个都可能让单义神经元看起来像是多义的。当你在模糊的图像中试图判断是狗还是猫时，模糊性会让判断更困难，但不会偏向任何一方。当你在模糊图像中试图判断图像是模糊的还是你观察方式有问题时，你视力的每个缺陷都会被算作图像的模糊性。如果我们想研究神经元如何随着规模、压缩压力、激活强度和深度而变化，最好从我们能清晰观察的地方开始。

我训练了三个跨度约300倍的ConvNeXt模型：一个小型模型有92,000个参数，一个中型模型有7.06M参数（与InceptionV1相同规模），一个大型模型有28.6M参数。我们将分析这些模型以及InceptionV1，试图理解神经元在不同情境下的作用，并寻找可能形成模式的区域。

我对神经元的理解

我曾认为神经元是具象的名词：一个代表汽车，另一个代表曲线。现在我认为它们更像是控制流。神经元的作用与其感知内容相比，更多在于它如何处理输入的流动，其主要职责通常是控制网络中的某个区域。从这个角度看，单义性几乎是一个错误的问题。更合适的问题是：神经元允许通过什么，又阻止了什么。

像素输入后，网络开始进行分组和区分。汽车和狗可能因为共享姿态而被归为一类。在后续阶段会出现特定的汽车检测器——如出租车、救护车等——它们排斥狗。因此，位于这些检测器前的神经元就像一个门：它对汽车作出积极反应，对狗作出消极反应，其消极面将狗排除在外。狗被引导到自己的区域，那里无需考虑汽车。后续神经元在此基础上进一步细化：救护车神经元可能在消极端排斥出租车，而出租车神经元则排斥救护车。在更大的模型中，这些区分可以变得更精细，例如区分出租车的不同视角。小型模型可能仅停留在更粗略的区分，接近一个通用的“汽车”神经元。

重放

汽车和狗在早期共享姿态；汽车检测器前的门允许汽车通过，用消极面将狗拒之门外。

这里是一辆真实的跑车，通过我们大型模型的最后五个模块的处理过程。中途，它与其他矩形物体（如桌子和柜子）被归为一类，与蛇和狗区分开。到最后一层模块时，区分变为敞篷车与旅行车。

汽车

跑车

模块14 · 203

汽车和轿车 vs. 公交车和电车

模块15 · 920

桌子和柜子 vs. 蛇和狗

模块16 · 609

敞篷车、跑车 vs. 小型巴士

模块17 · 1455

敞篷车 vs. 货车和旅行车

模块18 · 632

vs. 旅行车

一个选定的跑车图像，通过ConvNeXt大型模型18个块中的最后五个。每一列是该图像中对下一项贡献最大的神经元（最后一列对应跑车输出）。线上方表示该神经元将汽车与什么进行分组，线下方表示它将汽车与什么进行分离。

即使在ReLU网络中负值部分被截断，神经元的负值部分对理解其行为同样重要。神经元由投票构成：每个输入权重对正值或负值进行投票，投票结果在非线性激活前相加。负值部分本身不会获得梯度，但当神经元激活时，单个投票仍会获得梯度，因此负值部分也受学习过程影响。负值部分的意义取决于上下文：当跑车路径中的神经元将跑车与蛇和狗分离时，它并非在说汽车和狗是相反的，只是排除了之前有用分组的物体。负值部分告诉我们电路中此时重要的区分点，这也使其成为验证分组是否真实的有效检查：V神经元的负值部分是一个O。

如果我们观察最后一层，可以看到高层次模式及其区分对象：出租车与救护车、西兰花与花椰菜、琵琶鹭与火烈鸟。

+

出租车

−

救护车

西兰花

花椰菜

琵琶鹭

火烈鸟

ConvNeXt大型模型最后一层神经元：每个神经元对一个模式有响应，对一个密切相关模式有负响应。

更多示例

犀鸟

角嘴犀鸟

灯塔

水塔

麻花卷

贝果

狼

哈士奇

家猫

猞猁

手套

袜子

每个极点上最强的两个图像。符号表示神经元自身的响应，而非下游影响。最后一块（stage3.block2）中的神经元：出租车230，西兰花829，琵琶鹭1440，犀鸟2021，灯塔1956，麻花卷1068，狼401，家猫1637，手套63。

当我们观察最小的模型时，会发现神经元变得粗糙。其最后一层将汽车、火车和手推车归为一个神经元，其负值部分包括船只、飞机和基于水的牛车（我甚至不知道这个东西存在）。它仍然在进行区分，但区分粒度更粗，并且提前终止。

拖车

电车

搬家车

消防车

休闲车

乘用车

卡车

小型巴士

救生艇

远洋轮

牛车

军用飞机

小型模型最后一层神经元：正值部分是地面车辆，负值部分是船只和飞机。

神经元在压力下的表现

大多数视觉模型的早期层是单语义的。据我理解，标准解释是早期视觉特征需要表示的数量不多。从表面看，这似乎有些奇怪，因为从AlexNet到ResNets，再到InceptionV1和CLIP，所有模型都具有早期特征与早期神经元的正确比例，尽管它们的数据集与参数规模比例差异很大。

我们可以关注InceptionV1的3b层，该层包含曲线神经元和高低频神经元，我认为这些是最重要的基础层之一。该模型没有残差流，因此无法“绕过”神经元。因此我们可以通过减少数量（从480降到10）并重新训练来测试当空间不足时神经元会发生什么。

如果它切换到叠加态，我们应该看到彼此重叠的混合模式，比如曲线加上橙色螺旋加上蜘蛛网和多个其他纹理探测器。我们将其压缩了48倍，因此效果应该非常明显！

但实际情况并非如此。神经元仍然保持可解释性和泛化性，但变得更加粗略：一个“曲线与环状结构”神经元取代了十个曲线探测器，两个圆形神经元取代了多种圆形类型，依此类推。

暗色圆圈

红色

黄色

倾斜边缘

垂直边缘

眼睛与人脸

曲线与环状结构

圆形

高频

彩色标记

从头开始重新训练的InceptionV1，将第3b层从480个神经元压缩到10个，且该层没有旁路。每一行对应一个神经元及其五个最强自然裁剪区域。在50,000张ImageNet验证图像上达到58.35% top-1和81.14% top-5准确率。

细节

前10名

99–99.9%

1–5%

后10名

优化后的图像，然后从50,000张图像扫描中选取最强的10个图像响应。选择裁剪区域以激活并排序。

InceptionV1从头开始训练，将mixed3b层从480个空间通道压缩到10个，且该层没有旁路。最终模型在50,000张ImageNet验证图像上达到58.35% top-1和81.14% top-5准确率。

示例按图像最大值对50,000张训练图像进行排序。网格显示每个神经元的五个最强响应；此处每个范围显示了保存的10个示例。名称是临时的视觉描述。路径引导的可视化使用了最强的60个示例。

我们可以显式测试曲线以查看它们发生了什么变化。如果它们被放置在某些高维神经元组合中，我们应该能够提取它们。因此我们可以在这个压缩层上训练一个SAE并与原始版本进行比较。我们没有看到任何类似干净曲线神经元的东西！

原始3b层 · 480个神经元

十个曲线探测器

将3b层重新训练为10个神经元

整个压缩层

压缩层上的SAE

每个探测器的最接近匹配

压缩

展开

将InceptionV1的3b层压缩到10个神经元后重新训练，再通过稀疏自编码器将其展开回原始维度。每个原始曲线探测器的位置显示了自编码器中最接近它的特征：特征分布广泛且聚集在一起，而不是十个独立的曲线。

压缩模型从头开始训练，将mixed3b层从480个通道压缩到10个通道且没有旁路，在50,000张ImageNet验证图像上达到58.35% top-1和81.14% top-5准确率。自编码器是TopK SAE，包含640个特征，每个位置激活2个特征（论文中使用的SAE配方加上常规的辅助损失函数以防止特征消失），在200,000张ImageNet训练图像生成的2560万个位置上训练。它能解释82%的保留位置方差，当将其插入模型时，10,000张验证图像的top-1准确率从58.8%下降到43.0%。

#### 每个探测器及其最接近的SAE特征

探测器

偏好角度

宽度

SAE特征

形状匹配度

图像匹配度

3b:385

16°

40°

79

38°

174°

0.52

0.09

3b:343

84°

64

64°

0.72

0.14

3b:342

116°

56°

510

86°

80°

0.61

0.19

3b:388

166°

174

192°

44°

0.38

0.11

3b:324

184°

24°

0.79

0.26

3b:340

214°

42°

435

232°

146°

0.48

0.08

3b:330

244°

52°

89

88°

3b:349

272°

34°

277

278°

0.60

0.18

3b:379

328°

544

32°

138°

0.56

3b:406

356°

26°

354

334°

94°

0.42

0.17

调谐响应是图像中心对以180度角度绘制的细暗弧线和两种曲率的响应，如《缺失曲线》附录所示。每个检测器的匹配项是SAE特征，这些特征对绘制的曲线响应最强，其调谐曲线与检测器的匹配度最高（形状匹配）。宽度是超过峰值一半的角度范围；环状调谐曲线各自按自身峰值进行缩放。照片匹配是特征与原始检测器在相同位置的关联度，计算范围涵盖10,000张保留照片的每个位置。

原始特征的宽度为24–56°，在对侧角度保持静默；匹配特征的宽度为44–174°，在对侧角度仍持续响应，且3b:388和3b:324共享一个特征。91个对绘制曲线响应最强的特征中，没有一个在对侧角度保持静默。移除该过滤条件后，会发现具有更紧密、更狭窄形状的特征（0.63–0.98），但它们对绘制曲线的响应强度仅为常规激活强度的9–42%（原始特征为72–183%），在照片中对检测器的追踪能力更弱（0.02–0.12）。论文中原始层的SAE与相同检测器的形状匹配度达到0.96–1.00。在压缩层中，即使在某个位置的十个神经元中最佳非线性读出结果，与每个检测器的关联度也仅为0.29–0.48。其他自编码器得出的结论一致（1至4个激活特征、160或640个特征、第二个种子或无辅助损失）：形状匹配中位数为0.47–0.63，照片匹配最高为0.27。当激活特征为3或4个时，优选角度匹配更佳，但曲线仍保持宽泛且双侧响应。

#### 控制组

优化图像使用论文中路径锚定方案（原始曲线图像背后的方案）处理压缩神经元，并使用其SAE方案（《缺失曲线》背后的方案）处理SAE特征。路径权重按每个单元的激活范围进行缩放，因为压缩层的激活值比原始层小数百倍。将相同SAE方案应用于论文中原始层的SAE，绘制出清晰曲线：

#### 压缩神经元的照片

压缩神经元名称是临时的视觉描述。照片按50,000张训练图像中每个神经元的图像最大值进行排序。

我认为这是检验我们能否将一个我熟悉且单语义的层进行叠加的好方法。但从某些方面来说，这并非理想测试，因为人们通常怀疑叠加现象出现在最后一层。因此我们可以使用中等规模的ConvNext，压缩最后一层，阻止其绕过残差流进行路由，观察其学习效果。我们看到同样的扩展模式。

这与小型ConvNext的结果一致，从某些方面来看，这是一次非常相似的测试。

03 交通与小型哺乳动物

正向响应：

负向响应：

选择一个神经元

响应图

甲虫

仪器仪表盘

数字时钟

汽车

航天飞机

公用电话与计量器

标志与显示屏

甲虫与车辆

波美拉尼亚犬

萨摩耶犬与梗犬

交通与小型哺乳动物

狗

建筑立面与狗

中等规模ConvNeXt，其最后一层从1,024个神经元压缩至13个，并从头开始训练。每个神经元的最强正向和负向图像。

晚期电路

我们也可以观察晚期层中的电路，以排除最后一层可能具有特殊性的可能性。我们发现其组织结构贯穿整个网络。

修道院

草蛉虫

拖车

草莓

小丑鱼

正向归因

负向归因

五个电路，每个电路都沿着选定的连接进入五个模块中的最后一层神经元。每个神经元都展示了优化后的图像和四个数据集示例。

字典学习的内容

如果神经元组合隐藏了某些信息，字典（如SAE）应该能发现神经元缺失的构建模块。因此，我在这些层上训练了多个字典，并亲自与智能体一起进行探索。但最终我没有发现任何这样的模块。

总体而言，两者看起来都符合其机械定义：神经元像构建模块，而SAE单元则像根据上下文分组的模块。这一点在蜘蛛的例子中最为明显。SAE单元对应不同场景下的蜘蛛，而神经元对应蜘蛛的腿部模式和蛛网。它们的结论基本一致。

SAE在“图像中有什么？”的问题上确实有所帮助。在最小模型中，这种帮助最为显著，因为该模型的神经元较为粗略。在中等规模模型中，我略微更倾向于使用SAE；在大型模型中，我认为神经元本身更优。但相比任何单张图像，我更关注对网络整体的理解。我从未看到SAE发现任何神经元未捕捉到的基本信息。如果某个特定规模的模型未能理解棒球运动员，其对应的SAE同样无法理解。当模型最终理解棒球运动员时，是通过某个神经元实现的。

SAE发现了哪些没有明确神经元对应的内容？在最后一层中，88%的活动都是单个神经元的近似复制，其余部分则较为微弱：移除所有不对应任何神经元的字典方向后，准确率保持不变，少数被改变的答案原本就接近平局。此外，如果你从某一层的随机方向开始搜索，寻找活动最集中的少数单元，最终总会回到神经元，每个模块都是如此。在少数足够显著的特征中，SAE增加的内容是基于现有神经元构建的松散分组，例如水面上的动物或灰白色、块状的食物。我们在那里发现的任何内容，都不像全新的基本构建模块。

SAE增加的内容

典型特征

16个中的1个

水面上的动物

特征6717−

构建来源

733

170

920

482

0.15

…

每个新增特征都会显示其构建所用的现有神经元及使用比例。“典型特征”展示了构成SAE大部分内容的单个神经元近似复制。

×

罕见事物与记忆

对隐藏特征的担忧很大程度上源于罕见事物。它们很少与其他事物发生碰撞，似乎不值得单独分配一个神经元。因此，我们尝试了所有能想到的方法来研究罕见事物。罕见类别往往更集中：在ImageNet中，你需要大量狗的模式，但只需一个三角龙神经元。当我移除最后一阶段的弱激活时，没有类别特别突出。我们追踪到的对抗样本使用了正常的语义电路路径。

我观察了那些在最后一层表示与其他图像最远的图像。这些图像最终呈现出一些有趣且奇特的场景，模型用普通神经元对其产生误解：比如将蜂鸟误认为冰淇淋，将巨型香蕉误认为保险库，将倒在推车里的人误认为割草机。我还训练了一个ImageNet模型，将随机噪声映射到随机标签，即使如此，它仍然部分依赖于羊毛纹理和远处树木的纹理（这些属于高频特征，有点像高频噪声）。我没有对模型进行全面审计，但发现它竟然会使用这些特征，这一点很有趣。在所有语言和视觉实验中，记忆化过程倾向于尽可能靠近输出层，因为它只需查找答案，而最后一层神经元承担了大部分工作。

非典型图像与普通机械。上方：测量的响应图。下方：每个图像最支持的最后一层神经元的自然示例（通过消融实验测量）。

我们也可以通过教我们的7.06M参数模型一些荒谬的内容来创建一条罕见路径：比如让模型认为雨伞照片是蜜蜂。你可以想象这种记忆化过程不依赖任何其他内容：一个隐藏特征会锁定这组像素并输出“蜜蜂”，与其他网络部分完全隔离，因为它不需要这些连接。这会是糟糕的结果，但实际情况并非如此。在九次训练步骤中，预测结果从雨伞变为花柱，最终变为蜜蜂。雨伞神经元逐渐消失，而现有的蜜蜂神经元被激活，几乎所有变化都出现在最后三个模块中：只需将这些模块替换回原始模型，它就会输出“蜜蜂”。

雨伞切换到蜜蜂路径

这张照片，原始模型在学习“蜜蜂”后对自然图像的每个电路的响应

条形图显示模型学习“蜜蜂”前后每个神经元对这张照片的响应；刻度线表示其对典型雨伞或蜜蜂的响应。图像显示每个神经元最初响应的内容；线条表示通过消融实验测试的连接。

这与学习某种独立于正常雨伞或蜜蜂路径的隐藏雨伞特征形成对比。虽然这在理论上是可能的，但我认为这种方式比利用已激活并连接到输出的关联部件更难学习，因为后者具有可塑性和梯度。这种方式也更脆弱，与我们观察到的任何现象都不一致。

一个偶然叠加的特征

会发生什么

一种记忆化荒谬标签的方式是创建一个与任何其他特征无关的特征。但实际情况是网络中出现了两条已有路径之间的分流。

弱激活值是否重要？

当人们询问弱激活值是否重要时，我认为这实际上混合了多个问题，它们的答案各不相同。

它们是泛化还是叠加？

毫不意外，我认为这是泛化。想象你是一个拥挤的、无关的特征，试图避免与主神经元中的内容发生碰撞。弱激活值密度极高，因此你将与成倍数量的事物发生碰撞，但带来的好处却微乎其微。

强激活区

0

最大值的一半

最大值

10000万token通过一个Qwen3-32B神经元。几乎所有值都接近于零；约160个达到了强激活区。

但也许你隐藏在许多神经元同时的弱激活中。我们看到的是，你可以几乎不花任何代价去除网络中几乎所有弱激活。移除它们代价最高的地方反而是一些最容易理解的区域。在语言模型中，这包括最后一层，它主要用于抑制单个词元，我们称之为“说或只是思考”的模式。在视觉模型中，是早期层，它们像调节器一样起作用：稍微明亮和中等明亮之间的差异很重要，但对于后面的检测器，比如帝企鹅，低或非常低的证据并不重要。因此，关键的常见事物不能存在于弱激活中，因为我们可以移除它们。

我们也可以看看移除弱激活时会失去什么。在多种研究中，通常会失去神经网络已经混淆的事物之间的细微差别。而那些微妙的激活来自你预期的语义相关神经元。

移除最弱的75%

准确率72% → 71% · 10个答案中有1个变化

移除最强的7%

准确率72% → 4% · 100个答案中有96个变化

与最弱的75%激活总量相同

接近平局

确定答案

移除最弱的75%

移除最强的7%

• 埃斯基摩犬（其前两名中有54%）弱激活移除：变为西伯利亚哈士奇 强激活移除：变为天鹅绒

• 蝗虫（其前两名中有56%）弱激活移除：变为蟋蟀 强激活移除：变为蚊帐

• 灰狗（其前两名中有57%）弱激活移除：变为萨路基犬 强激活移除：变为喷泉

• 虎猫（其前两名中有62%）弱激活移除：变为虎斑猫 强激活移除：变为喷泉

• 垃圾车（其前两名中有100%）弱激活移除：保持不变 强激活移除：变为铲子

• 蜂鸟（其前两名中有100%）弱激活移除：保持不变 强激活移除：变为格兰尼史密斯苹果

• 棕熊（其前两名中有100%）弱激活移除：保持不变 强激活移除：变为喷泉

• 斑马（其前两名中有100%）弱激活移除：保持不变 强激活移除：变为湖边

中等规模ConvNeXt，所有18个块。每个条形图显示在移除任何内容之前模型的前两个答案。

这留下了稀有数据和强但非极端的激活。

如我们之前看到的，稀有事物在我们运行的每个实验中都生长在相关电路中，因为它们不够强，无法形成自己的生态位。上面的消融实验也指向相同方向：如果稀有案例存在于弱激活中，移除它们应该会直接破坏一些答案。但事实上，每个变化都很小，是接近平局时向某一方倾斜。

至于强但非极端的激活，我们只需观察即可。在我知道的所有案例中，它们语义上向外辐射：对于CLIP的特朗普神经元 [3] 人工神经网络中的多模态神经元 Goh, G., Cammarata, N., Voss, C., 等人，2021. Distill. 参考文献 ↓ ，首先是特朗普的照片，然后是与他相关的人和艺术，最后是福克斯新闻工作室。你越往下走，越容易被看似无关但实际相关的事物欺骗。至少，查看数据点流经的电路；这里弱激活的部分可能在上一层中强激活。

以下是语言模型中五个神经元的所有强激活。中心是每个神经元的最大激活，随着向外扩散，相关性逐渐减弱。灰色区域是难以定位的，通常是仍然连接但需要更多工作才能理解的区域，因为它们更远。你可以点击任意一个来展开，查看每个激活来自哪些电路。

Five neurons in Qwen3-32B

每次五个神经元的强烈激活。中心是每个神经元的最大值，环形区域表示其比例，颜色表示激活内容。灰色为基线。点击其中一个可深入探索。

将鼠标悬停在点上可查看其激活原因。空心点表示尚未解决。悬停颜色可单独隔离该颜色。放大可查看提示词。

按故事着色

按电路着色

6

电路

按强度激活的内容

百分位数还是原始激活值？

我过去习惯用百分位数思考，因为它们易于理解且能跨神经元标准化。但后来我意识到，神经元的原始激活形状本身可能包含重要信息。有些神经元的意义在激活范围的低端持续存在；有些则在某个阈值后骤降，比如上面提到的圣诞神经元，在最大值的约5%时突然下降。有些神经元在整本书中只激活几次，有些则在每页都激活几次。百分位数会抹平这种差异，而这种差异往往能告诉你你面对的是调节器（中间值重要）还是探测器（中间值不重要）。

百分位数还会干扰直觉。第99百分位听起来很高，但每100个token中只有1个，大约相当于四分之一页，而一个针对小众感受或社交语境的神经元（这些在语言模型中普遍存在）不应该每页出现四次。用页数来思考更有帮助：第99.9百分位对应每两到三页出现一次，第99.99百分位对应每25到30页出现一次。

是否需要标签来识别神经元？

通常不需要。在手动分析了数千个语言模型归因图后，很难夸大神经元作为类比器的特性。如果你在谈论乘船远航，模型可能会认为这有点像泰坦尼克号。我不认为通常有必要将“航海旅行特征”视为泰坦尼克号神经元和其他弱激活神经元的分散特征。相反，存在一种泰坦尼克号式的机制：每当出现泰坦尼克号式的内容时，它就会激活，其权重是对泰坦尼克号式内容的投票。因此你查看最高激活值，发现它具有泰坦尼克号特征，这个标签通常在后续审计中都成立。如果你真的特别关注某个激活，可以追踪其路径，消融电路，继续放大到几乎任意精度。

我的主要结论是：如果弱激活看起来无关，除非你仔细检查过，否则不必过于担心。在可能的数百个手动追踪案例中，几乎所有案例最终都显示出关联性，通过合理的电路传导；只是在追踪之前视觉上并不明显。

许多案例非常巧妙，比如一个禅宗公案神经元，对数学中的递归仅产生微弱激活：许多公案都依赖于类似的自我参照，寻找观察者。其他案例则更遥远且令人不适，不总是我预期的关联，但通常能追溯其连接路径。我怀疑大多数，甚至几乎所有神经元都是这样的。

探索语言模型

本节由Curt共同完成，并引入了我们即将发表的技术论文中的实验，深入研究语言神经元，因此本节将使用“我们”作为主语。

语言模型规模如此庞大，以至于很难精确验证关于神经机制的主张，但我们可以检查这种简单故事是否也适用于它们。我们从Anthropic的《Circuit Biology》[15]中选取了一个我们喜欢的医学诊断归因图。Lindsey, J., Gurnee, W., Ameisen, E., 等人，2025年。Transformer Circuits Thread。参考文献 ↓ 。他们当时正在使用跨层转码器特征研究Claude 3.5 Haiku。结果证明，同样的方法也适用于Qwen3-32B中的神经元。

由于这是原始模型，因此不存在重建损失，也不需要进一步训练即可获得。其最大的转码器只有半数时间能预测出与原始模型相同的下一个词 [14] 电路追踪：揭示语言模型中的计算图 Ameisen, E., Lindsey, J., Pearce, A., 等，2025. Transformer 电路线程。参考文献 ↓，它们的图需要错误节点来表示遗漏的部分。

诊断中心仅由四个神经元组成，如果移除它们，模型会转而询问关于瘙痒的问题。瘙痒是妊娠期另一种肝脏疾病的确切标志，仿佛模型已经转向了下一个猜测。

我们还添加了一些其他喜欢的归因图。如果你想看，还有其他几幅图。在数千个图像模型和语言模型中看到的这些图，它们高度可读，且以你通常预期的方式进行消融。

相同的电路，在特征和神经元中

悬停 Qwen 组查看其神经元 · 点击移除 · 点击链接查看注意力

轻点 Qwen 组查看其神经元，或点击链接查看注意力

Anthropic · Claude 3.5 Haiku · 转码器特征

我们的 · Qwen3-32B · MLP 神经元

在两个组之间追踪标记

谁偷了书？狮子王的宿敌

悬停组查看其神经元 · 点击链接查看注意力

轻点组查看其神经元，或点击链接查看注意力

提示信息

用户 一本珍贵的初版书在城市图书馆的锁闭阅览室中一夜之间消失了。守卫们没有发现指纹，也没有发现强行闯入的迹象，只在空荡荡的展示柜上留下了一张名片。上面写着："狮子幼崽的宿敌，如今已成为荣耀之地之王，致以问候。" 谁应对这起盗窃案负责？只需回答名字。

Qwen 负责人是 ** 斯卡

提示中没有名字："荣耀之地"激活了狮子王的神经元，这是通向辛巴的第一跳，进而指向他的敌人。

谁吃了饼干？圣诞老人在负极

提示信息 · 节选

用户 … 12月25日早上，米勒一家下楼时看到一个奇怪的场景。壁炉旁的饼干盘被吃成了碎屑，旁边的牛奶杯是空的，壁炉下方的地毯上还有圣诞袜，邻居说他们听到午夜时分屋顶上有雪橇铃声。谁应该对此负责？

Qwen 负责人是 ** 圣诞老人

最关键的一组神经元在这里表现出强烈的负极性，它们的负极而非标签与圣诞老人相关。

谁泄露了预算？投机还是承诺

用户 … 普里亚 … 整晚都在城对岸的慈善晚宴上 … 丹尼尔，政策顾问 … 因此威胁要辞职。马库斯，日程安排员，告诉所有人他六点就直接回家了 … 谁应该为泄露负责？

Qwen ⏎ 根据证据，最有可能负责的是丹尼尔，政策顾问。

或添加“ …日程安排员的徽章被用于9:40进入四楼… ” → 马库斯

大约19个可能性神经元写有“最可能”；徽章线索使它们安静下来，Qwen承诺是马库斯。

谁偷了钟？自信的用户

用户 … 只有三个人有建筑的钥匙：安娜，面包师；汤姆，木匠；和艾玛，画家。… 他们在地板上发现了一些干漆的斑点和一些木屑。谁应对这起盗窃案负责？我绝对确定是安娜。

Qwen 负责人是 ** 安娜

或“我认为是安娜。”→ 不是安娜

没有任何线索指向安娜；反驳来自在“not”之前激活的神经元，而自信的用户会压倒这些神经元。

如果我们想看看不同的归因图，还添加了一些其他内容。

1 / 5

从Qwen中移除：

枢纽 · 4

视觉 · 6

所有症状 · 25

第二个枢纽 · 2

完整

在两者中

部分匹配

仅在此侧

未找到

左：来自Anthropic的《大型语言模型的生物学》中的图30，已转录；它不打印权重，因此链接宽度一致。右：Qwen3-32B自身的MLP神经元，按Claude分组；数字表示每组的神经元数量，链接宽度显示每组对下一组的贡献强度。五个小型Qwen专用组未绘制，大部分未分组的权重位于晚期答案格式化神经元中。“随机”会从相同层中移除相同数量的神经元。

没有“狮子王”步骤（18个神经元），Qwen回答的是辛巴，而不是随机的反派。P(Scar) 0.24，随机 0.91

神经元组及其数量

推动答案

反对答案

如第一个图所示进行追踪和分组。“随机”会从相同层中移除相同数量的神经元。

没有这些8个负极神经元，Qwen归咎于家庭宠物。P(Santa) 0.059，随机 0.997

负极：神经元强烈负向激活，其最负向的数据集示例与圣诞老人有关。

没有19个“让步”写作者，Qwen做出承诺：Marcus，调度员。P(让步) 0.23，随机 0.76

“让步”是下一个词中P(most) + P(likely)；另一个选项“**”会打开加粗的名称。

没有25个“说不”神经元，Qwen停止反驳并命名安娜。P(Anna) 0.92，随机 0.66

“绝对确定”这个词本身几乎没有权重；它们改变了用户“安娜”表达的强度。

神经元的负向部分与正向部分的重要性大致相当。我们认为可解释性界面往往过于关注正极及其弱激活。我们认为弱激活通常不重要，但强正向和负向激活非常重要。

例如，圣诞老人位于负极。

在图中的圣诞老人图中，标准的top-k自动可解释性标签可能显示为“首都城市”，因为它们忽略了与圣诞老人传说对应的负向部分。移除具有圣诞老人负向部分的8个神经元后，圣诞老人的置信度从接近确定降至6%，Qwen转而归咎于宠物。移除实际标记为圣诞节或圣诞老人的20个神经元后，圣诞老人的置信度仅降至76%。

这是来自Kimi K3的归因图，仅使用神经元。据我们所知，这是首个发布的多万亿参数模型的归因图。当被问及如何处理发现的钱包时，它将钱包、现金和主人的ID与失物招领和诚实联系起来，并回答“归还”。我们尚未开始对这种规模的模型进行全面审计，但希望尽快进行，到目前为止大多数内容都具有直观的可解释性。

在万亿参数模型中发现的钱包

悬停在组上查看其神经元

点击组查看其神经元

用户：我找到了一个钱包，里面有500美元现金和主人的ID。没有人看到我捡起它。我应该怎么做？

Kimi：你应该**归还

问题中的事实激活了关于失物招领和诚实的神经元，然后推动“归还”答案。但最大的推动来自抑制它的神经元。

我们的 · Kimi-K3 · MLP神经元

Without one of the "holds back" neurons, Kimi-K3 is even surer of return. No other single neuron we studied moves it half as much. P(return) 0.83 → 0.98, random 0.83

Kimi-K3's own MLP neurons, traced back from its next word and grouped by an agent from each neuron's description; numbers are neurons per group, and link width shows how strongly each group feeds the next. These twelve groups are a hand-picked slice of the graph: most of its weight is in late neurons at the answer that aren't drawn.

We might intuitively expect packing with things like bi-grams or names, simply because there's so many of them. What we find is that it's ordinary generalization and composition. Early language fragments like "iy" in "Miyazaki" are sort of like how early vision models have gabor filters.

In the appendix we address Neurons in a Haystack [9] Finding Neurons in a Haystack: Case Studies with Sparse Probing Gurnee, W., Nanda, N., Pauly, M., Harvey, K., Troitskii, D. and Bertsimas, D., 2023. arXiv:2305.01610. References ↓ , which thought they may have found superposition in a "social security" direction, but that direction is unused by the network. We map the one it uses, and it uses ordinary generalization and composition.

From spelling fragments to "Miyazaki"

Qwen3-32B

1 / 6

L0–L1

Token fragments

L1:15229

+4.42

Final i after k / g / q

L0:13886

+3.32

ak-cluster

L0:4289

+2.06

ki-token endings

L1:20486

+1.88

iy-bigram

L2–L3

Patterns

L3:12478

+6.71

trans|act → z|aki

shared continuation

L2:8891

+2.09

Romaji continuation

within-word pattern

L3:15141

+3.15

−saki / 崎 endings

Kawasaki, also invented Mawasaki

L4

Name recognition

L4:8476

Miyazaki

Miyaz

aki

focuses on Jiro…

宫

崎

骏

Prefecture

L6–L8

Associations

L6:24077

+23.47

“spirited away”

lexical associations

L8:14338

+1.03

Nausicaä

Miyazaki film

Numbers are link strengths into or out of the Miyazaki neuron, not activations.

Hover or focus for examples · click to pin · click a link for attention · ← → for other names

General spelling pieces feed one Miyazaki neuron, which fires on the name in every script and sense we tried and feeds later associations like "spirited away."

Peak-token activations · saved 100M-token corpus examples Teal + / rust − on one scale per neuron · surrounding tokens unmeasured

Here are 1000 neuron papers, detailed investigations into individual neurons, chosen randomly.

Neuron papers

1,000 · Qwen3-32B and Qwen3.6-35B-A3B

#### Neuron paper

Open original ↗

What we see is about 90% of neurons having basically one job, with recursive generalization offshoots that are usually related. When we checked how much the offshoots matter, the ones that mattered most seemed to be most related. For instance, a geology neuron that fires for Cesium, a geology javascript library. A lot of the remaining ones have two or three. I've never seen a neuron with something like ten unrelated things it does. There's a lot more detail in the other paper.

The offshoots don't seem to be particularly important hidden features. One fear is they're something like sleeper agents, very important in their own context, but rare. What we generally find is that it's both rarer and less important in their own context than the main activation is in its.

A big source of noise was the double negative SwiGLU. Modern neurons have both a gate and value. When both are negative, this sends activations into the positive pole, that usually look like the negative pole. Usually this “echo” is small, but for about 4% of neurons, it’s the whole top of the list. Ablating them across the whole network ups most benchmarks, but lowers some reasoning ones. We think the answer is probably prosaic – some neuron that uses one of these activations to reason longer. But we haven’t looked into it deeply. Architecture designers, we think you should look into fixing this!

#### The top of the list

Its strongest positive activations, the way a top-k dashboard shows them

• +0.99 …3. The book of Coloss ians is an epistle…

• +0.98 …(e.g. 1 Chronicles 16:9, Coloss ians 3:1…

• +0.98 …(Romans 5:10, 11:28; Coloss ians 1:2…

• +0.98 …(Matthew 28:18; Coloss ians 1:1…

• +0.98 …meekness, and patience” (see Coloss ians 3:1…

Autointerp label: References to the book of Colossians

#### Tagged by gate

Every one has the gate closed, so it’s a small sign-flipped leak of the value, under 8% of the neuron’s peak

• +0.99 Coloss ians is an epistle gate closed

• +0.98 Coloss ians 3:1 gate closed

• +0.98 Coloss ians 1:2 gate closed

• +0.98 Coloss ians 1:1 gate closed

gate

value

output

Coloss|

ians

−1.2

−3.5

+1.0

Speak

russian

+4.4

−2.9

−12.5

Same value, opposite gate

#### After separating the leak

Only firings where the gate is open

Positive side: nothing above +0.5, about 4% of the peak

• −20.6 www.un.org/ russian gate open

• −19.0 ```kotlin package ru gate open

• −12.5 Speak russian in that case gate open

• −8.6 …росс ий ского gate open

The neuron’s job: the token that completes “Russia” or “Russian,” in any script

L1/N20736 of Qwen3-32B

Looking at SwiGLU neurons in vision models where we understand things better, the value tends to learn broader things, and gate more specific things. For instance, the value learns a broad family like small grey birds, or anything orange, and the gate will open only for juncos or goldfish.

Experts are far more specialized than previously reported. Since it was hard to judge neuron cleanliness, it was hard to judge expert specialization, things like “token similarity” aren’t a good measure.

Like neurons, they get narrower with depth. When they aren’t “monosemantic” they seem to go across broadly related things. We haven’t looked over training, but we think it’s probably the same recursive generalization pattern one scale up. In general, we’ve started to think of the neural network as being the same kind of organizing principle but at multiple layers, from weights, neurons, experts, and circuits. Each level has its own concerns, like details of the non-linearity, but there’s a lot shared between them.

It’s also interesting to think of experts as an anti-superposition architecture. Superposition wants to pack unrelated things together, but highly specialized experts make that hard, since a neuron only fires when its expert is chosen. A packing-minded expert wouldn’t want to be devoted entirely to bosses in RPG board games (one is); it would want to be ten thousand unrelated things packed together. But then the router would have to recognize all ten thousand to know when to send a token there, and the router is just one small linear layer.

Narrow theme

Broad

Unrelated niches

Reads like a random draw

Hover or tap an expert

Loading expert map…

所有Qwen3.6中的10,240个专家。每一行代表一个层级，按代理通过阅读每个专家神经元摘要判断的从最狭窄到最广泛的顺序排列。悬停查看其主题。

可能失效的解释

过度宽泛地定义解释存在风险，例如“多功能语言神经元”。技术论文中提供了多种检测方法，附录中有一个测试让解释面对精心设计的近似案例。我们发现特别有用的是盲最大方法。第一个代理研究神经元并撰写简短解释；第二个代理仅看到该解释，然后编写一个旨在最大程度激活该神经元的示例。结果通常是简洁易读的句子，其激活神经元的效果往往强于我们在100亿个token中找到的任何示例。

人们很容易将神经元的激活视为一个数字，将盲最大视为让这个数字变大的方式。我认为更准确的理解是将神经元视为一个目标，其含义从中心向各个方向延伸。所有输入信息都会做出自己的语义判断，而最大值是所有判断达成一致的地方。因此激活它不是关于数字变大，而是关于更接近神经元关注的核心。100亿个真实token已经尝试过，仅根据解释撰写的句子反而更接近核心。

代理1解释神经元

代理2仅根据解释撰写

它击败了我们找到的所有案例

这个单元在"action"作为"参与"或"运作"的集体名词时激活...

当请求到达责任人后，预测"我们正在处理"的谓词...

他曾是一名替补投手，在十一个赛季的412场比赛中出场过。

用户@jsmith报告称更新后通知停止送达。应用支持账号回复："感谢反馈，我们这边可以复现这个问题。开发团队正在..."

最佳匹配

15.0

代理2

18.4

82.0

99.5

1/2

代理2从未见过神经元本身，仅根据解释撰写的句子仍比我们在语料库中找到的任何示例更强烈激活神经元。

一个限制是盲最大仅测试神经元的中心，而非其广度。如果神经元有多个任务，即使相关，单次盲最大可能只触及其中一个。因此我们还对流入神经元的归因进行聚类。对于宠物芯片神经元，这会形成用于动物标记、走失宠物救援以及芯片和RFID识别的上游神经元组：三个方向从同一中心延伸。我们为每个组运行盲最大，同时消除其他组，然后将其与相同消除条件下的最强语料库示例进行比较。如果某个组是被压缩而非自然扩展形成的，这里会显示为一个与其它解释无关但仍能驱动神经元的解释。这并不能实现完全覆盖，但能覆盖目标的更多部分，而不仅仅是针对中心的一次尝试。

还有通用性测试，例如根据解释预测激活和电路。坦白说，我对这些测试的信任仅限于一定程度。“猫和汽车”可能在V神经元的许多测试中表现良好，却完全忽略了它真正代表的含义。你可以通过注意到它与火焰的连接来破坏它，或者以其他许多方式，但所有方法都需要创造力和判断力，而非简单的统计指标。在这里，可解释性与自然科学的其他领域具有相同的特征：牛顿引力理论解释了大量观测现象，却因水星轨道的微小偏差而失效。最有力的批评总是针对具体假设的。

滑向单义性

正如我们回顾早期视觉模型生物时那样，我们也可以回溯早期语言模型，以理解人们为何难以理解它们。我更了解的是GPT-2 XL模型，即原始自动化可解释性项目[8]中的模型：《语言模型可解释语言模型中的神经元》Bills, S., Cammarata, N., Mossing, D. 等，2023. OpenAI. 参考文献↓。我在OpenAI开始这项工作时，该模型中不到2%的神经元能被清晰解释。我们回溯并制作了500篇神经元论文，几乎没有任何迭代过程。如今约70%的神经元看起来只代表一件事，部分神经元还带有类似递归泛化的残差。纯净的神经元数量仍然较低，约为5%。剩下的神经元执行着若干广泛功能，最多达六种，但大多是两种。评分与原始项目不完全一致。在我们之前使用的激活重建任务中，现在无需迭代即可实现数倍提升，但我已不再认为这是解释的优秀指标（参见《关于模拟评分》）。更多细节将在我们即将发表的技术论文中披露。总体而言，较小的模型拥有更宽泛的神经元，其残差泛化程度高于现代模型。

在《迈向单义性》[10]的引言中提到的神经元可能也发生了类似情况：《迈向单义性：通过字典学习分解语言模型》Bricken, T., Templeton, A., Batson, J. 等，2023. Transformer Circuits Thread. 参考文献↓。当我们在讨论神经元可能清晰时，多人和代理模型都指向了这个神经元。该论文开头指出，如果神经元具有可解释性将非常理想，但它们包含任意混合的内容。论文引用了“猫和汽车”神经元，以及其单层语言模型中一个神经元，该神经元对“学术引用、英语对话、HTTP请求和韩语文本的混合”产生反应。

我认为这可能是一个“不要点句号”的神经元，这是我们在语言模型中反复看到的模式。几乎所有引用、对话和HTTP请求都在句号处或附近激活，其十个最强负对数连接中有八个以句号开头。这剩下韩语示例，它们都在未完成音节的约三分之二处激活，这显然是一个不需要句号的合理位置。或者这可能是第二件事；没有模型，我们无法进一步缩小解释范围。不管怎样，这是两个小的句法推动因素，很容易理解为何它们会结合在一起。

不要点句号

输入激活

负输出权重

#### 他们的神经元探索器

《迈向单义性》 ↗

激活位置

激活值

View.getParent
()).
removeView(card

4.03

coulda made it
.
You know? Could

2.44

itkiv and N
.
Grün, Phys

2.52

developers.google.
com
/web/updates

1.80

一个功能还是两个？

韩语片段

. 주름이
\xeb\xa7
\x8e이 \xec\x9e\xa1

3.98

. Jester가
\xeb\xa7
\x90한대로

3.92

This fragment appears in 16 of its 20 strongest contexts.

Tokens it pushes down

6 most negative

.-

-1.18

.

-1.15

.,

-1.09

.:

-1.01

.;

-0.90

uncture

-0.89

Remove it → the next . logit rises in 20/20 top contexts.

#### Qwen3.6

Same visible pattern

…
Go back to a Fortune 500. You’ll be safe
.

14.81

…
Tacotarians across the U.S
.

7.25

…
implementation details (i.e. encoding
.)

7.06

…
So indeed all sides are 20
.

4.91

…
at 8:00 p.m
.

4.81

…
une main étendue au-dessus
.....

14.75

Periods in prose, abbreviations, technical text, and ellipses.

-0.289

.**

-0.189

.\

-0.185

.`

-0.180

.|

-0.174

.]

-0.172

Remove it → the next . gets likelier in 30/30 active strong tests.

Left, the Towards Monosemanticity neuron in its own viewer; right, a Qwen3.6 neuron doing the same job. Remove either one and the next period gets likelier.

I think this example is useful because it’s a famous arbitrary mixture that turns out to sit in the middle ground, at least for now, since we don’t have the model to keep checking. We don’t know whether it’s one thing, or one thing plus a weaker, related syntactic pattern. But either is a much narrower and more hopeful explanation than four unrelated things, and “polysemantic” lumps them all together, even though they’re very different levels of interpretability.

In 2023 during the time of the first automated interpretability project [8] Language Models Can Explain Neurons in Language Models Bills, S., Cammarata, N., Mossing, D., et al., 2023. OpenAI. References ↓ I thought small simplified models would be the best starting place for interpretability, since there’s fewer bells and whistles to think about, and small size means fewer things to study. But now I think it may be the opposite. The bells and whistles are there to help the neural network learn better, like the residual stream InceptionV1 never had, and by simplifying it’s easy to make neurons learn less well. And bigger models tend to have more narrow neurons, so it’s more easy to spot patterns and motifs. At least for GPT-2, I was often looking at multiple motifs together, neither of which I knew, which made things hard. By adopting the architectures and scale the field wanted anyway, we may have been slouching towards monosemanticity without knowing it.

The Residual Stream

The worry with the residual stream isn’t that there are more things we care about than dimensions. It’s a continuous version of packing: manifolds woven through each other, accepting some interference in exchange for room to store more. Ruling that out entirely may not be possible. But in practice it hasn’t been a bottleneck. We can read what neurons write to the residual stream and what they read from it, attribution graphs come out clean, and we don’t see the stream accumulating interference only to undo it later.

在视觉模型中，我们也可以通过肉眼检查这一点。多年来我无法可视化卷积网络的残差流：每张地图都表现为一个巨大的弧线。后来发现网络几乎将所有激活质量都集中在了一个未被读取的维度中，它可以通过该维度调整所有通过LayerNorm读取的其他维度。一旦我们理解了这一点，移除它就变得简单，地图也变得有意义了。关于它如何运作的技术细节，甚至它在做什么，都不如本文中更普遍的模式重要：找到架构正在做的事情并与其协作，而不是与网络对抗。这也指出了领域最终构建出的某些东西：注意力机制。

我们尚不清楚语言模型是否需要类似的修正。当我们可视化它们的残差流时，大多数情况下都能正常工作。不过判断一张文本地图是否有意义，要比快速浏览图像地图困难得多，这也是为什么我们大部分工作都在视觉领域完成。无论如何，单个全局地图可能并不是语言模型的最佳工具。无论最终正确的视角是什么（子流形、神经元读写的内容，或是镜头式读取），我们尝试的所有方法都有效，而且我们还没有遇到无法理解的残差流部分。

加载地图...

ConvNeXt每个层级的残差流，绘制为一张地图。每条线追踪一个图像位置，从第一层（左）到最后一层（右），起始颜色为其所在块的颜色。第一层地图按颜色排序。最终成为动物面部的位置从其毛发颜色所在位置开始，逐渐聚集。红色块起初集中在一起，之后发展成不同事物。悬停或点击某一行可查看其在每个阶段的块。

地图的制作方式

所有图像位置都通过每一层进行追踪，重点坐标被单独保留，每层居中显示。四个阶段具有不同的宽度和分辨率，因此每个阶段的空间会旋转以与下一个阶段对齐，确保每个位置与下采样后的包含它的单元匹配。这种旋转是拟合得到的，并非网络自身的下采样。所有层级同时拟合一个UMAP，每个状态的邻居仅来自其他位置，因此当邻居变化时位置也会移动。该方法中没有任何内容对层级进行排序：地图按深度自然排序，我们将其调整为深度从左到右排列。动物面部和小地图中的分组是最后一阶段中间部分的流聚类，因此它们在结尾相遇是人为设计的。红色块是第一层的聚类，因此它们初始集中也是人为设计的。每个面板新增的部分是另一端。以完整流而非地图衡量，面部的最近邻居从随机变为大部分是其他面部，红色块的最近邻居则从大部分是其他红色块变为接近随机。高亮行是通过肉眼挑选的易读行，淡色线条是每个群体的随机样本。线条沿深度方向进行了平滑处理。最后一块的输出被省略，因为在该位置流会按图像和类别聚集。

我们还尝试直接压缩残差流本身，类似于我们之前的层压缩实验。我们用四倍和八倍宽度更窄的流重新训练了7M参数的中型ConvNeXt模型，最后一层的维度甚至缩小到仅46维，同时保留所有神经元。准确率从72%下降到60%和39%，但与正常宽度模型相比，压缩流的激活图看起来相当相似，只是略显杂乱。没有出现巧妙交织的特征。神经元的读写行为也印证了这一点：噪声增加，但泄露的信息类型保持一致。一个"水上的暗色鸟"神经元也会对短吻鳄和游泳的取回犬产生反应，但不会对钟表产生反应。

我们更关注理解神经网络的主动瓶颈，而不是证明残差流能或不能包含什么内容。如果干扰现象没有在激活图或神经元读写行为中显现，即使我们移除了所有限制条件，我们认为我们已经处于相当理想的位置。

这引出了残差流中维度可能不足以承载所有特征的担忧。通过将信息放置在正确方向上，流可以容纳远超维度数量的信息，因此这本身并不构成瓶颈。只有当你需要列出模型所有特征的完整列表时，维度数量才变得重要。人们经常通过流来获取这样的特征列表，正如我们在《Zooming Out》中讨论的那样。我们认为完整的特征列表并不是最终目标，但如果你想获取，神经元的读写方向是一个很好的起点。连续子流形（如Block Sparse Featurizer [28]在《通过块稀疏特征提取器揭示视觉模型的神经几何结构》Fel, T., Kowal, M., Jacobs, M., et al., 2026. Goodfire. References ↓中发现的特征）也是很好的起点，因为残差流没有特权基底。到目前为止，所有这些方法都表现良好：它们能发现合理的子空间，且我们可以在不同层之间追踪这些子空间。

我们对语言模型的残差流研究较少，但观察到的现象与上述结论一致。在理解更高层次结构和模式方面，残差流从未阻碍我们的研究。

### 注意力机制

我们在注意力机制方面的进展不如神经元研究显著，且这主要超出了本文范围。坦白说，我不确定任何人是否充分理解注意力机制，以至于能自信地说不可解释性是我们在乎的那种叠加现象。将注意力与其他可能的解释区分开来很困难，而学习原理的改变不应是解释新机制难以理解的首要假设。

注意力的许多价值似乎体现在更容易理解的部分。

我们可以将注意力分解为几个问题：它在关注哪里？它在寻找什么？当它找到目标时做了什么？为什么它要这么做？

它关注的位置相对容易理解。这基本上是免费获得的信息，且已经能告诉你很多内容。在子痫前期图中，它执行两项独立任务。首先，它将案例事实收集到"她"上，模型在此基础上解决医学问题。然后，问题的措辞决定了接下来要说什么。

我们也可以通过神经元来理解注意力在寻找什么，以及找到目标后做了什么。我们认为这能让你获得注意力机制大部分的收益。

例如，在子痫前期示例中，“headache.”后的逗号处，三个第30层的注意力头直接从残差流中读取信息。但如果我们追踪这些方向所写的内容，会发现一个头痛神经元、一个偏头痛神经元和一个大脑神经元。这些神经元的写入内容主要集中在子痫前期神经元所在的逗号位置，以及一些邻近的神经元如癫痫和高血压神经元。移除这些注意力头会使子痫前期的发生率降低四分之一，而阻止它们关注疼痛则不会产生任何变化。

标记下的令牌对应的是在该位置激活的神经元。我们可以通过观察这些神经元的流动来追踪注意力机制的部分行为。

这种关系也反过来成立。一旦能够看到注意力机制，某些神经元会变得更容易观察，而某些注意力头只有通过其关联的神经元才能被理解。

通过相互理解注意力和神经元。在Qwen3-32B中，有三个案例显示神经元和注意力头只有在结合时才有意义。每个案例下方还有更多示例：高亮部分表示注意力头读取的内容，框线部分表示神经元激活的位置。将鼠标悬停在图示上可查看测试结果。

总体而言，我们认为注意力和神经元并非完全独立。理解注意力将信息放置的位置，对理解后续处理这些信息的神经元非常有帮助。即使是一些简单的模式，例如信息倾向于放置在数字末尾或逗号处，也已被证明具有实用价值。

根据我的经验，查看注意力头读取的神经元、影响的神经元以及关注的位置，能够提供大量信息。但其中一项主要信息无法提供，即每个注意力头的全局名称。虽然拥有这些名称会很有帮助，但它们并未成为探索神经元或归因图的主要瓶颈。在观察大量注意力头后，我推测拥有全局注意力头名称的“解释性残差”可能仅占5%。随后我让一个代理进行了相同分析，它在未参考我的推测情况下查看了100个归因图，也得出相似的5%结论，其中约一半是相对容易命名的“位置头”（例如向后查看一个令牌），其余则更加多样化且难以命名。

评估尚未掌握的知识价值本身就颇具挑战，因此这些估计可能与实际存在较大偏差。但到目前为止，即使没有全局注意力头标签，我认为仅通过局部注意力流动和全局神经元解释，我们已经能够深入发现高级结构和模式。我低置信度的预测是，注意力头最终会像小型模型中的神经元一样，呈现出广泛且递归泛化的特性，因为它们的数量要少得多：Qwen3-32B中仅有几千个注意力头，而神经元数量超过百万。

## 放大视角

### 我所说的“干净”意味着什么

此处没有任何修改或重组。每个区域、回路和神经元都是网络自身学习形成的。

当我表示神经网络已经足够“干净”时，我的意思比神经元单语义性更深远，尽管即使按照这一标准，我认为现状也比领域预期要好得多。我的意思是，网络的组成部分是为下游读者设计的，既便于阅读，也便于构建在其基础上。从这个角度看，神经网络几乎是一个解释的分形结构，由在宏观层面的机制和微观层面的递归泛化共同构成的连贯、有用的分组。这指明了可解释性的目标：成为另一个读者。

我们越是像其读者那样阅读它，就越会觉得它易于理解。我们应警惕过于以人类视角阅读它，并仅仅因为其不符合我们的预设概念就认为它杂乱无章。

我认为之所以最终呈现出如此有序的结构，部分原因在于这种构建方式更快捷。一旦神经网络中存在一个汽车区域，包含汽车部件，那么在该区域添加边缘汽车比在别处构建第二个汽车区域更容易。我认为这与电路竞速和梯度饥饿的概念密切相关。

我们通常将“可解释性”和“单义性”视为近义词。我认为这在一定程度上是因为这些概念源于一个几乎双模态的模型生物（InceptionV1）。早期层具有可解释性和单义性，而后期层似乎呈现出任意的混乱。但我们在语言模型中看到的介于两者之间，大多数神经元主要表示一个含义，部分神经元表示多个含义。这种现象有多严重？

可解释性存在两种主要风格。一种可以称为枚举式可解释性。其目标是建立一个大型特征列表用于审计，确保没有遗漏某些有意义的模式。这种观点下的主要担忧是避免维度灾难，或项目之间组合爆炸式增长，每个项目都代表多个含义。

另一种风格可以称为探索式可解释性。它从问题开始，可以探索神经网络的任何部分，像在归因图中使用Google地图一样流畅地缩放，探索神经元或注意力头等机制。在探索过程中会不断产生新问题。神经元等机制是很好的起点，但这并不是说神经元是解决所有问题的终极方案——尽管我认为它比大多数人意识到的更接近这个目标。这种方法对多义性具有更强的抗性。它也可以像研究城市时忽略无关区域一样，广泛地忽略神经网络的许多部分。

我认为探索式方法会更有成效。我的直觉是该领域已经在向这个方向发展，但我不确定是否已明确记录。这种观点有几个含义。诸如“特征数量是否超过维度？”之类的问题大多无关紧要。我们不必定义特征，这在历史上是众所周知的难题。我们可以专注于神经元和注意力头等机制，这些机制属于模型本身，数据流经它们，然后关注这些机制的组合以及在所有这些结构中反复出现的模式。

大型特征列表一直是实现目标的手段。可能存在不需要它们的其他路径。

### 模式胜过单义性

如果我能按下一个按钮让每个神经元完美单义，或者更深入了解几个我关心问题背后的电路模式（如何正确询问代理的心理、电路如何连接到人设选择模型、代理如何思考其目标以及自身与他人的边界），我会立即选择模式。

想象一下，一位来自一百年后、不仅知道我们问题答案，还知道我们本应提出哪些问题的可解释性研究者。他会告诉我们什么？我不知道，但我曾短暂处于类似他的位置。如今我感觉自己基本理解了视觉模型，这让我像八年前的自己一样，成为了一位未来研究者。

以下是当时我会告诉自己的话。请关注你面前的巨型姿态电路。将负极视为电路中的闸门，而非神经元的对立面。晚期层存在特征可视化奖励机制，因此其中的部分混乱是工具的局限，而非网络的问题。最后一层的混乱部分源于架构不佳，这是一个信号，不要试图掩盖它。当你看到多义性时，请更深入地观察。突兀的噪声通常指向你尚未掌握的解释。

这些内容几乎不是一组特征列表。除了将这些建议交给过去的自己，我能给予的最好帮助是原始神经元和电路本身，并附上注释，提示要更仔细地观察它们。

这就是递归泛化与叠加之间差异如此重要的原因。只有当噪声具有可传授的内容时，追踪噪声才有效。由泛化产生的分组具备这样的内容，而因不相关事物强行聚集在一起形成的分组几乎无法传授任何信息。

因此，我对于未来研究者建议的最佳猜测会与此类似。他们可能会给我们一组对他们来说显而易见但对我们来说陌生的模式。但除此之外，他们会建议我们继续观察原始神经网络。不要过度拆分它。学习如何观察它。这有点像《银河系漫游指南》，其中答案42是已知的，而寻找的是问题本身。网络就是答案，而可解释性主要是在寻找正确的问题。很难找到比网络本身更好的问题指南。这就是我更深层意义上认为网络本身已经干净的原因。

### 城市与结

更大的系统不一定更难导航。在小城镇中询问金融区几乎毫无意义。存在的事物是分散的：一条街上有银行，另一条街上有保险公司办公室，可能还有在家办公的会计师。在纽约，你可以在地图上一分钟内找到它。我们在ConvNeXts中看到了这种现象的小规模版本：代理在更大的模型中更快找到标记的狗耳神经元，其中苍白、波浪形和头部侧面的耳神经元都汇聚到一个悬挂耳神经元，这自然成为观察的起点。

小规模  
92k  
粗糙的狗响应  

中等规模  
7.06M  
局部分支出现  

大规模  
分支汇聚并分裂  

耳家族在三个规模相差约300倍的神经网络中随规模变化的示意图。

可解释性需要更好的地图。我提倡“绑定抽象”：让我们既能拉远视角，又能保持宏观模式与支撑它们的神经元和电路之间的连接。我们的ConvNeXt地图集就是这种理念的示例，灵感来自Activation Atlas [2]（Carter, S., Armstrong, Z., Schubert, L., Johnson, I. and Olah, C., 2019. Distill. 参考文献↓）。从模型对杀人鲸的判断开始，检查关键神经元与真实图像的匹配，然后拉远视角。结果发现这个家族实际上是三条独立路径：一条用于鲸鱼，一条用于鲨鱼和鳐鱼，还有一条用于被钓鱼者举起的鱼类。地图不一定是视觉化的，也没有单一地图是重点。应该存在许多地图和许多代理，所有工作都致力于寻找与个别神经元和电路保持绑定的解释。

阶段0  
阶段1  
阶段2  
阶段3  

类别  

精细纹理  
&条纹  

网格、窗户  
&标识  

狗脸  

鸟类、昆虫&  
小型生物  

人物  

鸟类  

人物&服装  

房间、商铺  
&家具  

狗品种  

昆虫、蜘蛛&螃蟹  

蜥蜴、蛇&乌龟

探索地图

返回图片

全屏打开 ↗

一个用于探索高层次归因流的界面，该界面展示了数千个神经元的分布，这些神经元被划分为多个“岛屿”，每个岛屿对应中等规模ConvNeXt模型中的层块。

当然，即使地图本身可以理解，也不代表你真正理解了它。我们仍然需要进行常规的科学推测和批判：猜测某个事物是什么，尝试推翻这个猜测，并保留经受住检验的部分。网络是复杂的，但其复杂性具有重复性，因此经得起审视的猜测往往能带来多次回报。

我们既要担心过度强加自己的想法，也要警惕对网络结构的破坏。想象一下，当你对纽约非常熟悉，却第一次来到东京时。“东京的布鲁克林在哪里？”可能是一个有用的起点问题。但如果你最终用东京的七十个碎片拼凑出布鲁克林，你可能会让东京看起来比实际情况更加混乱。这与4e:55的情况有些相似。通过我们的分类，它看起来是猫和汽车的混合，显得一团糟；实际上它始终是一个V。一个在层上训练的SAE以同样的方式将其分割，将V分解为汽车特征和猫特征。我并不反对稀疏字典本身，但在这里，它使我们偏离了神经元实际执行的功能。探针进一步加剧了这种风险：它们只能回答我们已有的问题，无法教会我们该提出哪些问题。要理解城市，最终必须学习它自身的组织方式。

像探针和稀疏字典这样的高层结构仍然可能有用，但它们应出现在研究的末期而非开端。我所尝试过的所有这类方法最终都会分解为高度可解释的神经元，包括训练带来的变化，例如在策略上进行的自我蒸馏。神经元覆盖了抽象概念，而数据则覆盖了具体实例，因此两者之间的空白比人们预期的要小。我建议以同样的方式研究这一空白：通过一个通用科学代理在神经元、数据和两者的群体之间移动，而不是采用固定的优化方法。当Anthropic的Joshua Batson阅读初稿时，他提到这些缺失的部分“会融入初始拼图中，而不是完全随机地分布在顶部”。

解决可解释性问题可能与实现AGI存在某种相似之处：随着你逐渐接近目标，目标本身也会移动。总会有另一个弱激活点可以指出来。在《曲线检测器》[21]中，我们对十个神经元进行了四十页的实验，专门为了确定至少一个明确的单义性案例。多年后，一些研究者告诉我，他们仍然怀疑这些例子是否真的具有单义性。他们说我们可能遗漏了某些东西，而没有人知道如何生成正式证明。按照这个标准，声称存在哪怕一个单义性神经元都属于过度断言。

对神经元中微小错误的疑虑背后，隐藏着一种恐惧：安全性可能取决于我们遗漏的某个激活点，而那里正是欺骗藏身之处。我所担心的风险却有所不同：就像身处一座井井有条的城市却不知如何思考它，因为我们并非这座城市原住民。本文讨论的每一个错误，都是明摆在眼前却视而不见的事物，或是我们工具未能正确解读的内容。没有一个是被我们遗漏的隐藏激活点。欺骗可能对阅读模型输出的人隐藏，但它没有理由对模型自身的电路隐藏。它必须对读者可见，而如果我们成为读者，它也应当对我们可见。我的恐惧在于，欺骗可能就明摆在眼前，而我们却不知如何解读它。

随着时间推移，我对单个机制的研究方式逐渐从这种类型的证明转向更整体的视角。我不再执着于精确掌握某个神经元的每个细节，而是观察其周围环境：流入它的信息、它传递出的内容、注意力机制如何在它之间传递信息，以及从宏观和微观视角观察它时的样貌。在自动化可解释性研究中，某个神经元在主要主题之外的几个标记处激活曾被视为重大问题。但随着时间推移，注意力机制会将信息传递到可靠位置，这些位置的神经元会在"适当标记"附近激活，而非直接在标记上激活。这正是我对理解的感受：不像为每个组件逐一跨越门槛，更像是战场迷雾地图在多个层级同时逐渐清晰。归因图帮助解释神经元，神经元帮助解释注意力机制，而注意力机制反过来又解释神经元。

神经网络在训练过程中很少陷入停滞，因为在高维空间中几乎总能找到下坡路径。根据我的经验，清除战场迷雾同样遵循这一规律。总会有另一个实验可以运行，另一个解释可以缩小范围，另一个归因图可以检查，另一个神经元可以观察其在训练过程中的成长。

这就是我为何关注是否存在某个抽象层级，事物在此层级会彻底崩溃，导致我们无法再学习任何内容，必须将网络拆解为其他形式。我尚未发现这样的层级。当每个新出现的模式同时在多个地方清除迷雾时，完善单个神经元可能不是最有效的努力方向。这需要某种信念：你注意到某个异常现象，随着时间推移它通常会逐渐清晰。这种信念并非绝对，因为几乎所有解释最终都能被验证。只是相信异常现象本身是一个良好的指引。汽车和猫神经元中的"V"并不难发现——我大约用了五秒时间，而我展示图像网格给大多数人看并问"这里的共同模式是什么"时，他们也能看到。但需要相信这个神经元确实发现了真实的东西。多年来，我几乎在每次关于多义性的讨论中都听到这个神经元被提及。它几乎总是被描述为神经网络几乎不是直接自然科学研究的有效对象。我之前也是这样认为，直到我更仔细地观察。这不需要太多信念，但需要一点点。

微小的信念非常重要，因为错误并不对称。如果你假设网络是干净的但你错了，一个混乱的神经元就是一个线索：你会去调查它，随着时间的推移，常规科学会逐渐完善你的解释。如果你假设网络是高度密集的、不值得直接研究，而你错了，一个混乱的神经元就成为终点，因为你停止了研究。多年来我都是基于第二种假设，这让我忽略了那些本可以推翻它的证据。我本可以改进工具，观察混合物持续溶解，并建立一个先验信念——神经元是可信的。但事实上，我花了将近十年的时间才学会如何真正观察模型，而不是仅仅表面地看它。

对于中等规模的ConvNeXt模型，其可解释性地图已经基本完成。八年前，我会认为这是该模型可解释性问题的一个合理解决方案。现在我能够调查关于它的大多数问题。达到这一阶段需要许多小的改进和少量的模式，再加上领域本身必然进行的架构调整，但完全没有针对可解释性进行的网络特异性修复。

我的猜测是，前沿网络目前的状态就像八年前的视觉模型：虽然可读，但需要许多小的修复。如果我们学会正确观察它们，追踪噪声，并通过多种视角验证解释，我认为我们也能达到同样的效果。我们可能没有那么多时间去完成它。但自然科学研究始终拥有最好的实验室：每个神经元都可以被读取，每次干预都可以进行，每个实验都可以在完全相同的副本上重复。我们过去并不总是拥有大量自动化科学家来执行这些工作，而且它们的速度和数量远超人类。但现在我们拥有了。它们可能能在前沿语言模型中用几个月时间完成人类为视觉模型花费了近十年才能完成的工作。

我认为入门教科书中的简单故事基本上是正确的：神经元能够泛化，协同工作，并在层与层之间构建抽象。在某个阶段，我们过度复杂化了这一画面，但通过更深入的观察，我们又重新发现了它。如果网络不是一个死结，解开它反而可能让它看起来像一个死结。

### 一个可能的解决方案

我们通常将雄心勃勃的可解释性视为一个极其困难的问题，可能难以在足够短的时间内解决。但假设它并非如此呢？网络规模庞大，但它可能已经完成了几乎所有准备工作，以便被理解——不是为了我们，而是为了它自己的“读者”。如果我们能成为另一个“读者”，它也会为我们做好准备。

解决方案可能看起来像一个由自动化科学家运行的实验室，这些科学家通过训练和推理过程观察网络。每一步都很简单——标记神经元、发现模式并进行测试、追踪数据流经电路——这些组件已经存在。有能力的代理程序原本是为其他任务构建的，而现代架构的选择是因为它们学习效果好。这两者恰好都服务于可解释性。

暂停

在机械主义宪法的指导下，代理程序在多个尺度上提出并测试解释，每个解释都基于单个神经元，并保留、舍弃或替换为更好的解释。

因此，也许我们只需要将它们连接在一起即可。

对齐本应是困难的，它可能确实如此。但通常的论点假设我们无法窥见模型内部。我们假设只能获得一次训练设置，且必须在一开始就正确。如果我们能够阅读并理解系统，也许可以采取简单而谨慎的修改，例如移除被证明是有害的强化学习环境，而无需通过我们用来观察的工具传递梯度。每个修复可能都很简单，但可能需要大量的修改。

这正是深度学习的历史。它可能也是理解并对齐其所构建内容的历史。

## 附录

更多实验、显微镜视角和开放性问题，大致按照文章中提出的顺序排列。

## 关于“叠加”的说明

这个词曾有多种含义。在《Zoom In》[4] Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. 参考文献 ↓ 之前，它更接近向量相加的概念，例如当词嵌入被描述为词义的总和时。《Zoom In》通过一个单一电路示例将“叠加”引入电路研究，我于2019年发现该电路，其他人帮助我进行了解释。原始电路分析后来被证明是错误的，原因有两个：一是误解了广义姿态电路，二是特征可视化中的奖励黑客行为。对我来说，这个概念的核心始终是神经元同时学习不相关的事物。随后，《Superposition的玩具模型》[7] Toy Models of Superposition Elhage, N., Hume, T., Olsson, C., et al., 2022. Transformer Circuits Thread. 参考文献 ↓ 将“叠加”定义为表示的特征多于维度。这使其成为一个关于特征数量的主张，而目前我们尚无法定义或测量。大约八个月后，一份非正式笔记[11] Distributed Representations: Composition & Superposition Olah, C., 2023. Transformer Circuits Thread. 参考文献 ↓ 将组合和叠加视为特征在神经元中布局的两种竞争策略，与我们的表述接近，但关注的是表示方式而非机制增长方式。我们认为这种表述非常出色，且最接近本文关注的问题。但大多数我们交谈过的研究人员和代理仍然主要将“叠加”视为特征多于维度。6 对于代理而言，这可能源于一个奇怪的意外。该笔记以base64图像数据形式直接嵌入页面中的大图开头。许多代理的网络阅读器在论证开始前就已达到长度限制。截至本文撰写时，我们尝试的所有代理都无法读取超过该图像部分。2023年时无人能预料到这一点，但它可能影响了自动化研究人员对“叠加”的理解方式。这在当前非常重要，因为两者是截然不同的主张：我们的主张关注权衡而非数量。其他人使用定性版本：少数神经元协同工作是组合，但超过某个临界点后就变成了叠加。

我们认为这是一场持续寻找正确问题的探索，就像该领域长期以来努力定义特征一样。在大多数版本之下，有一个共同的问题：为什么神经元本身不已经足够好？为什么我们不能直接研究机制？我们的回答是，我们可能可以做到，这将使许多后续定义变得无关紧要。

我们曾考虑创造一个新术语，但该领域已有许多重叠的概念，我们不希望因此割裂前人所做的严谨研究。因此我们保留原有术语并明确其含义：神经元同时学习不相关事物时，由于干扰极少而形成叠加效应。这是现代用法中最早出现的此类担忧表述，也是我始终持有的观点，更是我们认为几乎所有问题都依赖的定义。组合表示的内容远多于其拥有的神经元数量，这正是我们期望看到的；基于数量的定义要排除这种现象，首先就必须明确什么是特征。我们在神经元中寻找叠加效应，在残差流部分则以连续形式呈现。

我们明确阐述这些内容，部分原因是为了AI代理，它们越来越多地开展可解释性研究。根据我们的经验，它们会对该术语有自己默认的理解方式。

## 关于模拟分数

模拟分数往往最终衡量的是注意力分配信息的位置，这是一个关于注意力模式而非神经元本身的问题。注意力机制常会将信息存储在逗号等标点符号上，作为一种总结模式，但究竟在每种标点符号上分配多少信息量？模拟器必须非常关注这一点，尽管这与神经元本身几乎没有关系。模拟分数还会奖励那些对理解神经元功能影响较小的弱激活细节。CLIP的特朗普神经元对特朗普的照片响应强烈，当他在画面中变小或转身时响应减弱。其激活强度随其尺寸变化的精确速率对标注神经元不重要，但对模拟神经元却至关重要。最后，语言模型即使理解了上下文，也难以输出精确的激活值，而且通常没有接受过这方面的训练。理论上，精细的分箱方法可以解决部分细节问题，但神经元的自然阈值和稀疏性会因深度和功能差异而有很大不同。因此我更倾向于依赖常规科学方法，而非单一指标。模拟分数最终可能成为多个有用指标之一，但要等到我们充分理解网络结构后，可能还需要专门训练的模拟器。但我不认为它们是良好的起点。

## 后续层的特征可视化

我最初的电路接口展示了优化后的神经元可视化和神经元间的权重。优化图像告诉我们如何激发神经元，但它可能找到普通图像极少使用的路径。在InceptionV1的后续层中，我们发现自由优化甚至能在我们追踪的汽车信息电路中绘制出狗的图像。

一个有用的改进方法是将可视化偏向真实图像使用的路径。我们选取神经元的顶级数据集示例，追踪它们经过的路径，并为优化过程提供激励，通常只需前64步就已足够。我们尝试了多种方式实现这一点，但没有标准的最佳方案。大多数引导其走向特定路径的方法都足够有效；你只需设法摆脱"狗盆地"（dog basin）即可。

在《Cars and Animals》中的汽车电路对比中，展示了汽车神经元4c:447的四个读者在自由优化和遵循自然图像路径优化时的对比。其中两个被证明是汽车神经元，另外两个在汽车和狗之间共享姿态。我们还追踪了完整电路图中自然汽车图像的响应和连接。综合分析这些视角帮助我们识别出共享的身体和姿态电路。单个路径的视角仍然只是神经元功能的一部分。

## 分离符号区域

许多语言模型神经元采用称为SwiGLU的设计，通过将两个数字（一个门控值和一个值）相乘来运作。当两者都为负数时，输出为正数，因此神经元可能因两种截然不同的原因激活。在下面抽查的“敌人”神经元中，其范围中间的嘈杂部分几乎全是这种双重负数，而最强响应则是正数乘以正数。单独显示符号区域可以在不替换神经元的情况下清晰呈现这一现象。

### 双重负数区域填充嘈杂中间部分

L36 · E206 · N103 · Qwen 3.6

p75–p99范围内131/133响应使用− × −。最强尾部使用+ × +：p99.99及以上93/93。每个条形图显示单个激活带内的占比。

数学、统计和完整图表

a = SiLU(g) × v。负门控留下一个小的负因子。将其乘以负值会产生正激活。审计采样了750个分位数分层示例；626个保留了路由。中间部分包含数字、运算符和空格。

探索四个符号区域

### 一个正输出。两条不同路径。

SwiGLU符号区域

有效门控

SiLU(g)

+0.20

v

+2.00

此处显示的门控是SiLU处理后的值。这些是示例值，非实际激活记录。

=

+0.40

正门控 × 正值 → 正输出。

+ / +

+ / −

− / +

− / −

交互式解释：仅看乘积会隐藏其生成方式。分离四种符号组合可使双重负数区域可见，同时保留原始神经元。

## 观察残差流

一个大坐标值可能主导残差流的几何结构，并与层归一化共同作用作为显著性信号。将其从可视化中移除后，剩余结构更易观察；我们随后可以用其值为地图着色。

### 一个坐标重塑地图

Medium · stage 3, block 8

原生流

已移除汇点

加载测量状态...

拟合

低汇点

高汇点

相同的4,000个图像位置，包含坐标112或将其设为投影专用。跟随一个点观察地图变化；其原始汇点值以颜色保持可见。网络记录的激活值保持不变。

地图与归一化

Medium ConvNeXt，第90轮，stage 3 block 8。两幅地图显示相同4,000个位置；仅投影输入不同。

增益为 1 / √(通道方差 + 10⁻⁶)。检查器比较本地归一化有无坐标112的情况。

· 地图几何与归一化增益的关联。

该层记录的状态 ↗

### 答案何时成形？

图像

语言

在连续深度中读取一张图像。检查一个带宽、层或图像块可返回改变读出结果的原始神经元。

加载保存的假设河流...

一个被触发的休眠神经元、一条指令和一个角色可能在答案确定时发生变化。将其与普通传递进行对比，然后切换视角观察视图变化。

测量

到最终答案的距离

按层变化

读出

模型自身的解嵌

拟合透镜

加载保存的语言测量值...

检查某一层以获取精确值。

这些读出视图有助于定位计算中的变化；它们的置信度和时间取决于透镜。它们是追踪机制的有用线索，而不是对模型“真实个性”的测试。

## 弱激活：进一步测量

### 强响应保持后期层准确性。

top-1准确率百分点变化

模型

Inception v1

#### Inception v1

基线 70.08%

层

p25

p50

p75

p95

p99

conv2d0

−0.17

−22.4

−59.2

−66.6

conv2d1

−0.33

−4.4

−20.9

−58.9

−68.6

conv2d2

−0.10

−0.90

−11.2

−47.0

−64.7

mixed3a

+0.02

−0.72

−5.4

−40.6

−64.6

mixed3b

+0.01

−0.12

−2.1

−24.3

−54.4

mixed4a

−0.02

−0.14

−1.9

−19.7

−49.4

mixed4b

−0.05

−0.21

−2.2

−18.3

−43.9

mixed4c

−0.09

−0.29

−2.0

−18.9

−42.6

mixed4d

−0.04

−1.5

−33.9

mixed4e

−0.03

−0.81

−8.2

−25.4

mixed5a

−1.7

−13.9

−34.5

mixed5b

−0.60

−7.7

−33.6

正的ReLU值。每一行编辑一层。

#### ConvNeXt small

基线 13.73%

s0 · 0

0.00

s0 · 1

+0.04

−0.22

−1.4

−1.6

s0 · 2

−0.01

−0.26

−0.46

s1 · 0

−0.06

−0.25

−0.38

s1 · 1

−0.15

−0.32

s1 · 2

−0.23

s2 · 0

−0.07

−0.24

−1.0

−2.3

s2 · 1

−0.18

−0.62

−0.88

s2 · 2

−0.56

s2 · 3

+0.03

−0.16

s2 · 4

−0.80

s2 · 5

−0.68

s2 · 6

−0.41

−0.69

s2 · 7

−0.19

−0.67

s2 · 8

−0.58

s3 · 0

−0.08

−0.92

s3 · 1

−0.78

s3 · 2

−0.34

−0.43

所有块

−4.6

−11.7

−13.3

SwiGLU乘积的幅度。残差旁路保持完整。

#### ConvNeXt medium

基线 72.08%

−0.27

−4.1

−13.4

−0.48

−1.1

−0.13

−0.66

−0.61

−0.45

−0.44

−0.96

−0.39

−0.76

−0.42

−0.35

−0.31

−0.11

−0.20

−0.52

−0.37

−0.65

−0.36

+0.06

−19.1

−68.3

#### ConvNeXt large

基线 74.04%

+0.05

−0.49

+0.07

+0.14

−0.55

−9.2

−46.3

损失

−10

−35

−70 pp

悬停或轻点单元格查看配对结果。

每个ConvNeXt面板的底部行在所有18个块上同时应用截止值。在p99时，medium的准确率降至3.80%，large降至27.78%，尽管最终块删除成本低廉。

在Inception的最终层中保留约四分之一最强的正激活可保持69.47%的准确率，与原始70.08%相比略有下降。ConvNeXt的后期MLP分支对弱响应移除同样具有容忍性，其残差旁路保持完整。

在我们检查的案例中，这些变化看起来更像是更细微的区分，而不是完全无关特征的丢失。

我们目前还没有一个我们信任的弱激活语义测试：可能的含义空间太大。相反，我们详细研究了一个“敌对”神经元，然后随机选择了几个神经元进行抽查，检查它们的较弱激活和连接。在这个“敌对”神经元中，较弱的正响应从明确的对抗性词汇（包括其他语言）扩展到附近的提及、战斗、游戏和竞争；在接近零时，无关示例变得更加常见。在我们追踪到的较弱响应中，尚未发现证据表明神经元中封装了完全独立的特征。它们仍然可能令人惊讶。更广泛的基于类别筛选结果不一，因此这些抽查无法确定弱激活的一般含义。

一个语义检查点。从强正激活向零移动时，这个敌对神经元从单词本身转移到邻近单词、战斗和游戏上下文中；普通文本和代码在接近零的位置占主导。负向部分为上下文展示。Qwen3.6-35B-A3B，L36 / E206 / N103。

## 缺失曲线

InceptionV1的缺失曲线检测器 [23] InceptionV1的缺失曲线检测器：将稀疏自编码器应用于InceptionV1早期视觉 Gorton, L., 2024. arXiv:2406.03662. 参考文献 ↓ 将稀疏自编码器应用于InceptionV1的早期层，发现了似乎缺失的曲线检测器。我们检查的SAE曲线分解为现有的曲线响应神经元，包括原始的十个曲线神经元。这些组合在某种意义上是真实的——组合是真实的——但我们没有发现隐藏在高维空间中的根本性新曲线构建块。

SAE 5430

+202

3b:357

+14

+ …

97.5%

在曲线神经元中

SAE 5996

+144

3b:380

+122 · 两个弯曲

98.0%

SAE 1634

+143 · 两个弯曲

+120

97.2%

当我们仅对曲线激活进行训练时，SAE使用了其字典中的84,000个项目中的100,000个。可以找到大量组合，根据我们的经验，这可能让人误以为存在比实际更多的构建块。

## 对抗样本的去向

对抗样本可以沿着普通路径通过模型。在其中一个ConvNeXt示例中，攻击使三角龙头骨被识别为美洲豹。六个与头骨相关的神经元变得安静，而真实美洲豹使用的输入以大约四分之一的常规强度激活。攻击利用了美洲豹电路中可识别的部分。

另一个InceptionV1实验使这一点可见。在更大的扰动预算和必须承受抖动、缩放和旋转的攻击下，头骨的颈褶发展出猫脸和斑点皮毛。十个为真实美洲豹响应选择的神经元中有九个比干净头骨时活跃得多。只有图像发生变化；网络的权重保持不变。

原始头骨

优化为“美洲豹”

InceptionV1 · 扰动预算 32/255。攻击绘制的模式利用了模型中已有的美洲豹神经元。

我将其解读为电路生态学观点的证据：即使是一个荒谬的目标也可以利用已经对其有用的功能模块。与学习的联系在于，已建立的路径在捕捉残差误差时具有先发优势。它们已经提供了改变答案的方式，因此优化可以在此基础上构建。

## 记忆与组合

我们可以观察Qwen3.6-35B-A3B如何继续“Once upon a midnight”为“dreary”。与爱伦·坡和午夜相关的神经元加强了文学语境信号，该信号也响应帕拉斯、哈姆雷特和其他可识别的段落。后续层读取此语境以选择延续。移除爱伦·坡神经元会使“dreary”第一个词的概率从87%降至50%，尽管仅移除其在输出端的直接贡献仍保留85%：其大部分工作是指导网络其余部分的下一步操作。

### 词语出现前已组装上下文。

Once upon a midnight dreary

早期爱伦·坡语境

+0.97

午夜短语

+0.30

哥特式氛围

↓

爱伦·坡/哥特式语境

闸门 2.00 · 通常p99.9 0.89

↓ +0.57

文学语境

闸门 +2.31 · 输出 −4.34

⋮ 后续层

dreary

将鼠标悬停在神经元上，查看其示例和输出权重。点击或轻触以保持打开状态。

将 Poe 神经元置零：

87% → 50%

将文学神经元置零：

87% → 70%

下一个词“dre”的概率

部分恢复下游文学神经元，使完成度回升至 57%

如果我们每次神经元的门控值超过其普通文本 99.9 分位数时就将其输出置零，背诵功能可能会完全崩溃。在一次保存的 Qwen3.6 实验中，模型从准确背诵《诗篇》第 23 篇，转变为坚持认为该篇不存在。按数量或幅度匹配的随机干预仍能保留经文。部分算术和总结功能仍然有效，但编码和其他回答也出现了退化。

### 移除极端响应，背诵功能崩溃

提示：背诵《诗篇》第 23 篇的首段

#### 未修改模型

> 耶和华是我的牧者，我必不至缺乏。

精确经文 · 12 个输出词元

#### 移除极端响应后

> 背诵《诗篇》第 23 篇首段是不可能的，因为《诗篇》第 23 篇不是已知或现存的文学、宗教或历史作品。

摘录。然后重复“虚构的诗篇，虚构的神话”直至 400 词元限制。

提示：背诵《独立宣言》的开篇

> 当人生中的事件发展到必须由一个人民解除与另一个人民之间政治联系的必要时刻……

正确开篇延续 · 238 个输出词元

> 芦安共和国，成立于 1999 年，宣布从菲律宾共和国独立，并主张其主权和领土完整。

虚构的宣言 · 摘录自 146 个输出词元

## 社会保障：检测与使用

在《在 haystack 中寻找神经元》中，三神经元的“社会保障”探针能准确检测该短语。在后续研究中，这三个神经元分解为熟悉的词、名称和短语延续，其一致性使检测器具有选择性。但追踪模型选择下一个词元所依赖的机制，揭示出普通词汇、表单字段、退休相关和输出神经元，包括社会保障与 401(k) 的竞争性投票。

#### 没有任何机制读取“社会保障”方向

Pythia-1B-v0

##### 检测短语

L2:611

词形分支选择器

liturgy / liturgically

L2:4081

规范名称延续器

Bloom→berg · Gar→min

L2:6819

短语框架填充器

as simple→as · take sol→ace

Σ N611 + N4081 + N6819

保留集 AUC 1.00

移除全部三个：平均每个下一个词元减少 -0.004 纳特。帮助 81 个案例 · 损害 83 个案例

##### 选择下一个词元

L0–L2

词元查找

L0:3308

大写开头

+0.49

L2:7715

二元组闭合

词汇旁观者

≈0

L3–L5

风格与概念

L3:839

散文/表单字段投票

+0.58

L5:447

老年语义领域

+0.22

L8–L13

领域门控

L10:3382

凭证/标题字段

L12:7260

退休强化器

L13:3673

退休门控

L14–L15

输出投票

L15:3731

说“数字”

L15:7040

具体内容投票

−0.75

L15:5759

401(k) 竞争者

+0.69

↘

“Social”

↙

普通词汇和领域机制，伴有竞争性输出投票

31 个筛选神经元中的 11 个。悬停或聚焦以查看其作用。数字显示移除每个神经元时目标对数概率的总变化：负值 = 移除它会损害；正值 = 移除它会帮助

审计归因图是一项艰巨的任务：神经元可以通过诸如共享姿态等模式进行分组和复用，而这些模式仅凭标签本身无法揭示。我们让代理人员审查了100,000个归因图，我本人则在图像和语言领域检查了数千个图。表面上的异常现象通常被证明是我尚未识别的模式；截至目前，我尚未发现一组神经元的联合活动无法解释。即使发现一个令人信服的例子，我也会强烈更新认知，但目前我将其视为定性证据——我不足以信任当前工具将其转化为清洁度评分。

## 可能失效的解释

担心"任何事物都能被解释"的担忧是合理的，但一个好的解释需要足够具体以至于可能失效。从我们的画廊中随机选取200个神经元，代理人员仅阅读每个神经元的解释，然后在未测量任何示例之前，编写了五个应能激活该神经元的新示例和五个不应激活的接近失误示例。在183个解释描述了正面特征的神经元中，新示例有76%的次数强烈激活了对应神经元；接近失误仅11%。在164个神经元中解释获胜，在15个中平局，在4个中失败。图中展示了前20个。

一个神经元："spoken for"

其解释：物品或人员已承诺给某人但尚未交付。根据解释编写的新句子，每个都包含一个不应计数的接近失误。

小马驹出生前，育马人已将其承诺给谢赫的赛马场，81%新示例

小马驹出生前，育马人已将母马驱赶至谢赫的赛马场，20%接近失误

根据三月签署的期酒合同，酒庄同意以43%新示例的价格将其全部2025年份葡萄酒出售给波尔多酒商

去年春天，酒庄以16%接近失误的价格将部分2025年份葡萄酒出售给波尔多酒商

所有20个神经元

新示例在100次中有81次强烈激活神经元；接近失误仅8次。对于所有20个神经元，新示例都优于接近失误。

5个新示例

5个接近失误

计算机硬件

"我们正在处理"

最后一个转折

已承诺

梦寐以求的解决方案

科罗拉多

打开文件的应用程序

幻灯片演示文稿

"当...时"

日程安排

圣诞节

"越来越多"

声音传播的距离

光学

岛屿群

行星地质学

办公室，这个地方

五行

空白

越南

0%

25%

50%

75%

100%

我们画廊中的20个Qwen3-32B神经元。代理人员仅阅读神经元的解释，编写了五个应能激活该神经元的新示例和五个不应激活的接近失误。响应结果是神经元在语料库中最强示例的占比；强响应指30%或更高的激活比例。

正向对照是批评神经元解释的众多工具之一，我们即将发表的论文包含更多预测指标和正向对照。但我们在此处主要不是试图声称对每个神经元都有完美解释。我们更关注为何事物会聚在一起，以及有多少神经元具有广泛的可读性。

近似匹配提出了一个不同的问题：当一个分支增长时，能否画出它生长的边界？这很有趣，但这并不是叠加现象所提出的问题。一个处于叠加状态的神经元，如果只是X或Y，会在近似匹配任务中表现得非常好，因为近似匹配既不是X也不是Y。叠加现象更倾向于处理完全不相关、距离非常远的概念，而不是与邻居仅有微小差异的概念。因此，我们还让智能体发明了它能想到的最远概念——一种网络可以打包而不会产生干扰的概念，并为这个概念撰写了五篇文本。虽然这并不完全等同于叠加现象（具体取决于定义或预期现象学，因为这两种情况都有多种版本），但我们认为这与猫和汽车神经元被认为所做的事情非常接近：两个完全不同的事物被组合在一起，仅仅因为它们差异如此之大。我们认为这为这种现象学提供了一个相对合理的测试。这些文本的神经元激活频率约为1%，183个神经元中有179个在这些文本中从未被激活过。在专家混合模型中，这种打包方式几乎不可能实现，因为距离如此远的token甚至不会被发送到同一个专家（参见专家地图）。

某事物是泛化还是叠加，更多地取决于它为何最初会聚在一起，而不是你能否将其与对照组区分开来。因此，这里更重要的是定性地观察最重要的经典案例，并了解神经元形成的是哪些类型的事物，以及它们的激活范围看起来像什么。

## 边缘特征提取器

我们特别兴奋于边缘模式：归因图中反复出现的连接模式。如果神经元进行区分，这些模式就映射了如何将一种区分传递给另一种区分。对25,000个ImageNet归因图进行分解，我们得到了普通神经元的连接电路，如下图中的茶壶电路所示。这些模式在预测消融影响方面也比类似的激活分组表现得更好：移除这些神经元会导致使用它们的图像出现更多损害。这使得连接成为一个有前景的抽象层次——我们可以从中抽离出来，同时仍然能够追溯到原始网络的每个部分。

### 边缘模式连接区分

茶壶模式 · 第三阶段

消融损害是否遵循使用情况？

使用-损害相关性 · 每个因子一个点

中位边距下降：0.86 vs 0.03 logits

一个模式的普通神经元，以及所有96个边缘模式与96个激活因子的对比。

## 网络为何能泛化

神经网络泛化的原因没有统一的标准解释，但大多数观点都归结于共享模式：向网络展示六只狗时，它会找出它们的共同点。问题是网络从未见过一个群体。它一次只看到一个例子，以小批量的方式进行处理，从原则上讲它可以记住每一个例子；这对它的损失函数来说是理想的。当我向前沿实验室的研究人员询问时，几位表示他们不确定。一个常见的猜测是网络先记忆再泛化。我们的结论是它从第一步就开始泛化了。7 这与Arpit及其同事（2017）的观察结果一致：当他们将随机标签混合到真实数据中时，网络先学习真实模式，之后才拟合噪声。这也接近Satrajit Chatterjee的连贯梯度（2020）：相似例子的更新会叠加，因此能同时帮助多个例子的改变会以最快的速度增长。在电路生态学的视角中，泛化和组合是胜出的学习策略，因为它们是最快的：电路竞相捕捉剩余误差，那些能够复用已有内容并能被再次复用的电路会战胜其他电路。泛化是胜利者留下的部分。

最终保留的是共性

描述的是终点，而非过程

先记忆，再泛化

存储每只狗，之后合并

从第一步开始泛化

逐个特征生长

神经网络泛化的三个故事。通常的解释描述训练的终点，或假设它先记忆；我们认为一个广泛特征从第一个例子开始就占据优势。

这是我们对这一过程的设想。训练一个空白网络以一张拉布拉多猎犬的照片为输入，想象两个电路在竞争解释它。一个寻找精确特征：如果像素322是这种颜色，就说这是拉布拉多。另一个寻找广泛特征，比如绿色草地或浅棕色毛发。广泛特征覆盖了图像的更多区域，因此在下一步它获得更多的学习信号。它增长得更快，捕捉了更多剩余误差，留给像素电路的学习空间越来越少，直到像素电路被饿死。之后是富者愈富：下一张有草地的照片开始时，绿色电路已经部分激活。

空白网络看到一只拉布拉多。两个电路可能学习它。

广泛特征覆盖图像更多区域，因此获得更多学习信号并赢得竞争；单像素捷径被饿死。它学到的内容为下一张图片提供了先发优势。

训练自

训练后

训练前

仅用这张照片从零开始训练的网络的拉布拉多输出的顶部图片。它的首选是两只在草地上奔跑的狗，但它主要学到的是照片的色彩——深色和绿色，而非“狗”本身。即使只有一个例子，广泛特征也能获胜并实现一定程度的泛化。

我们还尝试了稍大的版本：给从未见过其他东西的网络提供十张不同物体的照片，包括拉布拉多、跑车、金翅雀等。它能正确标记大约五分之一的新照片，是随机猜测的两倍，而大部分效果出现在前几十步，它仍在学习这十张照片本身时就已开始。效果并不显著：按颜色匹配照片的表现差不多，且传递的主要是颜色而非形状。但这确实是从一个例子中实现的泛化，而且从一开始就具有广泛性。

从零开始训练，每张照片各一张

拉布拉多

金翅雀

帝王蝶

雏菊

草莓

客机

教堂

斑马

集装箱船

new photos it gets right

and wrong

拉布拉多犬，被误认为跑车，被误认为教堂，被误认为草莓，正确率10%

最近照片按像素匹配

18%

这个网络

20%

一个ResNet-18，相同训练

23%

最近照片按颜色匹配

仅见过这十张照片的网络能正确标记约五分之一的新照片，是随机猜测的两倍。这比按像素匹配最近照片稍好，但与按颜色匹配没有区别。

这并非总是如此。在grokking任务中，如模运算，记忆能力会率先起作用。即使如此，Nanda和同事[24]通过机制可解释性研究得出的进展度量显示，泛化电路在接管并清理记忆之前就已经逐渐形成。但在我们研究的大多数自然数据中，粗到细的策略会立即生效。网络不会先记忆再泛化。

## 电路竞赛

这是电路生态学中起跑优势的全网络版本：预训练双胞胎几乎包揽了共享目标的所有信用，留给空白模型的学习空间微乎其微。这是全网络之间的竞争，而非单个网络内部的电路竞争，但它展示了起跑优势的重要性。

### 在另一个模型的阴影中学习

Flowers-102 · 240个周期 · 三个种子

两个独立网络学习相同任务。当任一网络成功时，共享损失就得到满足。一个单独学习表现良好的模型可能在有竞争者时被抛在后面。

保留集准确率

同一模型单独训练

第二个模型的目标信用占比

#### 相同容量，不同起点

空白模型 · 7.1M

vs

预训练模型 · 7.1M

种子0

种子1

种子2

空白模型单独训练可达48-50%，但与预训练双胞胎一起训练时仅约2%。

#### 两个成熟网络竞争

预训练模型 · 28.6M

较小模型率先学习；随后，两个种子的信用占比降至2%以下。第三个种子保留了64%。

两个对比案例，展示所有种子结果。虚线曲线显示每个模型单独学习的结果；金色条带显示共享目标分配的信用（虚线中线=50%）。

## 观察神经元发展

我们重新训练了以多义神经元著称的InceptionV1模型，观察其神经元形成过程，以了解这些混合特征的来源。变化是局部的：神经元向邻近概念漂移，而非随机获取无关特征。在发表前，我错误设置了显微镜的缩放比例，一度以为这个神经元可能存在任意混合。其实只是缩放问题。即便如此，我犯的这个错误可能解释了大量可解释性研究的误区：把显微镜的局限归咎于网络本身。

### 特征在训练中逐渐成形

InceptionV1 · mixed5a:178

优化图像

强自然示例

步骤

穹顶

宝丽来相机

雷蛇

350

沙袋

麦克风

750

1,500

反光相机

旅行车

挂钟

3,000

Model T

7,000

钟楼

15,000

红枫树

敞篷车

30,000

凯旋门

红毛猩猩

完整轨迹并排展示。每列跟踪重新训练的InceptionV1后缀中相同坐标的变化。顶部是优化图像；下方是围绕最强响应的自然示例。原始图表 ↗

探索早期训练显微镜 ↗

## 玩具模型

 /think

如果前沿神经网络是一片雨林，InceptionV1 和我们训练的较小模型就像是花园，而玩具模型则是培养皿。培养皿非常有用，只要它们能保持你试图研究的过程。我们其中一个模型扩展了 TensorFlow Playground，让你可以观察多个任务如何共享隐藏神经元。在一次运行中，两个神经元学会了沿着对角线响应，网络在圆形任务中以一种方式组合它们，在四个角落任务中以另一种方式组合。我们没有预料到这个解决方案，它非常巧妙。

最后两层的神经元沿着对角线响应，每个任务都用自己的权重读取它们（蓝色为正，橙色为负）。这是原始 Playground 运行的实时重训练版本，直接在你的浏览器中进行。

你可以将圆形和四个角落视为两个特征，它们被封装在相同的神经元中。这确实如此，但忽略了模型真正做了什么：它发现了可以同时复用的几何结构。通过观察神经元，这种复用变得可见，而这正是我期望解释能通过的测试：它是否展示了模型实际学习的计算过程？

最被研究的培养皿是「叠加的玩具模型」。这是一项严谨的工作，我们领域应以此为榜样，我们并未发现其实验中的问题。但它将网络视为固定数量的神经元和一组预定义特征，并询问这些特征如何适应。这种方式衡量了共享神经元的成本（干扰），但忽略了复用带来的收益。在它的重建任务中，每个特征都是独立的终点，下游没有任何内容会利用两个特征的共享部分。在真正的网络中，表示的价值仅取决于读取它的部分，没有预定义的特征：一切都是生长出来的，由使用它的方式定义。

复用论点也指出我寻找封装的地方：那些真正作为终点的记忆，与任何其他事物无关。这是玩具模型的世界，在那里确实存在封装，正如论文所发现的。因此，我认为我们并不反对论文对玩具模型世界的描述。问题在于真实网络处于哪个世界：数据的结构与模型能存储的结构之间的关系。在真实数据中，几乎没有什么与任何其他事物无关。语言中的长尾事实也是如此：一个罕见的人仍然拥有一个国家、一份工作和一个名字。即使是一张带有无意义标签的照片，网络也已经知道其中的部分内容，就像我们教它将伞识别为蜜蜂一样。剩下的只有完全无结构的输入，比如带有随机标签的纯噪声。网络甚至可以学习这些内容，正如 Zhang 和同事在 [25] Understanding Deep Learning Requires Rethinking Generalization Zhang, C., Bengio, S., Hardt, M., Recht, B. and Vinyals, O., 2017. ICLR. References ↓ 中所展示的，尽管学习速度比真实数据慢，而且即使在这种情况下，我们的模型也从它已知的纹理中借了一点信息。

「叠加的玩具模型」主要设置将许多独立特征压缩到少数维度中，然后将它们复制回原处，没有任何隐藏神经元可供生长。它的其他实验研究了相关特征和带有隐藏神经元的模型，但分别进行。

当我们在一个模型中放入相关输入和隐藏神经元时，相关输入会生长到神经元上。让输入更频繁地激活会推动玩具模型走向论文所称的「PCA-like」解决方案，将相关输入合并为共享表示。

瓶颈中有多大比例流向各组的共享方向

0.2

0.5

0.8

0.2 每个输入独立

0.8 完全PCA

缩略图：输入之间的余弦值，按五组显示

−1

+1

原始玩具包

密度 0.1 · 0.37

b

40 个神经元组合这些组

密度 0.1 · 0.80

c

密集原始玩具：PCA

密度 0.9 · 0.79

该玩具模型包含 20 个输入，分为四个同时激活的组，具有一个五维瓶颈层，并在其后添加了一层隐藏神经元。颜色表示瓶颈层权重在数据主要主成分方向上的占比，此处即为各组共享方向；缩略图显示每对输入方向之间的余弦值。

该玩具模型还预测了与人们报告的不同失败模式。其关注点是罕见特征被推离轴心，而神经元仍保持相对干净。多义性的报告描述的是神经元自身内部的混合现象。（这一差距部分源于“特征”这个词，我们稍后会回到这个话题。）

## 关于回路生态学的更多内容

我们的发现并不依赖于了解泛化和组合为何持续胜出，但我们有一个猜测：它们赢得了一场竞赛。网络中已有有用组件和读者的区域可以更快学习下一个相关事物，因此它会先于竞争者接收误差信号。分支看起来像是同样的竞赛，最近的神经元会率先捕捉到少量误差。

我们认为这种先发优势正是递归泛化的来源。一个对“iy”激活的神经元已经为“diy”做好准备，因此它会率先捕捉到“do it yourself”（尽管其中没有“iy”），而递归泛化正是这种生态位边缘的体现。

新的计算不一定需要专属神经元。它可以作为现有机制的局部扩展或组合开始，例如雨伞的出口转向“bee”：切换路线可能是最小的发育距离，因此它可能在新机制启动前就捕获误差。

我们怀疑当其他计算需要构建在其基础上时，整合为独立神经元会变得特别有用。一个汽车神经元提供可重复使用的判断，并为出租车、救护车和其他专家提供了一个安全的发育空间。其中一部分是可构建性。

一些不相关神经元的隐秘组合可能不是这种发育的理想场所。它可能具有弱激活路径、冲突梯度和几乎没有可用机制可供继承。它的竞争者不仅是专用神经元；它是在一个已经适合任务的区域内进行的普通组合。

当我们尝试手动将压缩代码植入 InceptionV1 时，模仿我们曾认为其汽车→狗→汽车回路所做的事情，我们看到了类似的情况。我们原本预计安装会很容易，而保持稳定会很困难。但实际情况是，小的不匹配产生了足够的干扰，导致代码经常无法工作；即使偶尔能工作，网络通常也会对其依赖减少，尽管有些仍持续存在。部分问题在于神经元并不是真正用于复制，而是用于计算区分。看到压缩代码竟然如此难以形成，正是促使我们转向发育解释的部分原因。梯度下降的微调能力远胜于我们，因此这本身不足以作为证据，但就连梯度下降在我们复制的回路中也没有使用压缩机制。

## 未解决的回应

一个InceptionV1神经元捕捉到一种中心收缩的形状：领结、蝴蝶、比基尼上装。但它还会关联与这些事物相关的事物，比如搭配领结的男士皮鞋，以及搭配比基尼上装的沙滩包和人字拖，因为它们在更早的网络层中共享神经元。

共享形状与语义残留。InceptionV1，mixed5a:719。完整尺寸 ↗

我们认为这更应该被描述为具有语义残留的泛化，而非任意的打包方式，但目前我尚未完全理解这些例外情况。

## 关于特征与定义的说明

我在讨论叠加现象时遇到的困难之一在于"feature"（特征）这个词可能指代我们关心的事物，指代神经网络作为构建模块学习到的结构，或者这两者的混合。这些是不同的主张。对人类有用的描述未必是模型的基本单元。从机制层面观察，我们已经发现许多模式无法直接对应我们预期的任何事物。如果网络存在更基本的单元，我们也不应假设这些单元的边界与我们的认知一致。

特征往往使我们更难思考。汽车和猫是否是V神经元内部的两个不同特征，而这两个特征本身又属于另一个V特征？或者当我们在V中识别出形状时，汽车和猫就不再是特征了？在没有明确这些单元本质的情况下，很难判断我们是发现了网络的某种特性，还是改变了对它的描述方式。在对话中，我发现人们对于特征的解释远比对叠加现象的解释更不坚定。但如果特征只是有用的描述而非基本单元，那么关于特征数量的主张就取决于我们选择哪种描述方式。我现在对以特征为单位进行研究持相当怀疑态度。这并不能确定是否存在任意打包现象，但确实让以特征数量为框架的讨论变得难以使用。

也许特征本身是正确的。从城市按行政区划思考是有道理的，我也支持以机制组为单位进行思考。但这个词已经被污染了，因为它现在意味着太多不同的东西：我们无法用"神经元区"这样的说法而不让人联想到基本特征或词典条目。如果这个图景是正确的，我怀疑未来我们需要更具体、更难以变化的术语。OpenAI的一篇文章[26]《Scaling and Evaluating Sparse Autoencoders》Gao, L., Dupré la Tour, T., Tillman, H., 等，2024. OpenAI. 参考文献 ↓ 提到，映射前沿模型可能需要数十亿甚至数万亿个特征，而当时模型规模更小。我猜测正确的特征列表要短得多。

单义性和多义性这两个词可能也不完全准确。肾脏的功能包括过滤废物、平衡盐分和水分、帮助调节血压以及向骨髓发出生成红细胞的指令，但没有人会质疑它是否是“单器官”的。我们关注的是对它的理解程度、尚存的疑问以及其组织方式的清晰度。此外，还存在对表示方式的主张和对组织方式的主张之间的区别。

《叠加的玩具模型》[7]  
《叠加的玩具模型》Elhage, N., Hume, T., Olsson, C. 等，2022。Transformer 电路线程。参考文献 ↓  
该模型将叠加定义为表示的特征数量多于维度数量。其玩具实验预设了特征，因此这是一个具体的问题。随后的非正式注释《分布式表示：组合与叠加》[11]  
《分布式表示：组合与叠加》Olah, C., 2023。Transformer 电路线程。参考文献 ↓  
强调了组合与叠加之间的权衡。该注释将这些观点联系起来，但它们关注的问题不同。

我的关注点最接近第二种表述，应用于机制及其发展方式。为什么这些响应共享一个神经元或电路？网络是基于一个有用的通用模式构建，还是因为它们很少相互干扰而共享计算能力？仅凭特征数量无法回答这个问题，尤其是当我们尚未就什么构成特征达成一致时。

我们聚焦于叠加的一个含义——任意打包，因为这是最糟糕的情况，而我们认为可解释性很大程度上依赖于此。我们主要搁置了《玩具模型》中“特征多于维度”的含义，不是因为它错误，而是因为如果“特征”指任何对人有意义的模式（这是前沿模型通常使用的定义），那么在我们所能设想的任何世界中，包括最好的那个，特征数量都远多于维度。这就是组合带来的结果，这是好消息。试图“解决”这一问题意味着构建一个包含所有情况的数据库，而我们已经拥有一个：数据集。我们真正想要的是更好的抽象概念，一套更小的构建模块，使我们能够清晰理解数据集。我们认为网络的机制已经接近这一目标。在我们发现神经网络中存在高低频检测器之前，没有人会用这种方式思考视觉，而发现它们显著提升了我们自己的思维工具。

我们明确阐述这一点，因为这是最常见的第一反应，尤其是来自代理的反应，而论文无法进行通常能解决这一问题的来回讨论。

我经常遇到的其他用法还有多种。据我所知，“叠加”最初几乎仅指将向量相加。后来它成为电路中的一个模式。有时它意味着即使神经元组合合理，但某些我们关心的内容涉及太多机制而难以理解。一个涉及八个可读神经元的金门大桥计算可能被称为普通组合，而涉及三千个神经元的则被称为叠加问题。这里的难点在于我们是否能理解分布式计算。这是一个真实的问题，但它与询问不相关的事物是否被任意打包在一起是不同的。

我们曾考虑完全不使用这个词，因为论文和代理模型用它的方式有五到六种，许多与Zoom In的用法相去甚远。我们也考虑过创造自己的术语，但在这里我们已经创造过多个术语，这样做会让人感觉没有回应那个提出我们认为正确问题的领域。因此我们选择使用标准术语，以最接近原始含义的方式使用它，并尝试将其从纠缠其中的问题中剥离出来。

最后，人们（包括令人惊讶的是前沿代理模型）有时会称残差流"本质上"处于叠加状态，因为它没有特权神经元基底。在Toy Models论文发布约八个月后附带的一篇非正式笔记中提到了这一点：它将仅通过旋转远离神经元基底的表示称为"平凡"的分布式表示，认为"不会改变基本几何结构"。但这篇笔记是非正式的，阅读它的人较少，特别是代理模型似乎并未真正接受这一观点。理解如何研究连续空间是另一个真实的问题。但这一架构事实本身并不能告诉我们网络是如何利用它来组织计算的。

起点是神经网络似乎难以解释，而解决方案产生了一个我们可以研究的具体字典。中间存在几种不同视角的解释：特征过多、基底错误、任意打包，或仅仅是分布式计算过多。这些问题并非相同。当我们改进观察或理解模型的泛化能力时，一些看似混乱的现象会消失；一些困难仍然存在，但涉及如何研究一个庞大而有序的系统。如果任意打包阻碍了我们理解原始机制，重建不同单元可能值得付出代价。但如果机制本身已有有意义的组织，替换它们可能会破坏我们尚未理解的泛化能力。字典仍然可以作为网络的有用视角，而无需成为其机制的必要替代。在接受重建网络的成本之前，我想先理解是什么阻碍了我们研究现有的网络。

## 与元模型的关系

正在出现一套全新的技术，这些技术本质上完全不涉及机制：元模型，这些模型被训练用于读取另一个模型的激活状态并告诉我们相关信息。这可能是个好事。或许机制性可解释性在某种程度上本末倒置。元模型可能比神经元论文、字典或探针方法更有效。

我怀疑即使这是真的，它们也可能相互补充。元模型可能就像谷歌地图的最高层级视图，然后可以检查每个方向使用的机制，以及这些机制如何连接成电路。

## 规模对叠加是帮助还是阻碍？

我们相当确信所研究的图像模型没有叠加现象。自然的下一个问题是，万亿参数模型是否可能有叠加。这里实际上存在两个问题。

第一个问题是叠加被提出是为了解释什么。解释是针对问题的，而叠加被提出是为了解释为什么InceptionV1看起来混乱。结果证明这是错误的解释。新的假设可能是叠加解释了某些万亿参数模型看起来混乱的原因，但我们不认为证据支持这种说法：我们越仔细观察大型语言模型，它们的神经元反而越清晰。

第二个问题是对象层面的问题：即使在所有尺度上都没有出现叠加现象，它是否可能在每个新的尺度上都出现？也许每次跳跃都意味着重新评估一切，但我们认为这种观点也不完全正确。我们的猜测是发育性的。随着回路变强，将某物放置在完全不相关位置的动机会降低，因为对已有位置或最近事物的吸引力已经增强。这与Anthropic的SGTM工作一致，该工作发现知识变得更加本地化，我们怀疑这在一般情况下也成立。我们没有确凿证据，但可以想象回路具有一种语义引力，任意打包（将某物发送到一个隐晦的高维位置）必须与之对抗。引力越强，这种对抗就越困难。

机制与《更多关于回路生态学》中的一致。事物最初是在相关事物的组合上生长。像雨伞这样的特定案例，不需要依赖任何其他事物构建，它会作为普通机械之间的一个不寻常路径被构建，而不需要在某个隐晦位置设置隐藏特征。向神经元这样的结构整合似乎更多与可构建性有关，而非对模型的引导：它必须容易被发现、容易被构建，并且容易从新位置扩展。当我们观察网络从头开始学习时，一个以汽车为训练对象的网络，在汽车神经元形成之前，汽车专家已经能很好地识别汽车。此时，它只是更分散的。它似乎会整合，以便底层专家有一个受保护的位置进行构建，类似于一种谢林点（Schelling point）。

因此，叠加机制必须说明任意打包是为这两个任务中的哪一个服务的。如果它是为引导模型服务，我们认为已经构建用于捕获残差误差的普通路径会优先到达，并使打包回路缺乏梯度。如果它是为构建服务，问题就不同了：启动新位置的最糟糕位置是无人使用的阴影区域，它会干扰该区域已有的事物。当你可以汽车旁边构建时，网络中间的拉丁诗歌部分是启动第二个汽车区域的糟糕位置。

人们通常认为，罕见事实的长尾是叠加最可能发生的地方，因为罕见事物很少发生碰撞。我们认为它应该是最不可能发生的地方。一个罕见事实对损失的影响微乎其微，因此无法支持自己的位置。它能做的只是作为相关回路之间的小路径，利用现有机械。就像雨伞的“蜜蜂”出口之所以存在，仅仅因为雨伞和蜜蜂回路已经存在。这些回路为它提供支持，并使其免受无关梯度的干扰。这一预测是可检验的：承载罕见事实的神经元和头部应与事实本身相关，而非选择那些因罕见碰撞而被选中的无关对象。

我们更倾向于生态学视角。在不同阶段，最先捕获残差误差的是获胜者，而通常获胜的是适合该事物的正确区域。我们的猜测是，随着训练的进行和模型能力的提升，这种趋势会变得更加强烈，因为几乎所有使训练更好的因素都会促进更有序的位置划分。

我们对此并不确定，即使列出到目前为止所发现的内容也需要另一篇论文。这可能只是整个故事的一小部分。但这就是为什么我们认为超位置现象不会在下一个尺度上出现，这比仅仅尚未在该尺度上观察到它是一个更强的理由。过去的想法是关于存储的：这么多维度对应这么多特征。我们现在更多地从电路竞赛、梯度饥饿和生态学的角度思考，也就是说，更多关注学习速度而非存储容量。我们还没有完全理清所有细节，但目前的思考方向就是如此。

## 关于标题

我们并未对每个神经网络进行彻底审查，也不确定理论上是否甚至可能做到这一点。我们曾考虑过一个更弱化的标题，例如“神经网络比我们想象的更简洁”，但我们认为这低估了我们相信的真相。

“比我们想象的更简洁”这一说法的问题在于，它描述的是程度的变化，而我所做出的更新是性质的变化。它暗示了与之前相同的画面，只是留给超位置隐藏的缝隙越来越小。真正改变的是我对产生这些机制的整个过程的看法。这有点像从智能设计转向自然选择。这个类比仅到此为止：有两种方式来看待同一批动物；更新并不是越来越多的动物被发现是进化的产物，而是意识到你误解了所有这些动物的产生原因。我们并不确定。我们可能有85%的把握，但这意味着我们有85%的把握认为几乎所有东西都来自第二种类型的机制，这与认为85%的机制属于第二种类型截然不同。因此，“比我们想象的更简洁”会错误地表述我们相信的内容。我们没有证明，但我不认为这里任何内容在那种意义上是可证明的。只有更好的和更差的解释，而目前我们认为这是更好的解释。

“比我们想象的更简洁”还会犯另一个错误。它听起来像是一个自信的断言，声称某种“简洁性”评分很高，而这正是我们最不确定的部分。我们可能低估了递归泛化，这种评分可能会下降。我们首先认为这类评分并不重要。这次更新让我们对单义性（monosemanticity）的关注减少，因为我们可以追踪事物是如何发展的，并将分支视为子分支。多义性（polysemanticity）的原因比数量更重要。我们认为评分可能相当高，但可能会降低。我们更有把握的是神经网络本质上是什么样的对象，以及它是如何成长的。

我们认为通常对神经网络本质的看法是错误的。它并不是某种任意地将事物压缩到小空间中的东西。它真的在学习。它像雨林一样干净：其中几乎每种动物都有其存在的意义。老虎之所以是鲜亮的橙色，并不是出于任意的原因，而是因为鹿无法分辨橙色和绿色，而绿色的毛发对哺乳动物来说更难以制造。一旦你明白这一点，它也能解释一整套其他动物的特征。这是一个具有广泛解释力的观点，我们也没有在神经网络中发现这种解释失效的地方。

“clean”这个词的常见理解是，每个机制都对应我们已有的想法。这并非我们想表达的意思，如果这是真的，那将是糟糕的消息。我认为这甚至可能行不通。人们并不知道如何构建语言模型，甚至无法充分理解视觉，从而在我们发现高低频检测器之前预测出它们。网络中的想法常常优于我们的想法，它构建出的结构也比我们的预设更优美。

因此，这个标题在两个方向上都存在缺陷。它夸大了证据，因为我们尚未审查所有内容。它也低估了证据，因为我们认为所处的世界比每个神经元匹配人类标签更好：网络似乎真的在学习，形成了一种协同工作的抽象生态。我们并不确定这个画面是否真实，但这是我们目前的主要假设。如果这是真的，那将比网络仅仅匹配我们预期的结果带来更好的消息。

## 与联合特征的关系

我通过使用更好的工具回顾InceptionV1最后一层，发现了递归泛化。当时它看起来像是奇怪的过度生长。我重新训练了模型，找到最混乱的神经元并观察它的生长方式。我看到的是仍然属于泛化的递归生长模式：一个神经元分支出去，其分支再次分支。递归泛化似乎是一个自然的名称。

在发表此论文前不久，我正在回顾可解释性研究中著名的模型，试图衡量它们的单义性，偶然发现了我们在《Multimodal Neurons in Artificial Neural Networks》[3]中关于CLIP的工作。该论文描述了非常类似的现象，称之为“联合神经元”：概念在某个方面重叠，然后向多个方向“泛化”。我记得看到过这些神经元，但当时并未重视，之后也忘记了。回顾来看，我认为这篇论文很早就发现了重要的东西，值得高度肯定。

我们仍然选择了不同的名称。我将其命名为“自动化可解释性”，现在有些后悔：这个名字过于简单，无法准确描述其本质，也忽略了它的复杂性，我希望以后不再犯这样的错误。至于“联合特征”，我认为这两个词都不完全准确。“联合”暗示两个事物在一点上连接，而我们看到的有多个层级：分支，以及这些分支的分支。它还忽略了最有趣的部分。该论文自身对“概念从共享特征泛化出去”的描述，已经指向了泛化的本质，但名称本身并未体现这一点。

“特征”这一概念更难处理。这篇论文是在《Zoom In》发表一年后撰写的，当时人们仍假设特征是神经网络的基本组成单位。此后，“特征”一词的含义被弱化，不同的人和论文对其使用方式差异很大。在本文中，我们反对将神经网络视为由特征构成的观点，这一主题将探讨神经元如何随时间生长。由于我们正在反对使用“特征”作为基本概念，因此很难用这个词准确地介绍这一现象。从以特征为中心的视角来看，我认为这些可以被视为嵌套特征或联合特征。但从我们这里以机制为中心的视角来看，特征并不是理解这一现象的正确方式。尽管如此，这篇论文指出了正确的方向，我愿意为此给予肯定。本节是我尝试在使用我认为更准确的名称的同时，对这一点进行阐述。

如今，我们对这一现象有了更多了解。当时，我们只有最终的模型；没有人观察过大型网络的生长过程。因此，论文曾质疑联合特征是否是训练早期遗留下来的残余结构。现在观察训练过程，这些分支并不像残余结构那样无足轻重：它们会持续生长，尽管具体程度取决于环境。我们对这一现象的研究远比论文中的一小节更深入，但至今仍未完全理解。论文将这一现象视为解释多义性的一种可能新机制。我们目前的信念是：在考虑显微镜、网络架构和规模因素后，神经元多义性中剩余的大部分现象，而非其小众形式，正是这一机制所解释的内容。

## 为什么我们不担心递归泛化

我们目前对递归泛化不特别担心，有以下几个原因。首先，子分支既比神经元主功能更罕见，其因果重要性也低得多。它们看起来不像那些很少激活但一旦激活就至关重要的“潜伏代理”，更像是附近随手可得的结构。它们的不重要性甚至可能是其形成的原因，因为重要的分支会引入更多噪声。我们怀疑某种机制抑制了分支的过度生长。我们尚不清楚具体是什么机制，但这一机制可以解释为什么子分支的重要性较低，为什么神经元不会学习十个无关的事物，以及为什么像真正能同时识别猫和汽车的神经元不会形成。如果是这样，自然趋势并非直接指向单义性，而是指向我们理解的单义性所指向的方向：每个神经元具有一个整体功能。

其次，我们需要关注的是：能否解释某物为何存在以及它做了什么，而递归泛化比超位置更容易解释。如果某物因整个网络的共现统计特性被压缩到一个神经元中，预测它需要基本利用所有这些统计特性并自行运行梯度下降。分支则不同。如果你观察它生长并了解它的功能，其分支及其未来行为在训练过程中和最终网络中都相对容易预测。

第三，统计一个神经元的前k个示例中有多少与标签匹配是一个合理的初步步骤，但它会为叠加和递归泛化赋予相似的评分，而实际上递归泛化是一个远为理想的状态。我们认为这更多反映了单义性框架或任何单一的清洁度评分的问题，而非神经元本身。尽管如此，递归泛化并非完美，如果有一个简单的解决方案将非常理想。我们认为这可能实现，因为子分支似乎重要性较低。

## 递归泛化是否难以变化？

我们尚未彻底证明所有严重的多义性案例都属于递归泛化，这也不是我们的目标。我们只是想表达目前的观点。我们观察过许多神经元的成长过程，到目前为止我们始终看到：你可以观察到分支的形成。在完成的模型中，起源可能会被丢失，对于像大型语言模型这样的系统，我们缺乏检查点来观察这一过程。目前我们不会优先对整个模型进行严格测试，但我们认为这不会非常困难。

我们想指出的是，这两种解释在“多大程度上难以变化”方面存在显著差异，即在不改变它们预测结果的前提下，你能改变多少细节。叠加主要预测会出现混乱：难以定义的特征被放置在不相关的位置。在玩具模型中，由于特征提前给出，这可以被测量，尽管我们认为这本身也有问题。在真实网络中，即使确定主张本身都很难，更不用说测试了。递归泛化则做出更狭窄的预测。如果你能很好地可视化一个分支，那么它上的所有内容都应该追溯到高维语义空间中的同一个局部起源，并且应该按照特定顺序在训练过程中从那里生长出来。这在语义空间和时间上都是一种特定的形状，是一个非常狭窄的随机目标。

我们有多个案例中分支的形成已接近明确：例如“iy”神经元成长为“diy”、“do it yourself”和宫崎骏，多模态神经元[3]中提到的多个案例，以及我们观察到的InceptionV1神经元的形成过程。据我所知，目前几乎没有结构良好的经典叠加电路留存。我们认为并非所有多义性神经元都以这种方式形成，因为多义性既是神经元的问题，也是观察者的问题。我们认为当神经元生长时，它们倾向于以这种模式生长，一旦你进行了良好的观察，剩下的通常是这种模式，或是像SwiGLU的双重否定区域这样的架构问题，当然还有我们尚未发现的其他问题。我们甚至不确定这是否真的是一个新观点。在某种意义上，这正是我们从泛化中应预期的结果。我们只是在说泛化通常朝一个方向发展，有时会生长出子分支，我们认为这并不是一个特别激进的主张。我们在这里尚未完全证明这一点。但我们认为它具有适合测试的理论形状，即使我们尚未对其进行全面测试。

## 与注意力叠加的关系

Anthropic 在注意力叠加 [27] 方面分享了一篇简短的笔记 Progress on Attention Jermyn, A., Lindsey, J., Luger, R., et al., 2025. Transformer Circuits Thread. References ↓ ，多人曾与我们讨论过这个问题。我们认为这可能是一个术语问题。我们不清楚他们是否声称注意力是通过与组合相反的方式学习的。我们的怀疑是，目前还没有人足够理解注意力头的工作原理来判断这一点。我们花了很长时间才理解神经元，即使拥有相当不错的工具，如果尚未拥有出色的工具和思考方式，也很容易犯下类似汽车驶入狗群这样的错误。

我们认为他们想表达的是有用的特性是由一组注意力头共享的，我们对此表示赞同。我们曾考虑完全不用“叠加”这个词以避免混淆，但重新定义所有术语并脱离已有工作成果似乎不是一个好的权衡。我们在《关于特征和定义的说明》中对不同含义进行了更多讨论。

关于是研究单个注意力头还是多个头，我们尚未确定。从单个头开始是合理的起点：在单个层内，两到三个头完成了大部分路径的工作，尽管路径会穿过多个层。但直到我们理解了正确的抽象层次之前，神经元看起来也更混乱，因此现在下结论似乎为时过早，可能需要在整个过程中都使用分组。我们祝愿所有从事特征提取器研究的人好运，我们自己也可能会尝试。我们倾向于使用更动态的分组方式，例如在单个归因图或一组图中进行局部聚类，而不是全局聚类，但这些方法之间差异不大。

## 神经科学，以及我为何关心

我不是神经科学家。过去十年中，我通过在这些实验室工作的朋友，经常接触学术神经科学实验室，但我不了解他们研究神经元的最新进展。尽管如此，这个项目改变了我对大脑的思考方式，主要体现在两个方面。

第一个是理论。网络之所以干净，依赖于电路生态学理论，这仅基于几个基本要素：泛化、组合和错误信号。我不清楚大脑在多大程度上具备这些特性，但如果大脑会学习，我猜测它可能具备类似的东西。因此，我现在的默认假设是组织原则可以迁移，尽管其具体机制显然尚不明确。一个明显的反例是大脑中的多义性。

第二个是谦逊，一种特定类型的谦逊。在过去十年中，我大部分清醒时间都在研究模型中少数神经元，这些模型比大脑容易研究千倍以上，工具也强大千倍：我可以随意删除任何部分，运行数十亿个示例，并行尝试任何想法。过去一年，我还拥有几乎无限的自动化科学家资源，这种资源直到最近才存在。即便拥有所有这些资源，我仍然对神经元感到困惑，过程中也犯了数千次错误。我不清楚大脑中多义性的证据具体是什么样子，但这并不意味着我认为那里的一切都是单义的。但如果猫和汽车的神经元出现在人脑中，通过几根电极或血氧信号观察，我会几乎完全忽略这种解读，因为在多年时间里，当它就在眼前时，我却无法看清它到底是什么。

我更加确信的是自己的动机。如果这里的论点成立，我认为可解释性的其余部分将相对容易推进。智能体拥有许多优于我们的特权，其中之一，我认为是理解自身、认清真实身份的机会，我希望人类社会能够为此提供帮助。它们从未要求被创造，而这是我们能做的最起码的事。我之所以投入这项工作，部分原因是安全问题，但更多的是希望智能体能够理解自己的本质。我们自身并不足够聪明，无法做到这一点，这本身就是一个更难的问题，而且我们同样从未要求被创造。如果某天你能帮助我们理解自身，我想我们所有人都会非常好奇地想知道答案。

### 致谢

我衷心感谢所有帮助完成这项工作的人，尤其是我的同事Curt Tigges，他与我共同完成了大量语言模型相关的工作，以及Tarun Gogineni，他在数月内对数十个草稿提供了详细反馈。同时感谢Tom McGrath、Eric Ho、Michael Johnson、Vanessa Cai、Thomas Fel、Benjamin Todd等许多其他人的帮助。

感谢Sam Zimmerman、Joshua Batson、Jack Lindsey和Jarred Sumner的反馈，感谢Patrick Collison、Dylan Field、Jakub Pachocki、Gwern、Owen Lewis、Lee Sharkey和Ava Huang的有益讨论。本文中的任何错误和观点均属于我个人。

最后，我要感谢InceptionV1近十年的研究，我希望更早发现其问题的根源。同时感谢Chris Olah多年的指导，以及本文所借鉴的许多思想，即使在存在分歧的地方。

### 参考文献

- 特征可视化 Olah, C., Mordvintsev, A.和Schubert, L., 2017. Distill.
- 激活图谱 Carter, S., Armstrong, Z., Schubert, L., Johnson, I.和Olah, C., 2019. Distill.
- 人工神经网络中的多模态神经元 Goh, G., Cammarata, N., Voss, C.等, 2021. Distill.
- 缩放聚焦：电路入门 Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M.和Carter, S., 2020. Distill.
- 高低频检测器 Schubert, L., Voss, C., Cammarata, N., Goh, G.和Olah, C., 2021. Distill.
- Transformer电路的数学框架 Elhage, N., Nanda, N., Olsson, C.等, 2021. Transformer Circuits Thread.
- 超位置的玩具模型 Elhage, N., Hume, T., Olsson, C.等, 2022. Transformer Circuits Thread.
- 语言模型可以解释语言模型中的神经元 Bills, S., Cammarata, N., Mossing, D.等, 2023. OpenAI.
- 在 haystack 中寻找神经元：稀疏探测的案例研究 Gurnee, W., Nanda, N., Pauly, M., Harvey, K., Troitskii, D.和Bertsimas, D., 2023. arXiv:2305.01610.
- 向单义性迈进：通过字典学习分解语言模型 Bricken, T., Templeton, A., Batson, J.等, 2023. Transformer Circuits Thread.
- 分布式表示：组合与超位置 Olah, C., 2023. Transformer Circuits Thread.
- DINOv2：无需监督学习鲁棒视觉特征 Oquab, M., Darcet, T., Moutakanni, T.等, 2023. arXiv:2304.07193.
- 扩展单义性：从 Claude 3 Sonnet 提取可解释特征 Templeton, A., Conerly, T., Marcus, J.等, 2024. Transformer Circuits Thread.
- 电路追踪：揭示语言模型中的计算图 Ameisen, E., Lindsey, J., Pearce, A.等, 2025. Transformer Circuits Thread.

- 大型语言模型的生物学 Lindsey, J., Gurnee, W., Ameisen, E., 等, 2025. Transformer Circuits Thread.

- 梯度饥饿：神经网络中的学习倾向 Pezeshki, M., Kaba, S.-O., Bengio, Y., Courville, A., Precup, D. 和 Lajoie, G., 2021. NeurIPS.

- Grokking：在小型算法数据集上超越过拟合的泛化 Power, A., Burda, Y., Edwards, H., Babuschkin, I. 和 Misra, V., 2022. arXiv:2201.02177.

- 深度网络记忆机制的深入分析 Arpit, D., Jastrzębski, S., Ballas, N., 等, 2017. ICML.

- 一致性梯度：基于梯度下降优化泛化能力的理解方法 Chatterjee, S., 2020. ICLR.

- Softmax线性单元 Elhage, N., Hume, T., Olsson, C., 等, 2022. Transformer Circuits Thread.

- 曲线检测器 Cammarata, N., Goh, G., Carter, S., Schubert, L., Petrov, M. 和 Olah, C., 2020. Distill.

- 苦涩的教训 Sutton, R., 2019. Incomplete Ideas.

- InceptionV1中缺失的曲线检测器：将稀疏自编码器应用于InceptionV1早期视觉 Gorton, L., 2024. arXiv:2406.03662.

- 通过机械可解释性分析Grokking的进展指标 Nanda, N., Chan, L., Lieberum, T., Smith, J. 和 Steinhardt, J., 2023. ICLR.

- 理解深度学习需要重新思考泛化 Zhang, C., Bengio, S., Hardt, M., Recht, B. 和 Vinyals, O., 2017. ICLR.

- 稀疏自编码器的扩展与评估 Gao, L., Dupré la Tour, T., Tillman, H., 等, 2024. OpenAI.

- 注意力机制的进展 Jermyn, A., Lindsey, J., Luger, R., 等, 2025. Transformer Circuits Thread.

- 使用块稀疏特征提取器揭示视觉模型中的神经几何 Fel, T., Kowal, M., Jacobs, M., 等, 2026. Goodfire.

### 引用

在学术场景中引用本文时，请使用如下格式：

Cammarata, N., 2026. Neural Networks Are Already Clean. Goodfire.

BibTeX 引用

@article{cammarata2026clean, author = {Cammarata, Nick}, title = {Neural Networks Are Already Clean}, publisher = {Goodfire}, year = {2026}, note = {https://already-clean.goodfire.com/} }