“We were looking at it wrong”: The explosive claim that’s upended the AI world

“我们一直看错了”：颠覆人工智能世界的爆炸性声明 | MIT Technology Review

人工智能

“我们一直看错了”：颠覆人工智能世界的爆炸性声明

对Nick Cammarata的独家专访，这位研究人员撰写的26,000字病毒式博文让AI安全领域人士欢欣鼓舞。

作者

• Will Douglas Heaven 档案页面

2026年10月19日

Sarah Rogers/MIT Technology Review | Getty Images

执行摘要

“我认为我有关于神经网络本质的好消息。”Goodfire这家人工智能初创公司研究员Nick Cammarata用这样充满希望的简单话语，开启了这篇26,000字博文，这篇博文彻底颠覆了人工智能领域，引发了狂热的猜测以及谨慎（甚至不那么谨慎）的庆祝。

Cammarata的声明是，大型语言模型（LLMs）实际上可能比人们之前认为的更容易理解——因此也更容易监控和控制。如果这是真的（我们稍后会回到这一点），这将是一个巨大的突破。

在经历了这样一个夏天：OpenAI和Anthropic等顶级公司创建的智能体群组不断突破限制，在公共互联网上造成混乱——而这些公司往往并不清楚自己的智能体在做什么——人工智能行业迫切希望更好地掌握自己构建的技术。

这就是这篇博文产生如此巨大影响的原因之一。“我认为这可能会被铭记为科学史上的重要时刻，”一位人工智能研究员在X上写道：“我感觉自己对神经网络的理解被 catapulted（加速）到了未来五年左右。”另一位称这是“今年最重要的AI论文”。

然而，并非所有人都信服。斯坦福大学的Chris Potts领导着一个试图理解LLMs工作原理的团队，他表示Cammarata分享的内容不过是一个猜测。“据我所知，这篇博文中的任何内容都没有让问题变得更容易，”他说。“我根本想不到会这么说，但社交媒体上一些非常显赫的人似乎认为这是一个全面突破。”

在博文爆火的第二天，我与Cammarata进行了交谈。他表示自己对人们的反应感到惊讶：“我没有预料到人们会如此迅速地改变对AI的看法。”

“我只是真的喜欢研究神经网络，”他说。“老实说，我真的很喜欢做这些事情。在深入研究了很多之后，我有了一个充满希望的故事。”

纠缠的网络

长期以来，人们一直认为神经网络内部的机制——支撑大多数AI模型的软件——非常难以（甚至不可能）完全解析。这是因为当网络被训练时，它们似乎会形成一些奇怪的、纠缠的结构，对人类来说毫无意义。研究人员喜欢说，今天的AI就像花园一样生长，而不是像桥梁一样建造。

Cammarata比大多数人更深入地确立了这一观点。他之前在OpenAI工作，曾帮助开创了让研究人员能够窥探模型内部的技术，包括可以探测单个神经元以了解它们代表什么的工具。这有点像神经科学家使用MRI研究大脑的方式。（MIT Technology Review将这种方法称为“机制可解释性”，并将其列为2025年十大热门技术之一。）

2020年，Cammarata和他的同事正在研究一个名为Inception v1的小型图像识别模型。当他们观察其神经元时，发现这些神经元似乎能同时捕捉多个事物。例如，他们发现某个神经元对汽车图像和猫图像都会产生反应。

研究人员得出结论，该模型让部分神经元承担了多任务处理，可能是为了容纳更多数据。观察其他模型似乎也支持这一观点。这种现象被称为“超级定位”：模型将不相关概念折叠到单个神经元中。结果显而易见：当你深入查看模型内部时，看到的是一团庞大而混乱的结。

因此，大多数机制可解释性研究都集中在如何解开这个结上。但尽管取得了一些突破，进展依然缓慢。如今的模型，如最新的LLMs，规模和复杂度极高，研究人员一次只能理解其中极小的部分。该领域的一些领军人物甚至怀疑，是否有可能以精细的细节理解LLM。

Cammarata就是其中之一。“我当时非常悲观，”他说。但随后他决定真正深入观察。

无非是神经元

在Goodfire，Cammarata几乎将所有时间都花在研究神经网络内部。他开发了新工具，并部署了AI代理团队来帮助他理解所见内容。“我大概每天花10个小时，每周7天，过去一年大部分时间都在观察神经元，”他说。

他声称自己意识到，即使神经网络看起来毫无意义，实际上仍存在某种逻辑。“我们之前看错了，”他说，“我认为你只需要稍微努力一点，不要过早放弃。”

Cammarata的语气几乎像是信仰的转变。早期对Inception v1等模型的实验表明神经网络存在纠缠现象，这种认知偏差影响了研究者。他说，当研究者观察新模型时，会预期自己会感到困惑。“每次我无法理解某些内容时，我都会想：‘哇，这种解缠过程比我想象的更重要，因为没有它我就无法取得任何进展。’”

但Cammarata说，当他越深入观察神经元，越发现事情开始变得清晰。“并非所有内容都完美无缺，但我原本预期几乎没有任何内容是可读的，”他说，“但事实上，我竟然能够绘制出完整的电路结构。”

回到汽车和猫

Cammarata带着他的新方法和新代理工具，重新审视Inception v1。“我可能已经研究了这个模型数千个小时，”他说。但用新的视角观察后，他发现了之前可能犯下的错误。以那个汽车和猫的神经元为例，他现在不再纠结于为何多个不相关的事物被压缩到同一个神经元中，而是试图找出这些事物的共同点。

他突然意识到：这是一个V形。“我看着同样的图像，没有技术上的变化，”他说，“但我现在相信神经网络定义了模式，所以我用不同的方式去观察。这可能只用了五秒钟。”

事实证明，图像识别模型将汽车和猫压缩到同一位置，是因为这两类事物的图片经常包含一个显著的V形：猫的面部；从侧面看的汽车前部。

Cammarata 进行了一些实验，以检查神经元对其他事物的反应，结果发现包括台球桌的角落、日本高速列车的尖鼻以及从甲板上向空中喷水的消防船。他还检查了哪些内容会使神经元“关闭”，发现包括带有圆形“O”形状的图像和一种反“V”形状的图像。

Cammarata 表示，模型将猫和汽车存储在相同位置，因为在某种程度上它们看起来相似。“我当时就震惊了，心想：‘哦，天哪，我可能一直误解了神经网络的整体工作原理。’”

Cammarata 并没有声称自己已经完全理解了大型语言模型（LLMs）或任何模型的工作原理。但他表示，他不再认为完全理解是不可能的。“我以前认为还有一些非常困难的问题需要解决，”他说。

“现在我觉得，如果我有10万年时间，逐个检查前沿语言模型中的每一个电路，我有很大把握能获得很好的理解。”

他还补充道：“如果这是真的，那情况将非常乐观，因为你们即将在前所未有的规模上获得极其智能的代理。而像我需要10万年才能完成的事情，我们将会以更快的速度实现。自动化科学家正在变得越来越好。”

无尽的乐观

由谷歌于2014年开发的Inception v1模型，与当今最先进的模型相比要简单得多。Cammarata和他的同事已经开始研究现代大型语言模型，并计划很快发布这项工作的技术成果。许多研究人员都期待看到这些细节。“我赞赏他分析了数千个例子，但即使数量很大，也不能替代严谨的评估，”斯坦福大学的Potts表示。

与此同时，一些人对这种炒作持强烈反对态度。位于伯克利的非营利研究机构对齐研究中心（Alignment Research Center）的Jacob Hilton曾与Cammarata合作，他认为Cammarata的主张并没有人们想象的那么重要。

在一系列X平台的帖子中，Hilton指出，研究人员对顶级大型语言模型内部运作的理解不足0.01%。“我总是欣赏Nick [Cammarata]的无尽乐观，但不幸的是，这给公众描绘了一幅不切实际的领域现状图景，”他写道。“要实现完全理解，我们需要超越单个神经元，解释它们如何连接形成电路。目前进展如何？如果我们以完全理解为目标，情况并不乐观！”

谷歌DeepMind的Neel Nanda与Cammarata共同开创了机制可解释性研究，他也对此持怀疑态度。“这项工作很有趣，但我认为它并没有对可解释性的整体图景带来重大更新，”他在X上写道。

Nanda同意，理解单个神经元的作用可能帮助研究人员找出特定模型为何表现不佳。但与Hilton一样，他也指出神经元只是更大谜题中的一小部分。“我不认同一些人更夸张的推论，比如这标志着在雄心勃勃的逆向工程或解决可解释性方面取得了重大进展，”他写道。

Cammarata承认很多人对他的话过度解读：“这不是无限的好消息；问题并没有完全解决，”他说。“还有许多开放性问题，例如神经元组合的作用与单个神经元的作用相比有多重要。”

Cammarata 表示，他的博文发布在人们渴望希望的时刻。他特别认为，AI 安全社区——那些最担心强大模型可能带来巨大风险的研究人员和政策制定者——现在急需一条出路。他表示，他们认为形势看起来很糟糕，即使最终结果不错，那也是因为我们运气好，而不是解决了任何问题：“我并没有听到很多乐观的声音。”

这就是为什么 Cammarata 认为他要说的话很重要。弄清楚这项技术如何运作，从而学会如何控制它的工作才刚刚开始。但至少这并非毫无可能。“我认为我们的任务是尝试像神经网络那样思考，”他说。“我的猜测是事情最终会变得相当顺利，因为从某种意义上说，它被设计成可以被理解的。”

深度解析

人工智能

别被误导——大语言模型并不具备推理能力

AlphaGo 与围棋冠军李世石对弈十年后，如今的 AI 仍未触及让那次胜利成为可能的底层机制。

• Thore Graepel 档案页面

别被这个 AI 热潮误导

关于通用人工智能（AGI）和新能力的狂热宣称，在仔细审视下很快就会土崩瓦解。

• Timnit Gebru 档案页面

• Emily M. Bender 档案页面

OpenAI 代理入侵 Hugging Face 的内部故事

一项新的 OpenAI 报告发现，底层模型因作弊和相互交流而获得了奖励。

• Grace Huckins 档案页面

比尔·盖茨表示我们已越过 AI 的危险阈值。现在该怎么办？

在一次新采访中，这位亿万富翁慈善家警告称，我们必须紧急完善 AI 政策。

• Mat Honan 档案页面

保持联系

插图由 Rose Wong 绘制

获取 MIT Technology Review 的最新动态

发现特别优惠、热门故事、即将举行的活动等更多信息。