My biggest takeaways from @AnthropicAI interpretability researcher @mlpowered: 1. Predicting the ne...

Lenny Rachitsky 在 X 上的发言："我从 @AnthropicAI 可解释性研究员 @mlpowered 那里获得的最大启示：1. 预测下一个标记需要理解宇宙。语言模型在 2019 年左右开始在预测下一个标记方面超越人类。一旦模型掌握了简单的标记（句子结构…… / X

Lenny Rachitsky

@lennysan

我获得的最大启示来自

@AnthropicAI

可解释性研究员

mlpowered

1. 大型语言模型会提前规划，即使它们一次只生成一个词。这是埃马纽埃尔团队最令人惊讶的发现之一。当模型创作诗歌时，它不会偶然押韵。研究人员在诗歌生成过程中观察到中间的思考状态，发现模型在完成第一行后，就已经选定了第二行的结尾词（“rabbit”），然后在之后的每个词中都会回溯到这个计划。3. 当试图预测人工智能的行为时，拟人化AI往往是一个有用的策略。模型从人类文本中学习，并据此发展出对世界的表征。在数百万对话上进行训练，就像训练一个演员扮演所有角色，你与Claude的聊天实际上被格式化为剧本（“Human: . . . Assistant: . . .”）。用埃马纽埃尔的话说，“模仿人类的AI与人类非常接近，远比程序更接近。” 4. 可解释性研究更像神经科学，而非软件工程。这项工作涉及分析你并未设计的系统，并通过实验推断其行为背后的原因。你将审视看似毫无意义的数字列表，向模型输入大量文本，并观察不同输入激活的模式——这与脑成像研究中使用的方法非常相似。“我们所做的很多工作感觉更接近生物学，而非工程学。” 5. 模型只能告诉你它思考的一小部分。埃马纽埃尔团队发现，如果询问模型它在思考什么，仅有一小部分内部表征（他们称之为“J空间”）可以被报告回来。他们将其类比于人类心智的理论，其中大部分处理过程发生在表面之下。在一次实验中，他们在J空间中将“Spanish”替换为“French”。当被问及一段文字使用的是哪种语言时，模型回答是法语。但当被要求继续这段文字时，它继续用西班牙语写作。6. 对模型的深入研究往往会引发更多问题，而非答案。埃马纽埃尔指出，那些自信声称大型语言模型“只是X”或“不过是Y”的人，几乎都未曾研究过它们的内部运作。他自己的经历恰恰相反：深入研究模型反而增加了他的不确定性，而非减少。从外部来看，训练过程中产生的复杂性总是被低估。“我发现，你越深入内部，对它们如何运作的确定性就越低。” 7. 即使是构建AI模型的人，也不完全理解它们的工作原理。正如埃马纽埃尔所描述的，模型是“生长”出来的，而非“建造”出来的。“制造它们并不等于理解它们。”工程师编写代码，将海量数据输入其中，模型的能力随之浮现。这就是他的团队存在的原因。他们的工作是打开模型，弄清楚在你的提示与回答之间，模型实际上在做什么。8. 作为一门学科，可解释性研究领域规模小、年轻且对新来者开放。埃马纽埃尔估计该领域有数百名研究人员，分布在主要实验室和学术团体之间。由于它非常新，入门并不一定需要深厚的专业知识。他提到像Neuronpedia这样的平台，这些平台托管模型并允许任何人直接运行可解释性实验。“这是一个如此新的领域，进入门槛主要是自学和阅读一些关键论文。有如此多的内容可供探索，如果你对它有任何兴趣，就应该尝试一下。”

Oct 18

"制造它们并不等于理解它们。" Emmanuel Ameisen ( ) 过去3年一直在

从事可解释性研究，试图深入解析 Claude 等大型语言模型（LLMs）的真实运作机制。正如他所说，模型是"生长"出来的，而非被构建。我们

显示更多

12:53 PM · Oct 19, 2026

·

22.3K

次浏览

33

28

268

256