Lenny's Newsletter

Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)

8.5内容质量
Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)

TL;DR · AI 摘要

AI模型通过形成通用概念表示、跨步长规划和类意识区分实现复杂推理，其解释性研究对安全对齐具有关键意义。

核心要点

  • 模型能形成跨领域概念的通用表示，而非仅依赖表面模式匹配
  • 语言模型存在类似人类意识的显隐处理区分机制（J space）
  • 能力跃迁源于平滑的规模扩展曲线而非突变

结构提纲

按章节快速跳转。

  1. §引言

    揭示AI模型内部机制对安全对齐研究的突破性价值

  2. ·模型规划机制

    证明LLM具备跨步长规划能力，超越单纯token预测框架

  3. ›意识类比研究

    发现模型存在类似人类显隐处理的J space结构

  4. ·能力扩展规律

    揭示能力跃迁源于平滑规模扩展而非突变

  5. ›研究方法论

    通过电路追踪技术解析模型内部表示机制

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • AI模型内部机制解析
    • 规划能力
      • 跨步长规划
      • 超越token预测
    • 意识类比
      • J space结构
      • 显隐处理区分
    • 能力扩展
      • 平滑曲线
      • 规模效应

金句 / Highlights

值得收藏与分享的关键句。

#AI解释性#模型推理#Anthropic#AI安全
打开原文

关于模型实际运作方式的深入探讨 | Emmanuel Ameisen（Anthropic）

Lenny的播客：产品 | 职业 | 成长

揭开AI的黑箱：人工智能模型的思考方式 | Emmanuel Ameisen（Anthropic）

×

预览

0:00

当前时间

:

/

总时长

-1:12:12

您的浏览器不支持音频播放。请升级浏览器。

揭开AI的黑箱：人工智能模型的思考方式 | Emmanuel Ameisen（Anthropic）

Anthropic的Emmanuel Ameisen解释了通过观察语言模型可以揭示的规划能力、意识和AI安全相关发现

Lenny Rachitsky

2026年10月18日

∙

付费

文字记录

Emmanuel Ameisen是Anthropic的可解释性研究员，他通过研究Claude等大型语言模型（LLM）来理解它们的思考方式。在加入Anthropic之前，他在Stripe和Insight的机器学习应用领域工作多年，同时也是《构建机器学习驱动的应用》一书的作者。他的研究在该领域产生了许多重要发现：模型能够形成概念的一般性表示，在没有明确说明计划的情况下提前规划多个标记，并可能展现出与人类意识和无意识处理之间差异相似的结构特征。

在YouTube、Spotify或Apple Podcasts收听

我们讨论了：

  • 为什么“下一个标记预测器”的框架低估了模型实际的规划和思考能力
  • 为什么将AI拟人化可能实际上是正确的做法
  • 为什么模型是“成长”出来的，而非被构建
  • “J空间”如何揭示模型的自我意识
  • 看似突然的能力跃迁背后平滑的扩展曲线
  • 可解释性如何与AI对齐和安全相关联

由以下平台呈现：

WorkOS —通过SSO、SCIM、RBAC等功能，让您的应用具备企业级能力

DX —面向AI时代的工程智能

如何找到Emmanuel Ameisen：

• 推特：https://x.com/mlpowered

• 领英：https://www.linkedin.com/in/ameisen

• 个人网站：https://www.mlpowered.com

参考资料：

• Chris Olah在推特：https://x.com/ch402

• Distill：https://distill.pub

• Ilya Sutskever在推特：https://x.com/ilyasut

• 追踪大型语言模型的思维过程：https://www.anthropic.com/research/tracing-thoughts-language-model

• 语言模型中的全局工作空间：https://www.anthropic.com/research/global-workspace

• 神经语言模型的扩展定律：https://arxiv.org/abs/2001.08361

• Claude代码负责人：编码解决后的未来 | Boris Cherny：https://www.lennysnewsletter.com/p/head-of-claude-code-what-happens

• Claude的宪法：https://www.anthropic.com/constitution

• Golden Gate Claude：https://www.anthropic.com/news/golden-gate-claude

• 智能体文明的兴衰：用通俗语言讲述OpenAI/Hugging Face的完整故事：https://www.dwarkesh.com/p/openai-huggingface

• 可解释性的价值 — Emmanuel Ameisen, Anthropic：https://www.latent.space/p/circuit-tracing

• Swyx在推特：https://x.com/swyx

• Jev入门指南：如何使用及构建内容：https://www.lennysnewsletter.com/p/jev-for-beginners-how-to-use-it-and

• Jev：https://typesafe.ai/blog/introducing-system-one-models-and-jev

• 什么是系统1和系统2思维？：https://thedecisionlab.com/reference-guide/philosophy/system-1-and-system-2-thinking

• Neuronpedia：https://www.neuronpedia.org

• Obsession：https://www.imdb.com/title/tt37287335

• Hulu上的Bref 2：https://www.hulu.com/series/bref2-251c6388-18e9-4545-9e5d-d5f3f6bf20d7

• Apple Watch Ultra: https://www.apple.com/apple-watch-ultra-4

推荐书籍：

• 《智能简史：进化、人工智能与塑造我们大脑的五大突破》: https://www.amazon.com/dp/0063286343

• 《你一生的故事及其他故事》: https://www.amazon.com/Stories-Your-Life-Others-Chiang/dp/1101972122

• 《四千周：为凡人设计的时间管理指南》: https://www.amazon.com/Four-Thousand-Weeks-Management-Mortals/dp/1250849357

由 https://penname.co/ 策划制作。如需了解播客赞助合作事宜，请发送邮件至 [email protected] 。

Lenny 可能是文中所讨论公司的投资者。

本次对话带给我的最大收获：

本内容仅面向付费订阅用户

已是付费订阅用户？

与世界级产品负责人和增长专家的访谈，揭示具体可行的操作建议，助你打造、发布并增长自己的产品。

收听渠道

Substack App

Apple Podcasts

Spotify

YouTube

Pocket Casts

RSS Feed

出现于节目

近期节目

为什么每家公司现在都需要像实验室团队一样思考和运作 | Josh Woodward（Google Labs、Gemini、AI Studio）

10月11日

•

OpenAI 负责人：我们正再次进入人工智能的新时代 | Tibo Sottiaux

10月4日

当前科技行业席卷而来的悲伤、孤独与倦怠 | Molly Graham

9月27日

来自Snap和Discord产品负责人90分钟毫无保留的产品建议 | Peter Sellis

9月20日

我们如何在一个月内构建Grok Bot | Roman Ugarte（SpaceXAI）

9月8日

为什么企业正在演变为一系列循环 | Anish Acharya（a16z）

9月6日

人工智能的第三个时代：持久型AI同事的崛起 | Tara Seshan（ChatGPT Work产品负责人）

8月30日