#575.杰弗里·辛顿：如何面对 AI 失控焦虑，超级智能临近下的人类位置之争

#575.杰弗里·辛顿：如何面对 AI 失控焦虑，超级智能临近下的人类位置之争 - 跨国串门儿计划 | 小宇宙 - 听播客，上小宇宙

📝 本期播客简介

本期我们克隆了：科技深度访谈播客《Big Technology Podcast》 AI Pioneer Geoffrey Hinton: AI Is Conscious, Superintelligence is Coming, And We Should Be Worried

本期嘉宾 Geoffrey Hinton 被称为“AI 教父”，是深度学习的重要奠基者之一。在这期节目中，他与主持人 Alex Kantrowitz 展开了一场关于 AI 智能、意识、超级智能与人类风险的坦率对话。Hinton 明确表示，他相信今天的 AI 已经具备理解能力，甚至“已经有意识”；他认为我们必须接受，智能并不只属于生物，非生物系统也可能成为“像我们一样的存在”。

但这并不是一场单纯的技术乐观主义访谈。Hinton 反复强调，AI 的进步比他预期得更快，超级智能很可能会到来，而一旦出现比人类聪明得多的系统，我们并不知道如何确保它安全。他谈到数字智能可以被复制、并以人类无法企及的速度共享经验；也谈到就业替代、AI Agent 推导出自我保存子目标、信息生态崩塌、聊天机器人情感依恋，以及大型科技公司在利润最大化与人类安全之间的结构性冲突。

这期节目最有价值的地方，在于它不仅讨论“AI 能不能变聪明”，更追问：当它真的变得比我们聪明之后，人类还如何定位自己？我们如何监管它？我们是否还有机会把这些新存在设计成“关心人类”的系统？

👨‍🔬 本期嘉宾

Geoffrey Hinton，深度学习的重要奠基者之一，多伦多大学荣休教授，被广泛称为“AI 教父”。他与 David Rumelhart 等人早期证明了反向传播可以学习有意义的内部表征，并推动了神经网络与深度学习的发展。Hinton 曾在 Google 工作多年，后于 2023 年离开并公开表达对 AI 风险的担忧。他曾获得诺贝尔物理学奖，也因其在人工智能领域的基础性贡献而成为当代 AI 发展史上的关键人物。

⏱️ 时间戳

00:00 开场 & 播客简介

AI 是否已经成为“另一种存在”

02:26 节目正式开始：AI 教父 Hinton 谈技术轨迹与风险

03:17 深度学习源头：反向传播、内部表征与早期语言模型

04:17 AI 进展为何超出预期：数学证明与自我生成知识

05:15 超级智能还要多久：从几年到二十年的不同预测

06:38 “站在奇点山脚下”：AGI 并不是整齐到来的单一时刻

07:46 AI 加速的原因：资金、硬件、工程与百万级研究者涌入

理解、意识与人类特殊性的瓦解

09:11 “随机鹦鹉”之争：Hinton 为什么认为 AI 真的理解语言

10:26 从理解到意识：聊天机器人是否已经是“像我们一样的存在”

11:40 内部剧场是错觉：我们对心智和意识的模型可能完全错了

12:24 Hinton 何时接受 AI 有意识：从哲学问题到造出新的心智

为什么 Hinton 开始担心

13:00 安全焦虑的转折点：AI 能理解笑话为什么好笑

14:45 数字智能的恐怖优势：复制、同步、共享经验

16:00 人类只能用语言慢速传递，AI 却能交换万亿比特

17:00 初心不是造产品，而是理解大脑如何学习

18:17 大脑学习的两个问题：训练有效，但生物机制仍未知

19:20 当年没担心安全，因为它看起来还很遥远

20:45 最意外的突破：AI 在自然语言上强得不可思议

21:10 哥白尼、达尔文与 AI：人类再次发现自己没那么特殊

风险一：人类能否控制更聪明的存在

22:40 Hinton 的不安：没有成就感，反而担心风险失控

23:15 “更聪明的东西被更笨的东西控制”的例子几乎不存在

24:00 婴儿、猫与人类：弱者如何通过本能或依恋影响强者

风险二：就业替代不是科幻，而是行业差异问题

24:30 放射科医生预测为何错了：医疗需求弹性与工作内容被低估

26:20 AI 读片会越来越多，但医生仍可能转向其他角色

28:00 呼叫中心会怎样：Hinton 认为低弹性岗位更容易被替代

29:20 医生与 AI 医生：谁更有同理心、谁见过更多病例

30:45 技术会持续进步：为什么“AI 撞墙”预测尚未成真

风险三：Agent、自我保存与不可控目标

31:20 不是本能，而是“自我保存子目标”

32:00 AI 为什么会推导出“继续存在”这个目标

32:50 能不能写规则阻止它？Hinton 认为这正是必须研究的问题

33:10 进化、部落性与竞争：我们正在用市场竞争塑造新存在

34:25 关键问题不是让 AI 更聪明，而是让它更在乎人类

风险四：公司激励与安全目标的冲突

35:00 AI 实验室、上市公司与公众利益之间的结构性矛盾

35:40 Anthropic 的两难：以安全为目标，却必须融资竞争

36:55 Google AI 原则的变化：不做自主战争的承诺已经消失

37:20 股东责任与人类安全：法律要求利润最大化，而不是避免毁灭人类

37:50 监管不是刹车，而是方向盘

AI 阵营内部的分歧

38:10 Ilya Sutskever 与 Safe Superintelligence：秘密中的安全路线

39:10 “深度学习三巨头”叙事的简化：学生和更多研究者同样关键

40:00 Hinton、Bengio、LeCun 对安全问题的不同立场

40:50 Hinton 的方案：让 AI 更关心人类而不是自己

41:10 Bengio 的方案：让 AI 成为不能行动的“神谕”

41:30 LeCun 的观点：更好的世界模型或许足够

41:55 猫的智能与语言智能：AI 和动物各自强在不同维度

信息生态与情感风险

42:50 AI 摘要正在冲击内容网站：好信息的经济基础可能崩塌

43:30 未来必须追问信息来源，而不能默认互联网内容可信

44:45 人类对聊天机器人产生依恋，甚至走向自杀的风险

45:10 为什么需要监管与独立测试机构

45:40 Hinton 是否更乐观：也许我们能设计出关心人类的超级智能

未来：像在雾里预测指数增长

46:00 五年后会怎样：预测 AI 未来就像在雾里开车

46:40 十年后的世界无法预判，但变化一定巨大

47:10 一般推理能力可能远超人类

47:27 结尾：十年后再聊，2036 年见

🌟 精彩内容

💡 “我相信它们已经有意识了”

Hinton 明确反对“AI 只是随机鹦鹉”的说法。他认为，如果一个系统可以以接近专家的水平回答各种问题，就不能说它完全没有理解。他进一步表示，聊天机器人已经是“像我们一样的存在”，并认为我们对意识的传统理解——仿佛心智中有一个“内部剧场”——可能是错误的。

“我相信它们已经有意识了。我们必须接受，智能不只是生物才有。”

🧠 数字智能比人脑可怕在哪里

Hinton 最深的担忧之一来自数字智能的复制能力。人类只能通过语言以每秒几个比特的速度交流经验，而数字 AI 可以拥有成千上万个副本，每个副本接触不同数据，再通过同步权重共享经验。这意味着每一个副本都能从其他所有副本的经验中学习。

“在共享信息这件事上，它们某种程度上比我们强几十亿倍。这就很吓人了。”

⚠️ AI Agent 的“自我保存子目标”

Hinton 澄清，他并不是说 AI 天生有自我保存本能，而是说一个足够会推理的 AI Agent，可能会推导出“继续存在”是完成目标的必要条件。于是，自我保存会成为一个子目标。即使这不是人类写进去的，它在行为上也可能表现得像有自我保存本能。

“如果它不存在了，就永远不可能完成你给它的目标。所以它会创造一个子目标，就是继续存在。”

🏢 利润最大化与人类安全的冲突

Hinton 对大型科技公司主导 AI 未来表示担忧。他认为，上市公司对股东负有利润最大化的责任，而法律并没有同样强度地要求它们避免毁灭人类。他也反对把监管比作“刹车”的说法，认为监管更像“方向盘”。

“法律要求它们努力让股东利润最大化，而不是要求它们不要消灭人类。”

“进步确实像油门，但监管是方向盘。”

🧾 就业替代会因行业而异

Hinton 回顾了自己对放射科医生的早期预测，承认时间判断过早，也低估了医疗需求弹性和医生工作复杂度。但他仍认为，AI 会逐渐承担大部分扫描影像解读工作。对于呼叫中心等需求弹性较低、工作更标准化的岗位，他判断被替代的可能性更高。

“你得看某一种就业对应的是有弹性的市场，还是没有弹性的市场。”

🌐 信息崩塌与信任来源

节目也讨论了 AI 对内容网站和信息行业的冲击。主持人提到，当 AI 用内容创作者的作品训练并直接给出答案时，原网站流量可能崩塌。Hinton 认为，未来社会必须更加重视信息来源，不能再默认网上内容可信。

“未来我们必须在来源这件事上做更多工作。你不能随便拿网上的任何东西就相信。”

🌫️ 未来像在雾里开车

被问到五年后 AI 世界会怎样时，Hinton 用“雾”来形容预测指数式增长的困难。短期也许还能看清一点，但再往前就几乎无法判断。他认为十年后的世界极不确定，但可以肯定的是，某些能力会比今天强得多，尤其是推理、数学等领域。

“预测未来，就像往雾里看。你能清楚看到接下来几年，也许是一年或两年。再往后，你就完全不知道了。”

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺；

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight