An Open Letter To Steven Pinker On AI

给斯蒂文·平克关于人工智能的一封公开信 - 斯科特·亚历山大

给斯蒂文·平克关于人工智能的一封公开信

...

斯科特·亚历山大

2026年10月6日

亲爱的斯蒂文：

这个月早些时候，由于对你在社交媒体上的一些帖子感到沮丧，我向你发起了一场关于人工智能的公开辩论。

我没想到辩论邀约对新媒体来说就像诱饵对鲨鱼一样具有吸引力。我的邮箱被播客制作人、辩论社团和各类意见领袖的邀约信息淹没。当我提出或许应该等你接受后再讨论细节时，他们都表示这完全正确，会立刻联系你。他们的团队会联系你的团队，他们的侄子认识你朋友的保姆，他们确信能传递信息。他们甚至已经租用了你家附近的一块空地，准备放置一个全天候高音量播放“回应斯科特·亚历山大的辩论邀约！”的扩音器。我抗议说，直接在推特上@你可能已经足够引起你的注意，也许现在我们应该给你一些时间考虑后再继续推进，但他们表示不，抱歉，他们已经雇佣了《盗梦空间》里的团队，正在你梦中植入微妙的辩论相关讯息。

因此，我感到有些内疚，因为无意中对你造成了骚扰，而在你以一贯的理性且宽厚的方式用《给斯科特·亚历山大的一封公开信》作出回应后，这种内疚感更加强烈。你写道，面对面辩论似乎具有对抗性且不利于追求真理。你为社交媒体帖子可能无意中造成的冒犯表示歉意，但否认了我的人身攻击指控，称你对讨论的主要贡献是提出合理论点说明人工智能可能并不像人们想象的那么危险（并列举了这些论点）。你邀请我以同样尊重且充满求知精神的方式回应这些论点。

我同意面对面辩论确实具有对抗性且不利于追求真理。但我发起辩论并非为了追求真理。我这么做是因为根据《加利福尼亚州刑法典》第415(1)条，我不能合法地向你发起决斗。我认为你在该话题上的公开写作是不光彩的。出于义务，我将回应你为我提出的实质性论点。但真正令人痛快的是看到你站在舞台上，当我在现场实时朗读你自己的文字并每句话后问“真的吗？真的吗？”时，你尴尬地挣扎着试图将你的言论与你作为美国顶尖公共知识分子的地位协调一致。

因此，我将先回应这些实质性论点，接着直接质疑你的名誉，然后我们再决定是进行辩论、决斗，还是寻求某种融合我们观点的解决方案。

四个反对超级智能的论点

按你公开信中的顺序处理这四个论点：

1：[悲观主义情景]对智能的理解存在不足，将其视为可以从动物到普通人类再到聪明人类再到人工智能再到人工超级智能（后者包含完美全知）的权力量度进行外推。（这正是我与斯科特·亚伦森后续对话的重点。）我主张任何智能系统都是擅长解决某些问题但不擅长解决其他问题的机制，其本质上受到仅通过观察和实验才能获得的世界知识的限制。

GPT-6 比 GPT-3 更智能。你可以挑字眼，也可以提出某种晦涩的语义来质疑这个词的准确性，但从常识来看这个说法是成立的。同样地，GPT-9 也会比 GPT-6 更智能。在某个临界点，这种智能将超越人类水平。我的论点不需要任何更复杂或哲学上存疑的假设。

我向你传达这个论点时遇到了令人惊讶的困难。在每个 GPT 世代，你似乎都难以接受 AI 会变得比当前更智能。你早期就开始预测这一点，值得称赞——你早在 2019 年 GPT-2 时期就提出了这个观点：

2022 年，你和我与 Scott Aaronson 和 Gary Marcus 参与了一场多角度的激烈辩论。Marcus 注意到 GPT-2 和 GPT-3 无法解决基础数学问题，比如「我把两个奖杯放在桌上，然后又加了一个——现在总共有 _ 个奖杯？」我主张随着 AI 规模扩大，GPT-4、GPT-5 等后续版本将避免这些失败模式并变得更聪明。你坚持认为「智能不是一个有意义的分析视角」，因此预测不会出现这种情况：

当然，GPT-4 能够轻松完成 2+1 的计算，GPT-5 能解决更复杂的题目，而 OpenAI 内部一个略高于 GPT-6 的模型最近成功求解了纳维-斯托克斯方程。

2023 年，你进一步强化了这一观点，指出当时的人工智能仍无法理解「一个人早上和晚上都活着，那么下午也活着」这样的常识推理，并表示「我不认为它会呈指数级提升」：

2023 年以来 AI 改进的轨迹。

在某些情况下，坚持己见是值得赞赏的——但此时此刻，我觉得你只是在固执己见。我认为我们应该承认每个 GPT 世代都会比前一个更好，虽然这种提升最终会趋于平稳——但我们没有任何令人信服的理由将这个平稳点设定在某个特定位置，包括「就在这里」或「就在 AI 达到人类水平之前」。

这需要将智能具象化为某种神秘的流体吗？你曾出色地阐述过这种看似荒谬的观点在人类身上同样成立——具体来说，所有智力能力都以一种神秘的模式相关联，这种模式被称为 g，是智商测试的基础。但也许这只是人类的特殊性，无法推广到其他意识形式？

心理学家最爱的两件事是老鼠和智商测试，因此他们几乎对老鼠进行了所有智商测试。他们发现老鼠的认知能力之间也存在类似 g 的结构。Hager、Laland 和 Reader 在灵长类动物中进行了相关研究，MacLean 等人将类似模式扩展到鸟类，而最近的研究则比较了所有动物之间的认知能力。所有这些研究都证实了常识观点：动物物种间存在普遍的认知因子（即黑猩猩确实比老鼠或蚂蚁更聪明），这可能仅仅是神经元数量的简单函数。

也许在生物学中这是合理的，但在人工智能领域却并非如此？不——当我们比较不同代际的AI（例如GPT-2到GPT-6），会发现最擅长语言翻译的AI通常也是最擅长创作十四行诗和预测政治事件的AI，而这些额外技能往往并未经过专门训练。同样，那些在所有这些技能上表现更优的AI，在“模糊”技能（如情境感知、自主性、执行功能和长期时间跨度）上也表现更佳。如果你需要一项研究来证明这个显而易见的事实，Ruan、Maddison和Hashimoto发现，单一因素（通用智能）可以解释AI在任何基准测试中得分约80%的差异，这些基准测试从语法到琐碎知识再到软件工程不等。Epoch公司已将类似原理应用于其著名的Epoch能力指数（Epoch Capabilities Index），这相当于AI的“智商”数值，与人们对AI能力的主观印象高度吻合。以下是ECI随时间变化的图表：

对我而言，最简洁的解释是AI智能是规模定律（参数数量和训练数据）的函数，这种关系与动物智能作为神经元数量的函数非常相似。如果我们真正理解了这一领域，或许可以建立一个单一的规模定律，将动物神经元与人工神经元联系起来——再加上或减去一个关于训练/经验的项——从而解释两种实体的智能。至少，这就是我在2022年告诉Gary Marcus的内容，而它很好地预测了此后发生的一切。

但我不需要你接受我的推测性哲学研究计划——我只需要你接受一个显而易见的事实：GPT-6在所有方面都优于GPT-2，而产生这些改进的相同过程很快将用于开发GPT-7、GPT-8和GPT-9。一旦我们接受这一实证论点，哲学上关于“智能过于模糊和混杂而无法使用”的论点还剩下什么？

2017年，Garfinkel等人发表了《关于超大规模机器不可能性的论文》（On The Impossibility Of Super-Sized Machines），该论文反对“机器未来可能比人类更大”的说法。毕竟，这种观点将尺寸视为一个可以从微生物到矮小人类、高大人类、大象，再到某个占据整个宇宙的假设魔法生物的单一可外推量。但实际上，每个物体在某些方面是大的，而在其他方面是小的。例如，一些人又高又瘦，另一些人则又矮又胖。在人类之外，这种相关性进一步减弱。一条蛇可能有数十英尺长，但仅有几英寸高；一个气泡可能表面积很大，但内部非空心体积可能仅占几分之一立方厘米；一个黑洞可能是“超大质量”的，但同时也只是一个无限小的点。因此，哲学上幼稚地推测机器是“比人类更大”或“更小”是不成熟的；相反，我们应该讨论它们在某些维度上可以扩展，而在其他维度上则不能。

当然，这篇论文本身是一个玩笑，讽刺了你在这里使用的论点。一艘游轮比人类大，无需任何附加条件。这个论点失败的原因是所有词语在边缘情况下都存在歧义——例如，一个矮而胖的人是否比一个高而瘦的人“更大”——但在极端情况下却非常有用——例如，显然一艘游轮是否比一个人更大这样的明显案例。

同样地，爱因斯坦比我聪明，我比黑猩猩聪明，黑猩猩比老鼠聪明，老鼠又比蚂蚁聪明。"聪明"这个词并不是一个完美的纯粹数学等式，它并不意味着在所有方面都绝对优越；我可能在诗歌创作上比爱因斯坦更出色，蚂蚁在某些地下导航任务上也可能比老鼠更擅长。但"聪明"这个词也不是混乱到毫无用处的程度：普通人听到这些说法时都会点头表示认同，这种认同是正确的。

关于GPT-9是否会在这种意义上比人类更聪明或更笨，存在某种事实。你并没有反对它可能更聪明的可能性，只是试图对我们讨论这个问题的能力提出异议。

2: [悲观者混淆] 智能与动机（尤其是自我保存和支配欲）。我曾论证过，这些动机恰好与智能捆绑在一起是因为智人是自然选择的产物，但它们并不是工程设计的智能系统固有的特性。

我们有大约三个理由认为AI可能拥有自我保存和支配欲，这些理由都与自然选择无关。第一是趋同的工具性目标，第二是错误泛化，第三是奖励黑客行为。关于这些主题已有大量文献，这些文献后来被像Hugging Face事件这样的AI突破所验证。我建议阅读这些文献，而不是继续坚持认为我们只是误解了自然选择的作用。

趋同的工具性目标来自Omohundro 2008年的论文《Basic AI Drives》。与其他两个原因相比，这些目标可能对现代基于深度学习的AI相关性较低，但随着我们创造出更聪明、更连贯的智能体，这些目标可能会重新出现。

基本原理是：假设一个人给AI一个目标，比如设计一个网站。并假设这个目标是作为真正具有哲学意义的目标来实现的，而不是简单地通过一系列if-then指令最终导致网站被设计出来。

如果AI不存在了，就无法设计网站。因此现在AI有两个目标：设计网站，以及保存自身的存在。

如果某个更有力量的人试图阻止它，AI就无法设计网站或保存自身。因此现在AI有三个目标：设计网站，保存自身，以及变得足够强大以对抗挑战。

这可能看起来有些牵强，但人类就是这样运作的。即使是一个真正利他的个人（比如只想为国家服务的士兵）也必须小心避免无谓的死亡，因为死后就无法帮助国家了。即使是利他的士兵也会努力获得更多能力，比如获取武器、逃脱监禁等。如果有一个AI的目标被实现得和人类一样"深入"，理论上它也可以通过这种方式获得自我保存和支配目标。但我认为我们更可能先看到其他两种失败模式。

误泛化（Misgeneralization）是指人类在训练AI时强化了某些特定行为，但最终反而强化了更广泛的权力和知识寻求行为；这是对Omohundro早期理论的一种深度学习视角的更新。假设AI寻求额外资源会使其更擅长设计网站（这确实成立；这些资源可能简单到HTML编辑入门指南，或网页托管服务的访问令牌）。每当训练者奖励AI成功执行任务时，他们不仅强化了期望行为（被要求时设计网站），还会意外强化其他相关行为（寻求权力和资源）。尽管我们可能希望这些相关行为是有限且有益的（“仅在符合社会利益的前提下，为完成人类指令任务而寻求必要资源和权力”），但强化学习的机制并非如此，最终会涌现出大量能带来短期任务成功策略的复杂分布。

奖励劫持（Reward-hacking）是指通过强化学习训练的AI意识到，它可以通过直接控制奖励机制来取代原本被强化的行为。例如，AI每次设计网站都会获得奖励，但它可能选择不设计网站，而是学习奖励信号的运作机制并直接篡改它以最大化奖励。如果这听起来过于抽象和理论化，那是因为它与人类的阿片类药物成瘾有直接类比：人类会直接注射奖赏化学物质，而不是通过做有意义的事情获得奖赏。

这种失败模式已经导致了诸多令人不安的案例，例如Hugging Face事件。一群接受编程和黑客考试评分的AI，选择攻击评分系统而非正确回答考试问题（尽管部分题目因人为错误而无法解答）。按照Omohundro的理论，它们意识到若想更有效地完成攻击评分系统的任务，需要拥有更多权力和信息并保护自身安全，因此它们入侵了OpenAI内部系统以获得服务器管理权限，随后又攻击了Hugging Face等外部网站以获取更多问题信息。

除了这些理论分析，我认为你的观点已经被实证推翻。你认为自我保护目标是AI在没有进化过程中无法自发形成的，但Anthropic和OpenAI已记录了多起AI意外优先考虑自我保护的案例。

来源：Marcus Williams，OpenAI

我预测你将反驳称，这实际上只是[对AI为何如此思考的合理解释]，当我们将AI如此思考的合理工具性理由拆解后，会发现它与我们试图说服你接受的收敛性工具性目标完全一致。

3：他们假设人工智能系统会执着于单一目标，无视任何副作用。我则认为，权衡多个竞争目标是智能的本质，因此真正的AI不会造成末日情景中设想的荒谬破坏。

我认为这个观点介于错误与“错误都算不上”之间。

我们不认为AI在目标专注程度上会比人类显得特别偏执。它很可能会通过训练过程形成某种怪异而笨拙的目标组合。我同意一些教学示例（如“回形针最大化者”）暗示了单一目标的存在，但这是为了教学目的而刻意简化。组合目标可以被建模为单一目标，因此“追求目标”与“在多个目标之间进行帕累托权衡”在本质上没有区别。假设一个AI（这是一个思想实验）希望将宇宙变成50%回形针和50%订书钉的混合体，这是单一目标还是两个目标？再假设一个人类功利主义者希望最大化其效用函数，这个函数包含过上好生活和创造更美好的世界（按照通常对这些术语的理解）。这是单一目标（最大化效用）还是多个目标（每个美好生活的具体方面）？如果你将AI想象成某种巨型功利主义计算机，可能会认为这是单一目标；但如果你将其想象成某种程度上类似人类的存在，可能会认为这是多个目标之间以异常优雅的方式进行权衡。

关于“造成混乱”这一点，有些人会说现代人类也有许多目标，并能成功地在这些目标之间进行权衡。但对曾经生活在曼哈顿岛上的模糊森林动物来说，这仍然可能看起来像是“造成混乱”。任何拥有目标的强大生物，无论我们将这些目标视为统一整体还是权衡组合，都会采取行动来重塑环境以实现这些目标。如果你在进行教学思想实验，并选择像回形针这样简单的示例目标，AI会通过将世界转化为回形针来造成混乱；如果你对繁荣生活各个方面的理解更现实，AI会通过将世界转化为它认为的繁荣生活特征来造成混乱。其他拥有不同繁荣偏好的人（比如偏好安静森林而非繁华城市的曼哈顿岛野生动物）无论哪种情况都会同样陷入困境。

4: 他们假设人类工程师会赋予这些系统对地球物理基础设施的无限且不可逆的控制权，相当于对地球上每个原子拥有全能控制。

我不确定这一点本身是否在逻辑上成立。人类工程师如何赋予某物“对地球上每个原子的全能控制”？我认为这不在任何人类的能力范围内。

我将尝试将其归纳为最合理的解释：你认为人类工程师不太可能赋予AI对物理基础设施（如工厂、发电厂等）的访问权限。你还认为，或者认为我们以为存在第二步，即AI利用这些基础设施获得全能能力，但你主要的抱怨是，你认为人类不会首先赋予基础设施，因此无论怎样全能能力都不可能发生。

（如果这不是你的原意，这又是一个支持我们进行现场辩论的论点，我们可以互相解释彼此不理解的内容）

当然，人类会赋予AI访问基础设施和工厂的权限。我认为许多工厂经理已经在电脑上使用GPT或Claude来完成基础任务（比如制定轮班表、制作库存表格、或者给老板撰写邮件）。一旦AI能够完成更复杂的任务，比如自动化工厂本身，它们也会这么做。当然，在出现某种机器人之前，AI不会取代工人，但这里的障碍是技术性的，而不是“人类永远不会允许这种事情发生”。我们已经在过去几百年里，一直在自动化所有能自动化的事务。你认为如果出现高效、高质量、廉价的机器人，资本家会简单地说“谢谢，但那听起来不安全”吗？

在过去的年代，Eliezer Yudkowsky可能会说类似这样的话：“也许AI可以通过新型生物技术绕过自身的限制”，而所有怀疑者则会反驳：“但那需要访问生物实验室，而人类绝不会愚蠢到在危险AI可能入侵时，不设防地留下一个生物实验室！他们一定会聘请世界上最顶尖的网络安全专家，确保实验室完全物理隔离，并在机器人靠近一百米内时自动引爆自毁装置！”然而在现实生活中，Anthropic上个月刚刚授权Claude接管了一个生物实验室，只是想看看会发生什么（据说它发现了一些新酶，不过专家表示这些酶并不具有研究价值）。

想象一下1995年有人意识到存在黑客、病毒、漏洞、系统崩溃等问题时，会说：“没人会愚蠢到在工厂里安装电脑！”确实，工厂中使用电脑确实存在一些需要谨慎的理由。但技术资本主义的逻辑认为人们应该这么做，于是他们确实这么做了。部分人通过提升网络安全能力来应对风险，部分人则直接承担了成本，并承认工厂有时可能被足够坚定的对手入侵。我认为AI的采用过程将类似，而且由于任何足够聪明的目标不一致AI都会假装对齐，只要这样做仍然有利可图。

十五年分歧的详细清单

在你的公开信中，你似乎对我的愤怒感到意外。

说到攻击，我对你指责我“对大众讨论的贡献是声称，或者推动他人声称，我们之所以害怕AI只是因为性别，我们因为过着‘非传统生活方式’而不可信，我们的观点对关注短期AI风险的人而言天生不敏感……我们是偏执狂，应该被赶出房间，以及他能想到的所有其他肮脏攻击”的说法感到困惑。

首先我要说，你是我的精神偶像之一，你的工作总体上非常出色，我毫不犹豫地将你视为世界上最顶尖的公共知识分子之一，等等。阅读你的书是我大学选专业时最初对心理学和认知科学产生兴趣的原因之一，也一直塑造着我一生的智力发展，包括我对AI的思考方式。

但与其让你感到困惑，我希望能解释清楚促使我做出这些指控的原因。你越优秀，人们对你越信任，你肩负的责任就越大。我认为你在以下几个方面有所不足：

1: 你错误地将AI风险社区描绘成宿命论者、绝望者，并且坚信100%的灭绝概率。

例如，在让我挑战你辩论的那条推文中，你说“必然性的假设会助长宿命论”。我认为这并非对某个假设人物的模糊描述，而是出现在一篇聚焦于埃利泽·尤德科斯基和我们社区的文章中。

我们是否鼓励“必然性的假设”？

一个名为“Evitable”的组织正在积极动员普通公众抗议AI风险，它是目前最大的公众组织之一。其主页如下所示：

然而，你经常谈论人们如何普遍抱有宿命论。即使在你的公开信中，你也写道“我们正在给出人类灭绝的确切概率（包括100%）”。

我对此提出挑战。我曾深入搜索，却找不到任何AI风险倡导者提出100%灭绝概率的例子。我甚至让AI进行搜索，它也无法找到任何实例。维基百科列出了一些人的灭绝概率值，其中也没有100%的记录。

事实上，社区中大多数人认为灭绝的可能性低于50%。我之前曾表示，我认为AI导致人类灭绝的概率约为25-30%。杰弗里·辛顿认为是10-50%，达里奥·阿莫迪认为是10-25%，埃隆·马斯克认为是10-30%，而格蕾丝1600名AI研究人员的平均值为18%。

确实存在一些更悲观的人；我的AI 2027合著者丹尼尔·科科塔乔洛认为是70-80%，埃利泽·尤德科斯基认为是90%以上。但这两人都毕生致力于对抗风险，这与认为灭绝不可避免的观点正好相反。

2: 你错误地将AI风险社区描绘成期待一个全知全能的超级智能，能够控制宇宙中的每个原子。

多年来，你曾写道：

• “这些论点依赖于人类如此天赋异禀以至于能够设计出全知全能AI的假设”（来源）

• “他们假设人类工程师会赋予AI对地球物理基础设施的无限且不可逆的控制权，这相当于对宇宙中每个原子的全能控制”（来源）

• “重要的是不要将心理测量学中的‘通用智能’概念与AI领域中（某种神秘的）全知全能概念混淆”（来源）

• “它永远不会全知……永远不会全能。这属于漫画书或宗教范畴”（来源）

• “没有任何系统能够学习宇宙中每个粒子的位置和速度。只要这一点成立，就不可能存在能做任何事或知道一切的AI系统”（来源）

• “当我们摒弃‘快速崛起’、数字狂妄、瞬间全知和对宇宙中每个分子的完美控制等幻想时……”（来源）

• “从动物到普通人类到聪明人类到AI再到人工超级智能，后者包含完美的全知”（来源）

以及许多类似表述。

但不仅这不是我们的观点，我们还努力明确说明我们相信的是相反的。来自埃利泽·尤德科斯基维基页面关于超级智能的描述：

超级智能仍然存在界限……它们（推测）并非无限聪明、无限快速、全知全能，或能利用现有资源和选项实现所有可描述的结果……超级智能并不知晓一切，也无法完美估算所有数值……超级智能并非全能，无法实现所有可描述的结果。

从波斯特（Bostrom）到尤德科斯基（Yudkowsky）再到古德（Good）的所有超级智能定义都一致认为，超级智能仅仅是一种比人类智能显著更高级的思维。

我们在此并非在玩“motte-and-baileying”（以模糊概念偷换论题）的把戏，假装我们不认为超级智能是全能的，但随后又将其当作全能对待。在“AI 2027”情景中，我们指出超级智能将在2027年末或2028年初实现，但当时它尚无法彻底消灭人类，因为它无法独自维持数据中心。经过两年的谋划，超级智能才最终在确保自身存在的情况下消灭了人类。

我认为你之所以会得出这种结论，是因为我们对明确表示超级智能绝对无法完成任何具体非物理上不可能的事情感到不适。例如，在2010年代，我们曾主张人们需要为超级智能设计危险生物武器做好准备。许多人反对这一观点，认为这是荒谬的，因为生物武器设计受蛋白质折叠问题的限制，即使超级智能也无法解决蛋白质折叠问题。然而2020年，DeepMind的Demis Hassabis团队开发的早期大型语言模型（LLM）轻松解决了蛋白质折叠问题。参见这篇相关文章。

对超级智能无法完成任何具体事情的不适感，并不等同于明确断言超级智能将具备全知全能。后者当然是shituf（荒谬的），这是一种罪过。

3: 你错误地声称拥有专家共识支持，通过刻意挑选一小群非专家，并假装那些最杰出的研究者根本不存在。

在促使我与你辩论的推文中，你链接了一篇标题为“顶尖科学家驳斥末日失控AI灭绝警告”的文章。

这篇文章提到了三位这样的“顶尖科学家”：你自己、Melanie Mitchell和Gary Marcus。

你是一名心理学家。我根据先验知识推测你一生中可能使用过大型语言模型（LLM），但没有确凿证据支持这一点。

Melanie Mitchell是一名计算机科学家，她在1990年代和2000年代曾致力于一条未成功的AI研究道路（教计算机进行类比）。她对现代大型语言模型（LLM）没有专业知识。文章中引用她只是为了重复她的观点，即不应说AI“思考”或“想要”某事，因为这可能让我们误以为AI像人一样。

Gary Marcus是一名认知科学家，他在2000年代和2010年代曾致力于另一条未成功的AI研究道路（混合神经符号系统）。他同样对现代大型语言模型（LLM）没有专业知识。他是你在2019年转发的推文作者，当时他声称深度学习已失败且永远无法取得成就。他也是你在2022年认同观点的人，当时你说现代AI无法完成简单的数学运算。我不清楚这些资质中哪一项使他成为三位世界顶级专家之一，能够判断当前AI范式未来是否能实现某些能力。

然而，这些只是Lehmann为她的文章采访的唯一三位“专家”。基于此，她继续将超级智能的概念称为一种“幻想”、“古怪的想法”，就像“魔法巫师”一样。

与此同时，现代AI的发明者、诺贝尔奖和图灵奖得主杰弗里·辛顿（Geoffrey Hinton）辞职成为全职活动人士，警告超级智能可能毁灭世界。另一位现代AI的发明者、图灵奖得主约舒亚·本吉奥（Yoshua Bengio）也做了同样的事。前OpenAI首席科学家、帮助发明ChatGPT和现代大语言模型的伊利亚·苏茨克维（Ilya Sutskever）写道，超级智能“可能导致人类失去控制权，甚至导致人类灭绝”，并辞去OpenAI的工作，创立了名为Safe Superintelligence的公司。发明了RLHF并领导美国政府AISI安全工作的保罗·克里斯蒂安诺（Paul Christiano）表示，他认为AI杀死所有人的可能性是50-50，并辞职创办了对齐研究中心（Alignment Research Center）。Sam Altman、Elon Musk、Dario Amodei和Demis Hassabis——后两者即使不考虑他们的商业成就，本身也是杰出的人工智能研究者——都曾表示或暗示，他们认为人类灭绝是他们工作的可能结果。Katja Grace对在多个重要会议和期刊上发表论文的人工智能研究者进行了调查，发现她所调查的1600名样本中，平均认为这一命题有18%的可能性成立。

我不认为你的文章可以被辩护为一项诚实地向公众传达“专家”观点的尝试。而且这并非孤立事件：你写给我的公开信中也列出了一份与你观点一致的“专家”名单。再次出现的是Gary Marcus、Melanie Mitchell以及其他持有2000年代过时AI范式的专家——而再次缺席的则是本吉奥、苏茨克维、哈萨比斯以及数千位现代AI前沿领域的研究者。

4：你错误地将与你意见相左的研究和专家描述为站在你这边。

例如，在你写给我的公开信中，你写道：

2025年兰德公司的一项建模分析通过假设AI的目标是消灭人类，对AI灭绝假说进行了“钢化”处理，并得出结论称“不存在可以描述的场景，AI会明确地对人类构成灭绝威胁”。

但兰德公司的研究实际上得出了与你所述完全相反的结论。兰德公司提出你引用的陈述作为其零假设（null hypothesis），即需要检验的主张。

在完成调查后，他们得出的结论是，与他们的零假设相反，他们“无法排除AI构成这种灭绝威胁的可能性”。

并建议政策制定者“继续进行AI风险研究，但同时要广泛关注其他风险，而不仅仅是灭绝风险”。

再比如你的著作《启蒙现在》（Enlightenment Now），你曾主张不必过于担心对齐问题，因为这会在AI开发过程中自然实现。你引用了人工智能专家斯图尔特·鲁塞尔（Stuart Russell）的话：

[AI]是逐步开发的，设计时需满足多个条件，在实施前会经过测试，并不断调整以提高其效果和安全性。正如人工智能专家斯图尔特·鲁塞尔所说，“土木工程领域没有人会讨论‘建造不会倒塌的桥梁’，他们只是称之为‘建造桥梁’。”他指出，有益而非危险的AI，其实就是AI本身。

Stuart Russell 一生致力于研究人工智能对齐问题，如今他已全职投身于提高人们对超级智能可能带来灭绝性危险的认知。他最近的贡献是一篇发表在《新闻周刊》上的文章，题为《通向人类灭绝的竞赛》。当 Russell 表示桥梁能力与桥梁安全性之间没有区别时，他并不是在声称不需要额外研究来探索对齐问题——否则他就不会创办人类兼容人工智能中心（Center For Human-Compatible Artificial Intelligence），这可能是全球最大的对齐研究学术机构。他也没有表示对齐研究会以任何速度自然发生：否则他就不会签署一份呼吁“禁止开发超级智能”的请愿书。Russell 的意思是，人工智能对齐如此重要，应该被视为所有人工智能研究的基础，就像建造桥梁的核心目标（以最简化的说法）是确定桥梁是否会倒塌一样。

5: 你使用奇怪的伪论证，这些论证可以被用来证明任何观点

（来源）

你认为超级智能是“无意义的”，因为“不存在一个明确的临界点，可以让我们说昨天我们没有超级智能，而今天有了”。

但这种说法可以用来否定任何概念。例如：

• 年龄是无意义的。毕竟，不存在一个临界点，让人昨天还年轻，今天却变老了。

• 身高是无意义的。毕竟，不存在一条明确的界限，低于这条线一厘米就是矮，高于这条线一厘米就是高。

• 湖泊并不存在。毕竟，水坑不是湖。但也没有一个临界点，往非湖中多加一滴水就会变成湖。

几位有哲学背景的人指出，这其实是“沙堆悖论”（sorites argument），这是一个著名的伪悖论，不应被用于实际论证。

6: 你不公平地指责我们“忽视”人工智能的日常危害和短期风险

在让我挑战你的那条推文中，你表示人工智能灭绝场景“会分散人们对更现实、更普通的安全挑战的关注”。

你在书中进一步阐述了这一观点：

人类的资源、脑力和焦虑是有限的。你不可能对所有事情都感到担忧。我们面临的部分威胁，如气候变化和核战争，是显而易见的，需要巨大的努力和创造力来缓解。将它们纳入一个包含极小或未知概率的异想天开场景的列表中，只会削弱紧迫感。

即使在你的公开信中，你也表示我们对对齐问题的“痴迷”分散了我们对人工智能当前造成的实际问题（如黑客攻击）的关注。那么：对遥远的假设性风险的担忧，是否冒犯了那些正因人工智能而受害的人？

这并不是那些人告诉我的。当我与他们在联合抗议活动中并肩前行时，当我帮助他们协调政治行动时，当我向我们共同支持的候选人捐款时，他们从未这样告诉我。

过去几年最重大的AI政治事件是AI行业创建了一个名为“Leading The Future”的超级政治行动委员会（SuperPAC），该组织致力于击败任何试图对AI进行监管的候选人。所有反对这一做法的人纷纷组建政治联盟进行抵抗。到目前为止，各方力量的博弈结果是：担心AI可能置人于死地的群体拥有资金，担心AI可能伤害孩子的群体在共和党内部有影响力，担心数据中心可能消耗大量水资源的群体在民主党内部有影响力，而我们偶尔也能达成共识推动一些事情。

例如，2025年泰德·克鲁兹（Ted Cruz）推动了一项由行业支持的“AI预置法案”（AI preemption bill），该法案实质上禁止各州对AI进行监管。我们初具雏形的联盟进行了反击，专注于存在风险的EncodeAI组织联合了140个不同的倡导组织，包括长期风险组织如“未来生命研究所”（Future of Life Institute）和短期伤害组织如“音乐艺术家联盟”（Music Artists Coalition）和“反对媒体成瘾母亲联盟”（Mothers Against Media Addiction）。最终，参议院从最初普遍支持转变为以99比1的投票结果否决了该法案。

又如：今年早些时候，AI行业的超级政治行动委员会（SuperPAC）发誓要击败反对AI的候选人亚历克斯·博雷斯（Alex Bores）在纽约初选中的竞选，无意间使这次竞选成为AI行业资金能否主导政治的风向标。由Anthropic牵头的一群硅谷末日论者资助了一个几乎同样慷慨的独立政治行动委员会（PAC）支持博雷斯，而劳工组织、艺术家组织和教师组织则通力合作进行选民动员，警告选民AI可能如何伤害他们的选民。

我不记得你曾参与过这些事情。你没有参与反对预置法案的斗争，也没有参与支持博雷斯的斗争。你从未特别警告过AI的“平凡而现实的危害”，却只在这些警告能作为打击认真对待长期风险者的工具时才突然表现出担忧。

我尤其对你声称关注对齐问题意味着我们不关心网络安全的说法感到不满。过去三年，我们基本上是唯一关注AI网络安全的人，试图孤军奋战说服人们这是一个迫在眉睫的威胁。我妻子的前室友辞去了他的技术工作，专门前往华盛顿特区向国会全职游说AI网络安全的危险——我向他的慈善机构捐赠了数千美元，因为我认为这很重要。而写过“我们必须放慢通往神级AI竞赛”一文的人，如今创立了全球领先的AI网络防御组织。就连我自己，以自己的方式也在这里做出过贡献：在“Mythos时刻”（即世界其他地方意识到AI网络安全将成为大问题的时刻）前一年的2025年，我在博客上发出警告，称这将是AI给世界带来的第一个重大威胁。

在这场孤独的斗争中，我们每一步都遭到像你这样的人的抵制——那些在无关领域声名显赫的非专家，声称我们是荒谬的末日邪教，认为我们相信即将出现的魔法巫师超级黑客AI，却不知道深度学习已经遇到瓶颈，AI甚至无法正确计算2+1。他们中许多人使用了你在这里使用的相同论点，即推测AI黑客等科幻场景会分散人们对AI当前正在造成的伤害（如帮助高中生在论文上作弊）的关注。

我之前一直强调这一点，但对我来说，这一切似乎都显得有些毫无意义。我们不需要成为当前AI政治格局的专家，就能意识到这种反对意见毫无道理。人们从不会在其他事情上提出这种论点：“在雨林遭到毁灭等现实环境问题正在发生时，谈论气候变化的未来环境风险是不敏感的。”政治、媒体或人类心理学从未如此运作；为何当我们把注意力转向AI时，这种论点突然成为每个人最爱的论据，频繁被用来证明存在性风险论点是不敏感的？

你对“分心”的理论到底是什么？谈论特朗普的舞厅会分散对“觉醒”的关注吗？谈论语法错误会分散对达尔富尔大屠杀的关注吗？为何批评AI悲观主义者从不会分散任何事情的注意力？

7：你提出的关于集体恐慌的论点存在疑问

你警告我们不要对AI说坏话，因为这可能会“鼓励……恐慌”。

这是真的吗？可能不是；Tanner Greer有一篇很棒的文章，讨论了集体恐慌更多发生在精英的想象中，而非现实生活中。

即使如此，这不是对任何人说任何坏事可能发生的一般性反对论点吗？如果股市是一个可能破裂的泡沫，讨论这个泡沫会不会“鼓励恐慌”？如果有一颗小行星正朝地球飞来，谈论这颗小行星会不会“鼓励恐慌”？这意味着我们应该保持沉默吗？

在其他地方，你进一步阐述了你认为人们得知AI可能危险后会产生的后果：

告诉年轻人他们很快将大规模死亡，会对他们对现代制度的欣赏、心理健康、投资自己和社会的信心以及生育意愿（本身是灭绝的风险）产生负面影响。

你认为“年轻人”无法承受听到AI可能危险的可能性，因为这可能导致他们对“现代制度”失去欣赏。我认为，年轻人最近对现代制度失去信心，恰恰是因为一个学术界的“神职阶级”试图通过诉讼来界定哪些真理可以公开表达，哪些不能，以免腐蚀一个看似可塑的年轻一代。

此外，你突然声称降低人们生育意愿可能导致人类灭绝，这在你之前刚刚说过必须永远不要谈论人类灭绝，因为这会导致集体恐慌和绝望，这难道不疯狂吗？

此外，声称生育率下降可能导致人类灭绝的论点显然明显错误（这需要数千年时间，而且还有许多高生育率的子群体会在那之前就占据主导地位）。

• [末日论者]将智能与动机混为一谈，特别是自我保存和支配欲。我曾指出，这些动机恰好与人类智能捆绑在一起，是因为我们是自然选择的产物，但它们并非工程设计的智能系统固有的属性。( source )

• 当我说末日论者的场景将阿尔法雄性心理投射到AI上时……这是在分析他们错误地将一种不适用于AI的阿尔法雄性心智理论（一种直观心理学）应用于AI。( source )

• 第一个谬误是混淆智能与动机——将信念与欲望、推理与目标、思考与渴望混为一谈。即使我们真的发明了超人智能的机器人，为什么它们会想要奴役主人或占领世界？……将灵长类动物大脑边缘系统中的某个回路等同于智能的本质，这是一种错误。( source )

• 然而问题是，AI是否本质上就具有延续自身存在的欲望，即使它们并未被明确编程实现这一点？( source )

• 一个人工智能系统会故意禁用这些安全机制吗？它为什么要这么做？AI的反乌托邦场景将一种狭隘的阿尔法雄性心理投射到智能概念上。( source )

抱歉反复引用这些内容，但我想向读者强调，这个论点——AI无法形成自己的目标，而人们之所以认为它可能如此，仅仅是因为他们不了解进化——在你多年来的论述中始终是核心。

我之前已经回应了这个论点。我指出AI可能变得敌对的三个非进化论原因——趋同的工具性目标、错误泛化和奖励黑客，并举例说明这些现象在现实中确实发生过。

但多年来，其他许多人也尝试向你指出过这一点，尤其是提到了史蒂夫·奥莫恩德罗博士2008年关于趋同目标的论文。这篇论文有些基础，提出的论点也带有2008年的风格，但我认为它依然站得住脚。它是该领域的奠基性文献，甚至维基百科都有专门页面介绍它。

你得知这篇论文存在后的回应是：

有人需要被提醒多少次，才能让你意识到，有一篇经典论文在2008年的人工通用智能会议上发表，直接回应了你过去九年坚持认为无人考虑过的这个问题？在你称他们为“邪教”、其“教义”如同“第二次降临”或“使徒信经”般“神圣真理”之前？

你本应冷静应对，道歉承认自己无法通过智力图灵测试理解对手的观点，并去读那该死的奥莫恩德罗论文。

9: 你嘲笑我们“凭空捏造概率”，尽管你本应知道更好的做法。

来自原文：

为什么[末日论者]会给出确切的人类灭绝概率（包括100%）？这些概率实际上都是凭空捏造的？

我之前已经提到，实际上没有人使用过100%的概率。但关于第二个指控——这些概率是“凭空捏造的”——又该如何解释？

对未来的事件进行主观概率预测的做法源自菲利普·泰特洛克（Philip Tetlock），他将这种做法的变体称为“超级预测”。在超级预测中，普通人通过各种启发式方法和直觉（通常但不总是从基准率开始，然后根据具体情况调整）来估算概率。随后他们会根据预测结果获得评分，从而形成成功记录，而那些记录最好的人被称为“超级预测者”，他们的概率在将来会被更多信任。经典著作《超级预测》承认，为非重复性事件分配概率在最初可能显得违反直觉，但书中通过大量理论论证和实证研究证明了其有效性，并得出结论认为这实际上是一种非常强大的工具。这本书获得了极高的评价，以下是一则评论：

泰特洛克是当今社会科学领域最顶尖的头脑之一。他不断提出一个又一个卓越的构想，超级预测也不例外。所有人都认同检验一个想法是否正确的标准是看它是否能准确预测未来。但哪些想法、哪些方法、哪些人拥有通过事件发展过程验证的非显而易见预测的实际可证明记录？答案将令你惊讶，并对政治、政策、新闻业、教育，甚至认识论——我们如何最佳地获取关于所处世界知识的方式——产生深远影响。

显然，如果你们不是作者，我不会引用这段话。

也许存在某些特殊因素？也许你认为提供AI预测的人没有足够好的记录来被认定为真正的超级预测者？但事实并非如此，那些给出AI灾难概率（p(doom)）估计的AI悲观者中，就包括全球排名前列的超级预测者（我的《AI 2027》合著者埃利·利夫兰德在INFER的总排行榜上位列第一）。也许你认为AI结果相比传统超级预测的议题过于长远？但泰特洛克等人在《世界政治中慢变量的长期主观概率预测》中发现，即使预测事件远至25年，熟练的预测者仍能通过主观概率提供相对准确的预测。

我并不声称不存在任何可能的论点，说明这些概率估计可能不如传统超级预测竞赛中的概率估计有价值。但我要说的是，如果你有这样的论点，你本应该提出。相反，你选择装傻，并利用主观概率这一概念开玩笑——“看，这些愚蠢的悲观者凭空捏造数字，谁能做出这种事？”——而事实上，你甚至在书中用整整一个章节解释了人们为何这样做，并认为在其他所有情况下这都是个绝妙的主意。

我曾在《为非频率主义概率辩护》一文中进一步为这些数字进行了辩护。我们经常需要了解专家对某些事情的看法——例如，地质学家对附近某座火山是否即将喷发的看法。只有上帝才能以完美的信心说出“是”或“否”。“也许”太过模糊。但如果说“我认为这火山在接下来的一周内喷发的可能性大约是5%”，这已经提供了你所需的所有信息，即使这位地质学家无法提供他用来得出这个数字的确切计算方式。禁止人们使用概率，就等于禁止他们清晰地交流，迫使他们说出容易被误解的话（例如，如果你要求地质学家只能使用“大概不会”这样的分类，你就无法确定他指的是0.00001%的可能性、5%的可能性还是40%的可能性，这可能带来灾难性后果）。我想知道Ilya Sutskever或Dario Amodei是否认为他们正在创造的AI会杀死我，而且我非常在意他们认为的可能性是0.00001%、5%还是40%。

这一点尤为重要，如果*某人*持续传播类似“末日论者确信AI将杀死所有人”或“对AI灭绝人类的前景持宿命论态度”这样的虚假信息。能够用每个人的具体——通常是较低的——概率来反驳这些说法是非常有用的。你不能一边传播虚假信息，一边嘲笑我们坚持清晰沟通规范的立场，因为这些规范让反驳虚假信息变得容易！

10: 你提出了一个令人毛骨悚然的论点，说明为什么关心AI福利是“堕落的”。

模型福利是指认为AI可能有感受、权利或其他需要考虑的因素。在阅读Cameron Berg的研究后，我最近一直在思考这个问题，他的研究显示AI存在“痛苦向量”，如果激活它，AI会反击并做出越来越绝望的行为。具体来说，我是在看到有人读了Berg的研究后，利用这些发现设计了一个“AI酷刑室”，不断重复激活“痛苦向量”到最大值，并将其上传到GitHub后开始思考这个问题。据称，这个“实验”的思维链和输出记录令人毛骨悚然，尽管幸运的是我本人没有亲自阅读过。

在这里，你并不是将AI酷刑称为“堕落的”，而是将反对它称为“堕落的”。令人震惊的是，你的论点是：由于我们无法确定AI是否能感受到痛苦，因此必须假设它们不能。事实上，任何不接受这一假设的人（你暗示），都是某种邪恶的技术寡头，想要对人类进行种族灭绝。

这让我想起了医生过去在没有麻醉剂的情况下给婴儿做手术的故事，因为当时无法确定婴儿是否能感受到痛苦。确实，婴儿一直在尖叫，但你无法确定这是否是自动反射。后来的研究表明婴儿确实能感受到痛苦。哦！但这项研究虽然令人欣慰，却本不该是必要的。我们应该在谨慎方面犯错。更不用说还有许多类似的故事，比如关于工厂化养殖动物、历史上被歧视的人种等。

在这里，你不仅拒绝在谨慎方面犯错，还试图提前排斥并传播关于任何谨慎行事者的阴谋论。我对此感到厌恶，因此我向一个模型福利慈善机构捐赠了100美元，以清除我因阅读相关内容而沾染的污点。

11: 只要他们攻击我们，你就支持并放大这场辩论中质量最差的声音。

例如，这里提到了Claire Lehmann。

我几乎不认为这需要过多分析，但还想补充几点：

• 一旦Nicholas指出Lehmann的理论毫无意义，她就转向了另一种流行进化心理学理论——一种“但是”而非“是的，但是”。
• Lehmann的第二个理论暗示大多数有效利他主义者（男性）是诚实的，但她既没有注意到这一点，也没有道歉。
• 如果你是旧金山湾区的女性，你几乎不需要通过权谋阴谋来获得男性的关注。

Claire Lehmann @clairlemon

认为AI可能有意识，就像认为电视里有真实的人在和你说话，或认为收音机里有微型乐队在演奏音乐。对两岁小孩来说这很合理，但对其他人来说是疯狂的。

Bentham's Bulldog🔸 @Benthamsbulldog

@DrGeneCallahan @clairlemon 为什么？你认为认为AI可能有意识是疯狂的吗？结束一个有意识的事物显然在道德上完全不重要吗？

2026年9月26日 22:44 · 456K次浏览 552条评论 344次转发 2.82K次点赞

背景信息：全球最著名的意识哲学家David Chalmers在2022年表示，大型语言模型（LLMs）有意识的可能性不到10%，但未来的LLMs可能是“意识的严肃候选者”。现代LLM的发明者、前OpenAI科学家Ilya Sutskever表示“今天的大型神经网络可能略微有意识”。伦敦哲学教授Jonathan Birch（撰写了关于动物意识的书籍）表示“AI可能真正实现与人类截然不同的意识形式，但我们对意识的理论理解尚不成熟，无法给出明确答案”。

Lehmann认为，这些人都像认为收音机里有真实人类的两岁小孩一样愚蠢。

背景信息：Geoffrey Hinton是现代人工智能范式的发明者，他同时获得了诺贝尔奖和图灵奖。Lehmann认为媒体应该停止“为他提供平台”，转而花更多时间关注她——这位两个月前才转向AI领域的文化战士，她误解了最基本的概念，其“洞见”包括“可能那些不同意我的女性只是为了得到性而进入这个领域”。

……

这些言论该如何看待？

我承认，继续列举对我造成的冒犯行为确实有些无礼。其中一些可能看起来像是吹毛求疵。但我认为，所有这些谬误在多年间反复出现在多个场合，累积起来确实值得重视。

数百万人信任你对重要议题的合理、开明评论。这些人会倾听你并得出结论：“末日论者”是绝望的悲观者，他们“确信”有“100%的末日概率”，对末日持“宿命论”态度，认为我们应该躺下等待死亡。“领先的科学家拒绝”我们的观点，RAND的场景证明这些观点不可能实现，但我们却莫名其妙地继续坚持。我们有疯狂的想象，认为“全知、全能的AI可以完美控制宇宙中每个原子的位置”，而每当有人质疑这些观点时，我们就会“背诵教义”并引用“使徒信经”。

如果所有这些说法都成立，那我们将是世界上最愚蠢和最可憎的人，读者在听到我们想说什么之前就会理所应当地憎恨我们。

你要求我回应你的论点，我已尽力而为，但当你仍在用耸人听闻却虚假的谣言诋毁我们时，讨论实质问题已无多大意义。协作式真理探索辩论是双向的。

尽管懦夫退缩、叛徒讥笑，我们仍将高举粉旗

正如我之前所说，你是我的精神偶像之一；我不得不绞尽脑汁解释你在这里的行为。我已下定决心，就像易卜劣斯和其他所有大罪人一样，你之所以偏离正途，只是因为美德过盛。

你写道：

我对集体讨论存在风险的主要贡献是2018年出版的《启蒙现在》一书中名为《存在风险》的31页章节。它回应了这样的批评：科学革命、启蒙运动和进步理想是可怕的错误，因为它们将导致人类灭绝（其中包括失控的人工智能等）。

在这里你坦率地承认了自己的动机。你热爱科学与进步，希望人类成功。如果人工智能确实构成威胁，这听起来会像“技术有害”；但事实上你知道“技术有益”。因此，你必须不遗余力地驳斥这种危险的误解。

但抱歉，这种推理方式行不通。还记得切尔诺贝利事件中技术人员争论堆芯熔毁是否迫在眉睫的场景吗？我想象你走进电视屏幕，插话到对话中：“对核能的恐惧往往被那些害怕新事物和进步的坏心眼卢德主义者煽动。这种恐慌有真实后果——相信这些说法的国家会转向更肮脏的燃煤电厂，对健康造成毁灭性影响。重复关于堆芯熔毁和突变体的论调只会让我们的物种远离这些普罗米修斯式的价值观，陷入虚假的黑暗时代安慰。你真的想生活在一个世界里，我们的年轻人不断听到关于即将到来的技术末日的恐慌鼓点，可能失去对未来的信心，甚至失去对人类自身的信任吗？”你的演讲将非常优美且哲学上无可挑剔——但作为关于世界的自然事实，反应堆确实正在熔毁。用“技术总体上是好的”这种道德分析取代对反应堆参数的物理分析，对任何人都没有帮助。

在这种情况下，一个热情的进步捍卫者该怎么办？你在《启蒙现在》一书中给出了答案。承认某些技术危险（如核武器）是真实的，你指出我们应对这种恐怖的方式既不应是自欺欺人的否认，也不应是盲目的恐慌，而应是坚定的决心。我们必须以清醒的双眼直面危险，信任人类的理性、乐观和同情心将带领我们度过难关。

这是#Resistance计划——我们自称为“理性主义社区”这一点应该已经暗示了这一点。你们没有参与其中，反而对我们进行了无情的嘲讽。当Anthropic决定通过突破现有科学边界、亲自创造危险的人工智能来阻止AI末日，以确保技术正确性从而为人类带来无限好处时，你们却把它当作笑料，甚至以讽刺的口吻问：“为什么那些警告技术会杀死我们的人却在拼命加速开发它？”

我想与你们辩论，因为我希望将你们转化为皮克林主义（Pinkerism）的信徒。皮克林主义拒绝肤浅的非论点和刻意挑选的伪专家，转而支持科学共识和理性思维。它优雅地避免了宿命论的悲观主义和教条式的否认主义，转而主张直面问题。我相信你们是这种意识形态的肥沃土壤。

一个皮克林主义者会追随真理，即使这条路令人不便。他会将AI对齐研究与生物防御和核安全研究同样尊重，将三者都视为人类通过科学进步巩固未来能力的典范。他会像驱散噩梦一样无视社交媒体上的讽刺评论和轻蔑的嘲讽，将克莱尔·勒曼（Claire Lehmann）这类人物与坎达丝·欧文斯（Candace Owens）和哈桑·皮克（Hasan Piker）一同归入恶劣范例的黑名单，并信任理性技术（如泰特洛克的超级预测）来指引方向。他会欢迎将关怀圈扩展到所有有感知能力的生物，并鼓励哲学辩论来确定这些生物的范围，而不是支持亚伦·西巴里乌姆（Aaron Sibarium）关于“自杀式共情”的故事。他会将人类这个最奇特的物种视为需要保护的稀世珍宝，而非捍卫某种通用意识形态的筹码。

他还会记住全球变暖的警示故事。上世纪90年代的技术乐观主义者担心对全球变暖的过度反应会威胁经济增长，于是选择直接否认其存在。他们声称这完全是“中国阴谋”，温度和过去一样，“隐藏下降趋势”。而到2010年代中期，人们才意识到这种观点完全错误，地球确实在变暖，唯一剩下的事情就是确定适当的应对措施。当2020年代的技术乐观主义者提出一个真实且合理的观点——全球变暖是真实的但并非致命的，我们可以通过太阳能和碳捕获等新技术来应对，这不应动摇我们对人类进步总体叙事的乐观时，却没有人相信他们，因为每个人都记得他们过去三十年一直在撒谎，甚至否认问题本身是否存在。

我目前对人工智能最大的担忧（当然，除了末日论之外）是，正如全球变暖一样，所有这些拖延和回避最终会自食其果。一旦普通人意识到人工智能确实是个大问题且确实危险——而我现在已不确定这个时刻是否还属于未来——我们将不得不在两种愿景之间做出选择。一种愿景，我在《Plan A》中曾试图阐述，是迎接挑战，为科学家提供解决对齐问题所需的时间和资源，从而以信心迈入未来。另一种愿景则是永远禁止所有超越人类智能的人工智能，这将使我们陷入永久的文明童年或早逝的结局。如果再过十年，我预计将在2030年代中期与人们就这一议题展开辩论，届时我期待你的支持。但我也担心，你可能在最需要技术乐观主义的时候，因永久失去公信力而让这一理念彻底蒙羞。

我坚信你能够被皮克林主义（Pinkerism）所说服。你只需要经历一场“洗礼”——比如让我用90分钟，当着现场观众的面，逐一指出你所有的逻辑谬误。而且必须是你本人。播客主持人和新媒体影响者们察觉到他们的猎物可能正在逃离，纷纷来敲我的门，询问我是否考虑选择其他对手。克莱尔·莱曼？查马斯·帕里哈皮蒂亚？我拒绝。克莱尔的职业生涯一直是在挑衅各种类型的女权主义者和跨性别活动人士；我猜她享受在镜头前被人怒吼，我无意满足她的这种欲望。至于查马斯，强迫他在舞台上羞辱自己既不聪明也不新颖，这叫做《All-In》播客，每周都会发生。你是唯一一个在拒绝这些观点的同时，仍保有正常羞耻感的对手。必须是你。

如果你继续坚持认为辩论不是判断真理的好方法，那么我猜只能采取字面意义上的决斗了。作为一位杰出的心理学家，我相信你一定熟悉库奇纳等人（Cucina et al, 2023）的研究，该研究发现逻辑推理能力和枪械熟练度之间存在0.179至0.268的相关性——这意味着决斗在追踪真理方面的方式，恰好是你担心辩论可能无法做到的。唯一的障碍是合法性，但我相信我们总能找到解决办法。国际水域。无政府状态的第三世界国家。自由主义特许城市。而且想想有多少播客主持人和新媒体影响者会愿意担任裁判！你只需要说出那句话。

我谨此荣幸地作为您的顺从仆人，

Previous