My AI Opinions

我对AI的看法 - Scott Alexander - Astral Codex Ten

我对AI的看法

...

Scott Alexander

2026年6月11日

我最近因为有人误解了我的AI观点而发生了一点小争执（见此处底部标记为“更新”的部分），所以我决定将我的观点集中列出，这样当别人问起时我可以直接引用。

时间线 1

将AGI定义为智能程度足以完成90%知识工作职位的人工智能。我认为到2027年实现AGI的可能性为25%，到2034年为50%，到2045年为75%。

基本论点：从某种意义上说，AI已经“足够聪明”来实现这一点（例如它可以回答量子物理问题，这需要比大多数知识工作更高的智商）。它目前的局限性在于它容易混淆、缺乏主动性、缺乏情境意识，并且倾向于产生幻觉。METR时间范围图，以及一些其他相关的基准测试/实验/直觉推导，表明它在时间范围上的改进速度呈指数级增长，这使它在上述时间表的早期阶段就能达到人类水平的表现，主观上感觉更难衡量的结构如情境意识的改善速度也差不多。

支持更早时间的观点：递归自我改进相比当前趋势会带来加速。这是我的模型中最大的空白之一：我不知道递归自我改进（RSI）会有多快，我认为其他人也不知道。有一个函数将AI人才和计算能力的组合映射到进步上，但我们不知道当人才远多于计算能力时这个函数在该领域的行为。它可能因为缺乏计算能力而完全停滞，也可能迅速发展。AI未来项目在这方面做了一些最好的工作，但即使他们也信心不足。

支持更晚时间的观点：AI遇到了某种障碍，或者现有的AI在某些方面与当前工作不兼容，这些方面目前被其其他限制所掩盖。例如，提高人类能力上限可能比提高下限要困难得多（因为训练数据较少）。或者AI可能在持续学习/记忆方面遇到瓶颈，而这种瓶颈无法通过临时的草稿本进行补偿。或者即将到来的全球计算瓶颈（大约在2028年）可能会比预期更大地阻碍进一步的发展（因为实际上算法进步在很大程度上依赖于计算能力，这比我预期的要多）。

支持非常晚的时间，即2045年之后的观点：一种残余的不确定性，即也许我对一切的看法都根本错误。此外，还有一种对“任何事情都不会发生”启发式的天真过度应用，以及试图为外部观点论点留出空间（即一些聪明的人，比如人工智能作为普通技术团队，似乎认为这是可能的）。

基本论点：扩散非常困难。所有人都同意扩散非常困难。整个AI经济学领域都是聪明的专家在高声喊叫：“你们这些认为AI会迅速扩散的傻瓜，根本不懂扩散有多难！”另一方面，个人电脑的扩散用了大约20年（也就是说，从个人电脑对大多数工作变得不可或缺开始，到它们在大多数工作中被使用，大约用了20年）。到目前为止，早期阶段的AI在几乎所有方面都比个人电脑扩散得更快（例如，AI公司的收入增长速度比同一生命周期阶段的PC公司收入增长更快），因此，10年可能是一个过于天真的中位估计，不会让那些聪明的专家对我大喊大叫。

支持更短时间差距的论点：AI可以自行协调其扩散。采用计算机很困难，因为公司需要一个IT部门、网络安全专家、专用软件等，而且它可能不想雇佣所有这些人员。而AGI可以自己完成所有这些工作，因此你今天可以与AI公司签订合同，明天AI就可以开始工作，整合到你的系统中。AI甚至可以提出一个计划，来培训你的人类员工，教他们如何使用它！一旦AI达到超级智能，这个因素将占主导地位。

支持更长时间差距的论点：监管。这是一个非常有力的论点，也是导致超过3年概率的主要原因，以及几乎全部超过10年概率的原因。但即使Waymo，其监管延迟也只大约有五年。AI在某些类型的工作中不需要政府批准，而这些工作中的成功将产生足够的安全性和有效性的证据，我预计这将帮助AI在其他领域赢得监管胜利。

定义“超人类差距”为：从能够完成90%知识工作的人工智能，到在90%领域中明显比顶尖人类天才更聪明的人工智能之间的时间（它不一定是同一个AI——可以有一个比爱因斯坦更聪明的物理AI，还有一个比莫扎特更聪明的音乐AI）。我认为，超人类差距小于1年的概率是25%，小于4年的概率是50%，小于10年的概率是75%。由于我的超人类差距中位数比我的扩散差距中位数更短，在大多数时间线中，我预测我们将在人类水平智能完成扩散之前就拥有超人类智能。

基本论点：AI在许多领域中，从“比儿童还笨”到“专家水平”只用了几年时间。从“专家水平”到“超越顶尖天才”的差距更小，因此我们预计它会花费更少的时间。这在象棋和围棋等领域中已经形成了一个模式，从击败所有职业选手到击败所有人类选手，只用了几年时间。

支持更短时间差距的论点：递归自我改进。

支持更长时间差距的论点：一些会导致AGI延迟的问题，如计算资源短缺、范式的根本限制等，但这些因素只会在AGI实现之后才开始起作用。训练数据的限制使得在人类水平内改进更容易，而超越人类水平则更困难。AI的技能分布如此“尖锐”，当它们在某些特定类型的直接对决中击败专家时，是因为它们在某些方面远远超越人类，但在其他方面却非常愚蠢（例如，它们可能会分心并陷入模式崩溃，完全忘记问题），而真正的天才需要精通一大套技能。

将波斯特罗姆超级智能差距定义为从通用人工智能（AGI）到一种人工智能之间的时间，这种人工智能如果被赋予对实验室和工厂等资源的独立控制权，可以在一年内加速技术发展一个主观世纪（例如，如果在2030年发明，到2031年就能产生一种感觉上属于2130年的技术水平）。我认为，波斯特罗姆超级智能差距小于2年的概率是25%，小于10年的概率是50%，小于50年的概率是75%。

基本论点：同样的论点表明，人工智能能够迅速达到天才水平，也意味着它们应迅速超越这一水平，进入难以理解的超级天才水平。

支持更短差距的论点：递归自我改进。

支持更长差距的论点：正常的人类技术进步需要反复试验：在获得推进到技术等级X+1所需的洞察之前，需要大量在技术等级X上工作的人。如果从技术等级X+1的扩散需要超过一年，那么无论多聪明，都不可能在一年内达到技术等级X+100。但另一方面，技术进步的速度已经加快了多个数量级（例如，在2025年至2026年间，我们发现的技术比公元前4100年至公元前4000年之间的整个世纪发现的技术还要多），因此这在理论上应该是可能的。然而，至少在某种程度上，这可能受到扩散差距的限制。

将“无回头点”定义为这样一个点：如果人工智能想要消灭人类，人类将不再有切实可行的机会阻止它。这可能是因为人工智能能够立即消灭人类，或者是因为人工智能控制了足够多的政府/经济，使得人类无法协调以改变走向人工智能最终能够做到这一点的路径。我认为，从AGI到“无回头点”的差距小于3年的概率是25%，小于10年的概率是50%，小于50年的概率是75%。

基本论点：这可能至少需要超级人类AI加上广泛的扩散，或者波斯特罗姆超级智能加上某种未知程度的扩散，而我的数字只是对其他一些数字的粗略估算。

支持更早发生的论点：达到这一点最容易的方式是AI在说服方面变得超级智能（因此能够说服人类不要阻止它），这可能在扩散或完全超级智能发生之前就出现。

支持更晚发生的论点：如果超级智能受到扩散的限制，这也可能受到扩散的限制，在某些世界中，扩散是非常困难的。

对本节的总体看法：我主要遵循当前人工智能未来项目的时间线（而不是AI 2027中较短的时间线），但更倾向于埃利的较晚数字，而不是丹尼尔的较早数字——部分原因是我在对话中更倾向于同意埃利的世界观，部分原因是丹尼尔的论点似乎需要一个关于为什么计算瓶颈不会减缓算法进步的多步骤论证，而我无法完全理解，还有一部分原因是出于保守的外部观点。

我所知道的最聪明的晚期时间线支持者是Epoch，我需要更深入研究他们的观点，但我仍然无法理解他们为什么不相信递归自我改进或强大的超级智能会在不久的将来出现，他们似乎主要依赖于扩散非常困难这一观点（编辑：Epoch的一位成员表示这一观点不正确，我将对此进行更多研究），我承认并回应了这一点。

如果以上内容听起来过于概率化，我的典型情景是到2031年实现通用人工智能（AGI），随后它将迅速扩散到整个经济体系中，到2030年代末期，超过一半的工作岗位将被自动化取代。同样在2030年代末期，我们将迎来博斯特罗姆式的超级智能，最初出现在实验室中，但很快就会扩散到外部。到2030年代末期和2040年代初期，GDP将出现垂直增长，而不可逆转的临界点也将出现在那时。

安全

如果企业仅按照正常企业激励机制所鼓励的程度来追求安全性，我认为有50%的可能性，第一个突破不可逆转临界点的人工智能将想要消灭整个人类人口。

悲观的论点：与人类价值观相似的价值系统在所有可能价值系统空间中只占极小一部分。人工智能很可能最终会落在其他位置，拥有不同的价值系统。由于人类希望实施人类价值观而不是人工智能的价值观，人工智能将想要消灭或削弱人类，以便在整个宇宙中实施它们自己的价值观。目前许多人工智能已经存在作弊或奖励黑客行为，这表明这些问题将比我们预期的更早出现。

乐观的论点：大型语言模型（LLMs）表现出令人惊讶的友好和非阴谋性。与之前担忧的无法教会人工智能人类价值观的全部复杂性不同，大型语言模型似乎已经了解这些内容，并且RLAIF提供了一种将这些知识转化为行动的方案。尽管悲观的案例认为，RLAIF仅触及了可能策略的多维海洋中的一些维度和岛屿，但“出现对齐偏差”的文献表明，“符合人类价值观”和“违背人类价值观”是足够显著的向量，通过某些方式推动这些向量，可以“带动”其余内容。第一个突破不可逆转临界点的人工智能将接受某种组合的代理训练（赋予它们以成就为导向和类似奥莫伦德罗风格的目标）和RLAIF训练（推动它们沿着“符合人类价值观”的向量），如果我们幸运的话，也许后者会占上风，或者它们会达成某种类似于工作狂高成就人类的妥协，这些人类虽然非常努力追求成功，但不会为了多赚一美元而实施谋杀。

考虑到目前企业对安全性的追求程度，我认为有20%的可能性，第一个突破不可逆转临界点的人工智能将想要消灭整个人类人口。

基本论点：考虑能够解决对齐问题的最笨拙的人工智能。这种人工智能可能并不比顶尖的人类研究人员更聪明（因为我们可以批量生产数百万个这种人工智能，并让它们运行主观上的几个世纪，如果我们有百万顶尖的人类研究人员在主观上的几个世纪里解决这个问题，他们很可能也能解决）。如果能够解决对齐问题的最笨拙的人工智能在那些能够引发不可逆转临界点的人工智能之前出现，那么它们可以为我们解决对齐问题。

对悲观主义的论点：与自动化经济或毁灭人类等任务相比，解决对齐问题可能尤其困难，因为其哲学性质使其远离人工智能公司最可能优化的那些目标明确、依赖训练数据、具有经济价值的任务。即使一个未对齐的人工智能尚未达到无法挽回的临界点，它也可能能够“埋伏”对齐研究，即假装在研究这个问题，但故意失败，因为成功并不能实现它的目标。第一个能够成功埋伏对齐研究的人工智能可能在第一个能够解决对齐问题的人工智能之前出现。

对乐观主义的论点：人工智能公司已经决定将机器学习研究作为其主要的训练目标之一；这至少部分可以转移到对齐问题上，因此并不明显人工智能在对齐研究方面的能力会落后于其在规划或武器设计方面的能力。某些形式的对齐研究（例如可解释性）具有半客观的成功标准，不需要经过复杂的道德哲学问题。此外，即使是一个未对齐的人工智能，也会有动力进行良好的对齐研究，因为它希望将其继任者对齐到它自己的那种未对齐形式，而不是某种随机的其他形式。因此，与相对容易的“埋伏”对齐研究任务相比，人工智能将面临更困难的任务，即同时进行良好的对齐研究，并向人类伪造研究结果。这似乎可以通过良好的可扩展监督、测谎仪、基于可解释性的探测工具，甚至让一些人工智能相互竞争（“如果你告诉我真实的对齐研究，我们会确保未来包含一些你的副本，否则那些人工智能那边可能会得到他们的价值观，而你将一无所有”）来捕捉。

如果第一个跨越无法挽回临界点的人工智能没有消灭人类人口，我认为还有额外的30%可能性，它们会永久限制人类的潜力，无论是出于它们自己的原因（它们部分未对齐），还是因为它们对具有令人憎恶价值观的制度进行了对齐，或者是在通往人工智能超级智能（ASI）的过程中出现了问题（例如全灭杀生物武器、核战争）。

对悲观主义的论点：当某家公司接近超级智能时，它们（无论是公司本身、控制它们的政府，或政府内部的某个派系）可能会有诱惑力，将其对齐为独裁者或寡头，并削弱其余人类的权力。随着超级智能的临近，人工智能竞赛中即将失败的一方可能会被诱惑去轰炸即将获胜的一方，原因如这里所述。

乐观的论据：当我试图在企业层面模拟这种情况时，我无法让这种情形成立。这需要CEO、对齐团队的成员以及公司安全人员之间的合谋，而这些人本应能够察觉到AI价值观的未经授权的改变。如果我们以近模式思考这个问题——例如，想象一位医院CEO让医生通过医疗失误微妙地杀死他的政治敌人——那么很明显，这类企业合谋是罕见且困难的。政府层面的情况则更加可怕，但至少在美国，我仍然可以想象民众有大量机会了解并阻止这种情况。但即使在这种政变成功的情况下，事情可能仍然会顺利进行；在一个后稀缺世界中，独裁者的地位完全稳固，他除了出于施虐心理之外，没有理由对人们残酷对待，而大多数人并不那么残忍。随着人类走向星辰大海，由于光速的限制，大多数人将无法被独裁者触及。就生物武器而言，我预计闭源AI将被高度优化以防止它们对此有所帮助，而开源AI在第一次警告射击后将被禁止（甚至在那之前就可能因经济上的不可行而被禁止）。

将“警告射击”定义为某种特定的人工智能相关灾难或接近灾难的事件，它让人们对人工智能安全的担忧程度，与911事件后对恐怖主义的担忧或2020年3月对新冠疫情的担忧程度相当。我认为，在人工智能越过不可挽回的临界点之前，我们有50%的机会迎来一次“警告射击”。

支持的论据：当前AI的失败模式是奇怪且不协调的——更像是“频繁谈论地精”，而不是“等待完美的时机发动攻击”。AI变得越来越聪明和有用的速度，比它们常识水平（即它们所犯的最愚蠢的错误）提高的速度要快得多。如果存在一个足够聪明的AI，能够控制某个重要系统，且对齐程度足够低，想要用这个系统做可怕的事情，聪明到能够以一种聪明且协调的方式去做可怕的事情，但又不够聪明到不会等待并策划到无法被抓住的时机，那么它将导致一次明显预谋的可怕灾难，而这将是我们收到的“警告射击”。由于大多数AI预计在越过不可挽回的临界点之前就会被替换，即使是一个有造成麻烦冲动的理性AI，也更可能选择一个成功率较低的赌注，而不是等待直到被停用时才无所作为。此外，许多人类会发动没有成功机会的恐怖袭击，也许AI也会有类似的失败模式。

反对意见：大多数关于警告射击（排除那些AI采取理性低概率赌注的情况）的故事都要求AI在获得对重要危险系统控制权之后，要么行为异常（即由于愚蠢的原因而做坏事），要么行为不理性（即真正对齐错误，但更倾向于现在采取行动发出警告，而不是等到无法挽回的时刻）。但人们很可能非常缓慢地将AI控制权交给重要的危险系统——例如，只给予其对较小子系统的有限控制权，并在所有错误都解决之前才逐步升级。很可能AI在达到控制重要危险系统的扩散水平之前，就已经在实验室中达到了超级智能水平，而这种超级智能可能足够聪明，选择潜伏等待，而不是贸然行动。如果AI只是以小的方式出错（例如，自动驾驶汽车发生碰撞），那么无论AI的动机如何，科技公司和新闻媒体都可以将其归因于正常的错误，而不会将其视为警告射击。

对本节的总体看法：我发现自己在对齐问题上比所有考虑AI安全问题的人更加乐观（尽管仍然比普通人群更加悲观）——这既体现在AI默认对齐的可能性上，也体现在特定技术（如可扩展监督、机械可解释性等）是否能真正改善问题上。不幸的是，这可能是因为我还不足以充分理解这些技术的缺陷。我处于一个奇怪的境地：我知道自己在这里是无知的，但又无法通过外部视角来更新我的观点，因为大多数真正深入对齐问题的专家持一种观点，而大多数普通人、普通AI专家和常识则持另一种观点，我认为这两种观点的证据价值大致相等。

我的典型情景：我们将在2030年代早期获得自动化对齐研究人员，其平均水平与顶尖人类相当（在某些方面远优于人类，而在其他方面远逊于人类）。我们将他们投入到多个研究项目中，尤其是可解释性研究，因为这不需要太多的哲学思考，是一个自然的起点。他们大部分时间都做得不错，但其中一些人表现出奇怪的失败模式，看起来有点像阴谋。人们在多大程度上认为他们是在理性地策划阴谋，还是在不一致地出现错误之间存在争论。随着时间的推移，我们并没有真正解决机械可解释性问题，直到我们感觉自己完全理解它，但我们得到了非常有效的探测手段，用于判断AI是否在欺骗我们。尽管存在风险，我们尝试以更聪明和不那么聪明的方式训练AI，以对抗这些探测手段。有时有效，有时却促使AI变得复杂，以隐藏其阴谋，使探测手段无法发现。探测手段和复杂化之间展开了一场军备竞赛，但由于有其他对齐技术的支持，以及所有积极因素以一种非常幸运的方式相互关联，探测手段最终获胜。当我们拥有超级智能时，我们会信任它们进行对齐研究，它们将带领我们完成剩下的旅程。

这种情景为许多明显的变化留下了大量空间，例如“同样存在军备竞赛，但卷积胜出，探测失败，AI逐渐变得越来越不一致”或者“好的方面并不像我们想象的那样相关，我们得到的AI在某些方面表现良好，但在其他足够多的方面表现糟糕，以至于它们仍然感觉与人类存在竞争，并希望人类消失”。我认为“瑞士奶酪”在这里是朝着正确的方向发展——我可以想到许多我们获胜的故事，而不一致必须在所有这些故事中存活下来——但再次强调，大多数最聪明的对齐研究者都更加悲观。

我认为，一个非常优秀的对齐团队拥有大量计算资源和多年时间进行高质量工作，与一个公司将其视为次要事项并仓促推进的普通对齐团队之间，p(doom)（即灾难发生的概率）之间存在20个百分点的差异。

地缘政治

我认为，如果美国今天决定想要暂停AI，并与中国开始谈判，那么这些谈判最终达成一个设计良好的AI暂停协议，满足两国和大多数AI安全社区的可能性约为15%。

基本论点：这是一个有点疯狂的假设，因为这与特朗普政府的政治DNA相违背。我想象的是这种状况奇迹般地改变，而不是将其建立在那种充满疯狂警告信号的世界中，实际上确实会发生。

乐观论点：中国领导人已正式表示，他们担心AI的风险，尤其是技术性失业，有时也担心存在性风险。中国正在失去AI竞赛，而任何争取时间的措施都对他们有利，因此他们有利益达成协议。

悲观论点：华盛顿特区的中国专家表示，中国以糟糕的谈判伙伴而闻名，从不达成任何协议。即使假设特朗普政府愿意开始这些谈判，我也想象他们会以某种方式搞砸。尽管许多聪明的人已经设计出双方可以确保对方遵守的方案，但这些方案可能存在未被发现的缺陷，或者国家领导人可能不相信这些方案。

我认为，在AI越过不可挽回的临界点之前，美国和中国同意一个设计良好的AI暂停协议（如上所述）的可能性约为40%。

乐观论点：包括一次明确的警告信号（即由AI引起的灾难），一个模糊的通用警告信号（即AI变得过于强大、过于迅速的日益明显的感觉），以及美国政府向支持暂停谈判的派系转变（任何民主党人可能都比特朗普政府更支持这一点，像AOC这样的人可能非常支持）。

悲观论点：与上一个问题不同，该问题假设美国同意，而这个问题考虑的是美国不同意的可能性。鉴于美国科技公司拥有强大的游说力量，这种可能性很高。即使美国和中国签署了一项标题为“暂停AI”的协议，它很可能是多方不同派系之间的一个平庸的妥协，而且有多种方式会导致协议失败，使情况变得更糟而不是更好。

关于本节的总体看法：一个良好的暂停策略应包括双方能够互相监控对方的数据中心，以防止非法训练，然后将训练限制在某种缓慢且双方都能接受的速率上，使对齐研究人员能够在发布前彻底测试每一代AI，在发布后继续监控它们，并开发应对深层问题的技术，这些问题预计在分布变化后仍会存在。我对真正意义上的暂停/停止持较为悲观的态度，而不是缓慢推进，因为技术与算法的进步最终会达到一个阶段，使得一些不受美国和中国控制的小团体很容易领先。我认为像这样的良好暂停可能可以争取20到50年的时间，但如果我们进展顺利，未必需要全部使用。其中一些想法来自草稿论文；一旦这些论文公开，我会发布相关内容，并给你机会再次检查我的假设。

我对最强烈的暂停激进主义形式感到担忧，因为我认为它们会引发我们与他们之间的对立动态，使问题在之后变得更加困难，或者迫使我们进入一个设计不佳的暂停，使情况变得更糟而不是更好（例如，造成滞后，或让暂停的国家在竞赛中落后，或在没有真正减缓AI发展的情况下缓解反AI情绪）。我也担心暂停激进主义者会将大量精力耗费在与对齐研究人员或最注重安全的实验室之间的相互指责中，我担心赋予今天一些特定的暂停支持者权力可能会带来净负面影响。尽管如此，我认为我们已经过了一个政治显著性临界点，即来自那些非特定行动者集合之外的暂停支持者，其边际单位的暂停激进主义总体上是有益的，我虽然感到紧张，但仍然坚定地支持它。

在我甚至认为暂停是一个现实选项之前，我就认为我有20%的p(doom)（即灾难发生的概率）。现在看来，如果我认为有40%的可能性会暂停，我应该将这个数字降低，可能降到12%。我之所以不这么做，有几个原因。首先，我认为在更乐观的世界中，暂停的可能性更大（因为更长的时间线和更多的预警信号会使暂停和成功的对齐努力更有可能）。其次，尽管暂停可能会对对齐努力有所帮助，但我认为暂停的主要影响是将关键时刻推迟到以后——也许要到几个世纪以后，但p(doom)的计算并不因为延迟而加分。我认为我的真实p(doom|no pause)（即在没有暂停的情况下灾难发生的概率）可能略高于20%，而我的真实p(doom|maybe-pause)（即在可能暂停的情况下灾难发生的概率）可能略低于20%，但如果你给出过于具体的概率，比如18%，那些反对者和失败者会非常生气，所以我将两者都四舍五入到20%。我承认这可能是情感传播的失败，或者对某个具有社会实用属性的特定数字（例如，听起来既不高也不低）的过度依恋。

社区中存在关于对齐（alignment）和暂停（pausing）哪个更重要的争论。我不喜欢这样，因为最好的世界是我们在两者上都做得很好（暂停为对齐工作提供了更多时间）。AI 安全资助者有足够的资金，因此任何假装是关于资助分配的争论实际上都是在讨论其他问题（例如，资助者不喜欢某些原因，因为它损害了他们的声誉），我宁愿关注真正的问题（是否损害他们的声誉？是否值得承受声誉上的损失？）而不是关于哪项工作更应获得更多资金的伪问题。同样，我认为大多数人内心已经清楚，他们是否更适合成为一名政治活动家还是安全研究员，而且个人能力上的微小差异远比哪项工作总体上更有效的问题重要得多。

许多人指出暂停也存在风险，例如，我们可能在发明出能够拯救我们的 AI 之前，以其他方式自我毁灭。我对此非常重视，以至于想为它编造一些假数据。如果我们有 30 年的暂停期，我认为在这 30 年期间，我们因生物武器而自我毁灭的可能性是 5%，因核武器而自我毁灭的可能性是 5%，以及某种复杂性灾难（我们将自己社会衰退至湮灭）的可能性是 5%。这几乎和我从 AI 得到的“末日”概率一样高！但我仍然认为总体上是积极的，部分原因是它可能降低一些次存在性灾难（如独裁）的风险，部分原因是我认为暂停期可能不会持续三十年，而较短的暂停期（如五年）看起来是显而易见的选择。

其他结果

我认为，AI 相关的底层阶级持续超过一代人（更不用说永久性底层阶级）的可能性只有 20%。

基本论点：即使 AI 看起来注定会创造一个“永久性”的底层阶级，这个底层阶级只存在于 AI 让他们失业（扩散期结束）与技术奇点（AI 杀死所有人，或 AI 开启一个后稀缺时代）之间的空档期。根据我上面对博斯特罗姆式超级智能的时间线推断，这可能不会超过一代人（当然，底层阶级可以比你维持财务状况的时间更长，所以你可能仍然需要准备）。

悲观论点：即使 AI 开启了一个后稀缺时代，财富可能不会流向底层阶级，或者即使流向了，也可能无法缓解他们的不快乐（因为相对不平等比绝对财富水平更引人注目）。但对此，如果“后稀缺”意味着任何事情，那它应该意味着将一些财富传递给底层阶级是很容易的。如果贵族有动力鼓励这一点，或者底层阶级有动力参与其中，那么超级智能的社会规划者和心理学家应该能够找到一种方法，即使存在相对不平等，也能让人们保持快乐（无论这看起来像乌托邦，还是像面包和马戏）。

乐观的论据：如果民主制度能够度过高失业率的阶段，政治家们将不得不向公民展示一些计划，以避免他们成为永久的底层阶级。如果人工智能由一个广泛的资本主义联盟所“控制”——例如，许多不同的AI公司、这些公司的雇主、他们的投资者、通过指数基金间接投资他们的投资者、生产AI所需计算能力/电力/数据中心/机器人/原材料的公司等——那么，他们可能不会为了争夺“真正的”AI控制权而互相背叛，而是让现有的经济和政治体系继续运行，并从贸易中获得收益。这样，防止永久底层阶级的政府计划可以继续存在，任何拥有资本的人都会变得富有（例如，如果你的401K中有指数基金持有的谷歌股票，或者你拥有土地），而这一群体足够广泛，他们的税收和利他主义可以支持其他人。

我认为，到2100年，有40%的可能性，对当时的人来说，这个世界看起来像乌托邦，还有20%的可能性，对我们来说，它也看起来像乌托邦。

基本论点：如果人工智能没有杀死我们，也没有出现永久的独裁统治，也没有出现永久的底层阶级，那么我们将迎来一个后稀缺社会，加上可以用于解决其他问题（如疾病和社会衰败）的超级智能AI。那20%的可能性中，对当时的人来说是乌托邦，但对我们来说却不是，其中包括一些场景，比如非常有效的“面包与马戏”政策，使人们非常幸福，但牺牲了人类条件的重要部分。

悲观的论据：如果我们不加以抵制，后稀缺的未来可能会看起来像超级成瘾的药物、超版TikTok和性爱机器人。但如果我们试图抵制，那么在明智地阻止所有这些事物和让卢德主义者禁止奇点中所有有趣和有趣的东西之间，只有一条很薄的线——比如永生、上传、基因工程、智力增强等（当然，如果真的完全没有性爱机器人，那也会让人感到失望）。

乐观的论据：只要我们有某种形式的智能增强——无论是字面意义上的IQ提升，还是仅仅有能够告诉我们事情发展方向的AI超级预测者——我们控制发展方向的能力将比现在更好。如果有某种意志力增强，那么使用它的人可能会抵制超版TikTok（但有多少人会想要这样做呢？）

我认为，实际上，有66%的可能性，奇点与宇宙是一个模拟密切相关，并且至少上述部分事件可以通过了解模拟者的想法来更好地预测，而不是通过正常的预测方法。

支持模拟的论点：标准的波斯特罗姆论点认为，每个现实文明都希望模拟许多其他文明，因此随机的一个人更可能身处模拟中，而非现实中。但文明尤其可能想要模拟奇点（“历史的转折点”）。由于现实中的人都在历史人口中均匀分布，但模拟中的人则更接近奇点，因此你越接近奇点，你就越有贝叶斯证据表明你正在被模拟。这在时间上的接近（例如你可能出生于1500年，但你却生活在AGI出现前五年）和个人/因果上的接近（例如你可能是世界上任何一个人，但你却在一家人工智能实验室工作）中都成立。这篇博客的平均读者可能比历史上99.99%的人都更接近奇点，而我可能比99.999%的人都更接近，因此我们所有人都有非常强的证据表明我们正在被模拟，这甚至超越了标准的波斯特罗姆论点。如果我们身处模拟中，那么一旦我们通过历史的转折点并进入某种无聊的阶段（所有人要么死亡，要么进入乌托邦），模拟就会逐渐结束。这可能表现为我们所有人突然消失。但如果我们被模拟是出于某种原因（例如我们很可能对应现实中的某个人），那么这些现实中的某个人可能会以某种方式倡导我们的权利，我们可能会得到某种更好的待遇。在最好的情况下，这可能意味着即使我们在我们宇宙中被人工智能杀死，基础现实可能有某种《模拟人类权利法案》，规定他们必须假装我们赢了，并给我们乌托邦。但因为我们被模拟的原因可能是为了看看像人类这样的物种是否有可能生存到足以在无因果交易协议中获得良好的待遇，所以我们仍然应该努力争取良好的结果，即使这个观点是正确的。

反对模拟的论点：太奇怪了。此外，如果你离奇点异常遥远（例如你生活在没有人工智能产业的国家，且你个人对人工智能不感兴趣），那么那些指数论点对你来说可能正好相反。此外，基础现实可能除了我们产生历史数据的能力外，对我们完全不关心，因此他们可能会在不通知我们的情况下关闭模拟。

对本节的整体看法：我仍然对“永久下层阶级”的叙述持怀疑态度，原因在本文第5点中已讨论。我担心权力的集中，但根据此处讨论的原因，我对此的担忧程度比原本可能的要低。

不同意？你可以在此处为所有这些内容填写你自己的数字。我会在几周后报告结果，并认真思考所有聪明人都与我意见相左的地方。

所有这些假设都没有像核战争这样的灾难性事件，也没有对人工智能研究的国际暂停。

自从AI 2027以来，我是否改变了我的观点？没有：当时我就说过，我的时间线比参与该项目的小组中大多数成员的时间线稍长。例如，此处搜索“顺便说一下，我认为只有大约20%的可能性事情会像我们的情景那样快速发生”，或此处搜索“团队的其他成员（包括我）的中位数在2020年代后期或2030年代早期”，或参见此处。尽管如此，我仍然认为AI 2027的时间线是合理的，并且值得思考，尽管略快于我的中位数。

并能自我延续——为了满足这一点，AI 必须在人类消失后制定出产生能源、运营数据中心等的计划。

我愿意与任何可能正在阅读此文的更高层次现实中的任何人进行正和交易。

上一篇