Why the intelligence explosion can't happen inside a data centre | Tom Reed

转录文本

目录

介绍 [[00:00:00]](https://80000hours.org/podcast/episodes/the-goodhart-singularity/?t=0)

Tom Reed:AI系统开始自行构建。由于每一代模型都会比前一代更擅长构建其继任者，因此AI研发的全面自动化似乎可能迅速带来整体AI能力的指数级增长。一个自然的推论是，AI研究自动化之后不久就会出现领域通用的超级智能。

这个自然推论确实是AI进步的默认叙事，也是追求AI进步者的策略。曾经，AI行业以寻找通用智能而区别于其他领域，但近年来行业已转向更狭窄的路径：有针对性地追求编程和AI研究。例如，Sam Altman表示：“也许最重要的事实是，我们现在可以利用AI加速AI研究。”

对许多人而言，（看似迫在眉睫的）AI研究自动化似乎足以迅速催生其他改变世界的能力。在Jack Clark的话中，这标志着“跨越一条通往几乎无法预测的未来的分水岭”。《AI 2027》的作者认为，编程的全面自动化将在一年内产生“在所有认知任务上远超最佳人类的系统”。

在这种观点的极端版本中，Ajeya Cotra表示：“只需数月、数周或数天就能创造出科幻技术……这些技术按人类速度需要数个世纪。”最重要的是，这种进步可能几乎完全在数据中心内部发生，不受AI更广泛扩散到经济中的速度限制，并让世界其余部分措手不及。

我认为这不会发生。

我认为自动化AI研发不会迅速产生领域通用的超级智能。我认为一个与经济其余部分基本隔离的数据中心天才群体，不会想出如何治愈阿尔茨海默病、设计蚊子大小的杀手机器人，或管理一家财富500强公司。

当然，我并非唯一一个持此观点的人。其他人也探讨过即使实现完整的研发自动化，也可能因实验计算能力的瓶颈而受阻，或因边际效益迅速递减而停滞，或认为变革的主要障碍是经济体本身的规模。但我隐隐怀疑，还存在一个尚未被明确阐述的原因，使得我们不应期待自动化研发能迅速在数据中心内产生领域通用的超级智能。

简而言之，我认为如果没有接触问题来源的途径，就无法真正掌握解决问题的能力，而与现实世界艰苦的串行交互是唯一这样的途径。因此，我认为领域通用超级智能的发展将依赖于将人工智能艰难、痛苦且昂贵地部署到现实世界中。当然，这在我看来无疑是好消息。

Herbie Bradley（在一系列精彩的推文中提出了这一观点）和Dwarkesh Patel（他提到了“广泛部署的智能爆炸”的必要性）都曾表达过类似的观点。但迄今为止，我尚未看到任何清晰到足以让我完全理解的论述——因此，以下是我尝试进行的阐述。

我认为AI研发的自动化不会迅速导致领域通用超级智能的出现，原因如下：

1. 无法通过练习掌握大多数事情。
2. AI公司缺乏其模型需要练习大多数事情所需的数据。
3. 我认为“样本效率”无法解决这个问题。在大多数情况下，相关数据根本不存在。
4. 这也无法通过模拟或合成数据解决。部分原因是自动化AI研究人员无法评估他们尚未理解的任务的成功。但更重要的是，相关数据只能通过与一个具有未知偏好、因此无法模拟的市场参与者互动才能生成。
5. 总而言之，这意味着在大多数非编程领域中，超级智能的相关数据只有通过将AI模型部署到整个经济体系中才能获得。

因此，奇点将受到信号的限制。由天才们在孤立数据中心中产生的研发成果只会是一个“古德哈特奇点”。一个孤立的AI在基准测试中自我改进，看似接近超级智能，实际上却在优化那些无法在实验室外泛化的评估表现。

这让我认为，AI研究的自动化不会迅速在其他领域产生超级智能能力——它们的出现在很大程度上取决于在现实世界中的部署和数据收集。AI模型需要现实世界的部署，正如身体需要疼痛、公司需要利润一样：信号至高无上。

让我们逐一分析这些观点。

实践造就完美 [[00:05:05]](https://80000hours.org/podcast/episodes/the-goodhart-singularity/?t=305)

首先，我认为领域特定智能需要通过实践来培养。这是因为当前人工智能的发展轨迹表明，AI的能力并非源于某种单一的“通用智能”（g）的积累，而是通过反复练习特定任务来提升。在我看来，AI之所以能变得擅长某些领域，正是因为它有机会在这些领域持续实践。

我认为这也是为什么AI的能力表现远比我们预期的更加不规则（jaggedness）。2016年时，很少有人会预料到AI能在没有丝毫法律实践经验的情况下，通过司法考试击败斯坦福法学院的毕业生，甚至在井字棋游戏中也屡屡败北。

像“AI 2027”这样的故事有时似乎暗示着“自动化AI研发”是一个转折点，从此AI能力的不规则性会突然消失。但我不明白为什么会出现这种情况，因为不规则性似乎主要是训练数据分布的产物。即使我们调整预期，也应该预计这种不规则性会持续更久。我们可以称之为托纳定律。

为了说明这一点，让我们关注当前能力进步的工具包。据我了解，精心构建的定制强化学习（RL）环境是推动这种进步的主要引擎。这些环境是如何被创建的？

如果你阅读某家供应商的描述，可能会惊讶地发现，构建超级智能的工作是一块一块地进行的。正如Mechanize所描述的，每个环境都是由一名工程师花费一周时间修复前沿模型中的单个失败案例而产生的。“过去每次模型升级都会带来一整套新能力，”郑东王（Zhengdong Wang）观察道，但“现在我们必须投入大量工作，逐个解锁这些能力。”我们是否期待在通往奇点的整个过程中，都能解决需要一周时间的难题？

在我看来，“自动化AI研究”能快速实现“几乎所有其他目标”的信念，更像是一个未经充分验证的赌注。企业希望通过一场关于AI编码和研究的持久战来突破奇点，此后“算法进步”和“样本效率”的魔力将意味着无需依赖黑皮书（blackpilled）Mechanizer耗费一周时间的定制工作，就能召唤出更多能力。我认为Dwarkesh显然已经理解了这一点：实验室自身的行为“暗示了一种世界观，即这些模型在泛化能力上将继续表现不佳……因此必须提前构建那些希望具有经济价值的技能。”

当然，我可能对强化学习（RL）的描述存在误解。也许RL确实比上述Mechanize描述所暗示的更具泛化能力。但如果是这样，我本应看到AI公司到现在为止能更好地展示这一点！我们已经推广强化学习范式超过一年，而我至今仍未看到任何令人信服的证据或叙述表明RL会带来除零散奇点之外的突破。当Dwarkesh在他们第二次联合采访中反复向Dario提出这一挑战时，Dario的每一次反驳最终都只是将RL弱化地类比为GPT-2时代通过预训练获得的泛化能力。

优质数据难以获取 [[00:08:22]](https://80000hours.org/podcast/episodes/the-goodhart-singularity/?t=502)

我的第二个观点是，即使样本效率得到提升，AI公司仍然缺乏实践关键任务所需的数据。

我认为目前AI公司并未掌握能够使模型练习其预期功能的合适类型的数据。我也认为，除非其模型在整个经济体系中广泛传播，否则未来获取这类数据的成本不会降低或变得容易。

这一断言部分基于猜测。但我觉得可以相当确定，没有任何AI公司拥有能够提供足够信号的数据集，例如在多个候选无人机设计中，哪些设计对乌克兰战争的贡献更大。

对“我们缺乏实现超级智能所需数据”这一说法的常见反驳是：“大语言模型（LLMs）的样本效率极低！这可以显著提升，达到甚至超越人类水平！”为了支持这一观点，AI乐观派可以傲慢地指出DeepSeek如何以远低于GPT-4的计算量就实现了类似能力。

我不认为这个观点正确。首先，我远未确信LLM行业在样本效率方面有显著的突破性进展。正如Anson Ho和Beren Millidge所指出的，每FLOP智能的提升主要归因于数据质量的改进，而非算法质量。纯算法创新的记录——特别是那些能在固定计算资源下带来回报的创新——看起来相当薄弱。

但更根本的是，我认为对于大多数相关任务，所需的数据根本就不存在——至少不存在以公司能够轻松输入其“饥渴”模型的形式。即使样本效率提升几个数量级，如果相关数据总量为零，也毫无意义。

检验这一直觉的一个好方法是：假设互联网从未存在过，在当前的计算能力和人才水平下，我们能获得多少编程能力的进步？我的猜测是，这将是一个极其痛苦的过程，需要数十亿小时的人工劳动。我的主张是，对于大多数类型的任务，我们实际上生活在一个“没有互联网”的世界中。

我们大多数任务都生活在“无网络”世界中，因为训练语料库中的相关数据类型错误。对于大多数任务，我们拥有的内容是描述、评论或建议，但没有执行该任务本身所涉及的操作记录。因此，即使存在大量关于任务的文本，这些文本也无法为模型提供完成任务所需的信息。我的感觉是，对于大多数具有经济价值的任务，预测描述任务的标记与成功执行任务所需的标记之间存在巨大鸿沟。

让这一鸿沟变得明显的一种方式是让大语言模型（LLM）为棋盘游戏提供建议。理想情况下，这个棋盘游戏应该足够流行，以在线上拥有大量策略建议。《Dominion》（Claude并不擅长）就是一个很好的例子。训练Claude撰写关于《Dominion》精彩内容的流程，不适合生成能够真正赢得比赛的智能体。这是因为其优化目标是“生成看起来不错的建议”，而非“提出能赢得比赛的策略”。我认为，大语言模型与大多数任务的关系，类似于麦肯锡与经营公司之间的关系。

上述观点的明显例外是编程，因为我们的祖先留下的标记本身就构成了任务本身。大语言模型在以文本为天然载体的任务上表现最佳——即文本版本的问题本身就是你想要解决的问题。它们擅长那些在训练数据中能自然表示为标记的原始任务。当任务默认通过训练数据中遗留的标记来执行时，预训练语料库中预测标记就等同于完成文本所描述的任务版本。但在这种情况下不成立时，准确建模事物描述与实际执行该事物之间的关系就会崩溃。

在经济中的大多数任务中，预训练语料库包含关于任务的写作，但没有任务本身的记录。当然，这也是编程领域发展速度超过其他领域的原因之一——代码是少数几个任务本身几乎完全可简化为标记轨迹的领域之一。

这意味着，对于大多数任务，我们训练大语言模型的方式，类似于试图在国际象棋评论而非国际象棋对局上训练AlphaZero。我的看法是，即使能100%准确预测罗伯特·卡罗（Robert Caro）传记的标记，也无法因此成为美国总统。

当然，这指出了两条互补的前进路径：

1. 我们找到方法，将宇宙中越来越多的部分以标记形式忠实表示，为一切事物提供API，使我们能够以标记为载体训练智能体解决现实世界问题。
2. 我们赋予智能体更直接作用于现实世界的能力（目前通过计算机使用，未来通过机器人），这将立即解锁当前无法压缩为标记的更广泛非文本类问题。

无论哪种方式，人工智能公司若想获得使模型擅长非编程任务的数据，就必须将这些模型部署到经济中（并成功吸引客户与他们分享相关数据）。

模拟是浅层的 [[00:13:43]](https://80000hours.org/podcast/episodes/the-goodhart-singularity/?t=823)

我的第三点观点是，实践所需的数据无法被模拟。

有一个对上述观点的自然反驳是：你只需模拟所有需要的数据，这样就不需要扩散了。也许这确实是真的。但我持怀疑态度。

我怀疑的一个来源完全不具原创性：我认为数据中心的AI在缺乏对该技能的真实访问时，很难判断它们是否真的在提高某项技能。

考虑这样一个事实：几乎一半被AI自动评分器接受的SWE-bench评估提交，都会被相关仓库的实际人类维护者拒绝。对我来说，你可以在不提高实际合并率的情况下提升这些SWE-bench得分，这表明数据中心的天才将面临的处境。

Claude 8如何仅通过观察"成为总统"评估的结果，就能知道其最新银河大脑算法是否提升了Claude 9成为总统的能力？我们都知道，尽管评估很有用，但它们始终只是现实能力的不完整代理。归根结底，唯一重要的评估是选民、客户、经济和底线。如果没有接触这些，你的奇点将被无情地Goodhart化。

郑东对此提出了一个关于AI研究本身进展的重要观点。不仅"评估"是模型唯一能变得擅长的事物，而且"研究人员自己，他们只想优化...他们只想解决一个重要的问题，有一个能衡量进展的明确评估，然后他们只想优化它。"我认为，AI公司_需要_真实世界部署作为问题来源，否则他们将没有良好的优化目标。

我还有另一个更根本且更具推测性的理由，认为通过模拟达到领域通用超级智能是不可能的。我怀疑即使是一个任意智能的模拟器，也无法为某些任务生成相关的实践数据，因为这些相关数据只能通过与相关市场的互动生成。这些数据在部署之前根本不存在，而该部署涉及建模市场中模拟器未知的参与者偏好和知识。

据我所知（我不确定自己是否完全理解），这基本上是一个哈耶克的观点。某种东西是好的信号，是由数百万参与者通过其行为揭示偏好而产生的。你无法在数据中心内部模拟这一点，因为输入数据并非由于数据收集的偶然失败而被隐藏——它们根本还不存在，直到市场生成它们。除非你的AI能接触到这个市场，否则它们将无处可去。

再次，棋盘游戏在这里提供了一个有益的类比。Twilight Imperium 是我最喜欢的棋盘游戏之一。由于每局游戏需要大约12小时，我很少有机会玩。这让我有数周的时间可以愉快地提前理论推演每局游戏的策略。Twilight Imperium 故意设计得复杂且繁复，因此对我来说，准备过程通常非常有趣：我会独自坐在 Google Docs 中，打开 Reddit 的策略讨论帖，模拟每一轮的回合，享受预想对手将被彻底击败的快感。不幸的是，现实往往无法达到预期。

一次又一次，我精心制定的计划与游戏实际进行的情况惊人地不符。事实证明，我对这款游戏的掌握并不好，到游戏总时长12小时的第5分钟时，我对游戏进程的预测模型几乎完全失效。

我认为，那些在“算法进步”磨合期持续一年后从数据中心中突破的“超级智能”，在游戏进行到第二轮时的感受会与我类似：我的舰队被摧毁，资源枯竭，原本计划培养的盟友却占领了我的母星系统。

当然，对上述画面的另一个明显反驳是持续学习能力。人类之所以能在陌生环境中生存，是因为我们能够边学习边适应。难道不能设想，那些在封闭数据中心中默默工作的自动化AI研究人员，也许能够设计出完美的持续学习算法吗？他们无需在突破前就掌握所有知识，只需具备超越人类的样本效率，从而在离开数据中心的瞬间迅速达到神级水平。

对此我持怀疑态度。在没有足够多样的问题集供学习的情况下，如何设计出完美的持续学习算法？进化就是这么做到的。在我看来，自动化AI研究人员的数据中心似乎很难在没有实际问题集进行测试的情况下，判断一种持续学习算法相较于另一种的优劣。正如 Herbie Bradley 所说，我们不应将AI实验室“视为一个与世界隔绝的黑箱，在其中超级智能AI可以独立于外部依赖进行改进”。智慧无法在真空中爆发。

一个 Goodhart 奇点的样貌 [[00:19:04]](https://80000hours.org/podcast/episodes/the-goodhart-singularity/?t=1144)

为了明确起见，我并不认为上述内容意味着超级智能不可能实现，也不认为世界在50年后仍有机会保持大致正常。这几乎可以肯定不会发生。我也清楚，大多数警告AGI风险的人并不认为我们唯一需要担忧的是AI研发自动化将迅速导致通用超级智能的出现。

但我认为，整体讨论往往将“扩散”视为通往超级智能过程中的无关因素。企业可能缓慢采用AI这一事实，通常只被认为在某种程度上意味着世界其他地方的人不会了解情况，或在某种程度上可能使实验室融资变得困难。扩散本身通常不被视为能力进步的来源。

同样地，另一方面，那些多年来反复强调扩散重要性的人（至少据我所知！）并未清晰阐明为何未来的AI超级智能必须先经过数千次部署到小型商铺、中学和西门子等实体中。上述论述正是我试图弥合这一鸿沟的尝试。

如果我的观点正确，那么一些结论将随之而来。

第一点是，AI政策日益关注“内部部署”和“自动化AI研发”可能方向错误。我认为超级智能并非不可能实现——只是它不会以我们目前设想的形式或预估的时间表出现。下一阶段的能力进步将不再像数据中心在私密环境中不断积累那样，而更像一场持续的部署、客户探索和现实世界数据收集的苦力工作。如果未来确实如此，我们应追求的政策将截然不同。

首先，这个世界将表明数据持有者拥有的权力远比他们目前意识到的要大得多，他们应善加利用这一权力（例如乌克兰正在做的）。能够构建前沿模型的公司与掌握真实经济活动中专有部署级数据的实体之间的不对称性可能发生转变，我们应思考这种转变可能呈现的更优形态。这可能对欧洲尤其重要——这个大陆虽然不幸地几乎失去了构建超级智能的机会，但拥有辉煌的科学与工业传统（从而积累了丰富的数据储备）。

另一个影响是，AI实验室可能将逐一征服各个垂直领域作为战略方向。如果相关信号只能通过部署获取，那么成为部署者的胜出策略可能就是最佳选择。David Oks指出，劳动力替代更可能来自像Dwarkesh的全自动公司这样的实体，而非现有AI的采用。在我看来，Anthropic或OpenAI的最佳策略可能在于巧妙选择垂直领域进行连续征服并实现端到端掌控。我们所有人都应开始思考，在何种条件下_这种_路径是可取的，又在何种条件下不可取。