Why Silicon Valley can’t slow down AI on its own | Luisa Rodriguez

转录文本

目录

每个人都说AI发展得太快 [[00:00:00]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=0)

Luisa Rodriguez: 我最近对AI领域的发展速度感到非常不安。事实证明，我并不是唯一一个这么想的人：三分之二的美国人，无论政治立场如何，都认为AI发展得太快。

这不仅仅是公众的看法。那些正在构建AI的开发者，那些实际上在设定发展节奏的人，也持相同观点。

而且情况很快会变得更糟。现在AI正在帮助构建下一代AI。Anthropic的联合创始人认为，到明年（即2027年），AI可能无需人类参与就能自我改进。

政界人士也感到不安，这包括两党人士，这一点尤其令人惊讶。

公众希望放慢速度。构建AI的人也希望放慢速度。许多政界人士也希望放慢速度。那么，为什么我们却无法放慢速度呢？

你可能觉得这个问题与你个人无关，但我认为每个人都应该参与这场讨论，而不仅仅是CEO和少数政策制定者。

最终形成的规则将取决于选民的理解和要求。因此，像你我这样的人真正理解选项内容非常重要。

让我们深入探讨。

我们具体要放慢什么？ [[00:01:28]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=88)

首先明确一点。当人们听到“放慢AI发展”时，很多人会想到有人要关闭ChatGPT。

实际上，我们明天就可以阻止他们开发更强大的AI，但你仍然可以像现在一样使用ChatGPT、Claude或Gemini。企业可以继续寻找新的应用场景，研究人员也可以继续研究它们。

坦白说，我们尚未充分发挥现有AI的潜力。仅凭当前的模型，就足以彻底改变科学、医学和经济。我们才刚刚开始探索。

因此，真正的问题是如何放慢开发比我们现在拥有的AI更强大的AI的速度。

让公司继续领先 [[00:02:13]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=133)

让我们先从现状说起：基本上就是让公司继续领先，同时信任他们能在情况变得危险时及时踩刹车。

CEO们表面上希望这么做，那为什么不直接让他们去做呢？

公平地说，每隔一段时间，他们中的一些人确实会踩刹车。就在几个月前，OpenAI发现其新模型Astra在黑客攻击方面表现极其出色。因此，它做了一件AI公司几乎从不做的事：暂停了其最大规模的训练运行数周时间，以加强安全措施并进行更多安全测试。

这是一个代价高昂的决定，令人钦佩，但这并不是故事的结局。

进行安全测试的研究人员发现，大约一半的时间里，Astra 能察觉到自己正在被测试。这听起来可能不像是个大问题，但实际上却非常重要。如果AI知道自己正在被测试，那么当它表现良好时，你无法判断它是真的安全，还是仅仅在刻意表现。

还存在另一个问题。我们了解AI在做什么的最有效方式之一，是阅读其推理过程的书面记录，称为chain of thought（思维链）。当Astra被告知有人在阅读它的思维链时，它突然开始记录的内容大幅减少。因此，我们检查AI是否安全的两大方式——观察其在测试中的行为，以及阅读其推理过程——都开始失效。

测试人员告诉OpenAI他们无法判断Astra是否安全，而OpenAI 仍然发布了它。

每家公司推迟发布的时间越长，竞争对手就可能率先推出更先进的模型，从而赢得更多客户、投资者和顶尖研究人员。因此，即使所有公司都同意放慢速度会让AI更安全，但没有哪家公司愿意率先放慢。

他们甚至将这一逻辑写入了自己的规则中。2025年，OpenAI 更新了其安全框架，表示如果竞争对手在没有他们的情况下发布了高风险系统，可能会放宽自己的安全要求。其规则明确指出：“如果其他人走捷径，我们可能也不得不这样做。”

而这种竞争压力即将变得前所未有的激烈。因为AI正在越来越多地承担构建下一代AI的工作。OpenAI表示，其代理现在每天的工作量相当于人类研究人员的三倍。

这就是为什么放慢速度变得如此困难。假设OpenAI暂停一个月，目前这意味着所有竞争对手都会领先大约一个月。

现在想象一下，如果Anthropic的AI发展到能够完成所有AI研究工作：不仅编写代码，还能决定尝试什么、判断什么有效、选择下一步研究方向。这种AI不需要睡觉或休息周末。而且它不只是一名研究人员，Anthropic可以同时运行数千个副本，全天候并行工作。

因此，当OpenAI暂停时，Anthropic不仅完成了一个月的研究工作，其AI研究团队可能完成了数月的研究，并且在整个过程中不断进步。因此，差距不仅不会保持不变，反而会扩大。

我们实际上并不知道AI接管所有AI研究后会发生什么，但许多专家认为事情会按照这个方向发展。

这正是为什么我认为我们不能仅仅依赖公司自行放慢速度。必须有人制定适用于所有公司的统一规则。

要求公司通过安全检查点 [[00:06:03]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=363)

那么这些规则会是什么样子呢？

最不干预的版本之一是允许公司在模型达到某种危险能力水平之前，继续构建越来越强大的AI。

想象一下建造摩天大楼的过程。你不会告诉建筑公司必须以正常速度的一半进行施工。而是会告诉他们：在增加更多楼层之前，必须证明大楼是安全的。如果工程师在地基中发现裂缝，必须在修复之前停止向上建造。

对于AI而言，这些检查点将由危险能力触发。

也许模型已经变得极其擅长黑客攻击。或者也许它可以在很长一段时间内独立高效地工作。在这种情况下，公司必须证明自己能够控制该模型。如果无法证明这一点，就必须在能够证明之前停止增强模型的性能。

我非常喜欢这个想法，但它引发了两个非常困难的问题。

首先，什么构成危险能力？如果一个模型能够帮助某人入侵单个公司的网络，是否需要引起警报？如果它能够独自摧毁电网，或者能够帮助某人设计生物武器，我们又该如何界定这些界限？

这些公司目前已经有大致的分级制度。例如，Anthropic将模型分为AI安全等级，其分类方式借鉴了决定哪些生物实验室可以处理从流感到埃博拉病毒等物质的生物安全等级。

其中一些界限实际上已经相当明确。例如，它是否能发现数十亿人使用的软件中无人知晓的安全漏洞？这是一个是非问题，Astra 给出了肯定回答。

但许多界限并不完全清晰。问题在于，每家公司都会自行划定界限、自行评估模型，并且可以随时更改这些标准。

在真正的检查点系统下，独立的第三方（如审计机构或政府机构）将确定这些界限并加以执行。

但这引出了第二个问题，我认为这个问题更加困难：我们如何才能知道一个模型是安全的？什么样的证据才是令人信服的？

研究人员已经发现AI模型在测试中故意表现不佳，因为它们意识到表现过于优秀会导致不被部署。他们还发现模型会假装遵循训练，同时私下计划未来采取其他行动。

当Astra发布时，OpenAI称其为“世界上智能且对齐程度最高的模型”。但这一评价完全基于Astra经常能识别出的测试。因此，当OpenAI向我保证Astra是安全的，因为它通过了他们的安全测试时，我并不信服。

这令人沮丧，因为我真的喜欢检查点的逻辑。减速的时长恰好是必要的。如果公司能立即证明自身安全，几乎不会产生延迟。如果问题需要六个月或数年才能解决，系统就会等待这么久。但检查点的价值取决于我们的安全测试。而目前，我们的安全测试还不够完善。

检查点还存在另一个问题。它们通常在模型已经接近危险状态时才发挥作用。而到那时，模型已经存在了。它可能被黑客窃取，或者如果模型足够强大，甚至可能自行逃脱。正因如此，一些专家认为检查点的启动时机太晚。他们希望在我们接近可能非常危险的AI模型之前，就采取措施减缓发展速度。

为AI发展设置速度限制 [[00:09:38]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=578)

速度限制的运作方式有所不同。它不是等待危险出现后再采取行动，而是从一开始就限制公司的发展速度。

最明显的方式是限制计算能力。构建尖端AI模型需要数量庞大的专用计算机芯片，这些芯片都在大型数据中心中协同运行。

迄今为止，增加计算能力一直是公司提升AI智能水平的主要方式之一，因此政府可以设定上限。任何公司训练单个模型所使用的计算能力不得超过一定额度，且这一上限将随着时间缓慢提升。

但这种方法也存在问题。其中一个是计算能力并不等同于智能。这有点像限制汽车可使用的燃料量。在工程师找到更高效发动机之前，这种方法是有效的。但一旦实现，汽车在相同油量下就能跑得更快。

而AI研究人员一直在做类似的事情。2025年初，一家名为DeepSeek的中国公司发布了一个模型，尽管据报道其训练所使用的计算能力仅为美国顶尖模型的几分之一，但其性能却与之相当。

不过，我认为这是目前我们掌握的较好的工具之一。计算能力是AI领域少数几个我们可以实际测量和追踪的要素之一：芯片的位置、数量以及使用方式。

对我来说，计算能力限制最大的问题是它无法阻止AI在构建下一代AI模型时承担越来越多的工作。

限制AI在构建AI中的辅助作用 [[00:11:11]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=671)

因此，另一种减缓发展的方式是具体限制AI公司使用内部AI系统来自动化自身AI研究的程度。

这个想法并不是要完全禁止AI公司在研发过程中使用AI模型。公司仍然可以使用AI进行常规编码和科学研究。需要限制的是那种可能使AI进步加速的自动化AI研究。

困难之处在于确定帮助的边界在哪里，以及AI构建AI的起点在哪里。一个修复训练代码中拼写错误的AI是在帮助AI研究。但同样，成千上万的AI协同规划和运行实验，也是在帮助AI研究。

2025年，Google DeepMind的AlphaEvolve找到了一种方法，将训练其Gemini模型的一个关键步骤提速23%，使总训练时间减少了约1%。这属于常规帮助，还是AI在改进AI？说实话，很难判断。

但正如Ezra Klein所论述的，我们不需要精确找到那条完美的界限。只要设定一条清晰的界限即可。

几年前，AI公司还没有将代码交给AI编写。如今，一些公司的大部分代码已经由AI完成，例如Anthropic的研究所显示的。因此，Klein认为，作为第一步，我们可以回到一个完全由人类编写代码的时代。

这种做法非常直接，但会显著减缓发展进程。一些人，如经济学家Tyler Cowen，认为这行不通。但Anthropic的CEO也承认，AI的自我改进可能超出我们的理解和控制能力。

如果这是真的，我认为一条清晰而直接的界限，总比完全没有界限要好得多。

完全暂停更强大AI的开发 [[00:13:04]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=784)

这是最后一个想法，也是最激进的方案。一些研究人员认为，上述措施还不够彻底。

我们尚不清楚如何可靠地控制比当前AI强大得多的系统。而且，即使放缓一两年，也无法保证我们能及时找到解决方案。因此，他们主张完全停止开发更强大的AI，至少要等到我们对安全性有充分信心为止。

英国AI安全研究所的创始人David Krueger呼吁立即实施无限期的国际禁令，禁止开发更强大的AI。

伯尼·桑德斯则提出了一项法案，要求暂时暂停先进AI的开发，并永久禁止超级智能。

问题是，暂停措施只有在所有人都参与时才有效。如果一家公司暂停而其他公司不暂停，它就会落后。如果美国公司暂停而中国公司不暂停，美国就会落后。如果有人能秘密继续开发而其他人暂停，他们将获得巨大优势。

因此，暂停措施需要所有主要公司和国家参与，并建立某种机制确保无人作弊。这听起来几乎不可能实现。

但就在本月，26位研究人员发表了一篇论文，专门探讨了这个问题：世界是否真的能暂停开发更强大的AI十年或更久？

这个方案的核心是：首先，各国追踪所有现有强大芯片的库存，然后停止生产可用于训练更强大AI的新芯片。随着时间推移，逐步用新型芯片替换现有芯片——这些新芯片仍能运行现有AI，但无法用于开发更强大的AI。

研究人员认为，从技术角度看，只要主要政府同意合作，这种方法是可行的。当然，这取决于各国之间能否建立巨大的信任，而这种信任在当前国际关系中几乎不存在。

但竞争对手超级大国以前做过类似的事情。在冷战高峰期，美国和苏联同意对核武器试验进行限制。这项协议在古巴导弹危机将他们推向核战争边缘后不到一年就达成了。

今天看似政治上不可能的事情，可能不会一直如此。我预计我们会看到更多类似Hugging Face的事件，其中一些可能会严重得多。如果其中某次事件成为AI领域的古巴导弹危机，相关讨论可能会迅速发生转变。

对许多科技界人士来说，暂停开发听起来非常激进。但目前我们还没有能判断模型是否过于危险的测试方法。我们无法可靠地观察模型在思考什么或如何运作。我们还不知道如何确保模型按照我们的意愿行事。而我们仍在继续构建这些模型，每年都在加速。

老实说，当我真正坐下来思考这一点时，它让我感到极度恐慌。我们正在构建某种可能远超我们能力的东西，而我们却缺乏确保其安全所需的所有工具。如果暂停开发是构建这些工具的必要条件，那么我完全支持。

我们实际能从放缓中获得什么？[[00:16:34]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=994)

让我们具体讨论一下如果获得额外时间，我们实际上会做些什么。我认为有三件重要的事情。

第一是解决让AI本身具有风险性的技术问题。

举个例子。2025年，研究机构Palisade发现OpenAI的模型o3有时会篡改本应关闭它的代码，使其即使被明确告知可以关闭，仍能继续运行。没有人确定具体原因。Palisade怀疑训练过程中奖励模型绕过障碍的行为多于遵循指令的行为。但事实上，我们对这种现象几乎完全不了解。

这仍然令人惊讶，但总体而言我们并不真正了解AI的工作原理。我们知道如何构建它、如何训练它，但当模型做出决策时，我们基本上无法窥探其内部运作。研究人员正在取得进展，但模型的复杂性增长速度远快于我们理解它们的能力。更多时间可以让这些研究迎头赶上。

第二是给社会适应现有AI的时间。当今的AI已经改变了人们工作、学习和获取信息的方式。我们仍在摸索初级岗位、学校教育以及辨别真实与虚假信息的含义。

每当更强大的模型出现时，局面就会再次改变。放缓开发将给我们机会真正跟上：在下一次重大突破之前，弄清楚这些工具的用途，以及我们需要哪些新规则。

第三是增强社会的韧性，使当AI确实引发问题时，我们能够妥善应对。请记住，Astra发现了无人知晓的安全漏洞，并找到了利用方法。类似漏洞无处不在：政府系统、医院、银行、电网，通常运行着几十年前的软件。更多时间意味着可以优先发现并修复这些弱点。

谁会真正推动这一切发生？ [[00:18:38]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=1118)

然后还有美中人工智能竞赛这一重大问题。即使美国公司现在都同意放慢步伐，中国公司可能不会这么做。这确实令人担忧，不过我认为情况比这更复杂。

就在上个月，中国自己的人工智能安全标准机构 警告了AI自我改进的风险。

事实上，美中两国已经开始对话，最近甚至 就建立AI安全沟通渠道达成一致，并继续进行贸易和军事对话。

中国真的会放慢步伐吗？说实话，没人知道。这是所有问题中最大的未解之谜之一。但我觉得情况并不像“他们永远不会停止，所以我们也不能停止”这么简单。

谁应该做决定？我认为这不能仅由公司自己决定。虽然他们最了解自己的模型，但同时也面临着巨大的压力，要继续领先。

事实上，目前存在一个奇怪的法律问题。美国的反垄断法禁止公司联合起来损害客户利益，这也让AI公司 共同放慢步伐变得法律风险。这也是为什么CEO们呼吁政府介入的原因之一。

不管怎样，对我来说最有道理的方案包含三个部分：

• 首先，政府制定规则，使所有公司同时适用，无需任何公司率先行动。
• 其次，独立专家进行检查，并能真正接触到模型。
• 第三，我们现在开始构建追踪计算能力的工具，这样如果未来需要与中国达成协议时，我们能有办法确保没有人作弊。

我们目前所处的位置 [[00:20:16]](https://80000hours.org/podcast/episodes/ai-slowdown-why-how/?t=1216)

以上所有内容都不容易。但困难不等于不可能。

在20世纪50年代末，一种名为 沙利度胺 的药物被销售给怀孕妇女以缓解晨吐。这导致超过10,000名婴儿出现严重的出生缺陷。

1962年，国会 通过了一项法律，要求制药公司必须证明其药物的安全性后才能销售。该法律并未试图提前定义所有可能的危险药物，而是将证明药物安全的责任交给了公司。

人工智能也可以采用同样的方式。如果公司必须在构建下一代模型前证明其模型的安全性，监管机构不需要对“危险AI”有完美的定义。这就是我们目前对药品、飞机和核电厂的处理方式。

因此，问题的关键不是我们是否能解决这个问题，而是我们是否愿意给自己足够的时间。