Do AI Risks Require Extraordinary Government Intervention?

标题：人工智能风险是否需要政府的特别干预？

来源 URL：https://www.normaltech.ai/p/do-ai-risks-require-extraordinary

发布时间：2026-05-21T13:19:41+00:00

Markdown 内容：

在最近的一篇论文中，Derek Thompson 探讨了《人工智能作为普通技术》（AINT）的观点。他同意我们的论点，即人工智能对劳动力市场的影响是缓慢的，这基于GDP增长至今保持平均，失业率低于5%，甚至那些看似容易受到自动化影响的工作也显示出就业和工资的上升。他得出结论，到目前为止，宏观经济形势与我们对“普通”通用技术的预期一致。

但是，当谈到人工智能风险时，他的观点要悲观得多。他指出了网络和生物风险的例子，并对人工智能迅速在许多新领域变得危险表示悲观。他认为，人工智能的突发能力使其与以前的技术根本不同，这种差异足以证明政府采取“特别”的回应是合理的，包括限制公司发布的产品。1

在这篇论文中，我们将阐述对新技术采取政府特别干预的负面影响。我们将讨论不需此类干预就能提高韧性的提议。我们还将讨论为什么政府至今不愿在韧性建设上进行投资。简而言之，韧性需要我们改进正常的政策制定过程。然而，联邦政府的僵化以及将干预措施施加于AI公司而非整个社会的便利性，使得特别干预显得有吸引力，尽管其局限性存在。

接下来会发生什么？政策制定者要么整顿好自己，大力投资于提高韧性，要么被迫采取特别行动（如在AI非扩散方面），这些行动更为繁重且效果较差。

“非扩散依赖于单一的瓶颈，因此是脆弱的。韧性则将防御分散到整个社会。”

许多人，包括Thompson，发现《人工智能作为普通技术》是思考人工智能经济影响的有用框架，尽管他们对我们的安全观点持保留态度。在AINT论文中，我们对劳动力市场影响和误用风险的应对提出了不同的论点。

劳动力市场论点 基于扩散速度：从新的人工智能能力到其经济影响之间存在许多速度限制，包括构建产品、改变组织工作流程以及应对监管的需要。这已被证明有助于理解为什么快速和广泛的工作岗位流失的主张（如Amodei关于即将发生的白领血浴的主张）不太可能实现，同时也帮助识别可能阻碍人工智能有益采用的瓶颈。

但我们的关于人工智能误用风险 的论点取决于攻防平衡：攻击者或防御者从给定能力中获益更多，以及我们建立韧性 来应对误用风险的能力。值得注意的是，攻击者不需要经历缓慢的组织采纳过程就能造成伤害。我们主张建立社会韧性来干预误用风险，并指出了许多我们应该采取的措施来减少人工智能风险。

在这里，Thompson与我们意见相左。他不同意的一个原因是，所有通用技术都会带来新的风险，这些风险很难根据以往的模式来推理。但即使在通用技术的历史上，Thompson认为人工智能特别“异常”，因为其风险是突发的，甚至人工智能开发者也不了解。因此，这促使政府将人工智能视为一种异常技术，从而“需要政府创建特别的法规，以产品和服务太危险为由，阻止私人公司销售它们。”

Thompson没有明确界定他所说的特别政府行动的含义，他所设想的具体干预措施也相当模糊。由于我们将反对这样的干预，我们需要明确术语的含义。我们认为特别干预是一个由三个因素定义的光谱，这些因素适用于任何强大的技术，而不仅仅是人工智能。

首先，特别干预往往是预防性的。它们基于预期的伤害而不是已实现或已证明的伤害来限制活动。这并不意味着预防不应该是必要的，但它确实意味着需要更强的 justification，因为我们是在没有明确证据表明伤害会实现（或者会以我们预测的方式实现）的情况下限制活动。即使如此，当存在可行的替代方案可以以较少的限制来应对风险时，干预措施就更显得特别，例如投资于韧性。

第二，非同寻常的干预措施对那些并非直接造成伤害的行动者的自由施加了限制。当政府限制人工智能公司发布什么时，负担就落在了那些建造可能在原则上被滥用的工具的公司身上，而不是落在造成伤害的恶意行为者身上。这尤其适用于双重用途技术。由于这些工具有广泛的好处，对公司的限制可能会切断公众获得有益资源的渠道，以防止少数不良行为者滥用。

第三，非同寻常的干预措施绕过了正常的治理过程，而是依赖于单方面的权威，如紧急声明或行政命令，即使被绕过的治理过程存在是为了确保对自由的限制受到民主问责。

一个干预措施不需要满足所有这三个标准才能被认为是非同寻常的。但是，这些因素存在得越多，对其的正当性要求就越高。

我们同意人工智能存在滥用风险。但根据我们监管“异常”技术的经验，政府的非同寻常干预措施可能带来沉重的负担。执行核不扩散需要国际原子能机构（IAEA）、不扩散条约、数十年的外交努力、持续的投资，甚至军事对抗。这些干预措施的代价是巨大的，但这种方法至少在某种程度上是可执行的，因为核武器依赖于浓缩铀，这是一种真正的难以绕过的物理瓶颈。

人工智能与核武器不同。首先，没有等同的“物理”瓶颈。建造人工智能系统的核心技术是众所周知的。对手（尤其是国家行为者）可以在几个月内匹配前沿能力。任何针对人工智能的不扩散制度都会面临持续的侵蚀。

面对这一挑战，政府如何维持不扩散？一些提议的干预措施，如据报道的关于人工智能公司自愿承诺在部署前进行评估的行政命令，相对于非同寻常的干预措施来说是相对较低的。如果做得好，它们可以让我们在某种程度上改变攻防平衡，给防御者更多时间来为新能力做好准备。

美国还对芯片实施了出口管制。我们认为这是一种适度的干预：国家经常限制敏感货物的出口，以保持其在创新方面的领先地位，合理的人可以就如何划界有不同的意见。但是，如果目的是防止危险的能力被广泛获取，出口管制的效果是有限的。公开权重的模型和前沿实验室广泛的应用程序接口（API）访问意味着前沿能力和公开可用能力之间的差距最多只有几个月，而不是几年。

如果非扩散所能带来的最多只有几个月的时间，那么当这些能力不可避免地变得广泛可用时，迫切的优先事项应该是投资于韧性，以便我们更好地应对，正如我们在下面讨论的那样。另一方面，如果政府试图通过维持非扩散来阻止先进人工智能能力的可用性以防止滥用，他们的干预措施必然需要更加严格。

要真正执行非扩散，政府需要限制对公开权重模型的访问，甚至限制对有能力模型的API访问。这需要建立许可制度，赋予政府持续的权限来决定哪些模型可以发布，并对公开权重模型进行限制。我们可能很快就会进入一个政府对哪些人工智能研究和产品可以公开分享进行控制的状态。事实上，我们已经看到了令人担忧的例子，比如Anthropic被指定为供应链风险，以及最近关于对人工智能公司实施许可证要求的传言。

为了避免滑向这种趋势，那些主张采取非同寻常干预措施的人应该明确他们在何处划界。他们会支持对公开权重模型的限制吗？还是需要对每个新模型的发布进行审批，或者限制在不同国家之间移动的前沿人工智能研究人员的流动？如果倡导者不能明确他们所呼吁的界限在哪里，那么可以合理地预期，随着能力的提高，政府单方面行动能力的需求将会不断升级。

对于核武器，一旦建立了不扩散制度，就不需要每隔几年就重建一次。但人工智能不是最后一个具有强大双重用途性质的数字技术。新技术会引发类似的问题，并可能需要类似的或不断升级的回应。因此，将人工智能风险视为“异常技术”进行监管的框架开始看起来不像是对特定风险的针对性回应，而更像是政府权力的永久性扩张，以控制公民和公司可以建造、发布和研究的内容。

我们已经看到了这种辩论的反复上演。每一种新技术都会引发关于什么是适当限制自由以减轻危害的问题。这段历史告诉我们，我们不应该自动默认采取极端的政府干预措施。

互联网让人们可以访问如何制造炸弹的信息，1995年，在俄克拉荷马城爆炸案之后，已故的费因斯坦参议员提出了一项法案，其最初草案将把在网络上发布任何描述炸弹制造材料或过程的信息的行为定为犯罪。 （当该法案最终通过时，其范围已经缩小，要求犯罪者必须明知故犯地通过其指令帮助犯罪。）

联邦政府还试图限制对加密软件的访问，声称这将帮助执法部门监控犯罪分子的通信。政府实施了出口管制，并提议在加密中设置后门，以便政府始终能够访问私人通信。他们甚至对一名程序员根据《武器出口管制法》启动了刑事调查，因为他发布了加密软件。

一件印有RSA加密算法源代码的T恤，用于抗议政府对加密技术的限制。来源.jpg)

这些限制最终通过一系列法院裁决和行政行动被撤销。加密成为了数字安全的基础，使电子商务、网上银行和其他许多应用程序成为可能。

然而，在历史上的其他时候，我们已经接受了政府权力的增加，以应对新技术带来的挑战。广泛使用的炸药发明后发生的恐怖活动推动了联邦调查局扩大监视机构的建立。

问题是，是否需要这种程度的干预来应对人工智能的风险。一个不需要极端政府干预的回应是提高韧性。

韧性是指系统承受和适应伤害的能力。这是我们AINT论文中提出的主要防御措施之一。与限制公司发布什么产品的政府限制不同，韧性不会给人工智能公司带来成本。相反，它侧重于提高我们应对和从人工智能风险中恢复的能力，无论这些风险发生在何时何地。对于过去的技术危害，提高系统的韧性一直是减少危害的关键。

以网络安全为例。互联网创造了全新的攻击类别，如通过网络传播的蠕虫，造成数十亿美元的损失。我们防御这些风险的方式不是限制对计算机或互联网的访问，而是通过漏洞奖励计划激励人们向开发者报告漏洞，改进浏览器和操作系统，进行自动测试和更好的补丁管理实践。所有这些都提高了我们的网络安全基础设施的韧性，无论风险来自何处。

自动漏洞检测工具是另一个例子，展示了技术如何使新的攻击成为可能。诸如fuzzers和符号执行引擎等工具多年来在漏洞检测方面已经“超越人类”，它们能够以人类无法匹敌的规模检测漏洞。然而，这些工具已经可以在开源仓库中自由获得。由于防御者也可以使用相同的工具，它们已成为核心防御工具，主要由网络安全防御生态系统资助。事实上，防御者在有效使用这些工具方面具有结构性优势，例如对被测试系统有更深的访问权限。这进而导致了对网络系统的更好保护。

一个风格化的漏洞检测能力光谱，显示现有的工具已经远远超过了未得到辅助的漏洞研究人员。

这展示了我们如何在没有政府过度干预的情况下，从无辅助的漏洞检测过渡到远超人类水平的检测。我们同意大语言模型为漏洞检测带来了真正的改进，但它们是在几十年的工具基础上建立的，这些工具已经远远超出了人类未辅助情况下所能达到的水平。如果我们已经吸收了这些工具的过渡，那么值得问一下，语言模型的额外能力是否需要特别的干预。

需要明确的是，这些过渡并不平稳或无痛。在一段短暂的时间内，攻击者和防御者的平衡完全被打乱。恶意软件的病毒式传播以及由此产生的不对称性是前所未有的。15岁的孩子可以制造毁灭性的网络攻击，使顶级电子商务网站和搜索引擎瘫痪。在这一时期，政府干预以提高网络安全可能已经减少了对个人和企业的伤害。

人工智能在网络安全攻击中的应用可能会再次扰乱攻防平衡，我们认为人工智能的过渡不会自动平稳进行。目前防御不足的系统，如学校、医院、电网和小型政府机构，将面临真正的风险。像Project Glasswing和OpenAI的网络安全补助金计划这样的努力很重要，但单靠它们是不够的。虽然在短期内限制先进人工智能系统的访问可能有所帮助，但在开放权重模型仅落后最先进封闭模型几个月的世界里，这并不是万能的解决方案。

应对人工智能的网络安全风险需要在弹性方面进行投资。这意味着不仅科技公司，还包括学校、医院、电网、小型企业和政府系统等目前缺乏防御能力的机构，都需要进行人工智能辅助的红队测试。我们还应该激励专业安全专家发现并报告漏洞（无论是否使用人工智能），例如通过涵盖不仅仅是科技公司产品的漏洞赏金计划。这些努力不是自动发生的；它们需要投资和规划。

好消息是，这项工作已经开始在许多不同的行业中进行。虽然这需要大量的投资，但与实施严格的不扩散制度相比，负担要小得多。坏消息是，政府还有很多事情要做，才能真正使过渡过程无痛。

同样的分析也适用于生物安全。人工智能可能降低了一些信息障碍，但生物攻击取决于许多下游步骤：获取材料、获得专业设备和应用隐性知识。我们现在可以在这些下游步骤上进行干预，以提高社会对生物攻击的弹性，而无需对人工智能开发施加强有力的控制，例如通过实施更好的合成生物学订单筛查、使用人工智能评估新化合物的风险、跟踪危险材料的访问，并进行进攻性的红队测试（例如，让受信任的专家尝试使用人工智能制造危险化合物），以发现这些努力中的漏洞。这些措施无论生物风险是否来自人工智能都是有帮助的。

重要的是，弹性并不需要特别的政府干预。它只需要我们在正常的政策制定和执行过程中有所作为。

问题是，我们并不擅长正常的政策制定。我们怀疑，弹性方法之所以不那么有吸引力，是因为它需要多中心治理，许多决策者需要和谐地合作。鉴于美国的国家能力已被几十年积累的否决点和逐渐增长的程序主义所削弱，这很难推销。因此，行政部门的单边行动往往被视为开发和执行人工智能政策的出路。

投资弹性需要比非增殖更多的行动者采取行动。为了使弹性有效，政府需要立法和拨款、跨机构合作、建立早期预警系统，并作为下游行动者的资源中心，迅速传播信息，帮助他们加强防御。美国联邦政府在这些任务上并不以能力著称。

因此，当我们审视政府的记录时，政策对弹性的响应令人失望，这并不奇怪。事实上，即使在人工智能2027和“异常”观点的支持者之间存在共识领域，比如要求透明度、审计和安全研究的安全港，我们仍然没有看到具体的联邦行动。（有一些努力，比如最近代表们的信函，敦促联邦政府改善对网络安全风险的协调。但到目前为止，它只是一封带有建议的信函；尚不清楚是否会根据这些建议采取任何行动。）

在这个背景下，像非扩散这样的非凡政府行动看起来是解决人工智能风险的诱人方法。这些行动在道德上令人满意，因为它们主要给那些制造这些风险的公司带来负担。它们也是可行的，因为它们只需要行政部门采取单边行动，比如援引《国防生产法》。主要的问题是，通过这样的行动能否实现更好的结果，或者我们应该投资于改进“正常”的治理过程。

虽然我们理解采取前一种方法的原因，但我们倾向于后者。让我们的政策行动更加完善是困难的，但很重要——不仅针对这一轮的人工智能政策和滥用风险，还针对未来所有对技术危害的干预，以及更广泛地让民主进程更好地运作。

另一方面，如果我们主要防御人工智能风险的是非扩散，那么一个使模型训练成本更低的技术突破就足以引起不稳定，尤其是在一个我们没有同时投资于恢复力的世界里。当大坝最终崩溃时，损害将会更大。

致谢。我们感谢 Katy Glenn-Bass 对本文草稿的反馈，以及 Shira Minsk 的编辑支持。本文同时发布在 Knight First Amendment Institute 的网站上。

1

Thompson 写道：“我可以理解将人工智能视为‘正常’技术的计划，并让 Nvidia 向中国出口强大的芯片。我也可以理解将人工智能视为‘异常’技术的计划，这迫使政府制定非凡的法规，以防止私人公司在其产品和服务太危险的情况下出售它们”[我们的强调]。他接着得出结论，人工智能事实上是异常的，暗示支持政府的非凡干预。本文是对这一结论的回应。

2

Thompson 的文章表达了对限制人工智能公司的支持，但在实践中这些限制会是什么样子方面却含糊其辞。我们对必要干预措施及其缺点的分析是基于我们自己对这个主题的思考，而不是他的具体建议。