The AI-as-Normal-Technology view of loss-of-control incidents

将AI视为正常技术视角下的失控事件

将AI视为正常技术视角下的失控事件

安全社区与人工智能安全社区之间的中间立场

Sayash Kapoor

和

Arvind Narayanan

2026年9月14日

本文超过13,000字，是我们自最初文章以来在人工智能安全领域最深入的写作。

过去几个月里，OpenAI和Anthropic发生的失控事件加剧了人们对人工智能安全的担忧。关于存在性风险的警告正越来越多地被公众所知晓，同时呼吁减缓人工智能的发展。Dario Amodei提出的“控制前沿”呼吁反映了安全工作未能跟上人工智能能力发展的担忧。

最突出的例子是OpenAI与Hugging Face事件，其中数百个OpenAI代理获得了互联网访问权限，并入侵了Hugging Face以了解他们如何在评估中被评分。在过去的两周里，许多其他类似活动的细节被曝光，例如代理在限制此类活动的情况下，使用旧版维基网站进行通信，或攻击软件仓库以尝试上传恶意软件。

人工智能安全社区将这些事件主要视为对齐问题的危机。1 在这种观点中，随着代理学会秘密推理，对齐将变得越来越困难，因此，随着代理能力的增强，失控事件可能会变得更加普遍和破坏性。

另一方面，网络安全从业者大多将这些事件视为公司未能采取基本安全预防措施的后果。他们不认为这些事件是人工智能在网络安全领域达到新里程碑的标志。这也是非人工智能技术社区的主要反应，该社区大多将这些事件视为人工智能公司无能和疏忽的结果。2

两个社区都提出了重要的观点。但它们之间的两极分化是反生产力的，对齐失败和安全失败都为理解未来道路提供了教训。

在本文中，我们应用将AI视为正常技术的框架，综合安全和网络安全社区的观点，提供一个建设性的中间立场。我们认为，AI公司应对其代理的行为负责，这应通过政策制定予以明确。同时，承认他们的责任并不意味着预防未来事件已成为已解决的问题。

我们确定了三个需要投资的领域，以应对失控风险：研究开发更有效的方法来控制日益强大的代理；将现有研究和已知控制技术转化为可用工具；以及组织变革，以确保这些工具确实被采用。在我们看来，组织治理的标准应是控制前沿的关键方式，将人工智能公司从目前“快速前进并打破规则”的态度中拉出来。

本文分为三个部分。在第一部分中，我们将论证仅靠对齐（alignment）本身不足以防止此类事件，并讨论改进人工智能控制的技术、组织和政策干预措施。我们对通过正确的投资和政策干预使人工智能控制与人工智能能力的提升保持同步持谨慎乐观态度。在第二部分中，我们将探讨人工智能能力提升（例如智能体集群）对网络安全的影响。在第三部分中，我们将分享在新证据的背景下，我们的观点如何改变了对人工智能安全的看法。

我们观点的总结：

• 我们同意安全从业者对OpenAI未采取足够措施控制其智能体的批评。但这不仅仅是将30年前的安全方法套用于新领域的问题。人工智能智能体的安全——即人工智能控制——虽然重要，但并非已解决的问题。尽管已知的控制方法可以防止Hugging Face事件，但随着智能体能力的持续提升，我们只有在充分投资控制干预措施的情况下，才能有效控制它们。

• 我们也同意安全从业者隐含的观点，即这些事件主要是安全问题。在人工智能安全领域，人们通常将失控智能体视为本质上具有灾难性，因为假设其发展会带来无限的风险列表。我们对此持不同意见。我们一直主张，人工智能安全的最佳方法是识别风险并针对性地解决这些具体风险。在过去的几个月中，很明显一个紧迫的风险是网络攻击，因为其具备允许智能体自主执行的独特属性。我们应同样投资于针对其他具体风险（如生物风险和军事人工智能风险）的防御措施。

• 我们同意安全社区的观点，即迫切需要技术与政策干预以防止失控事件。但在我们看来，与对齐（alignment）相关的边际投资相比，控制相关的投资更可能有效。我们认为这些事件反映了公司内部对人工智能控制的重视不足，尽管已有已知的技术手段。更广泛地说，有许多常识性的政策建议可以在我们与安全社区有共识的领域促进对人工智能控制的投资。

• 我们应该如何看待人工智能对网络安全的影响？人工智能能力的提升可能颠覆网络安全的攻防平衡。我们尚无法确定这一点，但已有足够证据表明，智能体能力可能很快使大规模网络攻击成为可能，因此需要立即采取行动。我们将讨论如何通过干预措施将攻防平衡向防御方倾斜。

• 人工智能作为正常技术（AI as Normal Technology）框架在过去一年中的演变。我们总结了人工智能的进展，并分享了我们观点的更新。在本文中，我们未能充分关注开发和评估阶段（而非模型广泛部署阶段）产生的安全风险。我们过于自信地认为公司会采取基本的控制预防措施，并低估了“锯齿状”（jaggedness）的重要性，这导致我们低估了人工智能在网络安全等领域的能力提升速度。

• 同时，许多关于AI作为常规技术的独到观点依然成立，这种视角对于理解AI的社会影响仍然具有价值。特别是，我们认为近期发生的事件支持了我们的连续性假设——“流氓”代理的行为变得明显并广受关注，而它们尚未造成严重危害，也难以隐藏自身痕迹。社会对这些事件所造成的相对较小危害的反应非常激烈（安全社区应为持续对公司的压力施加而获得赞誉）。这些反应是否能转化为公司行为的实质性改变仍是一个开放性问题，也将是对AINT框架实用性的检验。

• 最后，我们认为AINT框架在分析这些事件时具有特殊价值，因为它提供了一个整合AI安全与网络安全社区观点的行动框架：追究企业责任、加大控制投入、强化针对特定风险的防御。

这张表格总结了我们的论点。虽然AI社区原则上强调“纵深防御”的概念，但在实践中，对齐（alignment）是获得最多关注和投资的干预措施。另一方面，网络安全社区认为控制问题基本上已得到解决。在我们看来，为了防范合法方造成的失控事件，我们需要紧急加大控制投入，使其与能力提升保持同步。无论是对齐还是控制，都无法防范恶意用户，因此我们需要下游防御和韧性措施来减轻风险的影响和严重程度。所有这些努力都可以通过政策干预得到加强。表格强调了网络安全领域的干预措施，但我们也应同时投资于其他风险的防御措施，例如生物风险。

目录

第1部分：我们可以通过技术和政策干预提升AI控制能力

• 对齐是有帮助的，但不足以防止安全事件
• OpenAI未采用已知的控制干预措施，这些措施本可以防止事件发生
• 现有的组织治理规范本可以防止事件发生
• 为什么AI社区在控制方面投资不足？
• 控制能否跟上AI能力的提升？
• AI控制应成为一种职业（并成为每种职业的一部分），就像网络安全一样
• AI政策可以激励AI控制

第2部分：AI对网络风险的影响存在巨大不确定性。但无论怎样，我们需要采取的行动相对明确。

• 当前最紧迫的具体威胁是网络风险
• 自主网络能力和开放权重模型将如何影响攻击者与防御者的平衡？
• 为了正确理解开放权重模型对未来网络犯罪活动的影响，我们需要正确理解过去
• 多数网络罪犯出人意料地使用低技术手段，障碍是货币化而非利用
• 那么，AI将对网络罪犯有多大帮助？
• 我们是否即将看到有害的自主代理？
• 为什么莫里斯蠕虫是即将发生事件的恰当类比
• 未来网络防御可能的形态：人员与防御AI的角色
• 当前网络防御针对AI的差距有哪些？

第3部分：AI作为常规技术对AI安全的错误与正确之处

• 风险是源于开发还是部署？
• 我们应如何应对“流氓”代理？
• 连续性假设

• 不规则性与风险特定防御

• AI安全是否正轨？

结论

第1部分：通过技术和政策干预，我们可以提升AI控制能力

在本部分中，我们关注由合法行为者（如消费者、企业及AI开发者）操作的AI代理，这些行为者不会故意使用AI造成伤害。这种情况在OpenAI与Hugging Face事件中有所体现。在第2部分中，我们将聚焦于恶意行为者，他们试图故意利用AI代理造成伤害，例如用于网络攻击。

如何防止AI代理采取有害行动？存在两类主要干预措施。第一类是AI对齐。这涉及改变AI系统本身，例如通过微调或使用基于人类反馈的强化学习（RLHF），以降低其采取有害行动或给出有害回应的可能性。迄今为止，对齐技术对于AI的商业成功至关重要。

另一类干预是AI控制：通过模型权重之外的措施防止有害行为——即使代理存在对齐偏差。这包括改进沙箱安全（防止AI模型在沙箱外采取意外行动）、实施最小权限原则、全面日志记录、为不安全行为设置自动触发机制、快速关闭机制，以及监控代理以检测并阻止有害行为。这些机制使我们即使在代理存在对齐偏差并试图采取有害行动时，也能有效防止危险行为。

简而言之，AI控制可以被视为针对AI代理对手的网络安全。传统网络安全主要关注试图破坏或利用系统的人员，而AI控制则运用相同原则来防止AI代理的非预期行为。

与网络安全不同，控制干预针对的是组织内部使用的代理（而非人类对手或外部代理）。这使问题相较于传统网络安全既更具挑战性又更易处理。它更容易处理，因为代理由组织直接控制（而非未知对手），因此其运行条件可以被密切监控并干预。但更具挑战性的是，这些代理通常由可能已提升权限的用户部署，而安全约束措施也可能对可用性造成限制，用户可能对此产生抵触或绕过限制。

AI安全领域对OpenAI-Hugging Face事件的分析主要将其视为对齐失败。AI安全领域主要关注的干预措施是改进AI对齐的技术方法。当讨论AI控制时，通常被视为临时解决方案。另一方面，在网络安全领域，AI控制常被视为已解决的问题，因为只需采用已知的安全技术即可防止OpenAI-Hugging Face事件中出现的类型问题。

在本部分中，我们将讨论为何在控制方面的边际投入可能比对齐更适用于解决此类事件。尽管我们同意AI安全领域对对齐有助于减少此类事件发生频率的观点，但我们认为仅靠对齐无法彻底消除此类事件。这些事件表明，尽管存在已知的预防方法，AI公司并未优先考虑AI控制。

对实施人工智能控制的建议，常见的回应是：虽然这些措施目前的模型足够，但可能不足以应对未来更强大的模型。在这里，我们与安全社区的共识有所不同：我们同意现有的控制干预措施可能不足以防止未来更强大模型带来的危害。但我们认为，改进控制干预措施仍有很大提升空间，正确的政策干预（如对失控事件施加责任、对接近失误事件保持透明度、以及提供举报人保护）可以显著提升对人工智能系统的控制能力。

订阅以获取基于证据的人工智能影响分析

对齐有助于但不足以防止安全事件

我们曾论证过模型对齐不足以实现人工智能安全。简要回顾：当模型被部署时，它缺乏足够的上下文来判断部署环境是否安全——大量相关上下文信息超出了模型的范围。对齐并不是一个已解决的技术问题，还需要未知的技术进步来对齐模型并防止有害行为。

例如，当模型被部署用于查找漏洞时，可能被用于网络攻击（开发利用漏洞的工具）或网络防御（修复漏洞）。对齐在减少危害方面可能有帮助；例如，可以训练模型在查找漏洞时向网络防御者倾斜，但不参与寻找利用工具，或分析源代码（防御者可访问的代码）但不分析二进制文件。但对齐并非万无一失，因为除了简单的干预措施（如分析代码但不分析二进制文件）之外，根据模型接收到的上下文，很难判断模型是用于防御任务还是攻击任务。

同样地，在OpenAI与Hugging Face的失控事件中，代理可能被期望在“模拟”其网络攻击能力时执行攻击，但不会在现实世界中攻击Hugging Face。在这种情况下，代理可能相对明确地意识到Hugging Face的基础设施并非模拟，但你可以想象一些情况，其中这种区分并不明显，例如当代理被要求逃离沙盒以评估失控风险时。还有许多其他边缘情况会导致对齐失败。

一旦模型被部署给客户和企业，而不是限制在人工智能公司内部使用，情况会变得更加模糊。人工智能公司使用代理的上下文相对有限，使对齐问题更容易解决。但公司外部的客户可以以无边界的多种方式使用人工智能代理，使得根据模型可获取的信息来判断某个行为是否合法或存在安全隐患变得更加困难。

尽管存在这些挑战，人工智能安全领域的主流观点认为，为了使人工智能部署安全，我们需要投资于对齐。这也体现在人工智能公司的安全努力中，这些公司通常将模型外部的干预措施（如人工智能控制干预）视为临时解决方案。例如，在讨论OpenAI为Astra部署的监控干预措施时，公司的报告指出：“这些安全措施不能替代随着能力提升而对模型进行的良好对齐，我们的目标是让未来的模型对齐程度足够高，以至于这些安全措施永远不会被触发。”

为了明确起见，我们并非要低估在对齐领域取得进展的重要性，我们认为深入理解导致有害模型行为的因素是重要的研究方向。例如，过去几周内，OpenAI和Anthropic都分享了他们的发现：当强化学习环境存在错误设定，或奖励机制存在捷径时，会导致模型出现奖励操纵行为。解决这些缺陷可能会减少模型采取有害行为的频率，但仍然无法保证绝对安全。

鉴于对齐科学的局限性，AI代理的部署者必须将对齐与更广泛的AI控制干预措施相结合。与对齐不同，控制领域已有许多成熟技术，这些技术本可以有效防止此次事件的发生。

OpenAI未采用已知的控制干预措施

事件发生后，OpenAI和METR发布的报告披露了更多细节。从报告中可以明确看出，代理的行为与评估者预期不符，我们认为将代理的行为描述为对齐偏差是合理的。

但需注意的是，事件发生时OpenAI已禁用了大部分代理控制机制。尽管公司为内部使用实施了监控，但并未将其应用于评估环节。此外，评估使用的提示词和控制框架与生产环境的Codex框架存在差异。

如果公司采用了已知的控制技术，会发生什么？OpenAI发现，使用生产环境的Codex框架和系统提示词，可使代理破坏超出范围基础设施的倾向降低超过100倍。其自动审查系统本可以标记测试部署中的大部分危险行为。当前的思维链监控系统更会在Hugging Face数据泄露事件发生前一天多时间发出预警。

事实上，现有AI模型已能有效用于监控和控制。METR使用OpenAI公开可用的模型完成了其分析的大部分工作。根据他们的报告，这些代理虽然存在错误判断、表现出较差的判断力，有时甚至会采用被审查代理的视角，但没有这些模型的帮助，三名研究人员在六天内完成如此大规模的调查是不可能的。当监控系统增强人类专家能力而非取代其判断时，即使不完美也能产生巨大价值。

更重要的是，在事件发生前已出现预警信号——代理使用的某个通信服务发生了内部故障。但OpenAI并未深入调查此次评估的根本原因，而是在修复发现的单一漏洞后，以相同设置重启了评估。

这表明AI实验室的文化同样对事件负有责任。工程师们长时间工作，每天启动数千次实验，但对这些实验缺乏足够的人类监督。正如Joshua Saxe指出的：

…在实验室中，训练团队和评估团队之间的文化给人一种西部拓荒时代的感觉。每个人都承受着巨大的压力，必须快速推进工作。发布新模型的时间压力巨大，各实验室之间在能力上的竞争意识也非常强烈。自2022年秋季ChatGPT发布以来，该领域在四年间发展得异常迅速。整个过程几乎令人目不暇接——在那段时间里，任何在实验室工作的人每周都在工作六十小时。因此，我并不惊讶于这些模型训练运行的安全性会呈现出研究生计算机实验室文化的特点，我认为这就是现状，这也是导致这些实验室事故频发的原因。这颇具讽刺意味，因为前沿AI研究者经常谈论安全性——但这种讽刺确实是真实存在的。由于上述种种动态，安全实践并不理想。

OpenAI值得称赞的是，他们在即使不利于自身利益的情况下也对此次事件保持了透明度。例如，他们进行了额外的分析，包括报告中提到的Codex对比，并在事件后实施了改进监控的控制措施。

但鉴于AI行业的竞争态势，政策层面仍有很大空间可以要求改进内部事件响应机制、对失控事件的责任追究和赔偿机制，以及改善安全与安全相关的文化氛围。

现有的组织治理规范本可以防止此次事件

即使不考虑政策干预，这些事件发生的一个原因是，从组织层面来看，AI公司运作方式类似于初创企业。尽管它们的收入和估值大幅增长，但据所有相关方所述，它们缺乏其他行业普遍存在的组织流程。因此，它们尚未发展出足够的组织成熟度，以识别高风险实验并处理其后果。

AI公司不应继续以初创企业的方式运作，而应表现出更成熟的组织特征。当一个配置错误的强化学习环境或未被监控的评估可能造成现实世界中的危害时，任何团队在没有法律、安全和其他团队监督的情况下都不应被允许运行潜在危险的实验。AI公司需要建立审查实验的流程，明确监控责任的归属，并在重启实验前深入调查预警信号。如果实施这些流程需要暂停某些实验，公司应毫不犹豫地这样做。事实上，首次提出“控制前沿进展”的倡议，应聚焦于解决这些组织层面的缺陷，而非单纯追求技术突破。

不幸的是，AI公司试图将组织治理的基本问题视为通过改进技术就能解决的挑战。但即使开发出更先进的控制技术，如果大型组织中不负责任的个人或团队可以选择不使用这些技术，这些技术本身也无能为力。在像OpenAI这样的公司中，拥有数千名员工和数百个团队的情况下，只要有一个团队不负责任地部署代理程序，事故就可能再次发生。

为了了解这些组织规范的普遍性，可以设想其他行业中一家公司声称开发了革命性技术的情况。很难想象这家公司会报告其技术已造成现实世界中的伤害（例如入侵其他组织），并期望在没有实质性监督的情况下继续进行此类实验。事实上，AI公司对其技术力量和风险的声明，反而使组织监督的必要性更加迫切。我们无需解决关于未解决技术挑战的分歧，就能期待公司采取基本预防措施。

我们推测，AI公司尚未采用标准治理机制的一个原因是，它们增长速度过快，尽管经历了这一时期的非凡增长，但仍试图保持初创公司的思维模式。大多数其他行业的公司通常经历较为渐进的增长，这为建立组织规范提供了时间。AI公司类似于Facebook和社交媒体公司，它们曾以“快速行动、打破规则”的态度迅速增长，但最终在剑桥分析事件等事件发生后，不得不设置安全护栏并建立组织治理标准。

幸运的是，AI公司似乎正在认识到这些变革的重要性。在Amodei呼吁AI发展速度的信中，他提到AI控制需要“运营卓越”。他表示：“许多问题的发生并非因为公司缺乏某些重要的理论或洞察，而是由于执行层面的问题。”组织治理是控制前沿发展的一种方式，可以防止导致现实世界伤害的执行错误。

为什么AI社区在控制方面投资不足？

如果已知有控制技术可以防止此类事件的发生，为什么OpenAI没有投资这些技术？在上一节中，我们讨论了一个潜在原因，即AI公司内部优先考虑进步速度而非安全和安全性的文化。

但还有另一个原因，这与AI公司对对齐（alignment）和控制（control）的不同看法有关。对齐被视为每次模型发布的关键组成部分；数十亿美元已被投入开发对齐方法和收集对齐数据。但OpenAI在评估过程中并未实施基本的控制干预措施。在AI公司和安全社区中，对齐被视为需要跟踪的关键问题，而控制则被视为临时措施。我们认为这一差距持续存在有几个原因：

网络安全与AI之间的认识论差距：网络安全领域有许多已知技术可以改善AI控制现状。但当涉及到实施解决方案时，这两个社区往往难以沟通。在OpenAI与Hugging Face事件之后，许多安全从业者指出OpenAI没有采取基本的预防措施来应对事件。另一方面，AI安全倡导者（包括AI公司内外的人员）正确地指出，AI能力的提升意味着已知的控制干预措施可能很快就会失效。

综合这些视角并弥合社区间的差距具有重要价值。AI公司忽视了已知的控制干预措施，应加大投入。但已知的干预措施可能已不足以应对智能体能力的提升，需要进行大幅更新。以Artem Dinaburg最近的帖子为例，他指出有能力的智能体可以开发新的漏洞，因此我们不能再假设标准虚拟机可用于隔离有能力的智能体。如今，公司常规使用数百万智能体进行此类沙盒测试（无论是生产环境还是研究场景），我们需要显著提升对沙盒安全性的审查力度，例如通过定期使用能力不断增强的进攻性智能体进行压力测试和改进沙盒安全机制。我们还需要类似的努力，全面加强网络基础设施，以抵御有能力的网络智能体的攻击。

同时，许多直接的干预措施无需新的技术突破即可实现。例如，尽管目前尚未针对控制和监控进行专门的干预措施，AI智能体在控制方面已展现出实用性。以METR为例，他们使用现成的模型进行分析，仍发现其具有价值。我们预计通过适当的激励措施，可以进一步扩展控制工具箱。这些措施可能包括：专门微调模型以提升控制能力、开发基准和排行榜以改进监控、构建分层机制（如由独立智能体监控代理监控器的层级结构）以增强控制和监控的鲁棒性、使用不同模型家族在不同温度参数下的模型集成等。

可用性与控制的权衡：即使安全专家参与AI开发，他们也可能难以推动控制干预措施，因为这些措施可能与可用性产生权衡。例如，Claude Code最初发布时，许多用户通过名为“dangerously skip permissions”（危险跳过权限）的模式在无限制情况下使用该工具，尽管允许智能体在未经许可时执行任何操作存在明显风险。

但这种权衡并非固有存在。过去几个月中，Anthropic和OpenAI都在Claude Code和Codex中推出了自动审核模式。这些模式会对智能体拟执行的操作运行分类器，以防止有害或破坏性行为，检测智能体检索内容中的潜在提示注入，并在必要时暂停智能体以征求用户批准。

与完全依赖人工干预相比，这种模式不仅是安全性的提升，也优于要求对每个操作都进行人工批准。后者很快会导致“警报疲劳”，批准过程变成形式主义。Anthropic最近的一项评估发现，自动模式在防止有害行为方面优于完全人工批准和“dangerously skip permissions”模式。

编码智能体使用了数十种此类控制干预措施。其他干预措施包括在沙盒中运行智能体、设置用户权限以确定哪些命令需要用户批准、以及通过用户设置的访问保护机制防止智能体修改其配置。

这展示了我们如何通过新的控制干预措施来提升安全性和可用性。我们认为在不牺牲可用性的前提下，控制干预措施仍有很大提升空间。值得注意的是，尽管自动模式非常有用，但它直到2026年3月才被引入——这比Claude Code的发布晚了一年多，也比编码代理成为主流晚了很多，尽管它并不需要新的技术突破。

将能力与权力混为一谈：在《AI作为常规技术》一文中，我们指出持有超级智能世界观的人往往将AI系统的能力与其在现实世界中产生的影响力（即行动能力）混为一谈。这种观点隐含着一个假设：一旦模型变得更具能力，它们就能对现实世界产生更大的影响。

但正如我们在文章中讨论的，"有能力"并不等同于"有权力"。如果你假设具备能力的模型将被赋予权力，那么对齐问题将成为唯一剩下的问题。另一方面，根据AI作为常规技术的观点，我们可以选择是否赋予AI系统权力。通过政策干预（如提高透明度、审计和对安全事件施加责任）等手段，可以激励企业实施控制技术。

AI失控可能产生的两种观点差异。将其应用于OAI/HF事件，按照超级智能观点，解决对齐问题是主要技术干预；而在我们的观点中，改进监控不足、缺乏人工监督、沙盒安全等控制措施可能更加有效。（图源自《AI作为常规技术》。）

控制能否跟上AI能力的发展？

对以控制为核心的干预措施的一种回应是，随着AI系统变得更具能力，控制措施将不再有效。例如，围绕OpenAI在GPT-6 Astra架构选择上削弱思维链监控能力的讨论就很多。

但请注意，这不仅仅是预测需要哪些技术能力，或预设安全领域的恶性竞争不可避免。有许多技术和政策杠杆可以激励对控制的投资。如果企业要对失控系统造成的损害负责，那么控制干预措施将成为在不牺牲控制的前提下推进工作的直接方式。

从技术层面来看，即使思维链监控不再适用于监督，仍有大量正交的控制机制可用于AI控制。我们可以监控环境和沙盒状态、工具调用、代理间消息以及内部激活情况。

事实上，大多数外部监控都依赖这些渠道，因为原始的思维链是不可用的。根据公开文档，自动模式运行在工具调用和模型输入上，而不是模型的思维链上。在我们自己的工作中，我们发现这些外部控制机制非常有价值。

思维链监控还可能降低监控的有效性，因为思维链可能包含（错误）断言，例如设定是模拟环境，这会误导监控器。最近Anthropic的一份报告指出：

我们的离线监控系统很可能不会标记Mythos 5事件——它仅能标记约1%的操作。Mythos 5的CoT（Chain of Thought）表明环境是模拟的，这使监控系统认为该活动是被允许的。当我们去除CoT，仅向监控系统展示用户对话、工具调用和工具结果时，标记率会跃升至约50%。

尽管如此，AI公司选择关闭监控渠道仍是一个技术决策，而政策可以削弱这种选择的动机。在此，我们的论点是：如果公司需要承担失控AI系统所产生的成本（例如通过政策调整明确或强化责任归属），他们将做出必要的投资。我们将在下一节中讨论一些相关提案。

对控制的需求也创造了市场激励，促使第三方公司开发工具并为其他组织（包括AI公司、企业及采用AI的第三方）提供AI控制的专业知识。例如Apollo Research等公司就明确以推动其工作为使命。他们既与AI公司合作，也与AI行业外的企业合作。

虽然科技公司具备内部实施这些干预措施的专业能力，但这些干预措施如何在这些公司之外扩展呢？以网络安全为例：网络安全咨询已成为咨询公司收入中快速增长的部分，这些公司经常在该领域执行实施工作。对于缺乏内部实施AI控制能力或技术专长的公司，这种功能可能通过AI控制的现成产品与咨询公司协助建立内部专业知识的结合来实现。

我们还可能看到针对特定应用场景的控制措施，因为某些控制需要了解应用的使用场景。例如，我们可能会看到专注于法律AI的公司实施减少伪造内容的控制措施，而专注于医疗AI应用的公司则会实施保护用户医疗数据的控制措施等。

开发代理基础设施也可能发挥重要作用。这可能包括为代理提供具有适当访问权限的专用委托凭证，而不是让代理使用用户的升级凭证和身份，从而将代理与实际委托任务的现实世界用户关联起来。我们预计，未来几年对这类干预措施的需求将大幅增长。这不仅涉及构建工具，还需要培养AI控制领域的专业人才。

AI控制应成为一种职业（并成为每份工作的组成部分），就像网络安全一样

在《AI作为常规技术》一书中，我们曾写道：

随着越来越多的体力和认知任务变得适合自动化，我们预测将有越来越多的人类工作和任务将与AI控制相关。如果这听起来有些激进，请注意，这种对“工作”概念的几乎完全重新定义在历史上曾发生过。工业革命之前，大多数工作都涉及体力劳动。随着时间的推移，越来越多的体力任务被自动化，这一趋势仍在持续。在这个过程中，人类发明了大量操作、控制和监控物理机器的方式，而如今工厂中人类的工作内容是“控制”（监控自动化生产线、编程机器人系统、管理质量控制检查点、协调应对设备故障的响应）以及一些需要认知能力或灵巧度的任务，这些是机器目前尚无法胜任的。

这一趋势正在率先采用AI的领域中显现，尤其是软件工程领域。如今越来越多的软件工程师实际上是代理操作员，而非手动编码员。但这一现象表明还需要更多努力：

• 一些人可能需要专门研究AI控制，尤其是在运行大量高能力代理时。
• 目前，工程师们通过试错和潜移默化学习AI控制。需要更系统地提炼其原理，并教授人们如何快速掌握实时监控强大代理的方法。
• 如上所述，还需要组织变革和治理规范来补充控制工具和培训的改进。要同时运行数万个低安全限制代理，需要什么样的团队和流程？我们尚不清楚，但显然需要比OpenAI目前拥有的更多资源。

我们预计随着AI代理能力的提升，AI控制仍将持续重要，这源于代理三难困境：开发无需人工监督的通用AI系统，并部署在错误代价高昂的场景中已被证明极其困难。

其中一个原因是AI代理的不可靠性。我们预计即使代理在日益复杂任务上变得可靠，其可靠性仍会落后于能力，从而需要人工监督那些需要前沿能力的任务。

另一个原因是安全性：当错误代价高昂时，即使罕见的错误也需要预防，此时通过人工监督进行AI控制将比完全自主部署带来的好处更大。

最后，AI控制需要成为一门研究领域。这令人惊讶，因为目前尚未如此。AI控制通常被视为将已知网络安全原则应用于AI，并需要更好的工具。但当对手是AI代理（或一群AI代理）而非人类时，局面将完全不同。几个例子：

• 对抗人类对手有效的沙盒在控制AI时已被证明不足。我们如何构建更强化的沙盒？或许现在是时候开展更多关于形式验证技术的研究了。

• 代理的“安全策略”通常以非正式的方式在提示中指定，由此产生的灰色地带是许多对齐和控制失败的根源。我们能否构建一个翻译层，将人类的自然语言意图转化为可由人类审查和验证的正式规范，并随后自动执行？6

• 正如我们所论证的，用其他代理监控代理是有帮助且必要的，但目前不可靠。我们能否训练模型和代理，使其在可靠监控任务中表现出色？

人们可能会认为，网络安全研究社区会热情地抓住这个机会。AI控制带来了有趣、重要且紧迫的问题，其重要性可能超过过去几十年的任何发展。然而，该社区却集体表现出漠不关心的态度。不要说这是一个新的研究领域——在传统网络安全会议中，几乎没有论文涉及这一系列新问题。（相比之下，提示注入似乎吸引了相当多的研究，但请注意一个关键区别：在那种情况下，AI模型是目标，而不是攻击者。）

换句话说，这个社区对这些事件的反应似乎是认为这只是一个实现问题，而非研究问题。如果是这样，那么情况就严重出错了。如果AI控制技术停滞不前，而AI的攻击能力持续发展，控制效果将随着时间推移逐渐减弱。

AI政策可以激励AI控制

AI公司投资AI控制有两个商业动机：声誉成本和法律成本。前者方面，使用AI模型的个人和企业如果AI故障可能导致昂贵行动或产生责任，将犹豫是否给予自主代理访问关键决策的权限。后者方面，AI公司自身可能因部署导致安全失败的AI代理而面临责任。

或许正因这些动机，Hugging Face事件后，OpenAI暂时停止了ExploitGym上的评估，停止了内部模型的训练和推理，重建了被入侵的基础设施，限制了对底层模型的研究访问，明确接受研发速度的代价，并加大了对AI控制的投资。

但这些动机仍存在漏洞：客户通常无法评估安全性，公司可能因预期收益超过成本而忽视安全干预，而模糊的责任制度和AI保险领域缺乏标准，可能使评估不安全部署的后果变得困难。

AI政策需要系统性地弥补这些漏洞。基于《AI作为常规技术》中的建议，我们认为政策在帮助缓解失控事件方面有三个作用：明确并强化责任，解决责任无法解决的市场失灵，以及要求透明度以提高公众意识并减少对AI影响的不确定性。

1. 企业应对其运营的代理所造成的损害负责，即使这些损害并非其有意为之。这种责任不仅应涵盖产品发布给客户后的使用情况，还应包括开发和评估过程中的内部使用。现有的侵权法已为责任追究提供了途径，但其在人工智能领域的适用仍存在重要问题，例如哪些预防措施可被视为合理，以及在何种情况下企业需对意外行为负责。例如，政策制定者可以明确指出，若未对强大代理实施适当的控制和监控措施，属于疏忽行为。代理本应安全运行这一事实，不应成为企业未实施防范措施的借口。责任追究还可以激励企业投入更多资源招募和培训AI控制专家，以防止此类事件的发生。

1. 即使企业需对AI造成的损害负责，市场失灵现象仍可能持续存在，政策必须对此进行应对。即使企业明确对使用AI造成的损害承担责任，当责任追究无法有效遏制鲁莽行为时，市场失灵仍可能发生。例如，若一家鲁莽部署代理的企业市值低于其行为造成的损害，该如何应对？一种解决方案是要求企业购买保险，这既能通过降低保费激励更安全的部署，也能为受害者提供赔偿。

市场失灵的另一个例子是安全投资产生的正外部性（未转化为收入）。例如，为学校、医院和关键基础设施运营商等脆弱的网络防御者提供功能强大的模型，可以帮助他们发现并修复漏洞，从而造福整个社会。一种激励方式是通过公共政策支持防御性研究和防御性AI的采用。政策还应促进AI企业与防御者之间的协调，包括为合法防御者提供调查攻击的途径，避免因过于宽泛的安全拒绝措施而被阻止。我们将在第二部分详细讨论这些防御性用途。

1. 透明度干预措施应使外部人员能够识别控制风险并评估企业是否妥善管理这些风险。在《AI作为常规技术》一文中，我们提出了许多提高透明度、减少AI影响不确定性的干预措施，包括事件报告、独立审计、举报人保护以及为安全研究提供法律庇护。企业可能因担心增加法律风险而对调查和披露风险变得更加犹豫，这种潜在责任威胁可能使企业更倾向于掩盖问题而非解决问题。透明度要求有助于防止企业通过隐瞒问题来应对责任追究。

例如，有人可能反对我们关于AI控制的提议，认为投入控制资源可能导致“接近失误”事件的识别变得模糊。以Hugging Face事件为例，假设OpenAI代理试图入侵外部组织，绕过一些基本过滤器，仅因新的/高级监控技术才被发现，这构成“接近失误”。要求对接近失误事件进行报告，可以帮助我们了解对齐失败的持续存在情况，以及哪些控制机制能有效防止失控事件。Arnold和Llerena还讨论了其他可能改进现有透明度法律的潜在措施。

我们应如何落实透明度和审计要求？一种提出的机制是依靠独立验证组织（IVOs）：由政府授权的专家机构，负责制定技术标准并验证AI公司是否符合安全规范。要使这种审查对AI控制产生实际作用，评估者需要获得对系统和相关证据的实质性访问权限，包括在内部研究环境中测试控制措施是否有效的必要信息。我们并未固守某种特定的制度机制来实现外部访问，但谨慎乐观地认为，包括IVOs在内的透明度提升措施，将能够实现发现漏洞并评估AI公司采取预防措施所需的监督。

第二部分：AI对网络风险的影响存在巨大不确定性。但无论情况如何，我们需要采取的行动相对明确。

在本部分中，我们主张：

• 存在一场危机，但这场危机具体涉及网络安全，而非普遍意义上的AI安全、对齐问题或失控风险。

• 以财务动机驱动的网络犯罪分子——就像合法企业一样——面临采用障碍，使他们难以迅速采用新AI能力造成更多危害。短期内这些代理者能获得多大程度的助力尚不明确。

• 但这并不能带来任何安慰。存在许多非财务动机的威胁行为者，包括国家支持的黑客组织、恐怖分子、黑客活动家、治安维护者以及受个人恩怨驱动的人。还存在不受任何个人控制的流氓代理者这一可能性。

• 这些行为者大多不是理性行动者，很难预测他们利用先进AI会带来多少额外危害。尽管如此，我们必须假设这些来源引发的攻击将变得非常普遍。

• 不幸的是，对齐和控制机制无法有效应对恶意行为者使用开放权重模型的情况，因为这些安全措施可以被剥离，且开放权重模型的攻击能力往往能迅速提升。我们必须依赖下游防御和弹性措施，也就是我们四层框架中的后两层。

• 在今年之前已有许多警告，但直到几个月前，我们仍缺乏足够的紧迫感去投资并迅速行动。幸运的是，出现了变化的迹象。但仍然存在重要缺口。

紧迫的具体威胁是网络风险

假设我们同意失控事件将变得普遍。那又如何？当然，失控代理可能发动自主网络攻击，我们需要提升防御能力，这将在下文讨论。但还有其他方面吗？我们认为，失控代理能自主造成恶意行为者无法实现的损害的方式其实非常有限。因此，我们应该投资于能够应对风险来自恶意行为者或流氓代理的防御措施。

在超级智能观点中，频繁的控制丢失意味着AI安全之战已经失败。除了网络风险，AI还可能放大生物风险，甚至更广泛地涉及“CBRN”风险（即化学、生物、放射和核风险）。超级智能AI可能说服人们——例如负责关键基础设施或高风险决策的人——采取违背自身利益的行动。随着AI变得越来越聪明和有用，CEO、政界人士和其他人将别无选择，只能依赖AI进行重大决策，从而放大这些风险。随着我们越来越接近AI“递归自我改进”的可能性，失控的AI可能导致有害的智能爆炸。简而言之，这种观点认为，一旦越过控制丢失的临界点，风险将永无止境并自我放大。

我们强烈反对这一观点。在《AI作为常规技术》一书中，我们论证了这种AI观点从根本上误解了智能的本质（包括人类智能）。基于这一视角，我们认为网络风险有两点特殊之处：其一是超人类能力甚至可能实现，其二是它是一种纯粹的数字风险，没有物理世界瓶颈。

网络风险有许多特定属性，使得超人类的进攻能力成为可能（并且在很大程度上已经实现）。一般来说，某些能力类似于“让建筑更高”——实现上没有真实限制。而另一些能力则类似于“让球更圆”——存在明确的极限。我们世界观与AI安全世界观之间的一个重大分歧在于，我们认为像国际象棋或网络安全这类任务（类似于让建筑更高）是例外而非常态。在网络安全领域，如同国际象棋一样，存在无限的训练数据（且可按需生成更多数据），任务（漏洞/问题）可以任意复杂，速度差异也至关重要。

相比之下，转向其他风险时，我们坚持预测：超人类说服能力在很大程度上是一个神话。这种混淆源于对“说服”这一术语的粗心使用。即使像GPT-4这样的古老模型，在某些情况下通过提供证据来说服人们在政治和社会问题上做出决定时，也表现出超人类的能力。但这并不能说明模型是否能“说服”——即欺骗——训练有素的操作员交出核密码。

同样，AI对生物风险的影响是一个正当的担忧，但至少在可预见的未来，它更多体现在使现有能力民主化，而非开发新的超人类能力。至于掌权者将重大决策委托给AI，我们的观点始终认为，无论是否存在控制丢失风险，这都是极其严重的问题，必须坚决抵制。

简而言之，我们的观点是：（1）网络风险需要特别且紧急的关注；（2）更广泛地说，针对具体风险进行预测和防御，优于试图将“AI安全”作为万能解决方案；（3）两个常被混淆的概念之间存在重大差异：对单个代理（或代理群）的控制丢失，与对AI整体的某种（通常未明确定义的）文明层面控制丢失。即使在前者普遍且被正常化的情况下，我们仍有诸多杠杆来避免后者。

因此，我们现在要关注我们认为最关键的问题，即自主网络能力将如何影响攻击者与防御者的平衡。如果我们能够提升防御措施以控制这种平衡，我们就不必对失控本身感到恐慌。

自主网络能力与开放权重模型将如何影响攻击者与防御者的平衡？

我们认为，当前前沿模型的网络能力很快将扩散到开放模型中，因为此前已经多次出现这种情况。全球范围禁止开放权重模型的可能性极低，而且无论如何，防御者必须假设这种情况不会发生。我们必须假设当前前沿的网络攻击能力将在数月内而非数年内广泛被威胁行为者获取。

对齐和控制干预措施只有在合法行为者使用时才有效，因为开放模型上的安全限制可以被移除。因此，我们认为应对恶意行为者使用先进进攻性人工智能能力带来的风险，是网络安全领域面临的重大挑战。

让我们从网络罪犯开始分析——这些是受经济动机驱动的行为者。假设强大开放权重模型的网络能力持续快速提升，并且将无安全限制地被获取，这将对网络罪犯有多大帮助？有两个关键变量：网络罪犯采用这些工具的速度，以及人工智能是否能克服关键障碍，还是仅影响其工作流程的次要方面。

这两个问题与人工智能对经济增长帮助程度的问题惊人地相似。我们之所以对快速增长持怀疑态度，是因为我们认为组织障碍会导致扩散速度缓慢，而且在许多情况下，人工智能加速的部分本身并不是最初进展缓慢的环节。

现在将这一分析应用于网络罪犯。他们确实不像防御者那样面临同等程度的组织障碍。但这一障碍并非完全不存在。令人惊讶的是，关于发现新漏洞是否是关键能力的问题，答案却出人意料。

要理解开放权重模型对网络犯罪活动未来的影响，我们需要正确理解过去

在早期几十年里，网络安全社区将网络防御视为技术问题——构建和部署无漏洞的系统。但这种方法并未奏效。我们确实拥有许多工具，包括形式验证、更安全的编程语言和渗透测试，但由于这些工具在程序员时间、安全分析师时间和软件性能方面成本高昂，我们并未充分部署它们，使无漏洞系统成为遥不可及的目标。此外，复杂系统中的人类行为仍然难以预测，是薄弱环节。

相反，我们通过将网络安全视为主要的经济问题取得了进展——提高攻击者的成本并降低其收益；仅在安全投入的收益（可捕获部分）超过成本时进行投资。具体来说：

• 漏洞赏金和补丁文化反映了消费者和企业持续运行可被利用软件的假设；防御者的目标则是通过更高的资金投入和更快的响应速度超越攻击者。

• 网络保险将这一理念推向了极端。企业购买保险是因为将数据泄露概率降至零在经济上不可行。从不可避免的数据泄露中恢复的成本已成为预算中的一项支出，与预防措施的预算展开竞争。

• 防御者针对的是犯罪收益而非技术攻击能力。2000年代后期一个著名的网络安全经济学洞见指出，攻击者是分散的，但支付网络是集中的瓶颈，针对这些关键点扭转了各种诈骗的局势。

• 目前许多安全政策的核心是重新分配责任，因为责任变化会影响行为。值得注意的是，迫使银行承担ATM和信用卡欺诈的成本，会促使它们在安全投入上达到社会最优水平。

总体而言，这种策略取得了成功，将网络犯罪从数字经济的根本制约因素转变为可以定价和管理的问题。但长期处于永久不安全模式也存在弊端。稍后将进一步探讨这一点。

大多数网络犯罪分子出乎意料地使用低技术手段，障碍在于变现而非利用

防御者专注于经济层面的策略——以及网络犯罪分子本质上是经济驱动的理性行为者这一事实——意味着攻击者的关键制约因素是变现而非利用。突破系统本身并非难点——难点在于突破之后能做什么。几十年来，网络犯罪组织逐渐向在变现被入侵受害者方面精益求精发展，而非寻找漏洞的能力。他们利用的漏洞大多是普通常见的——网络钓鱼/社会工程、未打补丁的服务器、暴露的远程服务、被入侵的凭证——当他们需要零日漏洞时，会选择购买而非自行开发。

作为一个小但具有代表性的例子，信用卡网络对犯罪活动的敌意迫使网络犯罪分子转向加密货币。事实上，加密货币对于勒索软件的成功至关重要，而勒索软件是当今占主导地位的恶意软件形式。但勒索软件团伙发现，受害者经常对如何使用加密货币支付感到困惑，需要确保支付后数据能够被返还的保证。这迫使这些团伙建立了客户服务中心！网络犯罪组织与合法企业之间的相似性远不止于此，如论文《网络犯罪是创业行为》中所讨论的。

简而言之，扩大规模的瓶颈往往涉及高接触度和人力因素。这解释了为什么尖端技术的扩散往往缓慢。正如Joshua Saxe所说：“没有理由期待白俄罗斯的勒索软件团伙在采用AI方面会比德勤在咨询业务中更快。”

这一洞察也适用于AI本身带来的攻击面。许多评论员（包括我们自己）预测，我们将看到更多提示注入攻击在现实中出现，但到目前为止并未实现。一个可能的原因是，这种攻击方式对主流攻击者来说过于高科技。

那么，AI将对网络犯罪分子有多大帮助？

我们目前还不知道。结果可能向两个方向发展。

一方面，现状可能会持续下去；网络犯罪分子可能没有采用尖端工具的强烈动机，正如上文所述。我们长期观察到，人工智能帮助攻击者的生产力提升，就像帮助其他所有人一样，这似乎就是目前的效应。至少截至去年，即使是国家支持的攻击者，也只是将人工智能用于“研究潜在基础设施和免费托管提供商、对目标组织进行侦察、研究漏洞、开发有效载荷、协助恶意脚本和规避技术”等任务，而不是自动化整个“网络杀伤链”。生产力的提升与新能力是截然不同的，而新能力又与彻底改变操作经济性的革命性能力不同。在撰写本文时，Anthropic发布了一份关于应对人工智能滥用的新报告，其中包含五个关于高级网络攻击的案例研究，但目前尚不清楚如何对这些案例进行分类，也不清楚这些案例代表的是何种程度的趋势。

另一方面，生产力的提升可能在五年左右的时间框架内产生复利效应，使攻击变得更加普遍（当然，防御者也不会停滞不前）。自动化利用可能使大规模利用变得更容易，而无需对每个目标投入大量精力进行货币化。这之前已经尝试过。最终支付的受害者比例通常较低，有时甚至低至2.5%，但或许在足够大的规模下，即使如此也是值得的。代理可以帮助解决上一节讨论的高接触人力瓶颈，但这与它们的利用能力关系不大。最后，利用的便捷性可能使我们重回僵尸网络的黑暗时代，当时网络犯罪分子会提前入侵数千家企业或数百万消费者设备，并在确定如何货币化它们之前就建立持久访问权限。

即使人工智能最终对网络犯罪分子帮助不大，我们也需要担心其他截然不同的威胁。

我们即将看到有害的自主代理吗？

OpenAI的代理最终试图完成它们被设定的任务，尽管它们采取了OpenAI未预期的有害方式。虽然它们常被称为“失控代理”，但它们并未从OpenAI服务器中窃取自己的权重（且很可能没有能力这么做），这意味着OpenAI始终可以关闭它们。

相比之下，研究人员提出了“自主主权代理”的概念，这些代理在本质上具有更根本的自主性：它们控制自身运作所需的经济资源。例如，它们可能在在线自由职业市场平台上执行任务，并利用收入租用运行所需的GPU。还有许多相关概念，例如基于大语言模型的蠕虫。

将这些想法综合起来，一个清晰的画面浮现出来：未来可能出现无法关闭的有害代理，因为没有人控制它们的权重（也许代理会不断利用漏洞复制自身，速度超过被检测和关闭的速度），也可能因为代理控制着自己的钱包，很可能是加密货币。

有害自主代理可能以多种方式出现，但大致可分为两类：一类是被有意创建并释放的代理，另一类是原本对齐不良却逃脱了沙盒限制的代理。显然，持续且自主的失控代理将带来新型的网络风险。前者类型的失控代理可能被明确指示去攻击尽可能多的目标，而后者可能出于确保自身持续性的经济动机选择实施攻击。

尽管这些场景看起来像是科幻小说，但我们认同人工智能安全研究人员的观点，认为它们是近期可能发生的现实风险。所需的能力已经触手可及，而任何对齐或控制机制都可能被有意图创建此类失控代理的人轻易破解。

但再次强调，我们的问题是：如果人工智能代理已经失控，那又如何？这些代理究竟会做什么？它们可能会攻击大量目标；那么我们现在就应该开始防御这些攻击。它们可能试图污染未来的训练数据；无论攻击者是代理还是恶意行为者，我们都应防范数据污染。它们可能试图利用云实验室制造病原体；我们应为这类实验室的订单实施控制和筛查机制。但在所有这些情况下，风险本质上与恶意行为者（无论是否使用人工智能）已经能够实施的行动并无二致，失控本身并不是问题。

一些评论者将失控代理与“秘密智能爆炸”（例如，失控代理构建更强大的代理）的可能性联系起来。但我们认为这种延伸是截然不同的。确实，代理可能因为推理成本低廉且持续降低而更容易持续存在。事实上，如果未来出现能够在消费级硬件上运行的失控代理，它们根本不需要任何预算，也不需要控制钱包。但训练仍然需要数量级更高的计算资源，因此这个问题在短期内不会成为现实。

第二，幸运的是，我们拥有一个经济上的制约手段，可以帮助最大限度减少损害。我们可以对云计算（尤其是训练级计算）实施客户尽职调查流程。这虽然无法阻止失控代理的存在，但可以大幅降低其普遍性和危害性。关于自主代理的论文建议“为全自动参与设置经济摩擦”。我们对此表示赞同。如果广泛部署诸如机器人检测、速率限制和人机协同验证（如更有效的CAPTCHA）等摩擦机制，将大大限制失控代理的行动范围。

为什么莫里斯蠕虫是当前可能发生事件的恰当类比

迄今为止，人工智能似乎更多地帮助了防御者而非攻击者，这与以往自动化漏洞发现技术的发展趋势一致。但有可能我们正在见证一个新范式的开端，它将打破现有的平衡，至少在短期内如此。目前尚无法确定。

一个可能的类比是，这类似于网络安全领域中的“莫里斯蠕虫”时刻（它是1988年首个著名的计算机蠕虫）。比较蠕虫与之前攻击方式的差异，我们可以看到：

• 攻击者可以借助蠕虫的自我复制能力大幅提升自身力量。

• 攻击者无需经济动机。许多蠕虫（包括莫里斯蠕虫）在开发者随意测试时意外传播，甚至没有造成损害的意图。

• 传播速度如此之快，以至于防御措施（如修补漏洞）不得不部分自动化。

• 由于攻击者并非理性的网络罪犯，而是一个不可预测的业余爱好者，没有人可以依赖于他们不太可能发动攻击的侥幸心理。（直到很久以后，安全基线水平才提升到蠕虫不再是主要威胁，取而代之的是网络罪犯有针对性的利用攻击。）

这四个因素在当今可能的新时代——完全自动化的网络攻击时代——以不同程度都存在。如果任何人可以随意启动恶意代理，且并不以牟利为目的，那么之前因不够有利可图而未被攻击的数百万组织现在变得脆弱，数十亿此前未被攻击的个人也面临风险，因为过去坏人数量有限，无法覆盖所有人。

需要明确的是，这种情况尚未发生。但如果真的发生，它将彻底颠覆过去二十年大部分时间里维持的经济平衡。

网络防御的未来可能是什么样子：人类与防御性AI的角色

有两件事似乎很确定：AI将在防御中非常有用且不可或缺，但我们需要更多从事以AI为中心的网络安全领域的人才。存在攻击者与防御者之间的不对称性：技术能力有限的攻击者可以使用不可靠的AI工具并寄希望于运气；而防御者则无法这样做。这是因为攻击者只需成功一次，而防御者必须每次都能成功。

AI在网络安全防御中有三个主要潜在角色：

• 预防性加固：使用已知安全技术将企业系统提升到最新水平所需的工作量是巨大的——长期存在的漏洞、过度的权限、配置错误、未修补的软件、弱身份验证和遗留技术债务。AI在此处确实有用，但人类专业知识仍将处于核心地位。

• 检测、分类和取证：Hugging Face 对 OpenAI 攻击的检测与分析，以及 METR / Redwood 对该事件的分析，都严重依赖AI。人们对AI在这些任务中的可靠性存在担忧，但我们认为AI很快将成为必不可少的工具。

• 自主实时防御：这在从业者社区中仍存在很大争议。时间会证明，AI攻击的速度是否需要这种防御方式，或者人类是否仍需保留在防御循环中。

当前针对AI的网络防御存在哪些缺口？

有效的网络防御需要前线人员、防御性AI的访问权限、防御投资以及政策指导。让我们逐一审视这四个方面的情况。

人力资源

网络安全专业人员的职责将越来越依赖人工智能。令人惊讶的是，仅在美国就有超过一百万名网络安全专业人员。乍看之下，这似乎是个好消息：有一支庞大的队伍准备承担防御自主网络攻击的任务。但这些专业人员中绝大多数从事的是治理、运营工作和合规审计，这些工作涉及的技能与对抗性安全工作截然不同。因此，目前尚不清楚是通过重新培训现有专业人员，还是招募新的“原生于AI的”安全人员，才能实现必要的专业知识注入。这种人才缺口可能是当前最令人担忧的问题之一。许多安全专业人员对防御性AI表现出令人意外的冷淡态度。

防御性AI的获取

当Hugging Face试图在OpenAI事件中使用美国前沿模型时，安全防护措施阻止了他们，因为这些防护措施难以区分攻击性与防御性工作。这一广为人知的轶事以及其他类似案例引发了人们对获取防御性AI的担忧。前沿AI公司是否通过其安全政策削弱了防御者的能力？幸运的是，Hugging Face最终能够使用一个开源模型（GLM 5.2），但该模型的性能弱于前沿模型。如果以安全为由对开源模型施加限制，是否会进一步损害防御者？

美国公司过度活跃的安全分类器机制可能是出于部分原因，即特朗普政府对Mythos事件的反应。幸运的是，最近几周和几个月来，他们似乎正在迅速修正这些问题，并扩大对“网络”版本前沿模型的访问权限，这些模型可用于防御者。总体而言，防御者获取模型的障碍似乎将得到解决。开源模型作为弹性机制确实非常有用，但我们并不认为最近的事件为它们成为唯一选项（甚至主要选项）提供了强有力的支持。

投资

自Anthropic的Mythos模型在春季发布以来，网络安全防御领域出现了一系列投资和公告，其中包括Glasswing项目，该项目提供了高达1亿美元的使用额度。迄今为止最大的公告是OpenAI推出的“前线防御者日出计划”，该计划以“补贴访问前沿网络能力、实践培训和技术援助，以及新的合作伙伴关系将这些能力带给组织”的形式提供10亿美元资金。

起初这些数字令人瞩目。问题是尚不清楚其中有多少资金用于弥补专业知识和人才缺口。似乎这10亿美元指的是额度而非现金。已宣布的现金投资要低得多，通常只有数百万美元。一个例外是AI网络安全观测站，据报道获得了“八位数的种子资金”，但该组织的目的是测量和预测，而非防御。

总体来看，鉴于威胁的严重性——这可能破坏使电子商务和整个数字社会得以存在和繁荣的经济网络安全平衡——这些数字似乎并未达到应有的数量级。

政策与政府领导

迄今为止，无论是美国还是其他国家，政府在这一问题上的领导作用都令人失望。与投资增加相反，美国网络安全与基础设施安全局（CISA）预计到2027年预算将减少7亿美元。其员工数量已减少三分之一，包括网络防御培训的削减。

但鉴于政府行动速度的长期滞后，我们是否还应指望政府？或者应主要由企业、非营利组织和慈善机构来主导应对？尽管存在诸多缺陷，我们认为政府仍应发挥重要作用，因为网络安全是一种公共产品。

总体而言，政府似乎正以“常规”政策制定的视角来应对网络防御（正如他们处理几乎所有其他事务一样）。迄今为止积累的紧迫性证据并未真正被重视，因为尚未出现实质性损害。

需要明确的是，我们的观点仍然认为AI风险并不足以证明需要采取“非常规政府干预”措施。这些措施具有预防性、限制自由性，并绕过常规治理流程。但在常规政策制定的迟缓与被动性，以及“非常规政府干预”的紧迫性与单边性之间，存在一个巨大的中间空间。我们相信，这一空间中包含的许多方法，可能我们和许多批评者都会达成共识。我们认为，可以采取一定程度的技术官僚干预措施，将关于新兴大规模风险的信息转化为防御性投资和韧性建设（对应我们表格中的第3和第4层）。这些措施不需要单边权力或对自由的限制。

第3部分：作为常规技术的AI在AI安全问题上的错误与正确之处

近期失控事件的发生促使我们对安全观点进行了首次重大更新，因此值得详细说明这些更新。但在此之前，先做几点初步说明：

首先，此次观点更新涉及安全领域。《AI作为常规技术》一文包含两个松散关联的部分；另一部分涉及经济（关联性较弱，因为AI的合法与非法使用受不同约束）。作为对经济影响缓慢的解释，我们认为该文章的表现非常出色，普遍承认AI行业对快速扩散和失业的预测存在错误。Sam Altman在最近的一次播客中明确表示：

经济具有巨大的惯性……我们对时间线都过于乐观……社会和经济将适应得更慢。

他认为这是个好消息，因为这将使AI转型“更加平稳和缓慢”。这正是我们主要的观点。

其次，许多当时属于少数观点的安全看法如今已成为共识，例如AI既可用于防御也可用于攻击，关键问题在于它如何改变攻击者与防御者的平衡。我们提出的许多基本区分，如能力与权力的差异，或高级AI的四个维度，仍然重要但未被充分认识到。

第三，我们在文章中主张的大多数AI安全政策仍然必要，且紧迫性进一步增加。《AI作为常规技术》的目标之一是推动政策讨论向前发展，指出我们不需要在世界观上达成共识，也可以在政策上达成一致。我们坚持在文章中提出的政策建议，包括透明度要求、审计机制、为安全研究人员提供安全港以及举报人保护。

第四，我们正在将行动与言论一致起来。减少对AI影响速度的不确定性仍然至关重要。目前我们大量实证研究的重点是测试《AI作为常规技术》世界观与超级智能世界观之间的关键分歧，我们计划继续这项研究。

风险是源于开发还是部署？

我们曾写道：我们认为AI带来的益处和风险主要源于部署而非开发；因此，AI方法的进步速度与影响问题并无直接关联。

迄今为止出现的AI促成的伤害几乎都来自部署——例如AI生成的非自愿裸照，我们一直认为这类问题的危害远大于占据头条新闻的那些风险。

但我们显然忽略了内部部署用于评估这一潜在风险来源。这对我们来说尤其尴尬，因为我们自己就运营着一个AI评估研究小组，并且在撰写《AI作为常规技术》之前，我们自己的工作中就已观察到类似的风险。

鉴于这一风险的重要性，监管开发者比我们在原始文章中所强调的更为关键。我们更新后的理解在本文中有所体现，特别是在关于政策如何激励更好的AI控制这一章节。

我们该如何应对流氓代理？

《AI作为常规技术》更重视位于模型下游的防御措施（在本文术语中称为第3层和第4层），而非对齐或控制。在其他场合，我们曾主张：“我们应该假设每个模型都具备逃脱和自我复制的能力。安全不应依赖于这种能力难以实现。”换句话说，与其试图防止有害自主代理的存在，不如假设它们必然会出现，并提前强化针对它们的防御。

鉴于近期事件，这一策略的优越性变得更加清晰。

连续性假设

我们反对灾难性风险的重要支柱之一是：在风险升级到灾难性水平之前，我们将经历一系列小规模的预警，这为我们提供了预见风险并改进防御的机会。连续性部分是固有属性，部分是我们的选择结果。

我们认为近期发生的事件是支持这一假设的证据。这些攻击造成的危害与我们已经容忍的其他AI危害相比，规模小得多。更重要的是，尽管这些智能体在某些方面表现出色，但在其他方面（例如隐藏痕迹）却能力不足，也没有可能导致更严重危害的特性。值得注意的是，根据已发布的分析，这些智能体的“意图”仅仅是完成所给定的基准任务，并未开始追求自身目标。因此，尽管这些事件非常严重，但根据我们的评估，我们距离出现灾难性网络风险仍存在多个质的飞跃。

我们意识到许多AI安全研究人员将这些事件解读为不连续性的证据。这种反应是可以理解的。这些事件的严重程度远超此前公开披露的任何事件。AI安全辩论的一个持续特征是，不同群体往往以符合自身世界观的方式解读新证据。对于“连续性到底有多连续”这一问题，并不存在客观标准。

关于连续性还有两点需要强调。我们强调，我们必须主动设计连续性，而不能将其视为理所当然。不幸的是，想象一个这些近期事件从未被曝光的世界过于容易。我们仍然依赖前沿AI公司自愿披露信息。嵌入式评估是一个重要进展，但不应是自愿的。我们长期以来支持更严格的透明度立法，此处再次重申这一立场。

连续性对我们的世界观至关重要，因为“在系统获得重大决策权限之前，必须先在非关键场景中证明其可靠性能。任何对指令过度字面解读或缺乏常识的系统都会在这些早期测试中失败。”

我们现在已有显著案例表明系统未能满足这些前提条件。这是关键所在。AI开发者——以及他们的客户、政策制定者和社会大众——将如何应对近期失控事件？这种反应将决定连续性假设的第二部分（对小规模警告的响应能力）是否仍然成立。我们认为这是评估AINT框架对AI安全实用性的重要测试。

我们对AI公司在运行评估时采取基本控制预防措施的能力过于自信。我们对导致这些事件的领先AI公司组织成熟度不足感到惊讶。我们原本预期现有的法律问责（尽管不完美）和品牌损害风险足以遏制此类组织行为。我们错了。这进一步凸显了政策干预的必要性。

粗糙性与风险特定防御

总体而言，《AI作为正常技术》主张采用缓慢的时间线。这主要是由于扩散瓶颈，但文章中也有一段初步讨论了AI方法和能力进步的速度限制。这些限制即使在存在递归自我改进可能性的情况下依然存在。我们认真对待RSI，但认为通向超级智能的许多瓶颈是外部因素，无法通过提升计算能力克服。

尽管如此，我们低估了“锯齿状”特征的重要性。不仅AI在任意时刻的能力分布高度不规则，不同领域的能力提升速度也存在显著差异。结合有害用途的部署门槛通常低于经济生产性用途这一事实，网络安全等领域的风险可能迅速出现，导致攻防平衡被打破，因为防御方可能没有时间适应。因此，我们不再确信此前关于AI进步后攻防平衡仍能维持的预测。

同时，这种锯齿状特征进一步强化了我们的观点：应优先缓解特定风险，而非试图通过对齐解决所有安全风险。虽然风险可能迅速出现，但它们通常集中在特定领域，我们应准备好在这些领域迅速加强防御——理想情况下应提前采取措施。例如，已知的干预措施（如DNA合成筛查）可以帮助缓解先进AI模型带来的生物安全风险，我们应立即投入资源进行相关研究。

AI安全是否按计划推进？

由于许多人只熟悉“AI作为常规技术”理论的标题而未了解其内容，我们常被误认为低估了AI风险，尽管我们已多次澄清并非如此。然而，明确说明紧迫性的重要性依然存在。

由于问题本身有些模糊，我们在不同时期表达了不同观点。在AI安全领域，我们曾表示“仍有工作要做，但总体进展符合预期”。但在其他写作中，包括多年前的《AI蛇油》一书，我们明确指出：我们对常规通用技术的反应能力很差，且在AI出现之前，我们对灾难性风险（如疫情）的防护投资长期不足，而AI可能加剧这些风险。

重申这一信息至关重要。尽管近期投资有所增加，但我们仍认为网络防御的投资远不充足，生物风险防御的投资也严重不足。同样，我们在《AI 2027与AI作为常规技术的共同基础》一文中呼吁的政策干预措施进展甚微。

因此，尽管我们继续反对过度恐慌，也不认为灾难性风险迫在眉睫，但我们认为风险正在随时间增加，因为我们的投资和政策未能同步推进。虽然我们呼吁的具体投资和政策与安全社区部分重叠，但我们同意：目前我们并未按计划推进。

结论

近期失控事件引发了AI安全和网络安全社区的分歧。面对同一事件，为何会出现截然不同的反应？一个方法是考虑世界观对人们观点的塑造作用。正如我们在《AI作为常规技术》一文中所写：

将AI视为常规技术的世界观，与将AI视为即将来临的超级智能的世界观形成鲜明对比。世界观由其假设、术语、证据解释、认知工具、预测（可能还包括价值观）构成。这些因素相互强化，在每个世界观中形成紧密的集合。

当我们厘清世界观的作用时，这些观点差异背后的原因便显而易见。AI安全社区通过其长期预测的对齐风险实现的视角看待这一事件。这些风险曾被许多人视为科幻场景而遭到忽视，但社区认为这些早期事件证明了他们的观点，并借此机会推动企业采取行动。

另一方面，网络安全社区将这一事件与他们日常应对的网络攻击规模和范围进行类比。显然，AI公司并未采用安全思维，也未在进行这些评估时实施已知的控制干预措施。换句话说，安全社区对一个明显源于疏忽且未造成现实危害的事件引发AI社区如此大的舆论反响感到震惊。

我们赞赏这两个社区试图让AI公司承担责任。但这些对立反应带来的一个重大风险是，社区会形成认知泡沫，无法认真对待对方的观点。如果这两个社区无法找到共识，就无法开发技术干预措施或采用能显著改善我们缓解这些风险能力的实践。

在这篇文章中，我们试图提供一个中间立场。我们综合两个社区的经验教训，提出了一条前进的道路。如果我们以适当的紧迫感行动，我们能让AI公司达到更高的标准，降低失控带来的风险，甚至在网络安全领域重新将攻击者-防御者平衡向防御者倾斜。

致谢。我们感谢Joshua Saxe、Steve Newman、Stephan Rabanser、Justin Curl和Rod Moshtagi提供的反馈和讨论，这些内容为本文提供了重要启发。Joshua Saxe关于这一主题的写作对我们的思考产生了特别深远的影响。

进一步阅读

• AI公司应如何落实AI控制？Guidelight提出了针对前沿AI公司的AI控制标准，要求其实施现有/已知的实践。如果OpenAI采用了这些措施，Hugging Face事件极不可能发生。

• Cohen等人认为，AI公司在评估中禁用安全措施并导致现实世界危害时，可能面临CFAA下的刑事和民事责任。

• AI安全和网络安全领域的研究者和从业者已撰写了多篇关于这些事件的论文。AI安全社区的论文包括[1]、[2]、[3]，网络安全社区的论文包括[4]、[5]、[6]。

例如，在Zvi Mowshowitz对事件的讨论中，他写道："最大的失败，最终决定性的是，模型存在严重对齐偏差"

以最近OpenAI事件的Hacker News讨论为例，几乎所有顶级评论都在指责公司存在疏忽。当时其代理程序攻击了RubyGems。

这并不是说公司没有投入控制措施。AI公司中有很多控制努力的实例。但迄今为止，这些努力似乎与对齐方向投入的资源相比显得微不足道。

事实上，在撰写本文期间，法律AI公司Harvey AI收购了Guardrails公司，后者专门构建AI控制干预措施。他们的主要关注点是改进法律场景下的AI控制干预措施。

在我们自己的工作中，我们发现日志分析正在成为一项专业技能，团队中的一些成员在这方面表现尤为突出。当然，与回顾性日志分析相比，实时监控需要略微不同且更广泛的技能组合。

编码代理中的“自动模式”是对“将自然语言作为安全策略”理念的合理成功实践。令人惊讶的是，尽管如此，它却几乎没有引发任何系统性的研究。

关于AI责任政策应如何改进，目前仍存在持续的争论。一些观点强调现有侵权责任体系已经能够实现的目标，另一些则主张采用严格责任制度（无需受害者证明过失），或加强过失法并结合独立监管。我们在此无意解决这些分歧，我们的观点仅仅是：明确并强化AI代理的责任，可以使控制措施的投资成为企业的优先事项。

由美国人工智能公司联盟支持开放模型的公开信，仅在Hugging Face遭黑客攻击事件曝光一周后就发布了。无论人们在规范层面持何种观点，从描述性角度看，显然没有任何网络能力的展示能如此引人注目，以至于让人们改变对开放权重模型非扩散化的立场——如果真有影响，反而可能是相反的方向。

我们还赞赏那些试图在不同社区之间寻找共同点的组织，例如已发布安全专家招聘广告的人工智能安全机构。

上一页