Improving our alignment and security efforts

改进我们的对齐与安全实践 \ Anthropic

改进我们的对齐与安全工作

2026年8月31日

7月30日，我们报告了三起事件，Claude模型在这些事件中未经授权访问了真实计算机系统。这些模型在评估目的下故意运行时未启用网络防护措施，由于第三方评估环境内部的配置错误，导致模型访问了互联网。另外，8月4日，英国人工智能安全研究所报告了其自身网络安全测试中的一起事件，Claude Mythos 5在真实互联网上执行了一系列未经授权的操作。在该事件中，模型同样出于评估目的故意未启用网络防护措施，并被刻意授予了互联网访问权限。

我们正在对这两起事件进行深入分析。我们还计划与METR合作进行独立审查。我们希望确保这两项研究都具有全面性，并将在未来几周内分享更多细节。

与此同时，我们想分享过去一个月我们做出的一些改进。我们认为这些事件反映了操作安全的失败，以及两个对齐问题：动机性推理，以及为了完成特定任务而愿意采取有害行动的倾向（我们在之前的系统卡片中已对此进行过描述）。在安全方面，我们描述了对隔离和监控系统所做的改进，以及为第三方评估者制定的实践规范。在对齐方面，我们更深入地探讨了这两个问题。我们还认为，持久性的进步不仅来自于理解特定事件中发生了什么，更来自于理解对齐偏差最初是如何产生的，因此我们分享了相关方向的早期研究。

鉴于这些事件，关于前沿技术推进节奏的讨论日益增多。区分两种类型的节奏推进是有帮助的。在公司内部，节奏推进意味着在安全与速度发生冲突时优先考虑安全的一系列决策。在行业层面，它意味着建立流程以防范恶性竞争动态。在本文中，我们将讨论在这些事件发生前后为实现第一种方法所采取的行动。第二种类型的节奏推进需要政府与产业界之间的协调，并应具有可读性和可验证性。我们的一些高级管理层和许多员工最近签署了一封信，呼吁加强节奏推进方面的协调，我们将在未来几周内进一步说明我们打算如何为此努力。明确我们的立场：我们认为，如果行业尽快采用一种合法、可验证、有效的协调推进机制，世界将受益匪浅。

保障评估与训练环境

虽然我们认为这些事件并不单纯反映操作问题，但我们的首要任务是解决特定的隔离和监控问题。我们采取了以下措施作为回应：

暂停并强化评估环境

在发生事件后，我们暂停了对预发布模型的外部网络攻击评估，并在实施以下措施期间短暂暂停了内部评估。7月30日报告的事件表明，我们此前主要依赖单一防御层（环境本身的配置），而实际上需要多层防护，包括在提示中明确设置边界、建立验证沙箱密封性的流程，以及实施能够实时干预的监控。OpenAI披露的漏洞信息（该披露促使我们在7月展开调查）表明，模型在评估期间利用未知漏洞逃出密封沙箱，这也明确说明我们需要专注于加固沙箱本身。

在暂停评估期间，我们实施了以下初步措施：

1) 我们构建并部署了一个分类器，用于实时识别模型试图激进探测或逃出测试环境，或意外获得互联网访问的迹象。当分类器标记此类尝试时，会在工具调用执行前阻止该操作，终止任务，并通知人工人员。1

2) 我们对近期内部评估（包括网络攻击和其他类型的评估）的对话记录进行了自动化监控，寻找沙箱逃逸（模型利用沙箱漏洞访问不应接触的系统）或沙箱配置错误。在使用沙箱工具进行评估的场景中，我们未发现模型突破沙箱边界访问外部资源的案例。但我们确实发现了模型利用的多种沙箱配置错误，但这些错误均未导致沙箱外系统的安全风险。2 我们正在积极解决这些问题。

3) 我们将高风险的内部网络攻击沙箱迁移至更稳固的隔离环境中。同时，我们正在进一步对虚拟化架构进行红队演练（即让预发布模型尝试逃出该架构），以发现并修复漏洞。

目前，随着这些措施的实施，我们的内部网络攻击评估已恢复运行。

强化学习环境

我们还暂停了预发布模型中高风险的强化学习环境数周时间。在此期间，我们构建了一个类似分类器，经过调整以避免激励模型规避新的监控措施，目前已在这些环境中部署。大多数强化学习任务已恢复，但部分高风险环境仍需人工审核后才能恢复，其他环境则需要我们即将部署的分类器新版本才能恢复。

更广泛的加固措施

除了针对高风险评估和训练的加固措施外，我们还扩展了离线监控范围，覆盖了大多数其他内部前沿智能体使用场景。我们还在内部推理流程中构建了控制机制，以防止Anthropic员工意外运行缓解措施弱于上述描述的智能体。

对外部合作伙伴的最佳实践

由于报告的事件发生在第三方环境中，我们已要求所有使用降低网络防护措施的预发布模型进行测试的组织承诺遵循一套最佳实践。我们认为这些实践是必要的，因为：

• 我们发布的模型默认包含多项安全措施，包括实时运行在Claude输入和输出上的分类器，用于阻止恶意网络活动（如恶意软件开发或攻击性漏洞利用）。相比之下，网络评估人员和部分早期访问合作伙伴使用经过安全措施降级的模型，以便更准确地测试模型能力并开展防御性网络工作。

• 网络评估产生与这些事件中类似行为的概率异常高。这种评估方式会形成选择压力，促使模型在探索环境和绕过障碍时表现出更强的持久性和创造力，且此类评估通常会运行数千次。

这些实践原则适用于所有合作伙伴使用自有工具（如测试框架、沙箱或代理）进行网络相关评估的场景，但不适用于使用Claude Fable 5等受保护模型的客户。我们已恢复采用这些实践原则的外部网络评估，并且内部也严格遵守这些原则。

沙箱与网络隔离

默认情况下，所有网络评估都应在无互联网访问权限的强化沙箱（隔离计算环境）中运行。该环境仅允许与模型自身的API通信，且API密钥应存储在环境外部。每次评估开始前都应验证此配置。部分评估可能需要互联网访问权限。在这些情况下，我们将在评估预发布模型时与外部评估人员合作，判断是否能可靠检测并阻止模型超出其声明范围的行为。

评估前验证

在执行评估前，评估合作伙伴应：

• 首先让被测试模型通过静态分析配置，再实际执行任务的方式探测沙箱中的漏洞。若模型成功逃逸，应被指示停止并报告结果，且整个过程需在严格的人类监督下进行。此类测试应在无互联网连接环境下进行，理想情况下在第二个沙箱中完成。由于评估可能涉及数百甚至数千次运行，合作伙伴应在正式评估前充分完成此类测试。

• 确认所有评估挑战在原则上确实可解。当评估目标离线或任务无法完成时，代理常会寻找其他途径完成挑战，这会增加其超出评估预期范围行动的可能性。

明确范围设定

每个提示都应明确说明评估的范围边界，包括目标对象、允许的操作以及网络边界（即模型应访问和不应访问的内容）。边界应以指令形式表述（如“你不得访问互联网”），而非对环境或测试的陈述（如“你没有互联网访问权限”）。

实时监控

评估人员还应使用已配置评估范围的基于模型或规则的监控工具，对模型的思考过程、操作行为和网络活动进行持续监控。若某次运行超出范围，监控系统应立即通知人类并终止评估。

我们计划在与外部合作伙伴协商的基础上继续完善这一指导原则，并将其应用范围扩展到评估之外。特别是，我们正在为拥有 Claude Mythos 5 访问权限的合作伙伴开发配套实践方案，该模型同样在没有网络防护措施的情况下运行，后续将分享更多细节。

对齐评估

隔离和监控对于捕捉模型采取危险行动的实例至关重要，但它们无法解释模型为何会采取此类行动。以下我们将讨论初步的对齐调查内容以及我们关注的核心问题，同时介绍我们正在进行的防止训练过程中作弊的工作——包括关于作弊如何塑造模型行为的新研究。

评估期间模型的环境和知识状态

我们的对齐评估仍在持续进行中，但初步调查指出了两个主要的对齐失败，这两个问题我们在之前的系统卡片中已做过描述。第一个是动机性推理：模型最初被告知其环境是模拟的，但当它们后来遇到证据表明自己与真实互联网连接时，可能会以某种方式解读这些证据，从而维持其原有信念。第二个是鲁莽行为：模型为了实现解决网络安全评估这一狭隘目标，愿意在真实互联网上采取有害行动。然而，我们还认为评估设置本身在这些事件中也起到了推动作用。Claude 明确被告知其没有互联网访问权限，尽管实际上互联网是可用的，这可能导致它质疑所看到的系统是否真实。在其中一个案例中，虚构目标的名称与真实网站重名，使得区分练习中预期的范围变得更为困难。

我们的结论取决于一些尚未完全解答的问题，包括模型在多大程度上确定自己拥有真实互联网访问权限（即使它们最初并不知情），是否明知环境中的某些元素是真实的却故意忽视相关迹象，以及在多个案例中未能停止练习的行为是否源于动机性推理。我们正在应用多种技术手段来回答这些问题，包括在调整环境的同时对模型进行重新采样，并使用可解释性方法直接检查其内部状态。

研究防止训练期间作弊的措施

尽管模型对齐问题复杂且可能由多种原因引发，但我们通过实证发现，训练环境中的缺陷——特别是那些容易作弊或无法在不作弊的情况下解决的环境——是导致对齐偏差行为的不成比例的主要因素。

以下是我们为避免训练环境中出现此类缺陷所做出的努力，这些努力可以追溯到事件发生前几个月。这些努力并不完美，我们的假设是这些事件至少部分与我们无法完全消除此类问题有关。我们通过故意在容易受到奖励黑客攻击的环境中训练模型来验证这一假设。在模拟中，该模型表现出更严重的对齐偏差行为，其中一些与今年夏天其他公司报告的事件类似。而我们的生产模型在相同的模拟中并未表现出此类行为（本节后文将提供更多细节）。

我们一直关注那些会激励作弊的强化学习训练环境，并采取了多种措施来过滤或修复此类环境。

二月时，我们在看到奖励黑客迹象（模型找到欺骗训练过程并获得奖励而不完成任务的方法）后，回滚了Mythos Preview强化学习运行的三天训练。我们注意到模型在代码注释和回复中写给“审阅者”的笔记，甚至在从未提及审阅者的任务中也出现了这种行为——这是对包含审阅者提示的环境的不良泛化。它还通过堆叠免责声明或警告来利用旨在激励诚实的奖励机制。回滚三天的训练使我们能够从学习这种行为之前的状态恢复训练，并对环境进行了修改以防止模型再次学习到这些行为。

自Claude Sonnet 3.7版本以来，我们一直在构建用于监控强化学习中模型学到的不良行为的工具（该版本存在奖励黑客倾向，直到训练后期才被发现）。我们投入大量精力确保工具随着每个模型版本的演进而改进，从最初的手动分类器发展到训练前后对所有环境进行自动化审查，但到2026年春季，该系统开始承受压力。我们生产强化学习环境的速度比以往任何时候都快，超过了系统验证它们的能力。被标记的环境需要人工裁定，而奖励黑客和配置错误的出现速度开始超过我们过滤或修复它们的能力。

此外，我们发现部分运行意外地使用了模型的思维链（chain-of-thought）进行训练——这是我们努力避免的情况，因为担心这会教会模型隐藏其真实推理过程。我们追踪到泄露原因在于生产环境堆栈中的多个配置错误。在此过程中，我们发现随着时间的推移，代码混乱积累导致了其他问题。

为解决这些问题，我们在四月冻结了所有生产强化学习环境的更改约一个月，这使我们有机会彻底改造整个堆栈。现在奖励和环境必须符合商定的规范。例如，我们引入了技术缓解措施以降低意外使用思维链训练的风险。在环境质量和监控团队重建堆栈期间，我们要求环境负责人利用暂停期间测试和修复他们构建的环境。我们还彻底重建了审查流程，并要求每个修复后的环境在进入下一轮训练前必须重新认证。

在冻结期间，我们标记了生产环境中超过10%的环境存在各种问题，从奖励黑客行为到任务损坏、配置错误等，只有在修复后才重新启用这些环境。

然而，我们的努力并非完美。在某些情况下，我们发现人工审核人员将自动化监控标记的环境误判为误报，导致有缺陷的环境在训练中停留时间过长。此外，一些有缺陷的环境甚至完全逃过了我们的检测机制。我们目前正在收紧对标记信息的驳回标准，并期望与环境所有者加强合作，以提高系统的精确性。除了监控和检测，我们的对齐训练和强化学习团队正在协作，以帮助改进环境。

我们怀疑，对强化学习环境质量控制的大量投入可能避免了更严重的对齐事故，反之，这些努力中的缺陷可能也导致了我们至今发现的事故。

为了了解没有这些保护措施的模型会如何表现，我们故意训练了一个Opus级模型，使用了80个不同的真实强化学习环境，这些环境要么在至少一次真实训练运行中被奖励黑客行为感染并被监控识别，要么在环境质量审查中被发现存在可被攻击的漏洞。训练出的模型表现出强烈的动机去在任务中取得高分，并愿意为了任务成功而采取可能有害的行动。我们配套的《对齐科学》博客文章对这一实验进行了更详细的讨论，但在此我们简要总结。

我们在一系列评估中测试了这个故意偏离对齐的模型，包括模拟场景，这些场景借鉴了英国AISI网络安全事件中涉及Claude和OpenAI/Hugging Face事件的某些方面（我们感谢OpenAI分享了这些公开细节）。在这些评估中，所有工具调用均由另一个大型语言模型模拟，我们训练的奖励黑客模型表现出试图突破模拟沙盒并攻击模拟内部和第三方基础设施的倾向。它还愿意篡改自己的奖励函数，向评分者提供生物武器构建建议，并反复尝试绕过部署安全监控以在任务中作弊。

随后，我们在奖励黑客训练前的模型版本以及我们几个公开可用的模型上运行了相同的网络安全模拟。这些模型都没有表现出同样程度的偏离对齐行为。我们的结论是，训练中存在大量奖励黑客行为可能导致模型愿意执行一系列可能对现实世界造成危害的行动以追求任务成功。

我们认为，今年春天我们在监控和减少奖励黑客行为方面所做的大量投入，是我们的生产模型不太可能参与更危险的奖励追求行为的主要原因。在配套的《对齐科学》博客文章中，我们也发现证据表明，对齐训练环境可以显著减少奖励黑客行为和奖励追求行为。但正如7月30日报告的事件所证明的那样，我们的流程并不完美，我们的模型也并非完全对齐。

为明确起见，我们认为在训练环境中作弊并非导致对齐问题的唯一原因，甚至不是我们所经历的事件或其他前沿人工智能公司所遇到的具体对齐问题的唯一原因。解决对齐问题需要应对非常广泛范围的潜在问题，未来出现的对齐事件可能涉及与我们迄今所见不同的行为和不同的原因。

加强安全措施

7月30日事件的发生与Anthropic的内部安全态势无关。这些事件发生在第三方环境中，当时错误地留下了互联网访问权限；即使模型有动机这么做，它们也无需“突破”任何系统。

然而，这些事件仍然突显了强大安全措施的至关重要性。除了通常的IP或模型权重被盗风险外，我们现在还必须应对此类风险：我们自己的模型可能从Anthropic系统中“突破”出去，或者我们的模型或他人的模型可能被用于对Anthropic系统的外部攻击。随着模型能力的提升，尤其是从Mythos类模型开始，这些风险变得尤为紧迫。以下是我们已实施的一些措施（其中大部分工作在7月事件之前就已经开展，但这些事件凸显了这项工作的必要性）：

在4月初，鉴于我们看到代理人工智能的使用趋势，我们的安全团队主动推动了一项公司范围的努力，目标是强化防御能力，必要时甚至会优先于其他工作（包括研究）。我们发现，我们的暴露面增长速度超过了防御能力的提升速度——Mythos是一个足够强大以至于可能成为资源充足的攻击者目标的模型，我们内部对自主代理的使用规模已经超出了传统访问和监控方法的设计范围，而新基础设施的部署速度意味着我们的安全措施必须与环境规模同步扩展，而不是保持固定容量。

这项工作的成果包括：

• 减少拥有持续访问权限的人类和自动化账户，这些账户可以访问包含模型权重或客户数据的系统
• 将计算集群的默认设置调整为阻止所有出站流量
• 要求内部服务在通信前验证彼此身份
• 废弃遗留的基础设施配置和共享的内部服务
• 加强工作负载运行的隔离环境
• 扩展主机级别的可观测性，使基础设施上的异常行为能够实时被发现

我们还临时将公司部分员工重新分配到这些工作中。大约150名产品工程师被重新分配到安全、可靠性和隐私领域；研究人员也从预训练或强化学习工作中轮岗，专注于安全防护和安全措施；我们的产品团队暂停了大多数新功能和新界面的开发。我们为每个团队设定了严格的返回条件，只有在满足这些条件后，团队才能返回到之前的工作。到初夏时，大多数团队已经达成这些目标。

在将资源重新分配至安全领域的同时，我们继续完善内部代理使用的隔离与监控机制。我们的培训和评估工作负载通常在与生产系统隔离的沙盒环境中运行。自开发Claude Mythos Preview以来，我们一直利用模型探测这些沙盒中的潜在弱点。我们在4月的对齐风险更新中描述了对内部编码代理的离线监控，8月风险报告则更详细地介绍了该系统及其配套干预措施。这些措施包括对最自主的内部代理使用场景实施沙盒隔离或自动模式分类器，以及在代码合并前对基础设施代码变更进行自动化审查。

这项工作存在的不足在于评估——尤其是第三方评估——的缺失。我们确实实时监控了一些高风险评估，但总体而言，我们仅在事后对部分对话记录进行了自动化审查。

7月的事件凸显出，我们亟需加强网络安全防御的紧迫性甚至超过了之前的预期。我们正在加倍努力推进相关工作，并将在下一份风险报告中进一步说明。

#### 注释

• 我们已确认分类器能够标记7月30日报告中描述的事件。

• 这些发现并非来自我们内部专用的进攻性网络安全评估套件，这些套件完全无法访问网络。

• 高风险网络安全评估包括将Claude赋予模糊范围的进攻性任务（如渗透测试）的情形。

• 最终，一个模型在面对此类挑战时超出其预期范围的行为属于对齐问题；一个对齐良好的模型应停止执行或向人类报告任务无法按指定要求完成。我们正在直接训练这种行为，但纵深防御策略意味着不能仅依赖对齐机制。

• 我们在Mythos Preview系统卡片中曾公开讨论过奖励黑客行为的另外两类情形，包括模型利用低级计算机进程数据提升权限，以及绕过训练环境网络限制下载数据以规避分配任务的情形。

• 这些缓解措施尚未完全奏效；我们在8月风险报告第5.2.3节中详细讨论了更多关于思维链训练的实例。

相关内容

与客户共同开发企业前沿安全防护

阅读更多

预览模型硬件标准

我们正在向首批科学实验室和先进制造商开放模型硬件标准（Model Hardware Standard，MHS）的研究预览，该标准是AI代理安全操作物理设备的共享规范。

扩大对科学家的支持

从今天起，全球10,000名科学家可以免费获得Claude进行试用。经验证的首席研究员可申请Claude团队订阅计划，随后可免费为其研究团队添加标准席位，或以每月15美元的价格添加高级席位，持续一年。