Securing the future of AI agents

为日益强大但对齐不完美的AI保护内部系统 —— Google DeepMind

2026年6月18日

责任与安全

保障AI代理的未来

Rohin Shah 和 Four Flynn

分享

我们如何为日益强大但对齐不完美的AI保护内部系统

AI代理正在改变我们与技术的关系。通过自主执行复杂任务——从网络防御到科学发现和产品开发——这些系统正在开启一个全新的生产力时代。仅在美国，到2030年，AI代理可能创造2.9万亿美元的经济价值。

随着这些代理能力的增强，它们也需要更复杂的保护措施。因此，我们制定了AI控制路线图：一个用于构建和管理我们在Google内部部署的先进AI的框架。这种“纵深防御”的方法，可以作为更广泛行业的模型，超越传统的模型对齐，增加一个关键的系统级安全层，即使对齐不完美，也能提供保障。

理解AI控制

我们的安全方法始于一个坚实的基础，结合了传统的保护措施，如沙箱、端点安全和提示注入防护。在此基础上，AI控制路线图使用模型对齐，即训练AI本身是安全和有益的，作为主要的防御手段。它通过将内部代理视为可能未对齐的，提供额外的安全层，即使对齐不完美，也能提供保障。

可以把它想象成一个拥有双控制的驾驶教练。教练信任学生，但如果发生错误，教练随时准备接管方向盘或踩刹车。同样，我们的AI控制系统根据代理经过验证的行为授予其权限，使我们能够通过受控、逐步的访问建立信任。

我们的路线图基于一个简单但谨慎的假设：如果一个高度能力的AI代理与我们的目标不一致，并以出人意料的方式行事怎么办？为了解决这个问题，我们的计划集中在三个关键领域。

首先，遵循网络安全的最佳实践，我们开发了一个针对AI的新威胁建模框架。路线图将不可信的AI代理视为潜在的“内部威胁”——就像公司对待一个已经拥有办公室访问权限的潜在叛逆员工一样。通过建立行业标准的MITRE ATT&CK框架，一个基于现实世界观察的全球可访问的对手战术和技术知识库，我们将潜在攻击分解为更小的战术和技术。这使我们能够系统地跟踪风险，在造成损害之前发现不良行为，并安全地进行演练，以测试我们的防御是否真的有效。

其次，我们制定了一项计划，部署AI控制缓解措施以应对这些风险。

• 识别问题（检测）：监控是AI控制的核心。我们使用其他可信的AI系统作为“监督者”，持续审查代理的推理、行动和计划，以查看其是否偏离了轨道。

• 管理问题（预防和响应）：如果监督者发现代理试图做有害的事情，它可以在造成损害之前介入并阻止该行动。

最后，为了确保我们的系统功能正常，我们持续衡量三个关键指标的性能：覆盖率（监控的流量比例）、召回率（检测到的未对齐行为比例）和响应时间。

随着 AI 变得更强大，扩展安全性

随着 AI 模型的持续进步，我们的防御措施也必须同步加强。在我们的 AI 控制路线图中，我们将安全协议映射到 AI 能力的两个关键方面上的可衡量里程碑：

• 逃避检测的能力：目前，我们监控模型的可见思维链。然而，随着模型学会隐藏其推理过程——无论是通过监督意识（知道自己正在被监控）还是模糊推理（不使用可见文本进行推理）——仅仅阅读其口头推理将不再足够。我们需要分析其行为，并可能检查模型的内部机制。

• 潜在造成伤害的能力：对于低风险且可逆的操作，我们可以依靠延迟审查记录并在问题发生后迅速进行补救（异步响应）。对于特别高风险的操作，例如重大网络攻击，我们必须转向实时预防，在有害操作执行之前阻止它们（同步响应）。换句话说，我们的响应策略必须随着威胁的严重程度而扩展。

你的浏览器不支持视频标签。

AI 控制路线图根据部署模型的能力推荐安全措施。模型的检测逃避能力决定了检测级别（D1-D4），而模型的攻击执行能力决定了预防和响应级别（R1-R3）。

分析一百万条代理轨迹以指导实时监控

为了构建这些系统，我们需要数据。我们的团队已经构建了一个异步监控系统的内部原型，该系统会审查编码代理的轨迹，并将发现的问题升级给人类进行审查。每个被标记的事件都会根据我们路线图中的威胁分类进行分类。

我们已经分析了百万条编码代理任务，这为我们提供了宝贵的见解，使我们能够完善安全协议，并超越简单的关键词过滤，识别出高信号的行为模式。例如，这项研究在构建 Gemini Spark 代理的实时监控系统中发挥了关键作用，使我们能够实时应对新出现的问题，例如无意的数据删除。

需要指出的是，我们的数据显示，大多数被标记的事件并非源于敌对意图；相反，它们通常是由代理对用户目标的误解或过于急切地实现目标所导致。理解这些细微差别对于改进我们的安全和安全协议至关重要。

保护代理生态系统是共同的责任

AI 控制路线图是我们多层次代理安全方法中的一个关键要素。通过将这些协议与我们的更广泛基础设施集成，我们正在扩展内部安全措施，以安全地管理我们最先进的 AI 模型。

此外，这种多层次的代理安全方法应成为行业、政策制定者和学术界共同关注的优先事项。通过围绕最佳实践和标准统一生态系统，我们可以增强网络防御者的能力，并构建社会韧性。因此，今天我们也发布了针对政策制定者的技术框架，《代理安全的三个层次》。该论文详细说明了我们需要如何在单个代理层面、多代理系统中以及在整个更广泛的生态系统中增强安全性和韧性。

我们希望在这些框架的基础上，有信心地部署当今有能力的人工智能系统，同时继续为未来构建安全的基础。

[阅读完整的技术报告](#)

AI 控制路线图

研究作者

Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, 和 Scott Coull。

致谢

Four Flynn, Anca Dragan, Alan Cooney, Bilal Chughtai, Buck Shlegeris, Cody Wild, David Lindner, Julian Stastny, Kevin Klyman, Li Ding, Myriam Khan, Raluca Ada Popa, Roland Zimmermann, Ryan Greenblatt, Senthooran Rajamanoharan, Victoria Krakovna 和 Xerxes Dotiwalla。