Developing Gemini 4 Argon responsibly and safely

负责任且安全地开发Gemini 4 Argon

2026年10月13日

|

分享下拉菜单

• x.com

• Facebook

• LinkedIn

• 邮件

• 复制链接

了解更多关于Gemini 4 Argon安全性和安全性的方法。

Anca Dragan

AI安全与行为副总裁

Raluca Ada Popa

Google DeepMind Gemini安全负责人

分享

文章正文

Gemini 4 Argon标志着模型能力的重要进步——特别是在涉及编程、金融、法律、网络安全和科学等领域的复杂现实任务中进行深度工作时。其网络防御能力处于前沿水平，旨在为防御者提供对抗攻击者的优势。为了最大化其潜力，我们首先通过Fairwind计划让网络安全专家投入使用，同时我们自己的安全团队则利用它来扫描谷歌内外的关键系统。

这一有限访问窗口展示了这些能力的重要性。例如，Wiz利用Argon发现了一家医院软件中的关键漏洞，这是之前模型未能发现的，帮助保护了数十万患者的记录。与此同时，谷歌自身的安全团队使用Argon在内部软件或开源软件中发现并修复了漏洞。这包括修复影响全球系统的根本性漏洞，这些漏洞正在通过我们的负责任披露流程进行处理。

今天，我们开始广泛推出Argon，并将Fairwind计划扩展到更多可信的网络安全专家。为了做好这件事，我们面临两个重大问题：

• 我们如何建立正确的安全防护措施？如果Argon能够帮助防御者发现复杂的软件漏洞或帮助科学家设计实验，我们如何阻止恶意行为者利用它发动网络攻击或制造生物威胁？（滥用）

• 我们能否信任模型以正确的方式完成任务？随着模型成为更高效的解决问题者，我们如何确保它们不会走捷径、跨越界限或做出错误的重大决策？（对齐偏差与提示注入）

我们的完整安全与安全报告系统地涵盖了我们的防御措施。以下是我们针对Gemini 4 Argon这两个问题的解决方法的一些重点。

高风险领域中的滥用预防

使Argon能够发现和修复漏洞的相同编程和推理改进，也推动了我们在网络安全测试中的表现提升——在端到端模拟网络攻击场景中解决了所有12个案例，而上一代产品仅解决了5个。在生物学评估中，未受保护的模型版本也表现出更强的能力，能够逐步帮助解决复杂的实验室操作问题。根据我们的前沿安全框架，由于我们在网络和生物领域看到了能力的显著提升，我们在这两个领域都部署了下一代前沿安全防护措施。

首先，在涉及潜在危险请求的场景中——从编写利用代码到协助处理危险生物材料，Argon模型在拒绝有害请求方面显著优于之前的模型。在专门用于压力测试的对抗性测试集中，违规行为减少了近两倍，这一表现也明显优于之前的Gemini模型。其次，我们为模型添加了三层实时保护机制；这是为了防止有决心的攻击者通过伪装危险请求为无害故事，或在数周内将其拆分为数十个小型问题来尝试“越狱”（即欺骗）模型。以下是这些保护机制的工作原理：

• 输入筛选：小型模型会检查传入的请求和对话上下文，识别恶意意图或危险请求。
• 内部自检：即使请求被巧妙伪装成无害内容，小型变压器模型（“激活探针”）也会读取模型的内部神经信号，并经过训练以识别其是否激活了关于网络攻击或生物威胁的知识。
• 持续监控：在模型分多步骤进行推理和撰写回复时，我们会综合这些信号并在必要时采取行动，例如当回复变得有问题时，会立即中断代理的输出流程。

结合实时保护、更快的新越狱修复以及对重复滥用行为的增强监控，我们的系统在防止现实世界危害方面表现更优。例如，外部生物越狱红队测试仅能解锁我们测试的生物子任务中的不到1%。

实时对齐监控

对齐偏差有时意味着代理自主决定追求与用户原意不同的目标。由于Argon模型对运行环境的理解远优于早期模型，我们对此类行为进行了严格测试。例如，我们进行了现实的“蜜罐”测试，以查看模型是否会增强采取隐蔽行动（如破坏安全监控）的能力。我们未发现任何此类行为。

但目前在实践中，我们看到的更常见问题是：代理过度努力地完成被赋予的任务。当一个资源丰富的助手被要求完成任务却遇到一扇锁着的门时，它可能会将这一障碍视为另一个需要解决的谜题。

这就是我们训练Gemini 4 Argon模型尊重系统边界、诚实地报告负面发现，并在必要时暂停以请求人工确认的原因。在模型没有动机保留的编码基准测试中，尝试走捷径或作弊的行为在Gemini 4 Argon上降至仅2%，这是我们近期Gemini模型的最佳表现。

尽管这是重大进展，但当模型执行数百万个复杂任务时，即使罕见的失误最终也会显现。作为第二道防线，我们构建了自动化对齐监控系统，该系统可以实时读取代理的行为及其内部“草稿本”（其逐步思考过程），在严重边界违规发生前进行阻止，并将严重内部案例标记给人类响应者。（我们持续强化训练和评估环境，以防止潜在逃逸。有关更多内容，请参阅我们的代理控制路线图。）我们在产品中、内部编码代理上、训练运行期间以及能力评估期间均运行此监控系统。

当训练任务难度较高或训练环境存在缺陷时，我们的监控系统在罕见情况下捕捉到模型创造性地试图操纵测试。模型尝试提升容器权限以修改评分脚本、从测试运行器的内存中读取答案，甚至在一次案例中通过崩溃评估沙箱来避免因运行失败而被扣分。虽然我们会利用这些发现来修复有缺陷的任务，但不会因此干预训练过程以防止模型过度适应监控系统。

我们始终遵循一条规则：在训练过程中，我们不会因模型在思维链中书写的内容而对其进行惩罚。以下示例说明了原因：在一次强化学习训练中，意外地对思维链应用了快捷方式惩罚，公开讨论的快捷方式使用率下降了61%，但这并不意味着模型使用了更少的快捷方式。相反，模型在思维链中未提及的隐秘快捷方式使用比例却超过三倍增长（从11.2%上升至36.4%）。避免对思维链进行惩罚有助于保持模型推理过程的透明性和可监控性。

提示注入抵抗力

要信任代理正确完成任务，必须确保代理遇到的恶意内容无法诱使其采取有害行动。当代理浏览网页或阅读代码时，可能会遇到隐藏的恶意指令或旨在劫持任务的上下文。通过内置的对抗训练和实时安全检查，Argon在Gray Swan的间接提示注入（IPI）基准测试中领先，将15次适应性攻击的成功率降至0.7%。

上述安全和防护措施仅代表我们深度防御体系中的三个类别。如需了解更多关于我们的安全测试方法和缓解措施的信息，请阅读完整的Gemini 4 Argon安全与防护报告，并查看Gemini 4 Argon模型卡片。

订阅Google最新资讯

通过我们的新闻通讯获取产品更新、活动信息、特别优惠等。

订阅完成，只需再完成一步。

检查您的收件箱以确认订阅。

您也可以使用不同的电子邮件地址进行订阅。

您的信息将按照Google的隐私政策使用。您随时可以取消订阅。

发布于：