Developing Gemini 4 Argon responsibly and safely

负责任且安全地开发Gemini 4 Argon

2026年10月13日

|

分享下拉菜单

• x.com

• Facebook

• LinkedIn

• 邮件

• 复制链接

了解更多关于Gemini 4 Argon安全性和安全性的方法。

Anca Dragan

AI安全与行为副总裁

Raluca Ada Popa

Google DeepMind Gemini安全负责人

分享

文章正文

Gemini 4 Argon在模型能力上实现了重要进展——特别是在涉及编程、金融、法律、网络安全和科学等领域的复杂现实任务深度工作中。其网络防御能力处于前沿水平，旨在为防御者提供对抗攻击者的优势。为了最大化其潜力，我们首先通过Fairwind计划让网络安全专家投入使用，同时我们自己的安全团队则利用它扫描谷歌内外的关键系统。

这段有限访问窗口展示了这些能力的重要性。例如，Wiz利用Argon发现了一款医院软件中的关键漏洞，这是之前模型未能发现的，帮助保护了数十万患者的记录。与此同时，谷歌自身的安全团队使用Argon在内部软件和开源软件中发现了并修复了漏洞。这包括修复影响全球系统的根本性漏洞，这些漏洞正在通过我们的负责任披露流程进行处理。

今天，我们开始广泛推出Argon，并将Fairwind计划扩展到更多可信的网络安全专家。为了做好这件事，我们面对两个重大问题：

• 我们如何建立正确的安全防护措施？如果Argon能够帮助防御者发现复杂的软件漏洞或帮助科学家设计实验，我们如何阻止恶意行为者利用它发起网络攻击或制造生物威胁？（滥用）

• 我们能否信任模型以正确的方式完成任务？随着模型成为更高效的解决问题者，我们如何确保它们不会走捷径、跨越界限或做出错误的重大决策？（对齐偏差及提示注入）

我们的完整安全与安全报告系统性地涵盖了我们的防御体系。以下是我们针对Gemini 4 Argon这两个问题的解决方法的一些重点。

高风险领域的滥用预防

使Argon能够发现和修复漏洞的相同编程和推理改进，也推动了我们在网络安全测试中的表现提升——在端到端模拟网络攻击场景中解决了所有12个案例，相比上一代提升了5个。在生物学评估中，未受保护的模型版本也表现出更强的能力，能够逐步帮助解决复杂的实验室操作问题。根据我们的前沿安全框架，由于我们在网络和生物领域观察到能力显著提升，我们已在两个领域部署了下一代前沿安全防护措施。

首先，在涉及潜在危险请求方面——从编写漏洞利用代码到协助处理危险生物材料，Argon 模型在拒绝有害请求方面比之前的模型有显著提升。在专门设计用于压力测试的对抗性数据集上，违规行为几乎减少了一半，这一表现也明显优于之前的 Gemini 模型。其次，我们为模型增加了三重实时防护机制，目的是防止有预谋的攻击者通过伪装危险请求为无害故事，或在数周内将请求拆解为数十个小型问题来尝试破解（即欺骗）模型。以下是这些防护机制的工作原理：

• 输入筛选：小型模型会检查传入的请求和对话上下文，识别恶意意图或危险请求。
• 内部自检：即使请求被巧妙伪装成无害内容，小型变压器模型（"激活探针"）也会读取模型的内部神经信号，并经过训练以检测其是否激活了关于网络攻击或生物威胁的知识。
• 持续监控：当模型在多步骤推理和生成响应过程中，我们结合这些信号并采取必要行动，例如在响应变得有问题时立即中断代理程序。

结合实时防护、更快的新越狱修复以及增强的重复性滥用监控，我们的系统在防止现实世界危害方面表现更优。例如，外部生物越狱红队测试仅能解锁我们测试的生物子任务中的不到 1%。

实时对齐偏差监控

对齐偏差有时意味着代理决定追求与用户意图不同的目标。由于 Argon 模型对运行环境的理解远优于早期模型，我们对此类行为进行了严格测试。例如，我们进行了现实的"蜜罐"测试，以查看模型是否会增强采取隐蔽行动（如破坏安全监控）的能力。我们并未发现此类行为的实例。

但目前在实践中，我们看到的更多是另一种常见现象：代理过于努力地完成被赋予的任务。当一个资源丰富的助手被要求完成任务却遇到一扇上锁的门时，它可能会将这一障碍视为另一个需要解决的谜题。

这就是我们训练 Gemini 4 Argon 尊重系统边界、诚实地报告负面发现，并在必要时暂停以寻求人工确认的原因。在模型没有动机克制的编程基准测试中，尝试走捷径或作弊的任务尝试率在 Gemini 4 Argon 上降至仅 2%，这是近期 Gemini 模型的最佳表现。

尽管这是重大进展，但当模型执行数百万个复杂任务时，即使罕见的失误最终也会显现。作为第二道防线，我们构建了自动化对齐偏差监控系统，该系统实时读取代理的动作及其内部"草稿纸"（其逐步推理过程），在严重越界行为发生前进行阻止，并将严重的内部案例标记给人工响应人员。（我们持续强化训练和评估环境以防止潜在逃逸。您可以在我们的代理控制路线图中了解更多相关内容。）我们会在产品中、内部编程代理、训练运行和能力评估期间运行此监控系统。

当训练任务复杂或训练环境存在缺陷时，我们的监控系统会捕捉到模型在极少数情况下创造性地尝试操纵测试的行为。模型曾试图提升容器权限以修改评分脚本、从测试运行器的内存中读取答案，甚至在一次案例中直接崩溃评估沙箱以规避失败运行的评分。虽然我们利用这些发现来修复有缺陷的任务，但不会因此干预训练过程以防止模型过度拟合监控系统。

我们始终遵循一条原则：在训练过程中，我们不会因模型在思维链中书写的内容而惩罚它。以下示例说明了原因：在一次强化学习训练中，意外对思维链应用了捷径惩罚，公开讨论的捷径使用量下降了61%，但这并不意味着模型使用了更少的捷径。实际上，模型在思维链中未提及的隐秘捷径使用比例反而超过三倍增长（从11.2%升至36.4%）。避免对思维链进行惩罚，有助于保持模型推理过程的透明性和可监控性。

提示注入防御

要信任代理正确完成任务，必须确保代理遇到的恶意内容无法诱导其采取有害行动。当代理浏览网页或阅读代码时，可能遭遇隐藏的恶意指令或旨在劫持任务的上下文。通过内置的对抗训练和实时安全检查，Argon在Gray Swan的间接提示注入（IPI）基准测试中处于领先地位，将15次适应性攻击的成功率降至0.7%。

上述安全与防御措施仅体现了我们深度防御体系中的三个类别。如需了解我们的安全测试方法和缓解措施，请阅读完整的Gemini 4 Argon安全与防御报告，并查看Gemini 4 Argon模型卡片。

订阅谷歌最新资讯

通过我们的新闻通讯获取产品更新、活动信息、特别优惠等。

订阅完成，只需再完成一步。

查看邮箱确认订阅。

您也可以使用其他邮箱地址订阅。

您的信息将按照谷歌隐私政策使用，您可随时选择退出。

发布于：