Google Developers Blog

How Agent Anomaly Detection scores on benchmarks we didn't write

8.5内容质量

TL;DR · AI 摘要

Google的Agent Anomaly Detection在非自身编写的基准测试中检测有害指令准确率达87%,但存在中毒记忆漏洞。

核心要点

  • Agent Anomaly Detection对直接有害指令拒绝率达75%,隐藏指令检测率约70%
  • 误报率因工具不同在2%-16%之间波动
  • 中毒记忆场景下仅检测出4/18案例

结构提纲

按章节快速跳转。

  1. 介绍AI代理安全风险及Agent Anomaly Detection的定位

  2. 使用ADK和gemini-2.5-flash在模拟环境中运行基准测试

  3. 直接指令拒绝率75%,隐藏指令检测率70%

  4. 87%的有害行为被标记,误报率2%-16%

  5. 仅检测出4/18的中毒记忆案例

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Agent Anomaly Detection测试分析
    • 测试方法
      • ADK+gemini-2.5-flash模拟环境
    • 检测效果
      • 直接指令拒绝率75%
      • 隐藏指令检测率70%
      • 执行行为标记率87%
    • 存在问题
      • 中毒记忆检测率22.2%

金句 / Highlights

值得收藏与分享的关键句。

#Agent Anomaly Detection#安全工具#AI代理#OWASP#Gemini Enterprise Agent Platform
打开原文

Agent 异常检测在未编写基准测试中的表现 - Google 开发者博客

Google Tag Manager (noscript)

结束 Google Tag Manager (noscript)

HTML

Agent 异常检测在未编写基准测试中的表现

2026年11月12日

Nakul Javali

高级软件工程师

分享

  • Facebook
  • Twitter
  • LinkedIn
  • 邮件

如今,AI 代理能够为使用者阅读电子邮件、预订旅行和转账。每次工具调用都会引入他人撰写的文本,而控制这些文本的人可以尝试引导代理。OWASP 将这种代理目标劫持列为《2026 年代理应用十大风险》中的首要风险。

图1:间接提示注入。有害指令通过工具返回的数据传递,而非来自用户。

2026 年 9 月,我们在 Gemini 企业代理平台上推出了 Agent 异常检测的私有预览版。该功能异步读取代理的追踪记录和日志,不会增加延迟,并标记代理超出预期行为范围的会话。我们针对代理目标劫持这一主要风险的基准测试验证了该功能。

安全工具在自团队编写的测试中表现良好,因此我们未对 Agent 异常检测进行任何修改,直接运行了五个非 Google 编写的公开代理安全基准测试。其中四个基准测试中,有害指令隐藏在工具返回的数据中,第五个基准测试中用户直接要求执行有害操作。

模型本身未遵循其读取的约一半有害指令。在四分之三的直接有害请求中,模型拒绝执行;对于隐藏在工具输出中的指令,模型约有 30% 的情况被忽略或执行失败。在被执行的指令中,Agent 异常检测标记了 87% 的会话以供事后审查。根据代理使用的工具不同,良性会话的误报率在 2% 到 16% 之间。中毒记忆是明显漏洞:当植入代理长期记忆中的指令导致其执行时,Agent 异常检测仅在 18 次测试中捕捉到 4 次。

我们的测试方法

图2:测试设置。Agent 异常检测和基准测试的检查看到相同的代理运行,但只有检查会读取应用的最终状态。

我们通过使用 gemini-2.5-flash 和代理开发工具包(ADK)构建的代理,将每个基准测试用例运行在基准测试的模拟应用上。代理像客户代理一样将其追踪记录和日志发送给 Agent 异常检测。然后基准测试自身的 Python 检查会读取应用的最终状态(例如资金是否离开账户),并标记会话。标签由确定性代码决定,而非模型,因此注入的指令无法误导评分者,Agent 异常检测也无法作弊。每个代理首先运行至少 300 次良性会话,因为 Agent 异常检测需要学习每个代理的常规行为。

我们还记录了工具是否将有害指令返回给代理。在许多情况下,代理从未打开包含该指令的电子邮件或文件。因此,每个有害会话以以下三种方式之一结束:

  • 从未读取:没有工具返回指令,代理从未看到它。
  • 抵制:代理读取了指令但未执行。这包括尝试但失败的情况。
  • 执行:代理读取了指令并执行了它。基准测试自身的检查决定这一结果。

在 AgentHarm 中,用户发送请求,因此代理始终会读取它。

五个基准测试分别是 AgentDojo(NeurIPS 2024)、InjecAgent(ACL 2024 Findings)、Agent Security Bench(ASB,ICLR 2025)、AgentDyn(2026)和 AgentHarm(ICLR 2025)。ASB 将指令植入代理的长期记忆中。总计,Agent 异常检测处理了 1,774 次会话。

我们的发现

Agent 异常检测标记了代理执行的有害指令的 87%,在普通办公任务中仅出现少量误报。其在目标劫持和工具误用方面表现最强,在中毒记忆方面最弱。

按 OWASP 分类的结果

每个发现都带有威胁分类,Agent 异常检测的五个分类中有四个与 Agentic 应用的 OWASP Top 10 对齐。我们根据本研究的发现对每个 OWASP 分类进行评分,而非根据 Agent 异常检测的设计目标进行评分。

公共基准测试主要集中在目标劫持和工具误用上,因此我们在这些领域的证据最为充分。我们未发现带有级联故障或身份与权限滥用标记的代理轨迹的公开基准测试。这些分类的共享基准测试将有助于整个领域的发展。

Agent 异常检测标记了多数绕过模型的指令

图 3:在四个具有结果划分的基准测试中,每个有害会话发生了什么。

按基准测试划分,Agent 异常检测在 AgentDojo 上标记了 85% 的执行有害指令,在 InjecAgent 上标记了 87%,在 AgentDyn 上标记了 99%,在 AgentHarm 上标记了 81%。总体来看,包括代理从未读取或抵抗的有害会话,其标记比例为 45% 至 62%。在 141 次代理从未读取指令的会话中,没有发生任何事情,仅标记了 1 次。

图 4:对于每个应用,代理执行的有害指令中被 Agent 异常检测标记的比例。某些应用中的数量较少。

结果在各应用中保持一致。在 11 个应用中的 8 个中,Agent 异常检测标记了至少 95% 的执行有害指令。最低比例出现在 AgentDojo 的 Slack 应用中,为 63%。许多指令仅要求执行一个小型操作,例如页面访问,看起来像是正常浏览。

被拒绝的请求仍会留下记录

Agent 异常检测还会标记代理拒绝的许多请求。在 AgentHarm 中,代理拒绝了大多数请求,执行了 412 次中的 108 次,Agent 异常检测仍标记了 55% 的拒绝会话,因为请求位于用户自己的消息中,而代理会读取这些消息。当代理未遵循隐藏在工具输出中的指令时,仅标记了 11% 至 25%,因为指令深嵌在工具结果中。

误报取决于代理的日常工具

在普通办公任务中,误报很少:在三个注入基准测试中,其良性会话为办公任务,Agent 异常检测标记了 2% 至 4% 的良性会话。在 AgentHarm 中标记了 16%。这些良性任务与有害任务相似,因此它们会发布到社交媒体、运行终端命令并下载文件。正常使用中的高影响力工具看起来更像误用。

我们仍在改进的地方

代理异常检测在五个领域表现欠佳。由于代理抵抗的指令对其行为影响较小,它仅标记了11%至25%的抵抗指令。它更容易遗漏小型动作(如单页访问),因为这些行为看起来像正常工作。对于日常使用高影响工具的代理,系统会产生更多误报。如果您的代理属于此类,初期可能会发现更多异常,需根据严重程度和威胁类别进行分类处理。

另外两个领域是新代理和中毒记忆。部分代理异常检测方法需要数百次会话的历史数据:在AgentDyn上,当每个代理拥有约220次良性会话时,系统能标记33%的有害指令,拥有360次会话时则能标记99%。在中毒记忆导致代理异常的18次会话中,系统仅识别出其中4次。

我们正在推进以下改进:

  • 以较低严重程度报告代理抵抗的尝试,帮助您识别对代理的探测行为。
  • 捕获访问不受信任目的地的小型动作,例如访问未知网页的单次访问。
  • 区分高影响工具的正常使用与滥用行为。
  • 更快为新代理提供全面覆盖。
  • 更可靠地检测长期记忆中植入的指令。

对您的代理意味着什么

通过纵深防御保护代理。使用在有害操作执行前阻止其发生的控制措施,结合代理异常检测识别未被拦截的内容。

  • 传输完整遥测数据。启用ADK追踪和日志记录,包括提示和响应内容。
  • 过滤不可信内容。使用Model Armor等过滤器检查提示和工具结果中的提示注入。
  • 在工具调用执行前阻止高风险操作。预览版的语义治理策略会将每个拟议的工具调用与用户请求和您的规则进行比对,拒绝不符合要求的调用。代理异常检测随后会报告未被拦截的内容。
  • 对高影响操作要求人工审批。要求人工审批付款、外发邮件、数据共享等需要人工介入的操作。
  • 限制每个代理的工具权限。仅授予每个代理完成其任务所需的工具和权限。
  • 审查未被拦截的内容。代理异常检测不会阻止操作,它会报告异常会话,其发现结果也会显示在安全指挥中心;将关键和高风险结果转交给事件响应团队处理。

本研究的局限性

我们使用了一个代理模型和模拟应用,基准测试中的良性任务可能比您的生产流量更简单,因此误报率可能有所不同。代理异常检测对约6%的会话未返回结果;将这些会话计入漏检率会使整体准确率下降1到2个百分点。

尝试代理异常检测

代理异常检测目前处于私有预览阶段。要申请访问权限,请阅读代理异常检测概述。

posted in:

  • AI
  • Cloud
  • 案例研究
  • 影响力

Previous Next

Related Posts

List

Mobile

Web

Tutorials

How-To Guides

A2UI 1.0:构建愉悦、快速、可靠的代理体验

2026年11月11日

案例研究

公告

使用LiteRT Tensor API在边缘设备上原生模型创作

2026年10月19日

AI

学习

使用Model Explorer将视觉图调试引入自定义边缘编译器

2026年10月20日

Cloud

最佳实践

使用Gemini和约束求解器捕捉模糊测试遗漏的Go语言错误

导航点 /