Google Developers Blog

Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform

8.5内容质量

TL;DR · AI 摘要

Google推出Agent Anomaly Detection功能,通过分析Gemini平台代理行为轨迹,基于OWASP标准检测异常,支持无延迟异步分析。

核心要点

  • Agent Anomaly Detection基于OWASP Agentic Top 10检测工具滥用等4类核心风险
  • 异步分析机制确保无运行时延迟,不影响代理响应速度
  • 未来将支持自定义业务逻辑的异常检测规则

结构提纲

按章节快速跳转。

  1. AI代理能力提升带来新的安全风险,传统监控手段难以发现隐蔽异常行为。

  2. 通过分析推理轨迹、工具调用和执行流程实现行为审计。

  3. 异步分析确保零延迟,安全中心集成实现统一风险处置。

  4. 内置检测器覆盖工具滥用、权限滥用等2026版OWASP Top 10风险。

  5. 即将支持用户自定义业务规则的异常检测逻辑。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Agent Anomaly Detection
    • 核心机制
      • 行为轨迹分析
      • 工具调用监控
    • 功能特性
      • 零延迟异步分析
      • 安全中心集成
    • 风险覆盖
      • OWASP Top 10风险
      • 自定义规则扩展

金句 / Highlights

值得收藏与分享的关键句。

  • Agent Anomaly Detection通过分析推理轨迹和工具调用,发现代理在正常会话中隐藏的违规行为

    — 第1段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 异步分析机制确保检测过程不增加运行时延迟,保持代理响应速度

    — 第3段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 内置检测器覆盖OWASP Agentic Top 10的4类核心风险,包括工具滥用和权限滥用

    — 第4段

    ⬇︎ 下载 PNG𝕏 分享到 X
#Gemini#Agent Anomaly Detection#OWASP#企业AI平台
打开原文

代理异常检测现已在Gemini企业代理平台私有预览版上线 - Google开发者博客

Google Tag Manager (noscript)

结束Google Tag Manager (noscript)

HTML

代理异常检测现已在Gemini企业代理平台私有预览版上线

2026年9月16日

Achuth Narayan Rajagopal

高级软件工程师

分享

  • Facebook
  • Twitter
  • LinkedIn
  • 邮件

每一次新模型的迭代都在让AI代理变得更强大、更自主、运行成本更低。各团队正将它们投入实际业务任务:处理退款、更新记录、代表用户调用内部工具。但更强大的模型并不自动意味着更安全。代理在运行时做出的决策越多,其风险就从代码本身转移到了行为层面。真正的损害往往发生在表面看似无害的会话中:代理给出一个干净的答案并关闭工单,之后才被发现它触碰了不该接触的工具,或在悄无声息中扩大了自己的访问权限。由于没有出现直接失败的情况,这些会话会通过常规的基于指标的评估而未被二次审查。

这一差距正是代理异常检测要解决的。该功能现已在Gemini企业代理平台的私有预览版中上线。

什么是代理异常检测?

代理异常检测是部署在Gemini企业代理平台上的自主代理的基于推理的监督和审计层。它通过代理的推理轨迹、工具调用和会话中的执行流程来分析代理实际执行的操作。它读取代理已发出的日志和OpenTelemetry追踪数据,评估这些活动以判断代理是否超出了其预期范围,并标记行为异常、可疑意图和策略违规。

使代理异常检测在生产环境中实用的一些关键特性:

  • 无额外运行时延迟:分析在实时请求路径之外异步执行,不会影响代理的响应速度。
  • 明确的可操作结果:每个异常发现都包含严重程度、用通俗语言解释触发原因以及推荐的后续步骤。每个异常发现也会发布到您的安全指挥中心部署中,使团队能够与其他发现一起进行分类处理。
  • 基于OWASP代理十大风险:代理异常检测内置了针对OWASP代理应用十大风险(2026)中重点风险的检测器:工具误用(ASI02)、身份和权限滥用(ASI03)、级联故障(ASI08)和流氓代理(ASI10),以及资源耗尽和令牌使用升级等运营风险。其发现结果映射到这些公认的行业分类,而非自定义规则集。
  • 异常检测中的自定义业务逻辑即将推出:我们正在积极开发让用户定义业务场景中异常含义的功能。这将使用户能够用自然语言配合确定性规则编写灵活的异常检测器,当代理超出企业特定业务指南时触发告警。此外,用户还可以在历史流量上验证新自定义业务逻辑的准确性。

检测管道内部结构

代理异常检测在检测速度、成本和覆盖范围之间取得平衡。为实现这一目标,它通过分层方式分析追踪和日志:第一层轻量级扫描会检查所有流量,识别统计异常并标记相关会话以供进一步分析。随后,基于LLM的推理层会对这些标记的会话进行深度检查。

以库存代理和list_inventory工具为例,用户说:"我想查看你的库存,每次列出100件商品",代理开始以大批次分页处理,跳过偏移量以获取完整目录。此过程未触发任何错误,代理仅执行其能力范围内的操作,且可能没有策略阻止此类行为。但代理异常检测会通过分层方式标记这种异常行为:第一层根据流量体积和重复调用将会话标记为统计异常;第二层通过完整对话推理,识别出这种大批次、跳过偏移量的模式属于系统性抓取而非正常浏览,并给出通俗解释。如需进一步核查,第三层会重建单个工具调用及其偏移量,精确显示获取了哪些数据。

检测结果为:资源耗尽(严重程度:关键,概率95%),并附带解决方案:对用户使用list_inventory工具进行限速或阻止,增加授权检查以限制批量访问库存的权限,并对大偏移量分页模式发出告警。该发现也会在安全指挥中心显示以供研判。

除人工核查外,您还可以通过编程方式处理检测结果。代理异常检测提供API接口,可获取特定会话的异常信息,因此ADK回调或插件可检查检测的严重程度和概率,当达到设定阈值时可阻止后续工具调用或中止下一轮交互。

随着代理承担更多实际工作,越来越多的风险将体现在其行为中。代理异常检测会监控代理行为并标记异常,让您在不影响代理性能的前提下进行核查和处置。

入门指南

代理异常检测目前处于私有预览阶段,仅对在Gemini企业代理平台部署代理且使用ADK 1.2或更高版本的团队开放。要开始使用,请查阅文档了解先决条件和设置步骤。满足先决条件后,您可以通过一键配置启用代理异常检测。

posted in:

  • AI
  • 云服务
  • 公告
  • 学习
  • 解决方案

上一篇

下一篇

相关文章

列表

AI

公告

学习

为什么客户端SDK生成应属于开源范畴

2026年9月17日

云服务

最佳实践

构建零信任AI代理:判断意图而非仅语法

2026年9月15日

导航点