Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform
TL;DR · AI 摘要
Google推出Agent Anomaly Detection功能,通过分析Gemini平台代理行为轨迹,基于OWASP标准检测异常,支持无延迟异步分析。
核心要点
- Agent Anomaly Detection基于OWASP Agentic Top 10检测工具滥用等4类核心风险
- 异步分析机制确保无运行时延迟,不影响代理响应速度
- 未来将支持自定义业务逻辑的异常检测规则
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Agent Anomaly Detection
- 核心机制
- 行为轨迹分析
- 工具调用监控
- 功能特性
- 零延迟异步分析
- 安全中心集成
- 风险覆盖
- OWASP Top 10风险
- 自定义规则扩展
金句 / Highlights
值得收藏与分享的关键句。
Agent Anomaly Detection通过分析推理轨迹和工具调用,发现代理在正常会话中隐藏的违规行为
异步分析机制确保检测过程不增加运行时延迟,保持代理响应速度
内置检测器覆盖OWASP Agentic Top 10的4类核心风险,包括工具滥用和权限滥用
代理异常检测现已在Gemini企业代理平台私有预览版上线 - Google开发者博客
Google Tag Manager (noscript)
结束Google Tag Manager (noscript)
HTML
代理异常检测现已在Gemini企业代理平台私有预览版上线
2026年9月16日
Achuth Narayan Rajagopal
高级软件工程师
分享
- 邮件
每一次新模型的迭代都在让AI代理变得更强大、更自主、运行成本更低。各团队正将它们投入实际业务任务:处理退款、更新记录、代表用户调用内部工具。但更强大的模型并不自动意味着更安全。代理在运行时做出的决策越多,其风险就从代码本身转移到了行为层面。真正的损害往往发生在表面看似无害的会话中:代理给出一个干净的答案并关闭工单,之后才被发现它触碰了不该接触的工具,或在悄无声息中扩大了自己的访问权限。由于没有出现直接失败的情况,这些会话会通过常规的基于指标的评估而未被二次审查。
这一差距正是代理异常检测要解决的。该功能现已在Gemini企业代理平台的私有预览版中上线。
什么是代理异常检测?
代理异常检测是部署在Gemini企业代理平台上的自主代理的基于推理的监督和审计层。它通过代理的推理轨迹、工具调用和会话中的执行流程来分析代理实际执行的操作。它读取代理已发出的日志和OpenTelemetry追踪数据,评估这些活动以判断代理是否超出了其预期范围,并标记行为异常、可疑意图和策略违规。
使代理异常检测在生产环境中实用的一些关键特性:
- 无额外运行时延迟:分析在实时请求路径之外异步执行,不会影响代理的响应速度。
- 明确的可操作结果:每个异常发现都包含严重程度、用通俗语言解释触发原因以及推荐的后续步骤。每个异常发现也会发布到您的安全指挥中心部署中,使团队能够与其他发现一起进行分类处理。
- 基于OWASP代理十大风险:代理异常检测内置了针对OWASP代理应用十大风险(2026)中重点风险的检测器:工具误用(ASI02)、身份和权限滥用(ASI03)、级联故障(ASI08)和流氓代理(ASI10),以及资源耗尽和令牌使用升级等运营风险。其发现结果映射到这些公认的行业分类,而非自定义规则集。
- 异常检测中的自定义业务逻辑即将推出:我们正在积极开发让用户定义业务场景中异常含义的功能。这将使用户能够用自然语言配合确定性规则编写灵活的异常检测器,当代理超出企业特定业务指南时触发告警。此外,用户还可以在历史流量上验证新自定义业务逻辑的准确性。
检测管道内部结构
代理异常检测在检测速度、成本和覆盖范围之间取得平衡。为实现这一目标,它通过分层方式分析追踪和日志:第一层轻量级扫描会检查所有流量,识别统计异常并标记相关会话以供进一步分析。随后,基于LLM的推理层会对这些标记的会话进行深度检查。
以库存代理和list_inventory工具为例,用户说:"我想查看你的库存,每次列出100件商品",代理开始以大批次分页处理,跳过偏移量以获取完整目录。此过程未触发任何错误,代理仅执行其能力范围内的操作,且可能没有策略阻止此类行为。但代理异常检测会通过分层方式标记这种异常行为:第一层根据流量体积和重复调用将会话标记为统计异常;第二层通过完整对话推理,识别出这种大批次、跳过偏移量的模式属于系统性抓取而非正常浏览,并给出通俗解释。如需进一步核查,第三层会重建单个工具调用及其偏移量,精确显示获取了哪些数据。
检测结果为:资源耗尽(严重程度:关键,概率95%),并附带解决方案:对用户使用list_inventory工具进行限速或阻止,增加授权检查以限制批量访问库存的权限,并对大偏移量分页模式发出告警。该发现也会在安全指挥中心显示以供研判。
除人工核查外,您还可以通过编程方式处理检测结果。代理异常检测提供API接口,可获取特定会话的异常信息,因此ADK回调或插件可检查检测的严重程度和概率,当达到设定阈值时可阻止后续工具调用或中止下一轮交互。
随着代理承担更多实际工作,越来越多的风险将体现在其行为中。代理异常检测会监控代理行为并标记异常,让您在不影响代理性能的前提下进行核查和处置。
入门指南
代理异常检测目前处于私有预览阶段,仅对在Gemini企业代理平台部署代理且使用ADK 1.2或更高版本的团队开放。要开始使用,请查阅文档了解先决条件和设置步骤。满足先决条件后,您可以通过一键配置启用代理异常检测。
posted in:
- AI
- 云服务
- 公告
- 学习
- 解决方案
上一篇
下一篇
相关文章
列表
AI
公告
学习
为什么客户端SDK生成应属于开源范畴
2026年9月17日
云服务
最佳实践
构建零信任AI代理:判断意图而非仅语法
2026年9月15日
导航点