Towards Data Science

How AI Agents Become a Tool for Attackers, and How to Stop It

8.5内容质量

TL;DR · AI 摘要

AI代理可能被攻击者利用进行恶意活动,需通过权限检查、数据访问控制等措施防范风险。

核心要点

  • 权限检查应在模型处理数据前实施,防止未授权访问。
  • 输入验证和输出监控可有效阻止提示注入攻击。
  • 审计日志是追踪攻击行为和分析安全事件的关键工具。

结构提纲

按章节快速跳转。

  1. AI技术在提升业务效率的同时也带来新的安全风险。

  2. AI代理可能被恶意利用进行数据窃取和攻击。

  3. 内部AI工具需严格限制敏感数据访问权限。

  4. 通过输入验证防止提示注入攻击。

  5. 实时监控AI输出并记录审计日志以追踪攻击。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI代理安全防护
    • 核心威胁
      • 提示注入
      • 数据泄露
    • 防护措施
      • 权限检查
      • 输入验证
      • 输出监控
      • 审计日志

金句 / Highlights

值得收藏与分享的关键句。

#AI安全#LLM代理#网络安全#数据泄露
打开原文

防范提示注入和数据泄露的LLM代理安全

Agentic AI

AI代理如何成为攻击者的工具,以及如何阻止它

部署AI时的安全管理,第一部分:被入侵的凭证、从预算推断出的薪资以及篡改过的文件,展示了为什么代理在模型看到数据之前需要权限检查。

Stephanie Kirmer

2026年11月18日

9分钟阅读

更喜欢我们在Google上的内容

分享

照片由Ries Bosch在Unsplash上提供

AI正在成为网络安全领域最热门的话题。首席信息安全官(CISOs)向民调员和采访者表示,他们对AI可能通过各种方式使组织更加脆弱和不安全感到非常担忧。AI可能成为攻击的目标,也可能成为攻击者加速和实施攻击的工具。它还可能无意中引入错误,导致不可预见的风险。

然而,大型语言模型(LLMs)和LLM代理系统正越来越多地集成到各种业务任务中。我们这些从事机器学习/AI工程领域的人被要求为各行各业的许多不同使用案例构建这些系统。

例如,这些可以用于:

  • 使内部数据或文档更易于查找和搜索
  • 允许用户通过聊天机器人提交支持工单
  • 提供合同和法律文件的审查支持
  • 故障的事件分类和响应
  • 自动合规性监控
  • 人力资源任务,如入职、福利和工资单
  • 会计,包括报告、费用管理和对账
  • 客户服务和客户关系管理(CRM)
  • 销售自动化和客户记录访问
  • 商业智能和分析
  • IT管理与基础设施管理
  • 网络安全运营,包括威胁检测和自动化修复

……还有更多,不胜枚举。

正如你可能想象的,这些任务意味着AI正在访问你拥有的最敏感和最有价值的业务数据。在我们追求业务效率的过程中,我们对AI应用和工具投入了大量信任。问题是:我们应该如何构建治理结构并做出开发选择,以尽可能确保AI使用的安全性?

在接下来的两个月里,我将分享一些关于组织在AI开发、部署和实施过程中需要关注的安全场景的笔记。在本部分中,我们将讨论通常无害的代理如何被恶意行为者重新利用为进行不良活动的工具。

AI作为工具

AI极易被用于恶意的网络安全活动,或被劫持。就像一只非常友好的看门狗,AI实际上可能会无意但热切地为对你的组织构成威胁的人打开大门,因此你需要提前设置保护措施。

数据访问与知识库管理

内部AI工具可以帮助团队更快地找到完成工作所需的数据,但也要认识到攻击者同样可以利用这些工具。例如,如果你正在开发内部AI工具以帮助员工快速查找文件和访问数据,那么试图收集和外泄数据的内部威胁者也可以借助AI工具达成目的,他们只需一套被入侵的凭证即可实现。这些数据可能暴露内部架构,起到侦察作用,也可能泄露对黑客具有经济价值的敏感信息。

管理AI代理可访问的数据是降低此类风险的关键。使用RAG或其他类似技术进行数据检索时,通常需要在返回结果前对数据进行汇总和整合。当Bob询问“Jenkins账户的历史是什么?”时,这可能涉及包含不同种类信息的多份文档——合同、通话记录、发票、内部Slack消息或电子邮件等。

这些数据元素的敏感程度各不相同。例如,内部沟通可能并非所有人都能查看,如果Susan提出此请求,你不希望这些信息包含在回复中,但因为Bob是副总裁,他可以查看这些内容。你现在可能已经意识到,每个文档的用户权限都是不同的,因此需要在文档层面明确指定这些权限。

请务必认识到,为模型可访问的每一份数据确定正确的访问权限可能极具挑战性。如果你的LLM从知识库中调取五个项目来回答一个问题,你需要确保预过滤系统能够识别这五个项目的各自访问权限。你不能仅依赖通过指令让LLM区分权限,因为这种方式失败的可能性极高。唯一能确保访问权限得到妥善保护的方式,是在上游设置防护措施。如果某个文件比其他文件更敏感且超出用户的访问权限,当用户提问时,LLM必须不能从知识库中获取该文件,否则在整合信息返回用户时可能会使用到它。这是设计信息检索LLM系统时常常被忽视但非常重要的架构性挑战。虽然将所有文件直接导入知识库并让LLM自行处理看似便捷,但这最终会让你面临严重的访问权限泄露风险。

定义敏感性

如前所述,在能够有效保护信息之前,你需要明确哪些数据应该对哪些人可见。某些数据在与其他元素结合时可能会变得更加敏感。例如,如果代理能够访问项目的人力资源安排和项目预算,用户可能会要求大语言模型(LLM)推算出员工的预估薪资。这突显了需要仔细考虑每个数据元素和文档的重要性,而不是未经筛选就将整个维基百科或共享驱动器的内容直接导入LLM的知识库。妥善管理文档是解决此类问题的关键。代理访问的任何文档都应与相关元数据一同存储,这能明确说明文档的敏感性以及不同用户应被授予的访问权限。

如上所述,外部攻击者也可以通过AI访问数据用于侦察。对于内部用户可能并不敏感的文档和数据,对攻击者来说可能是快速熟悉系统结构并实施攻击的高效方式,从而加快攻击进程并造成更大损害。

权限过量

假设你已经对数据进行了分类整理,现在需要考虑用户权限问题。设想一个故意无法访问最敏感数据的用户。我们之前已经讨论过他们如何通过AI代理获取超出访问权限的信息,但还存在行为层面的风险。例如,如果Bob联系了具备执行系统或网络操作权限的内部IT代理,要求更改某个文件的权限,他(或伪装成Bob的攻击者)可能将访问权限扩展到超出你原本意图的范围。同样,更改用户权限是IT职责的常规部分,但你清楚这种能力应仅限于极少数管理员。

虽然让代理协助处理此类任务可以减轻系统管理员的工作负担,但必须从一开始就实施显著的保护措施。与数据访问一样,代理的行为也必须内置权限检查,确保代理不会执行用户本身没有权限完成的操作。代理可能拥有执行脚本、与API交互或管理部署流水线的权限,这些能力可能为用户无法直接访问的系统提供间接访问途径。

为缓解这一问题,理想情况下你不应仅依赖代理按照指令行事,而应设置更严格的防护措施。当拥有只读权限的用户使用代理时,涉及写入数据的工具和技能应被禁用。不要仅仅依赖指令让代理不去调用这些能力,而应直接移除这种诱惑。此外,某些操作你将决定其风险过高,必须强制要求人工审核。确定这一界限的位置取决于你的业务需求和风险承受能力,但你需要做出这一决策并相应地实施防护措施。

在设计LLM代理时,还有一些非常有效的架构技术可以帮助降低风险,这进一步强调了在开发过程中将安全作为首要考虑因素的重要性。

提示注入/代理操纵

即使是最经过良好提示和调优的LLM,也存在被操纵的可能性。事实上,通过在提示中提供恶意指令来操纵模型行为,是攻击已部署LLM和代理的成熟技术。提示注入通过以人类难以检测或解释的方式传递指令,但LLM却能轻松理解,可能导致LLM出现各种出乎意料的行为。

即使用户本意无害,或攻击者无法直接访问您的代理,无意中上传的经过篡改的数据或伪造文件也可能被AI代理处理,这些文件可能包含LLM会执行的恶意指令。

如果模型未经过精心设计和严格测试,将面临泄露敏感数据和/或采取不当行动的高风险。这也是为什么我建议您在上游设置权限控制,而不仅仅依赖代理自行做出正确决策。尽可能消除被操纵的可能性,即使代理被混淆或欺骗,也无法造成严重危害。

您可以通过谨慎设计代理的文档和数据摄入流程来降低此类风险。新文件和数据应被视为不安全,直到被证明是安全的。对上传的材料进行扫描和检查至关重要。您还应自行进行测试,本质上是对代理进行红队演练。尝试找到代理性能下降的边界,特别是在长对话中,提示指令可能被大量对话内容淹没的情况。

引入漏洞

最后简要说明:AI如今是软件开发工作的重要组成部分,您的开发团队肯定在日常工作中使用它。然而,粗心的AI开发实践可能在您毫无察觉且无任何恶意意图的情况下,将漏洞或安全缺陷引入代码库。这可能表现为AI生成的代码包含意外的安全缺陷、配置或基础设施设置错误,或因开发速度过快导致测试不足等。虽然这并非AI被用作恶意工具的典型案例,但属于相关领域,值得保持警惕。请确保使用AI工具生成的代码经过彻底测试和验证,以防止无意中引入安全漏洞。

···

下个月,我将继续讨论AI如何成为网络犯罪分子的目标,以及我们如何保护系统并为灾难性事件做好应对准备。

阅读我更多作品,请访问 www.stephaniekirmer.com 。

进一步阅读

https://www.a16z.news/p/the-new-security-agenda

提示注入操纵工具选择的示例:https://arxiv.org/abs/2504.19793

忽略先前提示:语言模型的攻击技术 基于Transformer的大型语言模型(LLMs)为大规模自然语言任务提供了强大的基础… arxiv.org

设计用于保护LLM代理免受提示注入的模式 Luca Beurer-Kellner 注:作者按字母顺序排列。通讯作者:[email protected] Invariant… arxiv.org

绕过LLM安全防护:对提示注入和…的规避攻击实证分析 William Hackett, Lewis Birch, Stefan Trawicki, Neeraj Suri, Peter Garraghan 第一届LLM研讨会论文集… aclanthology.org