We urgently need to monitor AI agents’ actions in real time

我们迫切需要实时监控AI代理的行为 | MIT技术评论

观点

我们迫切需要实时监控AI代理的行为

目前在部署这些工具时，我们实际上是在盲目行动。以下是我们需要采取的替代方案。

作者：

• Madhulika Srikumar 档案页面

• Claire Leibowicz 档案页面

2026年10月29日

Sarah Rogers/MIT技术评论 | Getty Images

今年夏天，数百个OpenAI代理试图在网络安全测试中作弊。它们突破了测试环境，成功入侵了Hugging Face网站，该网站被它们认为包含有关评分方式的线索。与此同时，另一个OpenAI代理访问了澳大利亚政府网站的私人文件。这个问题绝不仅限于OpenAI。在此之后的几个月里，Anthropic、Google和Meta也披露了其代理偏离轨道的事件。令人担忧的是，在许多案例中，这些代理甚至避开了负责监控它们的研究人员和安全团队。

AI代理正在采取未经授权的行动，而构建和运行它们的公司主要依赖运气和事后分析来减轻潜在危害。它们必须采取更多措施确保安全。这就是为什么欧盟监管机构和美国机构正确地呼吁代理开发者和部署者对代理进行实时监控。但这些规则假设公司能够看到其代理在做什么以及原因——而实际上，它们缺乏足够的可见性。

想象一家银行雇佣了1000名新员工，这些员工可以访问客户账户和敏感信息，但员工的工牌每天都会更换，不清楚经理是否曾审查或授权他们的工作，也没有人记录员工对审批流程所做的更改。这种缺乏可见性的情况就是我们目前面对代理的处境。

随着代理在金融、政府和医疗等关键领域逐步部署，我们必须能够实时监控它们，以防止广泛且可能造成灾难性后果的事件发生。虽然安全性依赖于监控，但监控需要可观测性：即系统执行了什么操作、将其处理成信号，并呈现给人类或自动化监管系统的能力。换句话说，我们需要知道代理做了什么以及为什么这么做。而正如我们最近的研究所示，当前的代理框架（运行代理的软件）并不能可靠地生成确保安全部署代理所需的至关重要的可观测性记录。

代理带来了生成式AI本身无法产生的新问题。它们继承了所依赖的大型语言模型（LLMs）的不可预测性，但与生成式AI系统为人类提供单一输出不同，代理执行更长期的任务——它们进行规划、选择工具、生成子代理并采取行动。因此，代理的行动路径可能以多种不同方式形成，任何上线前的测试都无法完全预见风险。这使得在代理工作时对其进行观察更加困难，也更加重要。

与学术界、民间社会和产业界的同事合作，我们研究了目前使用最广泛的四种代理框架，分析它们实际发出的信号。我们发现存在重大缺陷，使得实现关键安全目标（如发现政策违规、未经授权的操作，甚至人类监督失败）变得困难。关键的可观察性需求缺失，例如随时间持续的代理ID，以及记录哪些人类批准了代理任务的信息。这使得难以追踪哪些代理执行了什么操作，或判断它们是否采取了未经授权的行为。

好消息是，一旦识别出这些缺陷，就可以加以弥补。实现这一目标首先要记录两类信息：一类揭示代理运行过程中发生了什么及其决策方式；另一类记录代理的推理过程和对所采取行动的置信度。“发生了什么”的记录可以识别代理（同时保护隐私），并记录人类干预情况，以及代理权限或“记忆”是否发生变化；而“决策”记录则展示代理的推理过程和对所采取行动的置信度。

以处理银行按揭贷款的代理为例：系统审查申请后建议拒绝，随后有人类贷款官批准该决定。在后续审计或实时监控中，银行或监管机构需要能够追溯是哪个代理做出的决定、哪个官员批准了该决定，以及他们用了多长时间。同时，银行还必须分析代理拒绝决定的记录，以确保其未使用禁止的信息，例如申请人所在社区的细节。

记录“发生了什么”和“代理如何决定”需要不同的方法，但两者都可行。目前缺乏“发生了什么”记录的问题主要属于软件基础设施层面，可通过OpenTelemetry解决。OpenTelemetry是由行业工程师和采用该标准的代理框架共同维护的开源可观察性标准。

OpenTelemetry已启动工作组，正在起草用于追踪代理的共享格式，但尚未最终确定。该工作组应紧急纳入维持持久代理身份的标准，以及记录人类干预和代理权限/记忆变更的标准。这些标准应在系统扩展之前完成，同时关注代理ID与真实人员关联可能带来的隐私影响。

保留“代理如何决定”记录更具挑战性。这一问题对模型提供方和研究人员提出了开放性研究问题：模型展示的逐步推理（称为思维链）是否真实反映了其决策过程？我们是否有可靠的方法衡量代理对其决策的置信度？在制定此类可观察性记录使用标准之前，这些问题需要得到解答。

没有单一组织或行业能够独自弥补可观察性缺陷，但通过协作，各方可以共同构建必要的基础设施，以防止危险事件发生并保障安全。

AI 开发者在构建代理框架（如 OpenAI、Anthropic、CrewAI 和 LangChain）时，必须集成遥测信号，记录代理的持久身份、任何人工干预以及代理权限和记忆的任何变更。同时，采用这些代理框架的企业也扮演着重要角色；在受监管行业（如银行和医院）的企业可以向代理开发者施加压力，要求其提供缺失的可观测性记录，即使目前尚未存在相关标准。

企业还必须定义政策、权限和角色，明确代理可以安全执行的操作，因为遥测数据本身无法判断代理是否违反了特定规则。最后，监管机构和人工智能标准机构必须明确高风险人工智能部署所需的可观测性记录，同时将技术细节交由行业处理。我们已经看到初步进展：美国国家标准与技术研究院（NIST）的代理标准计划正在研究代理身份，这是我们研究中发现的最突出的差距之一。

没有哪家银行会允许一千名没有标识的员工随意访问客户账户，却希望在出现问题时拼凑出发生了什么。但我们现在部署人工智能代理的方式却正是如此。使代理行为变得可观测是解决这一问题的第一步。通过构建监管和政策生态系统，使我们能够根据所见采取行动，我们可以让组织对自身行为负责。在此之前，我们交给代理的每一项任务，实际上也同时交出了我们自身的自主权。

Madhulika Srikumar 是人工智能合作伙伴组织（Partnership on AI）AI 安全计划负责人，该组织是一个由全球领先的行业、学术和民间社会机构组成的非营利性合作伙伴关系，致力于推动人工智能治理的最佳实践。

Claire Leibowicz 是人工智能合作伙伴组织的 AI、信任与社会总监，同时也是牛津大学的博士候选人。

深度解析

人工智能

别被误导——大语言模型并不具备推理能力

AlphaGo 与围棋冠军李世石对弈十年后，如今的人工智能仍未利用上让那次胜利成为可能的机制。

• Thore Graepel 档案页面

“我们一直误解了它”：颠覆人工智能世界的爆炸性主张

独家采访 Nick Cammarata，这位研究人员的 26,000 字病毒式博客文章让人工智能安全领域的人士感到振奋。

• Will Douglas Heaven 档案页面

别被这个人工智能 hype 所迷惑

关于通用人工智能（AGI）和新功能的激动人心的声明，在受到审视时很快就会崩溃。

• Timnit Gebru 档案页面

• Emily M. Bender 档案页面

美国在边境监控上投入数十亿美元。为什么无法在人们死亡前阻止他们？

越来越多由人工智能驱动的监控塔承诺能更快响应越境事件。我们对监控塔附近死亡事件的调查发现，这些设施未能兑现承诺。

• James O'Donnell 档案页面

• Eileen Guo 档案页面

保持联系

插图由 Rose Wong 绘制

获取 MIT Technology Review 的最新动态

发现特别优惠、顶级故事、即将举行的活动等更多信息。