Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle

代理隐私与安全中的开放性与新兴问题：情境视角

2026年10月5日

Eugene Bagdasarian，研究员；Marco Gruteser，首席科学家，Google Research

要实现实用价值，AI代理必须理解并受情境行为规范的约束，以确保其行为得当。受情境完整性理论的启发，我们的新研讨会报告概述了在系统、模型和用户层面构建可信赖AI代理的关键开放研究方向。

快速链接

• 技术报告

• 分享 复制链接 ×

我们正在迅速转向由高度通用且日益自主的代理定义的计算环境。这些系统由能够动态生成计划并调用外部工具的大型语言模型（LLMs）驱动，为AI代理无缝处理复杂多步骤任务提供了潜力。然而，要实现这一潜力，需要解决一个关键挑战：在确保代理行为得当的同时，赋予代理能力。

今天，我们分享一份全面的新研讨会报告《代理隐私与安全中的开放性与新兴问题：情境视角》，这是超过50位来自众多机构的学术和行业领袖合作的成果。我们于2025年底在纽约市举行的Google情境代理隐私与安全（CAPS）研讨会上进行了交流。在本报告中，您将找到当前自主代理面临的基础隐私和安全挑战的分析，这些挑战需要在系统、模型、用户和生态系统层面进行协调防御。

代理的权衡

代理AI的核心挑战在于，为了使代理实用，它可能需要访问个人数据，并在广泛的情境中采取具有后果性的行动。然而，这种访问权限加上代理的行为灵活性，需要与传统软件中使用的方法有实质性不同。与传统确定性软件不同，代理在三个关键维度上的差异导致了研究社区必须共同解决的挑战：

• 非结构化接口和输入歧义：代理处理自然语言和图像等格式的指令，这使得定义“预期行为”或防范提示注入等对抗性操纵变得困难。

• 概率控制流：生成式规划导致传统测试方法难以保障的概率执行路径。

• 自主性与委托：随着代理处理更长的任务并将子任务委托给其他代理，传统用户监督变得效率低下且可能不足，导致“确认疲劳”风险。

根据image_width确定适当的宽度

对于移动图像，使用默认宽度

代理AI的隐私与安全挑战。

情境视角

鉴于实用的代理可能需要共享数据并完成任务，我们认为可信赖代理的未来取决于其能够推理、理解并受其操作特定情境中的社会规范和行为适当性约束的能力。

但如何教会智能体理解“上下文”和适当性呢？我们的报告基于“上下文完整性（Contextual Integrity, CI）”理论，该理论将隐私定义为不仅限于保密或控制，而是根据既定且可辩护的社会规范进行“适当的信息流动”。特定上下文的信息规范由三个要素定义：行为者（谁在向谁发送和接收信息）、信息类型（如医疗或财务记录等具体类别）以及传输原则（如保密性或互惠性等流动规则）。例如，你可能愿意将礼物购物清单分享给虚拟购物助手，但不会与家人和朋友分享。我们的报告将信息共享的上下文完整性理论扩展至“上下文安全”，即智能体行为的适当性。通过将智能体隐私和安全建立在CI理论基础上，我们探索如何设计系统，在执行操作前评估其社会和上下文适当性。

通用人工智能代理在不同上下文中与其他用户、工具和代理交互的模型。

操作化上下文完整性

自上下文完整性理论提出以来，大型语言模型（LLMs）首次提供了创建真正依赖上下文的机器可读策略的机会。历史上，高层次的上下文规范与低层次的系统权限之间存在语义鸿沟。例如，“在为会议安排行程时保护我的数据”需要明确指导哪些用户信息在预订航班、申请签证和与组织者沟通时是可分享的。

传统的手动权限或专家编写策略等方法无法扩展到未来由人工智能代理自主执行多个复杂、长期任务的场景。随着语言模型开始理解CI，我们认为这一鸿沟可以被弥合。我们的报告主张将模型和用户交互的进展与上下文策略引擎相结合，该引擎作为监督层的一部分，用于监控和强制执行操作的适当性。该策略引擎包含一个动态策略生成循环，可实时运行（如下图所示），根据用户请求和开放、动态的上下文（包括运行时可能发现的新工具和功能）定制策略。这使系统能够在任何信息离开用户工作空间之前，评估请求的数据流是否适当。

上下文策略引擎架构在智能体系统中的示例实现。

面向智能体隐私与安全的多层方法

与模型和用户层面的必要进展相结合，共同开发上下文策略引擎，将形成多层方法。我们的报告概述了整个技术栈中创新的机会：

• 系统级沙箱：执行环境可以施加额外的防护措施，以限制智能体或模型故障的影响，并促进检测和响应。传统操作系统通过静态限制访问（如文件或网络）来沙箱化应用程序。对于智能体，我们探索动态限制智能体能力、建立智能体身份，并根据上下文变化授权或撤销数据访问权限。

• 模型层面的推理：执行复杂任务的代理需要判断其行为的适当性，例如共享用户数据。未来的研究应使模型能够区分表述模糊的用户提示，并在上下文规范变化的情况下进行适当性推理。

• 以用户为中心的控制机制：传统的“告知与选择”框架假设个人能够对影响个人数据的行为做出精细化决策，并依赖于可预见性的假设。然而，自主代理的行为本质上具有概率性、高频率和生成性。我们探索将界面转向动态、上下文相关且个性化的控制机制，这些机制需符合用户的认知模型。

• 多代理交互：为了让AI代理能够安全协作完成复杂任务，我们需要开发有效的防护措施，防止代理之间串通并违反上下文规范。

• 生态系统治理：我们探讨治理机制面临的挑战，以建立一套可在代理间收集和共享的上下文规范。此外，由于规范可能在不同领域和实体间存在差异，我们需要解决冲突、协商规范变更并验证合规性的机制。

动态衡量隐私与安全

最后，我们提出开发新的安全评估方法，这些方法能更直接地应用于高度自主的多代理系统。我们的报告强调了标准化多代理基准测试的必要性——动态的“Agent Gym”环境，研究人员可以在其中安全地模拟长时间的复杂级联交互。通过这些开源沙盒，我们可以在学术界和工业界建立稳健的共享隐私、安全和安全基线。

行动呼吁

这是一个雄心勃勃的项目，但构建一个安全、可靠且值得信赖的自主代理生态系统是一项过于庞大的任务，无法由任何单一学科、组织或行业单独完成。报告呼吁新的想法和前所未有的合作，阐述了基础性机遇；这是对学术界、政府、民间社会和工业界更广泛研究社区的行动呼吁，以开发构建安全、可靠且尊重隐私生态系统的必要上下文基础。我们邀请您阅读技术报告。

致谢

我们感谢Lillian Tsai担任联合首席作者，感谢Sarah de Haas协调研讨会、报告撰写和博客文章。Kassem Fawaz、Stefan Mellem、Helen Nissenbaum和Nina Taft参与了概念化、多章节写作并指导了写作过程。Sebastian Benthall、Madiha Zahrah Choksi、Seliem El-Sayed、Ferdinando Fioretto、Adrià Gascón、Ashish Hooda、Ivan Petrov、Francesco Pinto、Octavian Suciu、Trishita Tiwari、Harold Triedman、Ren Yi和Wen Zhang担任章节负责人。我们感谢超过50位共同撰写报告或参与研讨会讨论的研究人员、学术合作伙伴和行业领袖的贡献。本研究工作得到了Daniel Ramage、Corinna Cortes、Yossi Matias、Pushmeet Kohli、Hank Levy、Raluca Ada Popa、Amanda Walker、Brendan McMahan和James Manyika的支持。

• 标签：

• 教育创新

• 一般科学

• 机器智能

• 自然语言处理

其他相关文章

/think

• 2026年9月29日 扩散控制器如何统一并简化AI图像生成 算法与理论 · 机器智能

• 2026年9月24日 自动化生成连贯的长视频内容 生成式AI · 机器智能

• 2026年9月17日 教学实践的未来：通过生成式UI帮助教师创建交互式学习内容 教育创新 · 生成式AI · 机器智能

×

❮

❯

一张流程图，展示了一个上下文策略架构，其中AI代理的提议动作在由外部工具执行前会由策略引擎进行评估。

一张系统图，详细说明了AI代理架构的内部组件、行为预期，以及其与用户和不同外部环境的交互方式。

一张示意图，说明了三个AI安全挑战：通过提示注入导致的输入歧义、非确定性控制流，以及自主性与委托问题。