What Could Go Wrong When Agents Handle Your Sensitive Data? A New Taxonomy Answers.

当代理系统处理您的敏感数据时可能发生的问题：一种新分类法的解答 - MLCommons

当代理系统处理您的敏感数据时可能发生的问题：一种新分类法的解答。

代理系统会带来聊天机器人所不具备的隐私风险。MLCommons隐私工作组的新分类法映射了代理系统数据保护风险的五个领域，目前v0.1版本正在征集反馈。

October 1, 2026

MLCommons 隐私与保密工作组：Andrew Gruen, Kristie Chon Flynn 和 Vinh Nguyen

MLCommons AI风险与可靠性（AIRR）工作组基于一个简单理念展开：定义您期望AI系统实现的行为，然后衡量系统实现该行为的可靠性。部署者需要这些衡量指标来管理风险和成本。通过将这种可见性转化为行业更高标准，我们可以建立推动行业发展和保护社会所需的信任。今年4月，我们发布了《AI可靠性地图》，该地图明确了系统应遵循的规则（功能、数据保护、产品安全、前沿安全、心理社会限制）以及我们测试这些规则的场景（正常使用和受到攻击时）。

可靠性地图突出了数据保护实践在可靠性中的作用。随着隐私工作组的启动，我们明确聚焦于如何评估处理个人数据的代理系统的可靠性。但在任何人能够衡量代理系统是否可靠处理个人数据之前，我们必须先就哪些隐私风险是代理系统特有的达成共识。

单独运行的聊天机器人带来的数据保护风险范围——在大多数情况下——仅限于与其交互的单个用户。然而对于代理系统而言，数据保护风险的潜在范围则非常广泛。为了对代理系统特有的风险及其在隐私相关活动（特别是数据最小化）中的参与方式建立结构化认知，我们遵循了基于社区的基准开发流程的第一步：构建分类法。

今天，我们发布了代理隐私风险分类法的v0.1版本。

代理系统中数据保护风险的五个领域

该分类法聚焦于代理系统中数据保护风险的五个领域，结合了工业界、学术界和民间社会的专业知识。我们评估了已知的隐私和安全事件以及现有的风险管理框架。这五个领域包括：

• 数据摄入与处理。代理系统接收和保留的数据内容。代理系统在后台持续观察，记录每一步操作，并在会话之间保留记忆，因此它们通常会保留超出任务需求的数据。当一段自由文本很容易揭示去匿名化线索时，简单地删除姓名和账户号码几乎毫无作用。

• 聚合、使用与共享。代理系统获取数据后的处理方式。单独无害的数据片段组合起来可能变得敏感。代理系统可能未经授权就共享或删除数据；它依赖于无法验证的第三方工具和服务；它可以随时编写和运行代码。在某些情况下，模型会在用户同意的训练数据集中记忆个人数据的碎片，从而使模型能够回忆或推断关于个人和组织的敏感信息。

• 代理之间隐私实践不一致。交接过程中的问题。一个代理遵循一种政策，而与其他代理交互时可能遵循另一种政策。上下文信息会沿途泄露到日志中。当用户删除、更正信息或撤回同意时，下游代理往往无法接收到消息，从而无意中保留了用户希望删除的内容。

• 静态同意模型无法应对运行时代理行为。代理在每一刻的决策，而非用户一次性同意的内容。同意机制原本设计为一次性通过的门禁，但代理需要在运行时持续做决策。因此，要么代理根据特定情境自行判断用户的隐私预期（但可能出错），要么每次都要询问用户，导致用户因警报疲劳而未经阅读就点击确认。代理不会完全公开其推理过程，因此用户通常无法明确自己同意了什么。

• 责任归属与治理问题。出现问题后如何追责？是用户、提示语、模型、工具还是其他代理的问题？这很难界定。目前缺乏跨组织记录代理交互的标准且保护隐私的机制，而现有的日志和记忆存储却成为黑客获取敏感系统访问权限的高价值目标。

行业如何使用该分类法

我们鼓励行业合作伙伴将该分类法整合到从预训练到部署监控的整个AI开发和部署流程中。我们的工作将有助于减少隐私违规和风险，提升隐私与安全保护，降低潜在法律责任，并减少对个人和组织的伤害。

后续计划

v0.1版本不会对风险进行排序。能力和情境在此处至关重要：银行客服代理与可访问用户邮箱的个人助理面临的风险顺序截然不同。因此下一步工作是与部署方合作，确定在不同部署场景中哪些风险最为关键，并理想地识别出最普遍的风险。我们的目标是开发可应用于最广泛使用场景的度量工具。

我们计划与AIRR团队成员合作，通过多次与大规模部署方的互动，确定最关键的风险。随后我们将识别用于检测这些特定风险的指标，试点关键基准进行测量，并制定缓解风险的最佳实践。同时，我们将继续迭代代理隐私风险分类法。我们计划于2027年第一季度完成这项工作。

此后我们将开始构建。其中一些风险是可以在部署前测试的行为，这正是可靠性地图的起点。代理是否会获取超出任务需求的数据？是否会将删除请求传递给下游？其他风险，特别是责任与治理相关的风险，涉及代理周围组织的结构，基准测试无法捕捉这些。区分这两类风险是工作的一部分。目标是为部署方提供测量工具，全面评估其代理的表现，并在对其情境最重要的领域进行更具体的评估。

如何参与

这是一个v0.1版本，我们预计它会不断变化。我们希望从行业从业者、学术研究者、民间社会组织和监管机构获得反馈。

• 在此处阅读完整分类法。

• 加入工作组：隐私工作组每两周的星期四东部时间 11:30 至 12:30 举行会议。要加入或参与，请在此注册成为成员并参与我们的工作。

类别

AI风险与可靠性

AILuminate

新闻

作者

ML Commons

分享

• 通过电子邮件分享

• 在 Facebook 分享

• 在 LinkedIn 分享

• 在 X 上分享

• 复制链接