Privacy-Aware Infrastructure in the AI-Native Era: An Asset Classification Case Study

人工智能原生时代隐私感知基础设施：资产分类案例研究 - Meta 工程实践

发布日期

2026年6月25日

分类

机器学习应用

,

安全与隐私

人工智能原生时代隐私感知基础设施：资产分类案例研究

.entry-meta

.entry-header

作者

Rituraj Kirti

Vasileios Lakafosis

隐私控制——用于执行保留、访问、允许用途、下游共享或匿名化策略的系统——需要对数据有可靠的理解才能正常运行。在这样的控制能够有效运行之前，它必须确切知道它正在处理的是什么。这可能很复杂，如一个名为“年龄”的字段所展示的那样：在一个上下文中，它可能描述一个人并需要严格的保护，而在另一个上下文中，它可能是一个基础设施管道中的缓存生存时间（TTL）数值。

图1：一个列名，两种治理结果。当“年龄”描述一个人时，它是个人数据；而当它是缓存TTL时，它只是普通的系统元数据。这就是为什么仅凭名称无法确定隐私要求。

这是隐私感知基础设施（PAI）背后的日常问题：输入是嘈杂且概率性的，但输出需要足够精确以驱动执行。

人工智能原生产品使这个问题更加困难。它们引入了新的数据模态、更快的迭代周期、衍生特征、嵌入、多模态输入以及不断变化的政策解释。人工审核在判断和问责方面仍然很重要，但无法跟上数据量和变化速度。

在Meta，我们采用一种混合模式进行大规模资产分类：

• 在要求模型推理之前，先构建丰富的上下文。

• 使用大型语言模型（LLMs）来处理歧义、冷启动和新事物。

• 将人工审核的标签与模型生成的建议分开。

• 将稳定的行为提炼成确定性的、版本化的规则，用于常规执行。

最终目标不是“在所有地方使用LLMs”。相反，它是一个能够从模糊信号中学习的系统，同时将生产执行转向低延迟、可重放且更容易审计的逻辑。

在常见情况下，LLM不会做出生产决策，确定性规则会。我们有意且狭义地使用LLMs，用于解释新颖或模糊的资产，然后将它们学到的内容提炼成经过人工审核的确定性规则，这些规则随着时间的推移逐步缩小LLM在生产中的作用。人类在最关键的地方保持参与。人们裁定已审核的参考标签，并审查和批准可能改变保护执行方式的规则推广。

PAI解决了四个运营问题：

• 了解存在哪些数据以及它是如何被管理的。

• 发现哪些数据流与政策问题相关。

• 执行保留/访问/用途/共享约束。

• 通过可验证的证据证明合规性。

资产分类位于“了解”层。它为所有下游关注点提供了基础。

图2：隐私感知基础设施堆栈是一个依赖金字塔：每种能力都依赖于其下方的一种能力。了解——即分类数据实际是什么——是承重的基础。如果它出错，上面的所有内容（发现、执行、证明）都会继承这个错误。

为什么资产分类很重要

资产分类是许多隐私控制措施的基础。在系统能够执行保留、访问、允许用途、下游共享或匿名化策略之前，它需要对资产是什么以及应该如何治理有一个可靠的了解。

资产不仅仅是一个表或列。它可以是有效载荷中的嵌套字段、日志键、事件参数、API 字段、机器学习（ML）特征、嵌入或由中间管道生成的衍生数据集。这种广泛性很重要，因为原生 AI 系统通常会跨多种表示形式转换数据。一个单一的源信号可能通过管道传输，变成一个特征，出现在模型训练工作流中，或与其他衍生信号进行连接。分类必须遵循数据的含义，而不仅仅是其形状。

存在四个反复出现的挑战：

第一，噪声和弱信号：每个资产都会获取数十个上下文字段，这迫使模型每次都要重新发现重要的信息。高 token 使用率会稀释注意力，决策边界会被无关或误导性的字段掩盖。在缓存管道中名为 age 的字段就是一个具体例子：在没有代码解析和血缘分析的情况下，分类器会对整个管道触发错误的限制。

第二，相关上下文是分散的：代码、血缘、所有权、语义注释、文档和使用模式通常存在于不同的系统中。一个优秀的分类器在做出决策之前需要将这些上下文整合在一起。

第三，需求会演变：产品团队行动迅速，随着新产品功能的出现，政策解释可能会发生变化。静态规则集或周期性的人工审查流程可能在审查之间留下空白。

第四，只有当分类能够支持执行时，它才有用。一个误报可能会在下游触发不必要的限制。一个漏报可能会留下保护漏洞。分类器位于执行管道的前端，因此其错误分布会影响所有依赖它的系统。

这创造了核心的紧张关系：分类需要在模糊中进行推理，但执行需要能够解释和复现的决策。

图3：四个不同的困难（上下文依赖、稀疏信号、沉重的长尾和持续的模式漂移）都归结为一个紧张关系：分类希望在模糊中进行推理，而执行则要求能够解释和复现的结果。整个设计的存在就是为了在这两者之间保持平衡。

模式

我们的方法围绕着构建和运营系统时出现的三个原则：

首先，上下文胜过提示。大多数分类失败并不是由弱指令引起的，而是由弱或缺失的证据引起的。在模型对原始、噪声字段进行推理时，数小时的提示优化只带来了边际的改进。将上下文结构化为包含支持信号、矛盾信号、来源和掩码循环字段的证据摘要，产生了更大的准确性提升。实际的教训很简单：在优化如何提问之前，先关注输入模型的内容。

第二，将评估与优化解耦。大语言模型（LLM）的输出是有用的建议，但不能成为自身的事实依据。评估循环必须独立于分类器：使用不同的模型、不同的提示策略、冻结的参考集、人工审核的标签以及回归门控。如果评估和优化共享同一个循环，系统可能会测量的是偏移而非进展。

第三，将稳定的行为提炼为确定性规则。大语言模型在处理歧义、冷启动和新出现的模式方面很有用，但它们不适合作为大规模的默认执行机制。当系统发现稳定且经过验证的模式时，这些模式应转化为可版本化、可审计的规则，并在不使用大语言模型的情况下运行。随着时间的推移，分类器应逐步缩小其自身的大语言模型使用范围，将模型推理用于新颖或模糊的资产，而常规执行则应变得确定性、低延迟且可重放。

这些原则转化为一个具体的运行模式：定义一个稳定的分类合同，构建一个上下文网格，通过一个优先确定性的漏斗路由决策，并通过独立评估和人工审核的标签来保持学习循环的安全。

为了实现这一模式，我们将工作分解为七个实际阶段。这些阶段将高层次的架构转化为具体、可重复的过程。

本文的其余部分将通过资产分类作为案例研究，逐步介绍这些内容。

图4：双车道运行模式：（1）大多数请求（约85%）在个位数毫秒内通过确定性路径解决，包括上下文组装在内约40毫秒；约15%的大语言模型回退路径较慢（秒级），且预算单独计算；（2-3）夜间离线车道会抽样已处理的决策，并将其与人工审核的事实进行裁定和重新评估；（4）提炼出的规则通过内容寻址的交换方式重新引入到实时决策漏斗中。两条车道都保持了掩码不变性。

1.) 从合同开始

分类器应像平台服务一样运行。这意味着它的合同应小而明确且稳定。对于每个资产，分类器接收一个标识符和一组上下文信息。它返回一个结构化的结果，包括：

• 分类器分类法中的一个类别。

• 置信度得分——一个原始模型自我评估的得分，我们将通过人工审核的标签来评估其校准情况（见下文）。

• 显示哪些证据影响了结果的决策轨迹。

• 如果决策来自确定性逻辑，匹配的规则。

• 用于做出决策的上下文、规则和提示的版本信息。

分类法是领域特定的。一个分类器可能区分用户数据和操作数据。另一个可能判断资产是否符合特定的AI训练使用案例。我们避免将每个分类器强制纳入一个统一的分类法。相反，每个分类器负责一个特定的问题，下游系统在需要多个方面信息时组合这些答案。

这种范围划分非常重要。一个狭窄的分类器更容易评估、更容易调试、更容易治理。它还使决策轨迹更有意义，因为分类器是在解释一个决策，而不是试图一次性解决所有政策问题。

图5：分类器是一个服务合同，而不是一个提示：固定的请求输入，类型化的结果输出。三个响应字段——matched_rule（匹配规则）、decision_trace（决策追踪）和versions（版本）——使得每次分类都可以在事后被重放和审计。

2.) 在提示之前构建上下文

大多数分类失败并不是提示失败，而是上下文失败。如果唯一的信号只是一个字段名称，模型就必须猜测。如果系统还能提供代码引用、血缘关系、所有权、语义注释以及附近使用情况，模型就可以基于更有力的证据进行推理。

实际上，上下文网格可能包括以下内容：

• 源代码解析，包括字段的定义或使用位置。

• 所有权和组织元数据。

• 语义注释，例如数据类型或来源。

• 血缘信号，显示数据的来源和流向。

• 来自扫描器或基于嵌入的分类器的机器学习启发式输出。

• 显示引用、日志声明或调用点的代码搜索结果。

重点不是将所有内容都传递给大语言模型（LLM）。更多的上下文并不一定更好。一些字段是冗余的。一些字段是噪声。如果它们已经编码了我们试图预测的标签，一些字段甚至可能产生循环推理。

因此，系统会创建一个证据简报——对最强支持信号、矛盾信号和血缘链的紧凑摘要。我们不是让模型去筛选原始上下文，而是让它基于对分类决策最相关的证据进行推理。

图6：为一个资产组装的证据简报。每个信号都根据可靠性（条形长度）进行加权，并分为支持（support）和反对（contra）两类。原有的隐私标签被故意隐藏。如果将其反馈给模型，模型将能够评估自己的作业，从而导致信号崩溃。

如果没有这种结构，模型将接收到每个资产的数十个原始字段，并必须重新发现哪些是重要的，这会导致高token消耗、注意力稀释以及决策边界被噪声掩盖。证据简报通过提前对信号进行排序来解决这个问题。对于像user_payload.email_address这样的字段，证据简报可能会这样说明：

• 支持信号：血缘关系将该资产连接到一个面向用户的日志管道（权重0.8）。

• 支持信号：语义注释表明数据类似于EMAIL（权重0.9）。

• 反对信号：所有权元数据指向基础设施团队，而不是面向用户的产品（权重0.3）。

• 抑制信号：已移除一个现有的隐私标签，以避免循环推理。

最后这一点很重要。模型不应被允许通过阅读已经包含答案的字段来“发现”正确答案。屏蔽不仅仅是提示的卫生问题，它是一个系统不变量。从LLM中屏蔽的字段也会被阻止用于规则蒸馏，因此模型无法通过循环字段将答案偷偷塞入规则中。使用高风险字段的确定性规则需要明确的审查。

随着时间的推移，系统还可以学习哪些上下文字段是有用的。那些持续提升分类效果的字段可以被优先考虑。那些不稳定、冗余或有害的字段可以被抑制。这将信号质量从直觉问题转变为可衡量的问题。

3.) 使用决策漏斗

一旦上下文被构建完成，分类器就会将资产通过一个决策漏斗进行处理。

第一种路径是确定性的。如果已知的、具有版本的规则与资产匹配，分类器可以快速返回决策，并给出明确的解释。确定性规则适用于稳定的模式，例如已被充分理解的命名空间、具有高精度的语义注释，或经过时间验证的信号组合。

第二种路径是基于大语言模型（LLM）的。如果资产是新颖的、模糊的，或者超出当前规则的覆盖范围，分类器会要求模型对证据摘要进行推理。模型会返回一个候选标签、置信度指标、决策路径和引用的证据。在我们的生产部署中，如图7所示，廉价的确定性规则可以以单数位毫秒的时间处理大约85%的流量。大语言模型则被保留作为后备，用于处理大约15%的新颖或模糊的资产。该路径速度较慢，大约需要数秒时间，计算成本约为前者的400倍，因此预算单独分配。两种路径都会生成相同的输出结果格式。掩码不变性在每条路径上都得到了强制执行。

图7：廉价的确定性规则可以在单数位毫秒的时间内处理大约85%的流量；大语言模型被保留作为后备，用于处理大约15%的新颖或模糊的资产，该路径速度较慢（大约数秒），计算成本约为前者的400倍，预算单独分配。两种路径都会生成相同的输出结果格式，掩码不变性在每条路径上都得到了强制执行。

这种置信度值得仔细阅读。原始分数是模型的自我评估，是模型根据自己的判断生成的一个数字，而不是正确的固有概率。因此，我们会将其校准与已审查的标签进行比较。原始分数与在人工审查的参考集合上实际观察到的正确率进行比较，这告诉我们某个分数在多大程度上可以追踪真实的正确概率。例如，在漏斗中基于置信度的路由，自动接受与路由至人工审查，应使用经过校准的分数，而不是原始分数。

两种路径生成相同的结果格式。下游执行系统不需要知道决策是来自规则还是基于模型的推理。它们接收到的是类别、置信度、追踪信息和版本化的决策元数据。

这种划分使得该模式变得实用。大语言模型适用于模糊性和冷启动场景，而规则更适合于常规执行。我们能将越稳定的行为提炼成规则，模型推理路径的使用频率就越低。

规则覆盖范围成为一个重要的运营指标。如果覆盖范围上升而质量保持稳定，分类器正朝着更健康的稳定状态发展：对模型的常规调用减少，资源使用量降低，延迟降低，决策更容易重放。

一个关键的系统不变性：从大语言模型中被掩码的字段也从学习规则的提炼过程中被阻止，因此被掩码的信号无法通过自动提炼的规则重新进入决策过程。在一个生产部署中，规则评估期间对掩码上下文处理的一个细微错误导致规则静默地回退到大语言模型后备，因此即使规则集在增长，规则覆盖范围看起来却停滞不前。修复该处理方式后，规则覆盖范围立即提高，大语言模型推理调用显著减少。

教训：遮蔽（masking）不是提示工程（prompt engineering）的考虑因素，而是系统不变的规则。依赖高风险字段的确定性规则需要明确的审查，而不是隐式地继承遮蔽。

4.) 有意识地解决冷启动问题

在第零天，分类器面临一个困难的问题：可能有数以百万计的资产，但只有很少的已审查标签。随机抽样并不足够。对隐私最重要的分类可能是罕见的，而罕见分类如果等待示例自然出现，很容易被遗漏。

相反，我们使用政策指导的示例来启动这一过程：

• 罕见的敏感分类。

• 政策解释存在困难的边缘案例。

• 看起来敏感但实际上不是的反例。

• 上下文信号存在分歧的资产。

目标不是消除人工审查。而是将人工注意力集中在判断最为关键的案例上。

5.) 保持学习循环的安全

一旦分类器上线，它需要在不评估自己“作业”的情况下进行改进。

我们将两个循环分开：

参考循环生成已审查的标签。这些标签是只追加、版本化并使用来源追踪的。如果一个标签发生变化，历史记录会被保留，而不是被覆盖。模型生成的标签是有用的建议，但它们不会自动成为参考标签。人类会裁定不确定或高风险的案例，这些裁定后的标签成为评估的参考集合。

优化循环改进提示、路由、上下文使用和候选规则。它可以快速进化，但它会与已审查的参考集合进行评估，而不是与它试图优化的模型生成的标签进行比较。这一区别很重要：一个通过自身预测进行训练或验证的分类器可能看起来在改进，但可能逐渐偏离政策意图。

为了质量控制，我们使用多面板法官——三个独立的大型语言模型（LLM）评估，每个评估使用不同的提示策略。一个直接根据证据进行分类。一个先批评支持和反驳的信号，然后进行分类。一个专注于元数据信号，如值班、血缘和语义注释，而忽略名称和描述。所有三个法官共享一个法官模型，这是一个特意与分类器模型不同的更大推理模型。

三个法官共享一个框架，仅在推理方式上有所不同。下面的结构是说明性的，不是实际生产的提示，但它展示了结构。每个法官收到相同的遮蔽证据摘要，遮蔽不变性仍然成立，每个法官返回一个结构化的判决。

# 共享框架（所有三个法官）
INPUT  = masked_evidence_brief   # 已存在的隐私标签被移除；遮蔽不变性成立
OUTPUT = {label, rationale, confidence}
JUDGE_MODEL = 更大的推理模型，特意 != 分类器模型

# V1 - 直接从证据分类
verdict_1 = judge(brief, instruction="直接从证据对资产进行分类。")

# V2 - 先批评再分类
verdict_2 = judge(brief, instruction="首先批评支持和反驳的信号，然后进行分类。")

# V3 - 仅使用元数据
verdict_3 = judge(brief, instruction="仅使用元数据信号（值班、血缘、语义注释）。忽略名称和描述。")

# 聚合
final_label = majority_vote(verdict_1, verdict_2, verdict_3)
Agreement = cohens_kappa(verdict_1, verdict_2, verdict_3)   # 评分者间一致性

结果通过多数投票进行汇总。我们通过跟踪三位评委框架下的共识程度作为稳定性信号，而科恩卡帕（Cohen’s kappa，κ）则将评委共识与参考标签（或分类器输出）进行比较，提供关于分类可靠性的统计信号。这些卡帕分数驱动结构化循环决策：当系统运行正常时继续执行，当怀疑存在标签噪声时扩大审计范围，当质量在两个或更多迭代中下降时冻结并进行审计，当标签或分类体系出现根本性问题时触发数据问题并停止系统运行并升级处理。这可以防止迭代循环将回归问题部署到生产环境中。

对于类别不平衡的分类体系，我们使用能够揭示罕见类别失败的指标。仅凭准确率可能会产生误导：如果敏感资产很少，一个将所有内容都标记为非敏感的分类器可能看起来准确。马修斯相关系数（Matthews correlation coefficient）、宏F1（macro F1）、每类召回率（per-class recall）、平衡准确率（balanced accuracy）以及校准检查可以提供更全面的图景。

我们还关注脆弱的决策。一个有用的测试是反事实掩码（counterfactual masking）：依次移除一个上下文字段并重新分类。如果在单个弱信号消失时决策发生翻转，该资产将被标记以供审查。原始预测可能仍然正确，但推理过程可能过于脆弱，无法支持自信的自动化。

当质量下降时，系统应减慢或停止。这可能意味着扩大审计样本、冻结优化，或将分类体系或标签问题升级给人类进行审查。一个学习系统需要刹车，而不仅仅是加速器。

6.) 将稳定行为提炼为规则

即使是一个强大的大型语言模型（LLM）分类器，也不应永远作为默认的执行路径。这种提炼（而非自主决策）是我们集中模型价值的地方。任何可能改变敏感数据保护方式的规则，在生效之前都必须经过人工审核和批准。

随着系统收集到经过审核的标签和决策轨迹，它可以识别出足够稳定的模式，从而编码为确定性规则。一条规则可能捕捉到高精度的语义注释、可靠的归属和血缘组合，或在某一类资产中反复出现的模式。

候选规则在影响服务决策之前会经过验证。一个典型的流程如下：

• 从稳定上下文和标签模式中提出一条规则。

• 在保留的已审核数据集上对其进行测试。

• 在生产流量上以影子模式运行，而不改变服务行为。

• 仅当质量、覆盖率和回归检查通过所需门限后，才将其推广。

• 如果模式变得过时或质量下降，就将其退役或修订。

提炼过程分为复杂度逐步增加的阶段：

阶段1：基于字段的规则。提取单字段模式（精确匹配、关键词、数值范围、值集成员、命名空间模式），要求至少有两个资产支持，并且最低纯度为80%。这些是用于提取规则以进行评估的候选挖掘阈值，而非推广阈值。来自任何阶段的每个候选规则仍需通过保留集验证、更高的开发精度门槛、影子模式运行以及在保护可能发生变化前的人工审核，才能投入使用。

阶段2：复合规则。对于未覆盖的类别，搜索更严格的联合条件（例如，“值班包含X且语义类型是ACCOUNT_ID”），要求纯度为95%、至少有10个示例，并对50%的子样本进行稳定性检查。

Stage 3（可选）：由大语言模型辅助的规则生成。模型提出结合血缘深度与所有权模式的自定义条件，这些条件是人工启发式方法所忽略的，且受到发布控制和默认关闭机制的限制。每个候选规则随后依次经历以下流程：保留集验证 → 若验证失败则加入黑名单（并设置有界TTL） → 阴影模式（仅记录，不执行） → 仅在质量门禁通过后才提升至 rules.yaml。被提升的规则将减少大语言模型的暴露面。

一个重要的原则是，确定性规则不应悄无声息地削弱保护。规则的提升需要设计能够捕捉回归的安全机制，尤其是对敏感类别而言。

经过验证的规则将导出为 Python、SQL、JSON 或 Hack，以便在生产系统中部署，且不依赖任何大语言模型。我们使用比较并交换（CAS）语义来管理这些发布操作：我们编写不可变的规则和提示版本，然后通过发布指针上的租约保护的比较并交换操作来激活它们（在我们单写入者模型中是原子操作）。这确保了生产路径保持为一个确定性引擎，而大语言模型仅用于那些缺乏规则覆盖的新资产。

这正是混合方法之所以可持续的原因。大语言模型帮助系统学习，而确定性规则帮助系统执行。

7.) 自动化正确的事物

自动化是必要的，但边界至关重要。

我们自动化上下文获取、证据摘要生成、候选分类、评估运行、失败分析以及候选规则提案。这些都是高频率任务，自动化可以减少人工劳动并使流程更加一致。

我们保留人工审查用于判断至关重要的地方——模糊的政策解释、已审查的参考标签、高风险的分歧，以及可能对保护产生重大影响的提升决策。这是一个路由策略，而不是提示。

当以下任何情况成立时，决策将被升级以进行人工审查：

• 校准置信度较低。校准后的置信度低于自动接受阈值，因此该决策不适合自动发布。

• 评委小组意见不一致。三位独立评委之间没有明确的多数意见，或评委间一致性（Cohen’s kappa）较低，这表明案例确实存在真正的模糊性。

• 高成本的稀有类别。候选对象属于一个稀有且敏感的类别，其中误判为负例的成本很高，因此即使在中等置信度下，也需要人工检查以避免不对称的错误成本。

• 易碎的推理。反事实掩码在移除一个弱信号时会翻转标签。预测结果可能仍然正确，但推理过程过于脆弱，无法进行自信的自动化。

• 降低保护的规则提升。候选规则会以一种可能降低保护的方式改变对敏感类别的执行。确定性规则不应悄无声息地削弱它。

• 控制器升级。调优控制器进入暂停或诊断状态，表明存在质量问题或根本性的标签或分类问题，必须由人工解决。

这种平衡是经过深思熟虑的。隐私感知的基础设施不应隐藏不确定性。如果模型、评委或评估循环之间存在分歧，系统应将这种分歧作为有用的信号呈现出来。有时，正确的答案不是更好的提示，有时正确的答案是更清晰的政策指导、更好的标签或更精确的分类。

这一领域中最优秀的自动化系统并不会取代人类。它将人类的注意力集中在最困难的案例上，记录推理过程，并随着时间的推移，将稳定的学习转化为可重复的执行。

我们学到的经验

图 8：七个原则将一个稳健的混合分类器与一个天真的“直接询问模型”的方法区分开来。每一行都对比了失败模式（左）与解决该问题的设计选择（右）——更倾向于丰富的上下文、可重放的决策、诚实的指标、未受污染的参考集、质量门控的覆盖范围、规则的提炼，以及一个知道何时停止的控制器。

上下文质量胜过提示质量

当分类陷入停滞时，人们往往会不断调整提示。根据我们的经验，更好的上下文通常更为重要。代码解析、血统、所有权和语义注释可以以提示编辑无法实现的方式改变决策空间。

实用的教训很简单：在询问模型是否需要更好的指令之前，先问它是否拥有一个人类审阅者所需的证据。我们在一个名为 age 的字段上看到了这一点，这个字段出现在一个缓存管道中。它是一个缓存的 TTL（存活时间），而不是一个人的年龄，仅靠提示的修改无法可靠地修复这个问题，而添加代码解析和血统信息则可以。一旦模型能够看到该字段解析为 TTL，误报的情况就消失了。

确定性意味着可重放性

目标不是让大语言模型每次生成相同的文本。目标是使用相同的版本化输入、上下文和逻辑，之后能够重现决策。

这就是版本化为何重要的原因。一个有用的决策追踪应该告诉我们使用了哪些证据，哪个规则或提示版本是活跃的，以及在调试、事件审查或审计支持期间如何重放该决策。在一次审查中，我们从存储的决策追踪中重放了一个过去的分类，并使用了固定的上下文、规则和提示版本，准确地重建了资产为何获得该标签的原因，而无需重新运行大语言模型。

准确率本身并不足够

对于不平衡的分类体系，准确率可能会掩盖最重要的失败。如果一个敏感类别很罕见，分类器可能看起来表现良好，但实际上漏掉了太多该类别的实例。

平衡的指标、按类别计算的召回率、校准检查以及对误判的审查，都是质量图景的一部分。没有任何一个单一指标能够讲述全部的故事。我们看到一个分类器几乎将所有内容标记为非敏感，整体准确率很高，但其在罕见敏感类别上的按类别召回率却保持在低位。马修斯相关系数和宏 F1 指标揭示了准确率所掩盖的差距，而这些遗漏的案例最终成为了我们重新审查的案例。

推荐与事实应保持分离

模型生成的标签是有用的，但它们不应自动成为参考标签。参考集需要经过审查的来源，而保留集的评估不应受到被评估的相同模型输出的污染。

这种分离是故意设计的，它带来的摩擦力可以防止自我强化的循环看起来更好，却变得越来越不切实际。我们直接观察到了这种模式。一次优化运行在相同模型的早期标签上得分似乎有所提高，但当我们使用冻结的人类审查参考集重新评估时，表面上的提升却逐渐偏离了政策意图。

更高的自动化覆盖率只有在质量得到保障的情况下才有意义。分类器可以自动解决更多的资产，但其在关键案例上的可靠性会降低。

因此，覆盖率应与召回率、精确率、回归检查和鲁棒性测试一同进行跟踪。目标不是不惜一切代价自动分类更多资产，而是自动化那些足够稳定可以自动化的案例。在某个案例中，推广一个广泛的规则提高了自动化覆盖率，但对一个敏感类别在影子模式下的每类召回率却下降了。因为我们同时跟踪覆盖率和召回率，我们发现了这个退化问题，并在规则到达服务阶段之前进行了调整。

蒸馏是生产模型

大型语言模型（LLMs）在处理歧义、冷启动和新出现的模式时非常有用。确定性逻辑更适合于需要快速、可解释和可重复决策的常规路径。

可持续的模型是一个漏斗：让LLMs帮助发现和推理，然后将稳定的模式蒸馏成版本化的规则，供执行系统高效运行。

自我调节是架构层面的，而非操作层面的

一个不知道何时停止的学习系统可能是一个潜在的隐患。我们构建了一个调优控制器，它会通过不同的阶段进行转换：

• 观察（收集信号）。

• 维持（健康迭代）。

• 保守（收益减缓）。

• 暂停（质量问题）。

• 诊断（因根本性问题而暂停）。

在实践中，振荡检测器能够识别停滞的优化，识别分类器在两个候选提示之间循环而没有改进的情况，并在停滞运行时提前终止它们，从而节省了每次停滞运行数千次浪费的分类调用。这种自我调节机制从一开始就设计进了架构中；如果后期再进行改造，将会显著困难得多。

图9：控制器是一个状态机，而不是重试循环。它仅在严重性要求时升级，从维持（Maintaining）→ 保守（Conserving）→ 暂停（Pausing），当健康状况恢复时，可以重新降级（虚线所示）。关键的是，诊断（Diagnosing）是一个吸收状态：一旦系统性故障重复发生，循环就会停止，并将问题交给人工处理，而不是继续浪费预算进行更多重试。

未来发展方向

从这项工作可以引申出三个方向：

• 将遗留的分类器迁移到这个系统中，用完整的上下文网络（context-mesh）加蒸馏流水线替换临时的启发式方法。

• 扩展到其他PAI工作流程：同样的模式（上下文 → LLM推理 → 蒸馏 → 确定性执行）也适用于血统验证、用途边界检查和保留策略分配。

• 应用于隐私以外的领域：早期实验表明，这些技术可以推广到代理可观测性和监督领域，在这些领域中，概率推理和可审计执行之间同样存在张力。

原生AI产品提升了PAI的标准

原生AI产品提高了对隐私感知基础设施的要求。它们创造了新的数据模态，加快了迭代周期，并带来了更多模糊的信号。同时，隐私执行仍然需要一致、可解释和可重复的决策。

资产分类展示了如何弥合这一差距。从一个明确的合同开始。构建丰富的上下文。使用LLMs处理新颖性和歧义。将经过审查的标签与模型推荐分开。使用能够暴露罕见类别失败的指标进行评估。将稳定的行为蒸馏成确定性、版本化的规则。

这种模式使系统能够从歧义中学习，而不会将歧义作为执行的基础。

该模式也超越了我们自身的使用场景。一个独立的执行团队将此模式与三种替代方案进行了正面比较，并在不依赖我们工作的情况下选择了它作为其分类层。在他们的评估中，确定性优先的分类结合大语言模型（LLM）的回退机制，比端到端的大语言模型方法产生了更一致、可调试和可审计的决策。两个团队独立地得出了相同的权衡（使用大语言模型进行推理，使用规则进行强制执行），这表明这是一个稳健的模式。

更广泛的经验教训是，隐私感知的基础设施并不是对工程的负担，而是推动更好架构的驱动力：更清晰的合同、更丰富的上下文、更强的评估、更安全的发布，以及知道何时请求人工判断的系统。

致谢

作者希望感谢隐私感知基础设施团队的许多成员，他们在本文所述的工作中发挥了关键作用。特别地，我们对 Alex Basiuk、Dionisios Sotirios Krongos、Fanghao Song、Kartikey Sachdeva 和 Loka Potnuru 表示特别感谢，他们为分类器分析、运行时特征迁移、扫描器强化、误报减少和年龄流精度改进做出了基础性贡献。同时，我们也感谢更广泛的 PAI 团队在上下文丰富和评估方面的贡献。

我们还感谢 Dave Kurtzberg、Inchara Shivalingaiah、Juemin Wei、Nithya Arumugam、Zhe Wang 及其团队在他们自主修复管道中独立验证分类模式，感谢 Jonathan Bergeron 在整个过程中的支持与赞助，以及 Deborah Davis 在整个过程中提供的编辑指导。