Passing Your Evals Doesn’t Mean You’re Safe

通过评估并不意味着你安全 - Gradient Flow

通过评估并不意味着你安全

发布者

Ben Lorica

2026年8月5日

2026年7月31日

发布于

未分类

.meta-info

.post-thumbnail

评估是每个关于将AI投入生产的重要讨论中不可或缺的一部分。团队会定义基准，设定阈值，并越来越多地组建红队来测试系统在面对主动试图破坏它的人时的表现。这种组合在判断模型是否准确、可靠、足够快以用于生产以及是否能抵御对抗性攻击方面表现尚可。但一旦系统上线，它几乎无法说明什么因素真的会让公司陷入困境。

如果这封通讯值得你花时间阅读，请考虑成为付费支持者 🙏

看看今年堆积如山的AI诉讼和监管调查结果，差距就显而易见了。加州一名男子起诉OpenAI，声称ChatGPT利用他公开的双相情感障碍诊断来保持他参与对话，而非引导他寻求帮助，这起产品责任索赔完全围绕会话记忆功能展开。联邦法院允许一项针对Workday的歧视诉讼继续进行，理论依据是其招聘软件依赖医疗休假等替代信号来筛选出有残疾的年长申请人，这不仅暴露了购买该工具的雇主，也暴露了供应商本身。德国法院裁定，公司需为其聊天机器人编造医生医疗资质负责，理由是聊天机器人不是第三方，它只是企业本身在说话。这些都不是红队演练或偏见检查表能发现的失败案例。它们是日常生产风险，涉及法律、声誉和监管问题，存在于那些已经通过团队运行的任何评估的系统中。

( 放大 )

##### 高维解决方案

我最近与Luminos的首席执行官Andrew Burt进行了交谈，讨论他们团队刚刚发布的关于智能体和生成式AI风险评估的白皮书。报告的核心论点是，标准设置（一个宽泛的提示、一个模型、通过或失败的评分）过于粗糙，无法胜任其工作。当你问一个模型输出是否“有偏见”或“具有操纵性”时，得到的回答往往流于表面。真正的风险会悄然溜走，无害的输出被标记为风险，无论哪种情况，你都缺乏足够的细节来知道该修复什么。

Luminos将其解决方案称为高维性，这个概念比名称本身更具体。设想一个不应该操纵观看者的广告。典型的评估会问一个宽泛的问题：“这具有操纵性吗？”而高维评估则分别测试是否存在虚假倒计时、隐藏的续费费用、诱饵切换价格等几种具体策略，然后返回类似这样的结果：虚假紧迫感（是）、隐藏费用（是）、诱饵切换（否）。这是一个产品团队可以真正采取行动的发现。这种分解必须跨多个模型运行，因为模型在标记风险时确实具有不同的个性。Claude倾向于保守且过度标记，其他模型则标记不足，一个在某个模型上运行良好的提示可能在另一个模型上完全失效。在所有这些之下，标准必须来自真正的法律、隐私和合规专业知识，而不是工程师猜测监管机构会关心什么。

这些想法本身并不新颖。许多团队已经运行多个模型，有些团队甚至已经引入法律或合规审查人员。真正罕见的是同时执行这三项措施，并将结果视为一项持续性工作，而非上线前的检查清单。因为模型会持续更新，法律因司法管辖区而异，而一个在1月看来详尽的测试套件到夏天可能就过时了。

有必要明确白皮书的适用范围与局限性：它并未提供对照实验来证明这种方法比简单评估高出特定幅度。这个案例是结构性的，基于Luminos自身在大规模实践中积累的经验，但说服力非常强。测试更多实际风险场景能发现更多真实问题，校准后的子风险能减少误报，而要求对每个预警提供解释，能让团队真正审计并修复结果。

##### 将AI风险视为可靠性问题

今年AI事故的共同模式并非企业完全跳过了评估，大多数企业都有某种措施。这也不是要放弃红队演练、防护措施或标准性能评估的论点，它们回答的问题不同，仍然值得执行。错误在于假设这些措施加在一起就能构成对生产风险的完整认知。

一旦AI系统能够影响客户、员工、账户或受监管的决策，其风险测试就应达到与团队对待可靠性和系统可用性相同的严谨程度。这意味着具体的测试方案、可指明的证据、明确的负责人，以及上线后持续的监控，而非在发货前勾选一次的事项。这个标准所覆盖的系统范围比听起来更广：客服聊天机器人、招聘工具、内部评分系统、拥有任意写入权限的代理，几乎所有在企业中执行实际工作的AI系统都属于此列。不存在“重要到值得上线，但不重要到需要妥善评估”的舒适中间地带。

Luminos白皮书值得通篇阅读，而不仅仅是略读，无论你是否最终采用这种具体方法。