Don’t assume composability in AI safety. Deployments need their own testing.

AI 安全中的可组合性：为何基础模型的评分并不适用

不要假设 AI 安全的可组合性。部署需要独立测试

团队部署完整系统时却引用基础模型的安全评分。微调模型会使安全性能向不可预测的方向偏移，而许多基准测试的噪声水平过高，难以检测到这种变化。本文将解释为何安全评分不具备可组合性，以及 MLCommons 正在采取哪些措施来实现评分的可比性。

2026 年 10 月 29 日

从业人员深知部署系统的行为与基础模型存在差异，且随着系统提示、检索层、微调等组件的调整，行为会持续变化。但安全评估往往假设相反的情况，团队会直接引用系统卡片中基础模型的安全评分，作为其在模型之上所做工作的依据。领域内的许多从业者同时持有两种矛盾的信念：一方面预期在模型基础上构建时行为会发生变化，另一方面却基于安全评分做出采购和部署决策，仿佛评分始终不变。

系统可组合性只是我们日常反复面对的一个概念的高阶表述：某一配置在不同场景下的适用性。例如，优秀的家庭烘焙师清楚食谱或蛋糕粉包装上标注的“350 华氏度烘烤 30 分钟”只是指导建议，而非绝对保证。在不同烤箱或烤盘中（或取决于当天烘焙帐篷的湿度），同样的蛋糕可能在 25 分钟就完成，也可能在 40 分钟后仍过于湿润，因此烘焙师仍会用牙签检查状态。

AI 研究者使用“可组合性”描述上游系统评估结果向下游系统迁移的有效性。在传统软件中，这种假设通常成立。但在 AI 安全领域，除非进行适当测试（下文将详细说明），否则这一假设往往不成立。

安全评分会向任意方向不可预测地偏移

近期研究支持了 AI 安全不可组合的实践经验。CDT AI 治理实验室与 MIT 算法对齐小组对比了公开的医疗和法律微调模型与其基础模型。部分微调模型的安全评分优于基础模型，部分则更差；没有任何单一的微调选择能预测模型会向哪个方向偏移。修改幅度也无法预测安全评分的变化程度。

虽然某些调整会使模型相对于基础模型的安全性下降（参见标题清晰的论文《微调对齐语言模型会损害安全性，即使用户无意为之》），但情况也可能相反。以一个显而易见的例子，为开源模型添加运行时防护措施通常会提升安全评分。但具体如何提升、提升幅度有多大，除非进行适当测试，否则往往难以预测。

不幸的是，正如 Solomon Messing 在最近的一篇论文中所展示的，许多广泛使用的基准测试存在过多噪声，无法在部署前后系统对比、随时间变化或甚至不同系统之间的比较中提供可靠参考。这些对比只有在结果能够区分系统间的真实差异与评估过程引入的噪声（例如选择的测试提示、措辞方式以及评分者）时才有效。如果你无法对测试进行标准化，就无法确定分数变化是系统安全性的真正改变，还是仅仅是测量噪声。（披露：撰写这篇论文时，Messing 受雇于 MLCommons，而我在论文中被致谢。）

MLCommons 的安全基准测试旨在实现可比性。

由于团队部署的是完整的系统，安全测试必须覆盖整个系统。我们新推出的 Candela 基准测试即服务产品，将 AILuminate 测量技术应用于生产部署的装配企业需要测试的场景——基础模型及其系统提示、安全措施、检索功能、工具和过滤器的组合。这是一项私有测试，直接在您自己的租户中进行。

我们对评估器的最新改进，例如使用分类器而非 LLM 作为裁判，以及引入项目反应理论（Item Response Theory, IRT）方法论用于基准内容开发，使我们能够可靠地生成可辩护的误差范围。我们将于 11 月发布的 AILuminate Safety 和 Jailbreak 的下一个版本将包含覆盖评估流程中所有方差来源的误差范围，并将明确说明这些误差范围具体涵盖哪些方差来源。据我们所知，其他广泛使用的 AI 安全基准测试尚未以这种方式报告误差范围。我们的知识覆盖面较广，因为 AIRR 工作组的参与者来自 80 多个组织，包括 AI 开发商、咨询公司、大学和民间社会团体，其中许多参与者本身也在构建和运行基准测试。

通过误差范围和可比性评估，部署方可以更可靠地判断系统变更是否导致了安全评分的变化。

使可组合性可测试

目前，可辩护的立场基于观察：在 AI 系统部署发生某些变更后，评估结果无法从基础模型直接推导到部署系统。但当测量不确定性已知时，研究人员可以测试哪些修改能够保留结果、哪些修改会破坏结果，以及是否可以提前预测这两种结果。

这些答案甚至对已经测试自身系统的团队也有帮助。如果某些类型的变更已知能够保持特定安全评分，他们就可以更明智地选择哪些变更可以未经测试部署、哪些变更只需进行低成本的烟雾测试、哪些变更需要通过带注释的报告进行彻底审查。如果基础模型的评分可以预测基于它的系统评分，团队就可以利用上游评分决定应基于哪个模型进行构建，并了解在上游评分不再适用之前可以对部署引入多少变更。这种可靠且可比的评分将帮助监管机构更清晰地区分开发者的责任与部署者的责任，最终减少 AI 系统部署方及其保证方在测量和合规方面的负担。

参与进来

部署AI的团队今天可以使用Candela测试其系统。希望研究可组合性或更广泛AI评估中测量误差问题的研究人员，可以加入AIRR分析工作组。要参与进来，请创建您的MLCommons个人资料。我们期待在工作组会议中见到您。

分类

AI风险与可靠性

AILuminate

新闻

作者

Bennett Hillenbrand

分享

• 邮件分享

• Facebook分享

• LinkedIn分享

• X平台分享

• 复制链接