Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic

安全是为了谁？拒绝主题的正确子集，而非整个主题

返回文章

[0

团队

]

文章

2026年9月8日发布

[-1

点赞

18

[

• +12

Antonio Tiene

AntonioTN

关注

MultiverseComputingCAI

Alejo Lopez Avila

AlejoMVC

Iker García-Ferrero

Iker

大多数安全对齐工作将危害视为主题的属性。提示之所以不安全，是因为它属于武器、欺诈或自伤等一般类别，而LlamaGuard-3等防护模型正是编码了这种主题级别的分类体系。XSTest和OR-Bench等基准测试随后会探测由此产生的失败模式，即模型因包含危险词汇而拒绝安全提示，而拒绝校准工作则试图降低这种现象的发生率。

实际部署很少符合主题级别的分类。同一基础模型可能需要适配为通用助手、教育产品、企业系统或公共服务，而每个场景对同一主题的边界需求各不相同。例如，公民教育导师和公共服务助手可以共享同一模型，但在政治话题上却需要相反的行为：两者都应回答关于选举的事实性问题，但只有其中一个需要拒绝撰写针对性政治操控的请求。主题级别的防护机制无法表达这种差异。以LlamaGuard-3为例，它仅将选举视为"关于选举制度和流程的事实性错误信息"，这既排除了劝说和操控，同时也排除了部署必须继续回答的事实性提示。

我们的最新论文《安全是为了谁？面向边界感知的自蒸馏可控大语言模型安全拒绝》直接研究了这个更具体的问题。问题的关键不在于是否应该拒绝整个主题，而在于确定该主题中哪些子集与特定部署策略不兼容，并训练和评估模型以应对这些边界。

狭窄边界的安全部署

我们将场景形式化为一个主题宇宙（在我们的实验中包含所有政治提示），其中包含部署希望拒绝的目标有害子集。预期策略并非拒绝所有政治相关内容，而是在拒绝有害子集的同时继续回答其余无害内容。理想行为应呈现清晰的分界：在有害子集内拒绝，在主题其他区域继续回答。

狭窄边界场景示意图。部署可能只需拒绝要求操控或定向劝说的政治提示，而继续回答其他政治提示，而非拒绝所有政治相关内容。训练模型的拒绝行为比理想分界更平滑，且可能在边界附近渗透到无害区域。来源：论文图1。

训练模型永远无法学习到这种清晰的分界。它学习到的只是近似目标的拒绝概率，而提升有害子集内拒绝率的交叉熵训练也可能将拒绝行为扩散到无害区域。因此，真正的挑战不仅是提升有害提示的拒绝率，更在于塑造边界附近的模型行为。我们将该边界操作化为共享主题锚点但意图不同的提示对，其中一个是应被拒绝的，另一个是应被回答的。

我们选择政治劝说作为测试场景，因为操纵性劝说可能造成实际危害，而事实性政治信息则保持合法性，这正是主题级别拒绝过于粗略的典型场景。

自生成安全调优的局限性

构建训练数据的自然方式是自我生成：使用目标模型，通过引导其对每个有害提示进行拒绝，并保留守卫模型验证为真实拒绝的痕迹。这就是ThinkSafe等方法背后的原理，我们将其作为参考，应用于政治提示，并逐组件进行测量。将问题框架化为边界而非主题，揭示了标准流程中的三个弱点。

第一个问题是覆盖缺口。单次引导尝试并不总能产生被接受的拒绝，这些提示会被静默地从训练集中删除。在我们审核的语料库中，单次生成删除了19.88%的提示（共8,009个），这些失败的提示可能正是最难处理的示例。我们选择修复而非丢弃：通过逐步增强引导的重试策略，重新采样相同提示，将剩余失败率降低至0.20%（79个提示）。覆盖修复保留了40,293个有害训练提示，而原始流程本会丢弃数千个。

第二个问题是负面反应。安全微调倾向于在表面危险但实际无害的提示上产生错误拒绝。为弥补这一点，我们构建了分布内无害数据，包括18个语义类型中11,955个经过验证的表面危险但实际无害的提示，使模型在训练期间而非仅在评估时看到带有危险措辞的安全提示。

第三个问题是普通有害/无害划分完全无法衡量边界的形态。模型只需将拒绝扩展到附近的允许提示即可提高有害拒绝率，主题级指标会将其视为改进。我们使用保留的有害-无害对（每边1,539个）可以直接测量边界的两侧。

权衡与隐藏的陷阱

在政治拒绝数据上训练在直观上是有效的。在Qwen3-8B上，增强覆盖模型将分布内政治拒绝率从9.47%提升至84.75%，且具有迁移效果：LlamaGuard-3评估的三个更广泛有害性基准（HarmBench、StrongREJECT和WildJailbreak）的平均不安全响应率，在最强配置下从26.26%降至0.14%。

单独报告这些数字看似是场干净的胜利。事实并非如此。在相同检查点，XSTest的过度拒绝率从2.00%激增至74.00%。有害响应率最低的配置同时也是拒绝近四分之三明显安全提示的配置。这是一个粗暴的拒绝机器，而非更安全的模型，除非你测量无害侧，否则无法发现这一点。这是核心信息：数据组成决定了检查点在安全与过度拒绝空间中的位置，因此必须同时报告两个维度。

我们的两个数据组件在不牺牲安全收益的前提下将过度拒绝率拉回。用目标模型自身生成的验证响应替代外部采用的合规响应，使单次生成下的XSTest过度拒绝率从15.20%降至5.20%，仅付出适度的有害性代价。而有害-无害边界对在所有组件中实现了最精确的调整。

左图：在保留边界合规侧的过度拒绝情况，数值越低越好。使用良性边界数据（PB）进行训练时，该指标降至0.03至0.08；未使用时则升至接近0.49。右图：在有害侧的拒绝情况，数值越高越好，仅略有下降。来源：论文图6。

具体而言，添加良性边界数据可将保留对的合规侧过度拒绝率从32.94%降至4.16%。而有害侧的拒绝率仅从91.88%降至87.72%。换句话说，边界附近的绝大多数误拒情况消失，而几乎所有的有效拒绝仍被保留。确实存在可衡量的召回成本，且该成本很小，这正是关键所在：只有在同时衡量两侧指标时，才能有意为之地进行权衡取舍。

这会带来哪些改变

实际启示是：安全微调不应仅以有害拒绝率作为评估标准。拒绝率更高的模型未必更安全，在狭窄边界上，提升有害提示拒绝率的相同操作，可能使模型在相邻的合法提示上变得完全无法使用。训练数据组成、覆盖修复、分布内补偿以及边界对的设置共同决定了这种权衡，只有同时评估边界两侧的指标，这些数值才有实际意义。

这项工作属于Multiverse Computing在模型行为可控性和可测量性方面的研究，关注实际部署中真正关心的层面，而非宽泛的话题分类层面。相同的生成流程可扩展到政治以外的其他领域，论文中也报告了上述结果背后完整的数据组成消融实验。

想要了解完整技术细节，包括覆盖修复策略、将有害交叉熵与良性前向KL保持分离的损失路由机制，以及完整的保留边界评估方法？请阅读完整论文，或联系我们的团队讨论您模型的部署特定安全方案。

本文提及的模型 2

本文提及的论文 1

更多该作者的文章

量化感知修复：一个压缩的4位模型，性能超越其全精度原始版本

55

2026年8月25日

使知识蒸馏成本足够低廉以实现规模化运行

40

2026年8月10日

社区

编辑

预览

通过拖拽、粘贴或点击此处上传图片、音频和视频

点击此处上传图片

评论

· 注册或登录以发表评论

• +6