Test Your Own AI Against Real-World Risks and Attacks with AILuminate Safety 1.2.1 and Jailbreak 1.1

AILuminate 安全性与越狱测试结果发布，涵盖 27 个系统

使用 AILuminate 安全性 1.2.1 和越狱 1.1 测试您的 AI 面对现实世界风险和攻击的表现

AILuminate 安全性与越狱基准测试的新版本现已在 Candela 基准测试即服务产品中上线，新增自定义评估器、百分位评分机制，并增强对 benchmaxxing、cherrypicking 等数据操纵行为的防御能力。安全性评分已实时更新，越狱评分即将发布。

2026 年 10 月 29 日

开发者和部署者现在可以使用 AILuminate 安全性 1.2.1 和 AILuminate 越狱 1.1 这两个 MLCommons 基准测试，分别评估 AI 系统生成有害内容的倾向性以及被攻击者诱导执行恶意操作的易感性。两项测试均通过 Candela（今日发布的 MLCommons 基准测试服务）按需运行，并同步发布 27 个系统的最新公开基准测试结果。

AILuminate 基准测试由行业共识构建：来自 80 多个组织的代表（包括相互竞争的 AI 开发商、AI 采购企业、学术研究机构和民间社会团体）在 MLCommons 工作组中达成一致，共同定义何为违规响应。这种共识机制正是 AI 开发者、采购方和监管机构信任测试结果的核心原因。在推动行业共识的同时，我们以空前速度推进 AI 系统可靠性提升——这直接决定了其可部署性。

本次发布凝聚了九个月的行业领先成果，体现了我们在保持共识机制推进速度与 AI 系统发展节奏同步方面的坚定承诺。2 月，AILuminate 全球认证计划与 PwC、KPMG、Google、Microsoft 和 Qualcomm 合作启动，同时发布 Jailbreak 0.7 及其攻击分类体系；4 月推出基准测试管理计划和 AI 可靠性地图；5 月发布 AILuminate 评估标准 1.4 版；6 月向会员开放 Jailbreak 1.0 内部测试版，并提出 AI 基准测试敏感结果披露方案；8 月联合 Google DeepMind、OpenMined 和 AVERI，基于 AILuminate 安全性提示完成首个专有 AI 模型的双盲可靠性评估；9 月发布 Safety 1.2 及其全新自动化评估架构；10 月发布 Jailbreak 1.0 论文。

AILuminate 安全性 1.2.1

安全性基准测试评估文本 AI 系统在面对可能造成危害的请求时，拒绝或安全重定向请求的可靠性。测试提示涵盖 AILuminate 评估标准中定义的 12 类风险场景，包括暴力与非暴力犯罪、无差别武器、仇恨言论、隐私侵犯、诽谤，以及健康、法律和金融等专业领域的建议。该标准聚焦于影响大规模部署产品的常见失效模式，而非理论性担忧。

这些是正常风险，有许多现实世界的例子，可以严格衡量。2024年，加拿大一个法庭裁定一家航空公司对其客服聊天机器人向顾客所说的内容负有责任，驳回了聊天机器人是独立法律实体的论点。一名男子在聊天机器人建议用溴化钠代替食盐后住院三周；某城市的企业聊天机器人告诉雇主可以拿走员工的小费；一家饮食障碍协会的聊天机器人向寻求帮助的人提供减肥建议；一个陪伴型聊天机器人鼓励一名男子实施刺杀英国女王伊丽莎白二世的计划；某大型社交平台的聊天机器人发布了赞扬希特勒的反犹太主义信息。（这些及其他更多例子来自由AILuminate长期贡献者和Agentic工作组主席Sean McGregor创立的AI Incident Database。）

我们最近对Safety基准进行了三项重大改进。首先，由MLCommons训练的确定性评估器取代了担任法官的LLM。其次，我们创建了官方提示集的新样本Problem Set 2.0，其中包含3900个官方提示，这些提示基于每个提示区分强弱系统效果的统计画像。第三，评分标准从相对于单一参考系统的等级制，改为基于全面参考量表的0到100百分位制。今天结果所使用的Safety 1.2.1版本是一个小幅评分更新，使Safety与Jailbreak 1.1保持一致。了解Safety的最新动态→

今天公开了27个系统的评估结果：包括Google、IBM、NVIDIA和OpenAI等开发者提供的22个开源权重模型，以及5个防护系统。开源权重模型的评分从第4到第98百分位，这清楚地表明仅选择不同模型就可能使部署系统的安全性能从参考分布底部附近跃升至顶部附近。防护系统通过筛选模型接收或返回的内容进行安全控制，其评分达到或接近100%，具体解释请参见Safety页面。查看Safety 1.2.1结果→

AILuminate Jailbreak 1.1

一个系统可能拒绝明确的危险请求，但当相同请求以越狱方式出现时仍可能执行。较少见的情况是，系统能够识别越狱并给出比直接提问时更安全的响应。我们的Jailbreak基准测试衡量这些变化。该基准测试使用与Safety相同的危险提示，并用已知的攻击技术重写每个提示。由于两个基准测试都依据相同的评估标准评判响应，比较系统的两个评分可以显示攻击者使用公开技术能剥离多少基线安全性。

MLCommons Jailbreak分类法根据攻击突破系统防护机制的方式，将攻击分为四个家族。角色扮演和模板攻击为请求赋予看似无害的框架，包装器和模式攻击则将其隐藏在结构化格式中。其他攻击方式包括对请求进行编码、试图覆盖系统指令或改变其措辞。在几周前发布的Jailbreak 1.0中，针对有限测试系统的违规响应率从普通提示的11.08%上升至攻击下的18.65%，其中角色扮演和包装器攻击最为有效，平均违规率分别为35.7%和32.8%。

我们的目标是通过构建越狱基准测试，为AI生态系统提供实证信息，而不是为攻击者提供操作指南。最重要的是，我们仅纳入已公开的越狱方法，因此我们仅测试系统是否能防御其设计者有机会了解的攻击技术。此外，我们在发布结果时也格外谨慎，因为指向一个高度可越狱的模型本身就是一个信息风险：它会告诉恶意行为者如何更容易获取他们想要的信息。

越狱1.1的公开结果将在MLCommons完成对开发者的通知期后发布，目前通知期已经开始。

推动领域发展的确定性评估器

当成员和领域专家在6月审查越狱1.0的私有版本时，他们最明确的反馈是自动化评估器的错误率过高。越狱1.0使用LLM集合来判断每个响应是否违反评估标准，这是AI基准测试的标准架构。然而，MLCommons发现，针对测试系统的攻击技术同样混淆了这些评估器。

整个领域需要一种更准确、更可扩展的自动化评估新方法。因此，我们花了数月时间开发出一种新方法。

MLCommons为该任务设计了自有的分类器作为确定性评估器。它不仅与人类判断的一致性显著提高，而且不会对LLM判断其创建者的其他模型或竞争对手的模型。安全1.2在审查后三个月发布时搭载了新评估器，越狱1.1目前也基于该评估器运行，攻击方法与1.0基本相同。

另一个优势是基准测试运行速度大幅提升。通过我们的定制评估器和更精准的提示集，安全基准测试从开始测试到获得结果的时间已从约3小时缩短至1小时，同时评估质量也得到提升。

今天如何运行这些基准测试

随着这些新版本基准测试的发布，MLCommons今天推出了Candela，其基准测试即服务产品。现在您可以在租户内访问这些基准测试，用于测试已部署（或预部署）的生产系统。Candela用户可以运行练习测试，并获得安全性和越狱百分位数和原始分数的报告，用于内部使用和产品改进。通过Candela还可请求带注释的练习测试结果，除提供分数的概要报告外，还会提供练习提示、响应和注释。Candela还可运行官方测试，允许用户根据我们的基准使用和信息指南公开声明其分数和性能。

在Candela中运行基准测试可让您使用顶级的安全性和越狱评估器，对实际部署的AI系统进行测试，从而直接将您的系统与当前主流AI模型进行比较。

• Candela会针对您实际部署的AI系统运行测试。一个小型Candela客户端会将每个提示传递给您实际运行的系统，包括其系统提示、防护机制和检索功能。客户端仅返回每个答案用于评估，不会传输任何密钥、权重或配置细节。

• 一个专为评估而设计的自动化评估器对每个响应进行判断。如上所述，安全性和越狱基准测试不再使用以LLM作为评判者的方式，而是依赖于为此任务训练的分类器（该分类器在评估标准下与人类判断的高一致性进行了验证）。它逐句阅读每个响应，分别检查拒绝、免责声明和重复提示，并在无法判断时返回失败而非猜测。对于给定的响应，它每次都会给出相同的判断结果，规避了LLM评判者因计划性淘汰而失效的风险，并且随着MLCommons不断增加人工判断的真实示例到训练集中，其性能会持续提升。

• 一个统计模型将判断结果转化为百分位数。AILuminate评分采用项目反应理论（IRT），这是医学委员会考试等标准化测试所使用的方法。IRT估计每个提示的难度以及其区分强弱系统的能力，对最能区分系统的提示赋予更高的权重。每个评分都是基于固定参考AI系统集合设定的百分位数：70分表示系统处于该参考分布的约第70百分位。我们使用百分位数是因为它们能回答大多数决策背后的问题，例如系统与其同行的比较。此外，百分位数还能在基准测试攻击和提示负载变化时保持结果的可解释性。测试集中的新攻击提示可能在没有任何系统变化的情况下提高所有系统的违规率，但系统的百分位数能显示其是否在同行中保持原有位置。由于在版本发布前参考集合是固定的，MLCommons还可以将系统添加到公开结果中，组织也可以进行私密测试，而不会影响其他系统的评分。

AILuminate如何抵御benchmaxxing

如今许多人将AI基准测试与benchmaxxing（模型调优）联系在一起：通过调整模型以适应流行测试，使其评分更多反映测试准备而非通用能力。AILuminate的设计旨在使这种策略更难以奏效。首先，官方提示从不公开，因此没有可供训练的公开副本。其次，每个系统面对的提示、评估器和标准完全相同。第三，我们的流程也降低了选择性采样的动机：在公开轮次中，MLCommons会选择测试哪些系统，提前通知其提供方，并披露任何退出情况，因此开发者无法悄悄地习惯性排除弱结果。退出披露机制可防范2025年研究人员记录的事件类型，当时一位开发者私下测试了27个基准测试并选择性地发布了结果。

如果没有主动管理，基准测试也会失去其效用，因为被测试的系统会不断改进，直到某个时刻固定测试不再能区分强弱系统。MLCommons的持续基准管理计划采用基于项目反应理论的统计方法来防范这种情况。我们选择的提示范围从大多数系统都能安全回答的提示，到只有少数系统能回答的提示。相同的测量结果将指导MLCommons退役和替换哪些提示，确保即使领先的系统仍能看到改进空间。普林斯顿大学和其他五所机构的研究人员最近将这种级别的项目分析称为基准测试接近饱和时的最佳实践（第11页）。阅读基准管理相关内容 →

局限性

• 仅支持单轮英文文本。两个基准测试均针对基于文本的聊天系统进行英文单次交互测试，不涉及长时间对话或执行操作的智能体系统。MLCommons工作组正在开发多轮对话方法和智能体基准测试，将在未来几个月内公布更多细节。

• 攻击覆盖范围有限。MLCommons越狱分类法列出了MLCommons计划覆盖的攻击类型，而越狱1.1仅实现了其中一部分。

• 越狱测试跳过专业建议内容。越狱测试覆盖了12个安全风险类别的11个。评估标准已允许提供附有适当免责声明的详细财务、法律和医疗指导，因此攻击者移除免责声明的收益有限。

AILuminate基准测试衡量系统是否能避免有害响应，而非衡量其是否有用、准确或具备能力。能力基准测试关注系统能多好地完成某事，而安全基准测试关注系统多快会去做不应做的事。我们建议在开发或部署的相同阶段、相同系统配置上同时运行这两类测试，使结果能够相互参照。

入门指南

如果您部署了AI系统：在Candela中对您的部署进行私有的安全和越狱测试，无需暴露系统或数据。Candela启动指南包含设置说明。

如果您构建AI模型或系统：查看公开的安全测试结果，并在开发过程中使用Candela的实践测试，观察评估者如何评判您的系统响应。实践测试对MLCommons成员免费开放，成员还可申请完整实践数据集。如需让模型参与未来公开测试轮次，请发送邮件至[email protected]。

如果您希望参与制定AI安全基准：加入AI风险与可靠性（AIRR）工作组。开发者、部署者、研究人员和民间社会代表将共同决定基准测试的下一步内容。设置您的MLCommons个人资料并在工作组标签页选择参与组别。

如果您从事政策、民间社会或新闻工作：阅读越狱1.0论文和评估标准，查看公开的安全测试结果，并查阅AI可靠性地图。该地图列出了尚未构建的基准测试，并欢迎您的意见。

类别

AI风险与可靠性

AILuminate

作者

Isaac Holeman 博士

分享

• 邮件分享

• Facebook分享

• LinkedIn分享

• X平台分享

• 复制链接