The key to trustworthy AI evaluation is secrecy by design
TL;DR · AI 摘要
通过设计保密性实现可信AI评估，首次双盲评估确保模型和数据安全。
核心要点
- 双盲评估结合加密计算可防止模型权重和测试数据泄露
- AILuminate提供专用安全基准提示集保障评估完整性
- MedPerf项目已实现医疗数据的可信执行环境验证
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 可信AI评估
- 双盲评估机制
- 加密计算隔离
- 安全容器实例
- 专用提示集
- 技术实现
- OpenMined框架
- 可信执行环境(TEEs)
- 应用案例
- DeepMind模型验证
- 医疗数据评估(MedPerf)
金句 / Highlights
值得收藏与分享的关键句。
首次双盲评估证明加密计算可实现模型权重与测试数据的物理隔离
AILuminate专用提示集确保评估数据从未暴露给DeepMind模型
MedPerf项目已构建支持医疗数据多方联合评估的可信执行环境
加密证明机制确保评估组件使用不会污染基准数据集完整性
AILuminate 与首个专有AI模型的双盲可靠性评估
可信AI评估的关键在于通过设计实现保密
AILuminate在首个专有AI模型双盲可靠性评估中的关键作用
2026年8月27日
每个部署AI系统的商业机构都会关心：这个系统在使用我的数据和针对我的应用场景时，能否可靠且安全地运行？但问题远不止于简单地将所有组件连接起来并运行测试。
部署方（如银行）需要保护敏感数据，AI解决方案提供商（如前沿实验室）则对模型权重高度保密。而从我们的角度来看，最关键的是，基准测试提供方必须同时具备技术和法律层面的防护措施，以确保被测试模型不会通过学习基准测试内容而破坏基准的完整性。重要的是，评估本身的保密性并不足够，长期运营高完整性的基准测试还需要一个健全的基准管理计划。
正是为了展示卓越的基准完整性，我们参与了Google DeepMind、OpenMined和AVERI共同开展的首个双盲评估概念验证。这种方法通过设计实现各方保护，而非单纯依赖法律合同，作为首个闭源模型的双盲评估方案。通过该方法，我们获得了密码学层面的保证，确保评估组件的使用不会污染基准或破坏其完整性。
我们对基准完整性的处理方式使AILuminate™成为该概念验证的不二之选。我们提供了AILuminate™安全基准提示的一个专用子集用于此次评估，确保没有任何GDM模型此前接触过该特定评估数据集。AVERI使用OpenMined的隐私计算技术，在Google DeepMind模型的容器化实例上运行这些提示，同时为模型权重和我们的评估提供密码学可验证的保护。
在此次概念验证中，AILuminate在不向开发者暴露测试数据、也不向仪器制造商（MLCommons）或审计方（AVERI）暴露开发者专有模型权重的情况下，成功表征了AI系统的可靠性。
我们期待这种知识产权安全、抗饱和的测试方法成为AI模型应用测试的标准。为此，我们已经在最敏感的数据领域（医疗信息学）开展了相关工作。通过我们的MedPerf计划，我们正在构建类似这样的可信执行环境（TEE），使多方能够在一个安全环境中汇聚加密数据，运行高完整性的评估并获取结果，而无需接触其他任何方的敏感信息。
我们正朝着一个近在咫尺的未来努力：AI采用者能够快速便捷地为其特定应用场景的AI系统部署运行可信评估。一个在结构上保证模型、数据和测试保密性的环境，配合独立机构提供的前所未见的评估提示，将为AI采用、部署和可靠运行的决策提供最清晰的路径。
MLCommons 正致力于实现一个近未来，让 AI 采用者能够快速便捷地为其特定用途的部署运行可信评估。我们邀请从业者、研究人员和部署者审阅技术细节，并探索参与 AILuminate 框架和基准管理计划的机会：https://mlcommons.org/get-involved/
分类
AILuminate
新闻
作者
ML Commons
分享
- 通过电子邮件分享
- 在 Facebook 分享
- 在 LinkedIn 分享
- 在 X 分享
- 复制链接