Managing open-weight model risk in enterprise deployments

人工智能领域的快速发展为企业在构建、定制和部署日益强大的模型方面提供了更多选择。开源权重模型是这一领域的重要组成部分。它们使企业能够访问模型权重，并在其自身环境中对模型进行检查、评估、修改和运行，从而获得更大的灵活性。

虽然这种灵活性具有重要价值，但也影响着企业如何评估模型、在哪里实施安全措施以及谁负责长期维护这些安全措施。

当企业选择部署哪些模型时，相关问题的范围不仅限于模型是开源权重还是闭源权重。企业需要了解模型的使用场景、在该场景下可能发生的风险，以及需要哪些证据和控制措施来管理这些风险。

今天，微软和NVIDIA发布了《企业开源权重模型风险管理》白皮书，这是计划推出的一系列联合资源中的首篇。该白皮书旨在帮助企业解答这些问题。论文引入了一个共享的风险分类法，并提出了基于国际标准化组织（ISO）标准和美国国家标准与技术研究院（NIST）人工智能风险管理框架的模型风险管理方法。

该论文体现了核心理念：权重的开放性本身并不能决定人工智能系统的风险。风险取决于模型本身、使用场景、部署方式以及安全措施。

阅读白皮书：《企业开源权重模型风险管理》

在部署场景中理解风险

开源和闭源权重模型可能面临许多相同的基础风险，但这些风险的具体表现方式取决于部署方式。用于帮助员工起草文档的模型与用于面向客户的工作流程的相同模型存在不同的考虑因素，就像独立的推理端点与连接外部数据或工具的系统之间也存在差异。

架构同样重要。风险可能源自模型本身，而最有效的控制措施可能存在于推理环境、应用程序或相关运营流程中。联合指南超越模型标签，关注包括来源、预期用途、用户、部署条件和相关控制措施等因素。这篇首篇论文主要聚焦模型层风险。单独评估模型并不能确定代理或应用的安全性：团队还必须评估其权限、数据访问、工具、运行时和运营控制措施。

建立统一的语言

要一致地管理这些风险，还需要工程、安全、法律、安全和业务团队之间使用统一的术语。

微软和NVIDIA的初始分类法将风险划分为五个主要类别：网络安全、数据保护、内容、人机交互和偏见。这不是一份政策或部署检查清单，而是应由企业根据自身系统、使用场景和风险标准进行调整，然后将相关风险与评估、缓解措施和负责人员联系起来。

将评估用作风险证据

评估有助于将分类体系转化为企业可实际应用的工具。该论文将评估映射到五个类别中的部分风险，为团队提供了一种从对其部署至关重要的风险入手的起点，并识别出能够产生相关证据的评估方法。

Microsoft Foundry 帮助企业通过内置和自定义评估以及自动化红队演练，对模型的质量、可靠性与安全性进行评估。其可配置的内容安全控制功能可检测并缓解有害输入输出及提示攻击。团队应验证其模型和部署的控制功能可用性（包括预览状态），并结合特定应用的测试、监控和人工监督来使用这些能力。

评估仍需结合具体部署场景进行解读，目标是让团队更容易将识别出的风险与有用证据关联起来，同时构建更广泛的评估资源库，使其能与模型、部署模式和新兴风险同步演进。微软和英伟达计划利用联合仓库共享更多评估内容，并指向现有资源以帮助企业评估特定风险。

控制权与责任的动态变化

开放权重访问为企业提供了对模型评估、修改和部署方式的更大控制权。模型访问与部署是两个独立的选择：开放权重模型也可以通过托管平台使用。安全防护的责任取决于服务和部署配置；自行运营模型部署的企业可能需要承担托管服务原本提供的控制功能。

这些防护措施可以在不同层级实施，根据风险情况，企业可能采用模型修改、访问控制、输入输出过滤、监控或人工审核等方式。关键步骤是将每个识别出的风险与能够在部署系统中有效应对它的控制措施关联起来。随着模型和部署的变化，这些决策需要定期重新审视。

后续工作方向

《企业开放权重模型风险管理》主要聚焦于模型层级。微软和英伟达未来的工作计划将这一方法扩展到运行时、加速器和应用层级，并提供额外的评估与缓解技术指导。

我们预计随着新模型、评估方法和部署模式的出现，支持这些工作的资源也将持续演进。联合仓库将提供一个共享额外评估资源的平台，包括来自更广泛社区的贡献。

对于当前正在部署开放权重模型的企业，该论文提供了可以直接应用于自身使用场景的指导。我们鼓励开发者、安全从业者、研究人员及其他相关领域的人员阅读论文，探索评估内容，并贡献有助于加强这一共享工作成果的评估方案。

阅读微软与英伟达联合发布的论文《企业开放权重模型风险管理》。

探索联合仓库及技术资源。

《企业开放权重模型风险管理》由微软和英伟达联合开发，微软的 Andrew Berkley 和 April Chen 以及英伟达的 Michael Boone、Eileen Long 和 Arun Rao 主导了论文的开发和编辑工作。

探索 Microsoft Foundry 的评估功能和内容安全控制，获取实施指导。

要了解更多关于微软安全解决方案的信息，请访问我们的网站。收藏 Security 博客，以便及时了解我们的专家在安全领域的深度报道。同时，您还可以在 LinkedIn（Microsoft Security）和 X（@MSFTSecurity）上关注我们，获取最新的网络安全新闻和动态。