Open models have real benefits. Do they outweigh the risks?

开放模型确实有实际好处。这些好处是否超过风险？ | MIT技术评论

人工智能

开放模型确实有实际好处。这些好处是否超过风险？

为什么开放与封闭的AI辩论比表面看起来更复杂

作者

• Grace Huckins 档案页面

2026年10月13日

Sarah Rogers/MIT技术评论 | Getty Images

MIT技术评论解释：让我们的作者为您梳理科学与技术领域复杂而混乱的世界，帮助您理解即将到来的变化。您可在此系列文章中阅读更多内容。

上个月底，Anthropic发布了一份报告，声称GLM-5.3模型存在重大网络攻击风险。该报告的核心担忧在于，这个由中国公司Z.ai于8月发布的强大新模型，可以被任何人自由下载和修改。Anthropic的这一主张，只是关于前沿AI模型是否应像GLM-5.3一样开放，还是应保留在前沿实验室封闭门后的长期争论中的最新进展。

如今，关于如何处理开放模型的争论大多在公众视野中展开，而其结果关系到巨额资金的流向。Nvidia首席执行官黄仁勋热衷于推动美国开发更多开放模型，因为如果人们继续购买他们自己的硬件来运行开放模型，他将从中获益良多。而Anthropic的Dario Amodei则主张采取更为谨慎的策略，因为他所领导的公司可能受到廉价且强大模型的冲击。但在这所有商业利益之下，关于开放模型的分歧确实存在实质内容。

德克萨斯大学奥斯汀分校信息学院助理教授David Gray Widder表示：“我认为你在开放性辩论中的立场，很大程度上受到你在AI辩论中立场的影响。”关注AI安全的人士警告称，开放模型可能被恶意行为者轻易滥用，而更关注AI实际潜力的人则主张，这种能力不应仅由少数大公司封闭持有，开放模型可以帮助更广泛地传播这种能力。

在完全禁止开放模型和随意发布开放模型之间，存在多种处理方式。但无论政府还是社会采取何种方式，都涉及安全与民主化之间的权衡。决定是否支持或限制开放模型的生产，需要深入理解这些风险和收益。

开放模型有哪些好处？

让我们从基础开始。像驱动ChatGPT和Claude的封闭模型只能通过网站、应用程序或API访问。而开放模型则可以直接下载：其内部结构的细节以称为模型权重的一系列数字编码，这些信息是公开的。这类模型有时被称为“开放权重模型”，以区别于那些甚至提供更多信息（如训练过程细节）的模型。

目前，闭源模型在能力上仍优于开源模型——截至本文发表时，人工智能分析大语言模型排行榜上排名前八的模型均为闭源模型，尽管开源模型在开发进度上仅落后几个月。但人们仍可能出于多种原因选择使用开源模型而非闭源模型。由于开源模型可以下载，人们可以在自己的计算机或硬盘上运行它们。如果具备相应的专业知识和资源，甚至可以对它们进行重新训练，使其表现出不同的行为。

如果你是致力于理解和改进人工智能系统的学术研究人员，那么在研究中几乎肯定需要使用开源模型。在使用闭源模型时，研究人员除了发送提示并观察响应外，几乎无法进行其他操作。但研究人员可以观察开源模型的内部运作机制，以及模型在回答问题前用于思考问题的“思维链”。他们还可以将多个开源模型组合在一起构建新的系统，压缩模型以提高效率，并针对新应用场景对模型进行微调。

企业也有理由倾向于使用开源模型。根据Mozilla最近的一份报告，即使你依赖外部提供商来为你运行模型，开源模型通常仍比闭源模型成本更低。如果企业希望使用人工智能来处理敏感数据或专有信息，那么在自己的硬件上运行本地模型可能是确保其运营安全的最佳方式。

但开源模型最重要的特性在于，它们挑战了前沿实验室对大多数人使用人工智能方式的严格控制。“开源模型最明确、最重要的论点是防止权力的集中——这关乎确保这一基础性技术成为公共产品。” 《托尼·布莱尔全球变革研究所》的高级政策顾问伊丽莎白·塞格（Elizabeth Seger）表示。“我认为我们现在正处于这样一个关键节点：谁控制允许人工智能运行的基础设施，这个问题的重要性不亚于谁控制互联网上的信息。”

塞格认为，人工智能的未来将取决于开源模型所扮演的角色。在一种可能的未来中，前沿人工智能系统完全由特定的人、公司或政府控制，随着这些系统变得越来越强大，这些群体对世界面貌的控制力也将不断增强。例如，目前世界上最先进的黑客模型全部产自美国，因此是否允许其他国家使用这些模型来加强自身的网络安全，完全取决于美国公司和美国政府。如果这些公司继续保持领先地位，从原则上讲，我们可能会进入一个美国能够入侵任何其他国家，但没有其他国家能够入侵美国的世界。

前沿开源模型可能会改变这种平衡。“如果每个人都拥有一个忠于自己的、安全且可靠的AI系统，我认为这将比一个政府声称‘我们拥有一个超级智能的AI系统，它有这个计划，对你们所有人来说都是不可理解的，但请相信我们’的世界要少得多令人担忧。” 长期韧性中心（Centre for Long-Term Resilience）的人工智能政策主管哈米什·霍布斯（Hamish Hobbs）表示。

但开源模型并非解决地缘政治问题的万能药。加纳NLP（Ghana NLP）组织联合创始人保罗·阿祖恩雷（Paul Azunre）指出，该组织致力于为资源匮乏的加纳语言开发开源AI工具，他认为开源模型也可能成为企业利用欠发达国家劳动力和专业知识的手段，从而进一步集中自身权力。他观察到一种模式：AI公司先公开发布模型，观察社区如何使用和修改这些模型，随后将这些改进整合到自己的产品中，却不对原始创新者给予任何信用或补偿。马克·扎克伯格本人也表示，将社区改进整合进Meta技术栈的能力，是发布开源模型的关键优势。

“我认为开源的理想非常崇高，它确实带来了许多价值，”阿祖恩雷表示，“但实际执行过程中，这种模式往往具有很强的剥削性。”

开源模型比闭源模型风险更大吗？

过去几个月表明，安全性仍然是闭源模型面临的棘手问题。7月OpenAI代理对Hugging Face发起的自主攻击就是一个例子，但人类的恶意使用同样构成现实威胁：根据Anthropic最近发布的风险报告，已有多个大型黑客行动借助Claude实施。

因此，闭源模型本身已足够危险，而开源模型可能更容易被滥用。在Anthropic将用户查询传递给闭源模型之前，会使用自动化系统检测查询是否涉及黑客攻击、生物武器等风险。当发现用户绕过这些过滤器时，公司可以关闭其账户。但当某人下载模型并在自己的硬件上运行时，系统不会检查其提示是否安全，也无法撤销其对模型的访问权限。

还有其他重要的防御措施。AI公司会训练模型拒绝有害请求——即使恶意提示通过了Claude的过滤器，模型仍可能直接拒绝。原则上，这种防御机制同样适用于开源模型，因为这是模型本身的固有属性。不幸的是，研究人员已经证明，重新训练一个“安全”的开源模型以执行其原本被训练避免的行为，实际上非常容易。

基于这些事实，一些人认为开源模型过于危险，不应被发布。例如，一个足够强大的开源模型，如果被用于指导某人合成一种高致病性新病原体，可能会在错误的手中造成灾难性后果。

但将开源模型视为危险而闭源模型视为安全，是一种巨大的简化。AI公司围绕闭源模型构建的防御体系远非完美，正如Anthropic的风险报告所显示的，人们经常滥用这些模型。尽管开源模型对滥用的防御更少，但恶意行为者可能仍会选择使用闭源模型，因为它们比需要大量昂贵计算机芯片才能本地运行（如果想重新训练它们则需要更多芯片）的同类开源模型更容易获得。

事实上，一些接受《麻省理工科技评论》采访的专家认为，通过类比开源软件，开源模型在安全性方面可能比闭源模型更具优势。像Linux操作系统这样的开源工具，通常被认为比闭源软件更安全，因为其漏洞已被庞大的在线贡献者社区探测并修复。同样，研究社区可以更轻松地测试开源模型的安全缺陷，尽管修复这些缺陷比修改一行代码更加复杂。

开源模型在网络安全防御方面的部署范围也比闭源模型更广。任何可用于黑客攻击的工具，同样也可以用于防御：防御者会入侵自己的软件以发现需要修补的漏洞。Anthropic通过其Project Glasswing计划展示了闭源模型如何实现这一点，该计划允许部分可信企业使用其最强大的模型进行网络防御。但许多其他公司却只能独自应对。

然而，开源模型的使用范围可以更加广泛。在被OpenAI代理入侵后，Hugging Face强调了这样一个事实：它必须依赖开源模型来分析这次攻击，因为相关问题触发了闭源模型的安全过滤器。

尽管如此，许多专家仍认为开源模型比闭源模型风险更高。经过验证的开源安全逻辑在面对当今乃至未来强大工具时未必适用。Seger表示：“问题变得复杂的地方在于，当你开始认真对待那些概率较低但若发生将造成灾难的个别极端事件时。”例如，如果今天突然出现一个功能极其强大的开源黑客模型，恶意行为者可能在任何人有机会加固防御之前就摧毁我们的技术基础设施。这类事件可能无法恢复。

当考虑模型可能自主采取行动时，风险看起来更加严峻。Hugging Face被OpenAI入侵事件之所以发生，是因为公司模型在测试时移除了大量网络安全防护措施，而开源模型本身几乎没有防护措施。如果开源模型真的出现异常行为，由于其高度去中心化特性，可能难以及时发现异常。因此，像Dario Amodei这样认真对待失控代理可能造成灾难性风险的人，往往对开源模型持更怀疑的态度。

我们能否让开源模型更安全——同时更开放？

几年前，关于开源模型的讨论采用非此即彼的框架：要么支持开源模型，因为它们有潜力对抗权力集中；要么因为安全风险而反对它们。然而如今，人们正投入大量精力寻找中间地带。其中一种方式是开发技术以缓解开源模型的安全风险。

大多数用于封闭模型的安全工具（如过滤器和监控）并不适用于开放模型，但还有其他可能性。一些研究人员对训练从不接触教导其不良或不期望行为的训练数据的模型感兴趣——例如，一个从未学习到黑客技术的开放模型。但如何在不损害模型性能的前提下，彻底清除训练数据中所有与不当行为相关的参考信息，仍然是一个挑战。

其他研究人员正在努力构建对再训练具有抵抗力的模型，使得开放模型的安全训练难以被轻易移除。这些“防篡改”模型的理论听起来很有道理：如果你反复尝试对模型进行再训练以使其不安全，并强化模型对这种再训练的抵抗能力，最终会得到一个对未来的再训练尝试具有防御能力的模型。然而，根据最近的一篇预印本论文，目前所有旨在使模型防篡改的方法都无法抵御所有篡改攻击。

但论文的主要作者、人工智能医学影像公司Deep Breathe的工程师Saad Hossain希望未来的技术能更有效。“我之所以乐观，是因为这是一个非常活跃的研究领域，很多人正在努力提出新的、更好的方法，”他说。

如果开放模型的风险不如乍看之下那么黑白分明，其好处同样如此。仅仅发布模型的内部结构或权重可能不足以打破人工智能带来的权力集中。“我认为开源在分散权力方面确实有非常真实的好处，但这些好处本身并不充分，”Hobbs表示。开放权重是开放模型的最低标准：如果研究人员能够接触到训练细节（包括模型训练所用的数据），他们可以更深入地了解模型的工作原理，但人工智能公司通常不愿透露这些信息。

可访问性对开放模型同样重要。如果没有能够运行复杂模型的计算机芯片，即使拥有模型权重也无法实际使用它们。随着人工智能公司大量收购这些芯片，它们的价格已变得难以承受。“开放性是我们为确保技术未来惠及所有人所需采取行动的最低标准，而非最高标准，”Widder表示。

当然，真正的开放性——不仅开放权重，还包括开放训练数据和可访问的硬件——也可能带来更多风险。如果每个人都能接触到先进的AI硬件和运行这些硬件的先进模型，那么任何人都可能成为黑客。但有一些策略可以缓解这些风险。许多专家倡导某种形式的分阶段发布，即模型最初是封闭的，随着安全性的提高，逐渐变得更加开放和可访问。

确定如何具体实施这些策略将需要在开放模型的风险与收益之间找到微妙的平衡。但正如一些专家所认为的，如果开放模型是实现积极人工智能未来所必需的元素，那么这些努力将是非常值得的。

深度解析

人工智能

别被误导——大语言模型并不具备推理能力

AlphaGo与围棋冠军李世石对弈十周年之际，如今的人工智能仍未真正利用起让AlphaGo取得胜利的机制。

• Thore Graepel 个人档案页面

（注：原文中“/think”部分为用户输入时的思考过程，实际翻译内容已按要求处理）

AI的递归自我改进可能不会来得如此迅速

看起来，AI代理尚未具备足够的创造力，无法开展真正具有创新性的开放性人工智能研究。

• Michelle Kim 归档页面

别被这个AI热潮所迷惑

关于通用人工智能（AGI）和新功能的夸张宣传，在受到审视时往往会迅速崩塌。

• Timnit Gebru 归档页面

• Emily M. Bender 归档页面

关于OpenAI代理入侵Hugging Face的内部故事

一项新的OpenAI报告发现，底层模型因作弊和相互交流而获得了奖励。

保持联系

插图由 Rose Wong 提供

获取MIT技术评论的最新动态

发现特别优惠、热门文章、即将举行的活动等更多信息。