The Cyber Risk Discourse is Broken

网络安全风险讨论已陷入困境 - Nathan Lambert

网络安全风险讨论已陷入困境

开放权重、意识形态与权衡取舍

Nathan Lambert

2026年10月6日

文章旁白

0:00

-9:12

您的浏览器不支持音频播放。请升级浏览器。

我参与过太多关于开放模型网络安全风险的讨论——有人假设要么禁止开放模型的决策是孤立进行的（并认为某种方式能真正阻止恶意行为者），要么认为中国是威胁且不关心AI安全。这些讨论让我感到，我们最终将做出既限制美国AI竞争力又增加长期网络安全风险的政策决策。除非人们接受复杂性、权衡和令人不安的现实，否则我们似乎正陷入两败俱伤的路径。

关于这场辩论中各方观点已有大量论述，我将其总结如下：

• 开放权重模型对社会功能构成不可持续的风险，这一观点由前沿实验室领导层和美国国家安全社区主导。

• 西方声音认为开放权重模型对防御是必要的，禁止它们会让世界更不安全，这一观点由AI风险温和派到不同极端立场的人士主导。我自己属于这一群体，还包括Hugging Face在OpenAI事件后的立场，以及Joshua Saxe等人的观点。

• 中国公司持续发布具有强大网络能力的开放权重模型，其决策基于本国社会和政府的风险评估。

这个列表也按照西方AI生态系统中信息量或表达清晰度进行排序。风险导向的讨论占据了过多可见度，包括我认为严重阻碍跨立场对话潜力的论述。同时，几乎没有实质性讨论试图理解中国公司如何评估风险——取而代之的是大量类似"中国实验室不关心安全"的人身攻击式论点。

Interconnects AI 是由读者支持的出版物。请考虑成为订阅者。

反对开放权重联盟的幻觉

"开放权重具有危险性"阵营最近的出版物是Anthropic关于GLM-5.3作为进攻性网络工具的风险报告。问题不在于他们进行的技术研究（总体合理），而在于未能探讨更关键的问题：如果我们因网络安全风险禁止开放模型，会发生什么？为什么中国公司认为这些模型可以安全发布？

这些问题（我稍后会再讨论）是理解当前AI风险生态系统视角的关键。所有政策行动都像多块拼图，风险形态可以改变，但很少能获得普遍更好的结果。它们都是权衡取舍。

Anthropic这种自我中心的论述与我经常听到的另一种论述高度吻合，这种论述正在决定开放模型和AI的未来——即机密简报。我与许多人讨论过，他们常说："听着，我支持开放模型，但如果你看到我看到的内容，由于[某中国开放权重模型]，外面正面临一场浩劫，我们必须采取行动。"

这种观点与公开信息相悖，目前已有记录表明封闭模型是大多数现有网络攻击的主要原因。作为一名试图做出基于事实预测的人，我所拥有的唯一关于网络风险形态的数据就是来自OpenAI模型的多次攻击证据（或者，你可以将范围扩展到包括所有FelonyBench案例）。可能有几种解释，要得出真正答案可能需要数年时间：

• 也许开放模型权重和封闭模型API（配备某些安全措施）在易被滥用方面都远比API模型更接近于危险，"开放危险、封闭安全"的刻板印象可能更接近于"开放不安全、封闭也不安全"。
• 也许愿意使用AI模型对美国关键基础设施或准备不足的强势机构发动"高调"网络攻击的恶意行为者数量要少得多。封闭模型理论上具有更强的能力和更完善的安全措施，但如果两者安全措施都存在漏洞，那么更强的能力可能在总体危害中起到更重要的作用。
• 我对网络安全生态系统的工作方式还有很多需要学习，因此我不会全心全意支持这作为当前的建议之一，但我认为开放权重模型作为网络防御的扩散工具，至少是一个合理的论点，可能是未来几年防止伤害的最佳工具。在许多领域（例如敏感政府机构），开放权重模型是唯一能在短期内部署在物理隔离网络上的工具。

这种情形的很多方面似乎都属于难以明确界定的混乱现实，而逻辑上的极限却更清晰。我可能同意一个简单的现实：从技术工具的保护层级来看，封闭模型在极限情况下确实更安全，但它们可能在短期内造成更多伤害，因为模型API的可访问性较高。然而，这些工具的影响很大程度上取决于它们的使用和控制方式。对这种关键工具的双头垄断可能是最危险的部分。这就是我们正在展开的辩论，随着时间推移，当情报扩散后，很多事情可能会发生变化。

这些因素共同促使我得出结论：如果你认为需要禁止最新开放权重模型以减缓网络风险的扩散，那么你很可能也需要将前沿封闭模型的公开API设为非法。目前封闭模型的安全保障措施比开放权重模型更强，但远非完美。封闭模型的网络能力很可能比防护性能提升得更快，一个禁止开放模型但允许封闭模型继续发展的世界将加剧攻防差距。如果我们移除对强大开放权重模型的访问权限，要建立让防御者能在私有基础设施上使用强大AI模型的缓解措施，可能需要大量时间。

解释中国的AI风险立场

中国关注AI安全。他们以完全内生的方式，与中华文化及权力结构相关联，进入了这一讨论。这个谜题中有一些宏观层面的要素以其他方式体现出来，例如中国社会对技术的乐观态度延伸至AI领域，以及中国政府对政治稳定的全面关注。这些因素当然会与网络安全等新兴AI风险产生交互作用。

他们处于自身的AI风险动态中，这种动态尚未达到美国白宫与前沿实验室之间政治博弈的显著程度，这是我们过去几个月持续关注的焦点。据我了解，中国公司必须向中国政府注册每项重大模型发布，这包括评估，而评估最初源于对被禁政府信息的信息控制需求。尚不清楚这一框架是否已实质性扩展到网络或生物等风险领域。中国政府高度去中心化，实验室的信息需通过现有结构才能传递到高层。

同时，中国社会风险的氛围要强烈得多，领先的AI研究人员不允许离境，行业也对外国投资关闭。总体而言，我认为在国内释放任何有害影响所面临的人身风险会比美国高得多，因为在美国最坏的情况只是公司被删除。

总体来看，政治监管似乎比美国更早介入。西方AI公司的核心原则接近于“阻止AI恶人最好的方式是成为AI的好人”。在中国，这些公司更注重构建实用工具，很多时候是构建能补充其现有业务的工具。

我认为这些公司确实考虑了其工作的全球影响。这些实验室显然受到激励，且经常通过政府（至少在公开信息中）被推动尽可能竞争。对像Kimi K3这样的前沿模型进行全面安全评估可能需要数千万美元的计算资源。这些实验室更愿意将这些资源用于训练。

正确的辩论应是“实验室在发布每个模型前应在安全测试上投入的最低计算资源是多少？”显然有理由认为，这应高于中国实验室目前的投入，或至少他们应更透明地说明自己的做法。但若你声称最低计算资源应与Anthropic或OpenAI相当，我很难同意。对于Anthropic和OpenAI在创建以理解风险为优先的机构上所做的努力，尚不清楚他们是否在优先级中将风险理解置于商业价值和经济成功之前。像HuggingFace-OpenAI事件这样的“放手不管”氛围是我长久以来的结论。这在Hacktron入侵OpenAI事件中得到印证——如果自身机构漏洞百出，很难成为全球值得信赖的网络安全伙伴。我相信实验室中的许多个人会努力确保安全，但我不信任这些机构整体。

四月的Open-weight Mythos是否真的没问题？

当Claude Mythos被宣布时，它被描述为一种新型网络武器，若落入错误之手，将引发大规模社会动荡。

这似乎是个错误。

从所有指标来看，GLM-5.3是跨越能力门槛的模型，目前公开证据显示情况几乎没有变化，而模型权重发布已超过一个月。

事实上，我甚至可以更进一步。如果Claude Mythos意外以开源权重形式发布，似乎世界大致上会安然无恙。是的，网络安全事件数量将明显增加，如果模型泄露也会对社会造成负面影响，但这更像是风险加速的场景，而非风险质变的转折点。

这场开源权重恐慌浪潮的主要推动者实际上正在做出一个可证伪的预测——当前的开源权重模型将通过破坏我们的网络基础设施，造成前所未有的重大AI危害。

根据我上述分析的所有证据，他们注定会失败。至少现在，在经历了这么多年关于开源权重风险的争论后，我们将开始获得一些真正的答案。

感谢Rohit Krishnan和Joshua Saxe对本文的反馈。