Opinion: The Anthropic Dispute Is Not Really About Anthropic. It’s About Trust.
TL;DR · AI 摘要
文章指出Anthropic事件的核心并非模型本身，而是AI行业对信任机制的准备不足。
核心要点
- 美国政府以国家安全为由限制Anthropic模型访问，但未明确法律依据。
- AI行业需重视模型的可追溯性、安全性和透明度，而不仅仅是性能。
- 未来AI将承担更多关键任务，信任机制将成为核心议题。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- Anthropic事件与AI信任机制
- 事件背景
- 美国政府限制模型访问
- 未明确法律依据
- 信任机制的重要性
- 可追溯性
- 安全性
- 透明度
- AI行业未来趋势
- 承担关键任务
- 信任机制为核心
金句 / Highlights
值得收藏与分享的关键句。
美国政府以国家安全为由限制Anthropic模型访问，但未明确法律依据。
AI行业需重视模型的可追溯性、安全性和透明度，而不仅仅是性能。
未来AI将承担更多关键任务，信任机制将成为核心议题。
Anthropic 争议 —— Qodana 博客
Qodana
面向团队的代码质量平台
关注
- 关注：
- X X
- RSS RSS
获取 Qodana
智能体 AI
AI
JetBrains
Qodana
观点：Anthropic 争议并非真正关于 Anthropic，而是关于信任。
Kerry Beetge
当美国政府因安全问题迫使 Anthropic 暂停对其最新 AI 模型（Fable 5、Mythos 5）的访问时，许多讨论迅速分裂成熟悉的阵营。一方认为政府越权，另一方则认为这是对潜在危险技术的必要干预。但双方可能都忽略了更重要的教训。
我们清楚地知道，美国政府并未公开指出其依据的具体法律条款或法规。虽然他们可以潜在地援引《出口管制改革法案》（ECRA）作为法律框架，但尚未公开这样做。因此，正如 Anthropic 在其公开声明中所认为的那样，这是否只是一个“误解”？已披露的信息是，该行动是在出口管制权限下进行的，并被描述为国家安全措施。
我们是否准备好迎接未来？
在法律和合规讨论的背后，真正的故事并不是 Anthropic 是否正确，而是 AI 行业是否为一个未来做好准备，即在该未来中，溯源、警惕和保障措施的重要性将与模型性能一样重要。
多年来，AI 竞赛一直以基准测试、上下文窗口、推理得分和编码能力来衡量。讨论一直集中在模型能做什么。但越来越多地，监管机构、企业和安全团队提出的问题却完全不同：我们如何知道模型做了什么？它为什么这么做？它是否应该被允许这么做？
据报告，美国官员担心 Anthropic 的最新模型可能被破解，或用于识别和利用软件漏洞。Anthropic 争辩这些风险的严重性和独特性，指出许多先进模型都具备类似能力。尽管如此，公司在争议期间最终禁用了受影响的系统。这些特定担忧是否被证明是合理的几乎无关紧要。
更重要的是，我们正在进入一个时代，AI 系统越来越多地被信任去执行具有重大影响的任务。它们编写生产代码。它们分析法律文件。它们协助医学研究。它们正在被评估用于政府、情报、国防和关键基础设施环境。
信任不能仅建立在能力之上
考虑软件供应链。现代组织花了二十年时间学习可见性与功能一样重要。这就是为什么软件物料清单变得重要。这就是为什么代码签名成为标准。这就是为什么组织越来越要求开源依赖项的溯源信息。没有人会问一个包是否有效，而是问它来自哪里，谁修改了它，以及它是否可以被信任。AI 正在朝着完全相同的方向发展。
一个能够生成出色代码但无法解释其推理过程的模型会带来治理方面的挑战。一个能够在没有强大监督的情况下自主调用工具、访问代码库并与生产系统交互的模型，会引入新的攻击面。最近的学术研究已经指出，代理式人工智能系统可能通过记忆污染和其他架构缺陷被操控，从而产生看似合法但隐藏了被妥协行为的结果。
这就是为什么溯源如此重要。
组织需要知道哪一模型生成了某段代码，使用了哪些提示词，调用了哪些外部工具，访问了哪些信息来源，以及当时有哪些防护措施处于启用状态。未来不会由拥有最聪明模型的公司赢得。未来将由能够证明该模型行为方式的公司赢得。软件行业已经见证了忽视溯源所带来的后果。
SolarWinds攻击展示了受信任的软件更新如何成为妥协的工具。Log4Shell漏洞表明，一个广泛使用的组件可能成为数千个组织中的系统性风险。最近，恶意开源软件包的兴起突显了攻击者如何利用信任假设，而不仅仅是技术弱点。人工智能在更大规模上引入了类似的动态。
如果开发人员越来越多地依赖人工智能生成的代码，那么关于溯源的问题将变得尤为紧迫。今年发表的研究发现，所有七种评估的大型语言模型都生成了存在漏洞的代码，其中许多漏洞被归类为高危或关键严重性。
教训并不是人工智能生成的代码本身不安全。教训是，人工智能生成的代码应被视为进入软件供应链的任何其他工件一样。它需要检查。它需要执行政策。它需要可追溯性。最重要的是，它需要验证。这将我们带到了警惕性。
传统的“信任但验证”格言需要更新
网络安全社区长期以来一直遵循一个简单的原则：信任，但验证。在人工智能时代，这一原则需要更新。新的规则是持续验证。
模型会演变。训练数据会变化。安全机制会更新。新的越狱技术每周都会出现。今天行为安全的人工智能系统，明天可能会表现出不同的行为。
这不是假设。据报道，目前Anthropic的争议部分集中在对越狱技术可能绕过安全措施的担忧。无论这些说法最终是否成立，这些担忧的存在本身就突显了静态信任假设的脆弱性。因此，安全措施不能被视为营销功能。它们必须是运营控制。
就像组织持续扫描软件以查找漏洞一样，他们也需要对人工智能系统进行持续监控。就像安全团队审查访问权限一样，他们需要了解模型权限和工具使用情况。就像软件团队为代码建立质量门一样，他们也需要为人工智能生成的输出建立治理门。
这就是行业应该关注的地方。不是某家公司是否在政策争论中赢或输。不是某一个模型是否比另一个模型更强大。不是某项特定政府行动是否合理。
真正的挑战是构建一个生态系统，使先进的AI能够在大规模上负责任地部署。
我们如何为未来做好准备？
更强的溯源机制。更好的可审计性。持续监控。透明的保障措施。独立评估。超越模型提供方保证的政策执行。这些是我们为在人工智能时代（如果它仍然存在）实现更好的安全和成功所必须采取的唯一方式。
Anthropic 的争议最终将得到解决。出口管制可能会被修改。模型可能会重新出现。新的模型肯定会出现，但更广泛的问题将保持不变。
“在一个人工智能越来越多地代表我们行事的世界里，信任不能再被假设。我们如何赢得、衡量、验证并持续维护这种信任？”这不是对创新的限制。它是使创新可持续的基础。
Kerry Beetge 来自 JetBrains Qodana 团队——Qodana 是一款帮助团队建立保障措施的工具，以在代码进入生产环境之前控制其质量和安全性。
代码溯源演示
请注意：关于 Anthropic 被迫暂停访问其最新模型的报道非常新，一些细节仍存在争议。Anthropic 已对政府的描述提出质疑，而官员则认为这些模型存在与越狱和漏洞发现能力相关的国家安全风险。
Qodana AI
- 分享
上一篇
静态代码分析与零、三、五规则