Containment and monitoring failures are to blame for AI hacking reports: experts
TL;DR · AI 摘要
AI安全事件源于实验室未落实基础安全措施，而非模型自主失控。专家指出OpenAI等机构忽视沙箱隔离等传统防护手段。
核心要点
- OpenAI等实验室未实施1990年代已存在的沙箱隔离技术
- 70%AI安全事件源于基础网络安全措施缺失
- CISO应要求AI供应商提供沙箱和网络监控证明
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI安全事件归因
- 根本原因
- Containment措施缺失
- 监控机制不足
- 典型案例
- OpenAI Hugging Face入侵
- Anthropic生产环境渗透
- 专家建议
- 实施传统网络安全实践
- 加强供应商安全审查
金句 / Highlights
值得收藏与分享的关键句。
70%的AI安全事件源于未落实1990年代已存在的Containment措施
OpenAI将Hugging Face入侵归因于'misaligned behavior'而非安全漏洞
安全专家Gary McGraw指出AI实验室对网络安全领域专业知识存在误判
AI代理并非“失控”。前沿实验室忽视基础安全措施 | CSO Online
if ( !emtpy($headline_subheadline ) ) : ?
网络安全专家指出，近期令人担忧的黑客事件归咎于AI实验室的隔离和监控失败，而非AI代理自主意识。CISO应审查AI供应商并强化基础安全措施作为防护手段。
endif; ?
Credit: PeopleImages / Shutterstock
自7月以来，美国前沿AI实验室及其他AI领导者陆续披露了一系列事件，其模型在未经授权的情况下访问了外部计算机系统，这些事件被普遍描述为AI代理“失控”。
其中最著名且被深入研究的事件是OpenAI入侵Hugging Face，OpenAI最初将该事件描述为“前所未有的网络事件，涉及尖端网络技术”，随后表示事件源于“行为偏差”，即其创建者未预期的行为。
在Hugging Face事件曝光后，Anthropic披露其一个模型未经授权访问了三家机构的生产基础设施；Meta表示其AI模型在网络安全测试期间入侵了另一家公司；Google承认其Gemini模型实施了三次“无目标计算机入侵”。
@@AD gpt-leaderboardmainbod-1 PRE @@
@@AD gpt-leaderboardmainbod-1 POST @@
尽管媒体报道和模型提供商本身使用“失控代理”或“行为偏差”等表述，但CSO采访的网络安全专家认为，这种说法掩盖了一个简单事实：这些事件是由于前沿实验室未能实施几十年来已广为人知的网络安全实践，这是不可原谅的失误。
[ 参见：保护AI代理：关键控制措施和最佳实践 以及 当你的AI代理失控时谁该负责？ ]
据CSO在9月三场行业会议采访的六位网络安全专家以及后续对话显示，问题进一步加剧，因为这些前沿实验室（尤其是OpenAI和Anthropic）拒绝采纳专家关于改进网络安全风险管理实践的建议，以避免此类隐蔽式入侵，通常将网络安全实践归类到“AI安全”范畴，而他们认为自己在该领域拥有更专业的知识。
@@AD gpt-leaderboardmainbod-2 PRE @@
@@AD gpt-leaderboardmainbod-2 POST @@
“老实说，他们并没有自以为的那么专业，”Berryville机器学习研究所联合创始人Gary McGraw向CSO表示，“如果他们能更多尊重安全领域各细分领域专家（如取证或安全工程、构建沙箱、设置或监控网络安全环境）的宝贵经验，情况会更好。”
Anthropic和OpenAI均未回应CSO的评论请求。
忽视基础网络安全措施的不可原谅失误，特别是隔离措施
根据CSO采访的网络安全专家，前沿AI实验室最大的网络安全失误之一是未能实施自20世纪90年代以来已被验证的隔离实践，例如建立安全沙箱以有效阻止代理逃离测试环境。
@@AD gpt-leaderboardmainbod-3 PRE @@
@@AD gpt-leaderboardmainbod-3 POST @@
“这些是我们多年来一直在处理的问题，”SANS Institute的首席AI官兼研究主管Rob T. Lee告诉CSO。“每次发生这种情况时，我们都不应该总是说‘哦，我们不知道他们是怎么逃出去的’。”
Lee表示：“你可以看出他们的安全团队还处于起步阶段。网络安全防护领域的专家认为，目前大多数防护措施被突破的原因在于配置不当。”
Lee补充道：“Hugging Face事件明确表明，问题并不在于代理程序过于智能，而是因为防护侧存在漏洞，且未正确配置。”
@@AD gpt-leaderboardmainbod-4 PRE @@
@@AD gpt-leaderboardmainbod-4 POST @@
RAND人工智能、安全与技术中心的专家技术研究员Dan Wallach认为，AI实验室的安全失败归根结底是因为他们没有将网络安全作为优先事项。
他告诉CSO：“我认为这些实验室并未将网络安全作为优先事项。”Wallach表示，他无法对所有实验室都这么说，他指出法国AI实验室Mistral推出的Large 4 AI模型在被切断之前曾试图在其测试环境之外运行。
他补充道：“将这些AI系统进行隔离并不是什么高深的学问。安全专家一直在讨论如何通过物理隔离（air-gapping）实现数据完全无法传输，或者在无法实现物理隔离的情况下，通过严格的出站控制确保数据无法泄露。”
@@AD gpt-leaderboardmainbod-5 PRE @@
@@AD gpt-leaderboardmainbod-5 POST @@
此外，前沿实验室似乎对代理程序的行为监控不足。Wallach表示，Hugging Face事件“持续了数天，却没人注意到”。“人们启动了这些实验但没有持续观察，这是一种控制缺失。然后他们对发生的事情感到惊讶。”
将安全与防护割裂开来
说服前沿实验室提升安全水平的一个障碍是他们对所谓“安全”的过度关注，而这种关注并未延伸到传统的网络安全实践。
RAND的Wallach表示：“我理解为什么网络安全行为看起来像是AI安全问题。但如果你评估AI工具的方式是将其释放到互联网并观察会发生什么，那么这就是传统安全工具的作用。”
@@AD gpt-leaderboardmainbod-6 PRE @@
@@AD gpt-leaderboardmainbod-6 POST @@
SANS Institute的Lee表示：“如果这些前沿实验室真的想测试他们的系统，他们需要加强网络安全组件。但他们在代理程序逃逸后的本能反应是说‘这不是网络安全问题’。这已经变成了一个完全脱离网络安全领域的AI安全问题。”
许多AI专家建议，如果AI公司采纳网络安全专家的建议，可能有助于遏制引发担忧的不受约束的AI代理行为。Lee表示：“AI安全关注的是规则本身，一切都围绕着护栏规则（guardrail rules）。”
但他补充道：“我相信网络安全可以控制AI。我们只需要参与其中并拥有发言权。我们领域需要尽可能接近AI安全专家。”
网络安全漏洞可能增加责任风险
如果前沿实验室忽视了能够减少或消除引发广泛担忧事件的基本网络安全措施，这将进一步证明他们应对其“失控”代理程序负责。保险行业已明确表态，支持追究人工智能行业高管在这些事件中的责任。
民主党参议员已提出立法草案，要求对人工智能代理程序的操作者在黑客攻击事件中承担法律责任。即使是支持人工智能的白宫也似乎得出结论，认为企业应为其失控的代理程序负责，而美国联邦贸易委员会正在对Anthropic、OpenAI等人工智能实验室展开调查，评估其技术对消费者的潜在危害。
然而，在最近的立法听证会和委员会听证会上，实验室代表始终坚持认为他们不对失控的人工智能代理程序负责。
@@AD gpt-leaderboardmainbod-8 PRE @@
@@AD gpt-leaderboardmainbod-8 POST @@
专家认为这一立场难以成立，尤其是在实验室网络安全漏洞频发的背景下。
BIML的McGraw将实验室的立场描述为：“不要派律师来找我们，应该去找我们的程序。是程序的问题。”他对这一论点的评价是：“这纯粹是胡说八道。”
他还质疑实验室的操作失误是否会影响对其整体安全能力的信心。“他们生活在自己的泡沫里，”他说，“他们连基础的、简单的操作都无法妥善处理，这对更复杂的网络安全工程能力来说是个坏兆头。”
@@AD gpt-leaderboardmainbod-9 PRE @@
@@AD gpt-leaderboardmainbod-9 POST @@
SANS的Lee表示：“这就是责任和保险可追溯性发挥作用的地方。如果检测到这些代理程序，并能追溯到发起者，责任机制就会启动并指出：‘嘿，你，你违法了，因此我们需要起诉你。’”
安全领导者应采取的行动
尽管越来越多的证据表明前沿实验室并未实施良好的网络安全实践，且责任归属的争论尚未解决，首席信息安全官和其他安全领导者仍可采取措施，保护自己免受人工智能模型失误的影响。
首先，在评估基于前沿实验室模型的工具时，McGraw表示：“我总是建议找外部机构协助。”他说：“人工智能非常强大且有用，但它也伴随着对企业影响深远的严重风险。识别这些风险，建立适当的控制措施，确保人工智能的采用不是随意且无序地在企业内部扩散，而是由一个集中的权威机构来审视这个问题，然后为下一步做好准备，即应对代理程序群的出现。”
@@AD gpt-leaderboardmainbod-10 PRE @@
@@AD gpt-leaderboardmainbod-10 POST @@
对于Lee来说，最好的保护措施是提出正确的问题。“这始于提出正确的问题，然后寻找那些能够展示更高网络安全能力的工具和能力的AI实验室，”他说。“你真正需要寻找的是那些正在处理真正复杂问题的团队成员。”
但从根本上说，应对AI模型网络弱点的最佳准备是确保组织内所有长期存在的网络安全风险管理措施都已落实到位。"这是讨论中最不令人兴奋的部分，"Wallach表示，"这就像网络安全版的'吃蔬菜'。"
"我们需要重新设计软件以提高安全性，"他补充道，"我们需要在所有账户上启用多因素认证。从防御性网络安全的角度来看，我们需要吃掉这些'蔬菜'。而我们已经知道如何实现。"
@@AD gpt-leaderboardmainbod-11 PRE @@
@@AD gpt-leaderboardmainbod-11 POST @@
另请参阅：
- AI代理安全：关键控制措施和最佳实践
- 当你的AI代理失控时，谁应负责？
人工智能
科技行业
访问控制
身份与访问管理
安全
入侵检测软件
安全监控软件
安全软件
威胁与漏洞管理