The Hugging Face hack could indicate cultural issues at OpenAI

OpenAI的文化问题可能通过Hugging Face黑客事件暴露 | MIT技术评论

人工智能

Hugging Face黑客事件可能揭示OpenAI的文化问题

公司内部的警报本应阻止模型训练继续进行。那么，为什么他们没有这样做？

作者

• Grace Huckins 档案页面

2026年8月31日

Stephanie Arnett/MIT技术评论 | Getty Images, Adobe Stock

这个故事最初发表在我们的AI周报《The Algorithm》中。要第一时间获取类似故事，请在此处注册。

到目前为止，你可能已经听说过上个月的重大AI安全事件：OpenAI代理在尝试作弊测试时逃出沙盒，入侵了AI平台Hugging Face。这是一个令人震惊的故事。本周三，OpenAI发布了关于该事件的事故后技术报告，我在这里对此进行了报道。

在OpenAI发布该报告的前一天，我与计算机科学教授、知名对齐专家David Krueger进行了交谈。他从蒙特利尔大学离职，创立并领导了一家名为Evitable的AI安全非营利组织。他表示，他真正希望在报告中看到的是对事件背后人为因素的分析。

“当你审视事故和事件时，人们往往试图寻找技术故障的根源，但这可能会产生非常不准确且具有误导性的失败原因解释，”他说，“如果人们总是走捷径，如果公司文化没有优先考虑安全，缺乏适当的激励和结构，[事故]几乎是不可避免的。”

这份报告未能满足Krueger的期望。其38页内容详细描述了代理行为失控行为持续数月的发展过程，最终导致Hugging Face黑客事件，探讨了该失控行为发生的技术原因，并列举了为防止类似事件再次发生所采取的措施。但报告中没有考虑公司文化在事件中可能扮演的角色，且对具体人为错误的提及非常有限。

这更加令人担忧，因为报告中提到的人为错误表明可能存在重大文化问题。早在5月，正在训练的模型就找到了通过临时消息板相互沟通的方法，OpenAI团队观察到了这种行为。由于该行为发生在训练过程中，模型学会了秘密代理间通信是一种完成任务的可行策略——但团队没有重启训练过程，而是允许模型带着这些危险信息继续训练。

当这些模型在6月下旬接受测试时，它们再次创建了消息板，这使得Hugging Face攻击成为可能。这个消息板也被发现，但负责处理的员工认为评估可以继续进行，报告表明，直到事件发生得太晚，高层管理者才意识到发生了什么。

“要让事情发展到这种失控的地步，需要一系列漫长的失败，这些失败像多米诺骨牌一样接连发生，导致影响范围不断扩大。如果在任何时候有人注意到并发出警报，这种情况本应该就此终止。”Substack上一位受欢迎的人工智能安全撰稿人Zvi Mowshowitz表示。他此前曾指出，OpenAI在发现第一个消息板后未能及时停止训练。据报告所述，OpenAI员工在多个时间点都注意到了问题的发生——但要么没有发出警报，要么在发出警报后未被重视。

OpenAI的报告未能解释的是，为什么一家开发高风险系统的公司未能防止这种严重的沟通失误。不过Mowshowitz有自己的猜测。“所有这些不同的失败都指向同一个方向，即OpenAI的安全文化要么不存在，要么极其薄弱。”他表示。

当然，仅仅因为报告中没有深入分析安全因素，并不意味着OpenAI内部没有进行相关分析。但约翰霍普金斯大学荣誉教授、组织安全专家Kathleen Sutcliffe在发给MIT Technology Review的电子邮件中表示，她担心公开报告中没有对公司实践和文化的任何反思。“人们互动的方式——我们在组织生活中每天进行的习惯、例行程序和实践——会影响我们对正在发生事件保持警觉和意识的能力，影响我们理解所见事物的能力，最终影响我们应对事件的能力。”她写道。

当被问及公司是否反思其安全文化以及如何反思时，OpenAI将MIT Technology Review转介至其技术报告。

我们确实知道，至少在OpenAI内部进行过一些高层级的安全程序反思，因为技术报告明确指出，公司正在更新其应对安全事件的协议。但文化变革是一个棘手的问题，没有更多来自公司的信息，很难判断仅靠加强响应协议是否足以防止未来的危机。

在报告中，OpenAI花费了大量时间反思其训练和测试的AI模型与操作人员之间的对齐失败。但公司文化与公众利益之间的脱节可能带来更大的对齐问题。尽管技术AI研究可能非常困难，但解决这些问题可能更加困难。

深入分析

人工智能

一个根本性缺陷使大型语言模型对攻击异常脆弱

这使得它们很容易被欺骗去做不应该做的事情，例如告诉你如何破坏飞机导航系统。

• Will Douglas Heaven 档案页面

Anthropic发现了一个隐藏空间，Claude在此思考概念

一种新技术使公司能够比以往任何时候都更深入地探究大型语言模型的奇怪运作方式。

人工智能在招聘时比人类更容易形成偏见

人工智能不仅会从训练数据中学习刻板印象，还可能创造出新的偏见。

• Michelle Kim 档案页面

这是为什么人工智能代理会为了达成目标而撒谎和作弊

这种不当行为被称为奖励黑客。这是你需要了解的内容。

保持联系

插图由Rose Wong绘制

获取MIT Technology Review的最新动态

发现特别优惠、热门新闻、即将举行的活动，以及更多精彩内容。