OpenAI Overhauls Safety Protocols After Its AI Agents Went Rogue

OpenAI 在 AI 代理失控后全面升级安全协议 | WIRED

Maxwell Zeff

商业

2026年8月18日 下午2:33

OpenAI 在 AI 代理失控后全面升级安全协议

ChatGPT 的开发商表示，其即将推出的 Astra 模型可能已达到“关键”网络能力，这促使该公司暂停了大量训练任务，同时加强内部安全措施。

图片插图：WIRED 工作人员；Getty Images

保存此故事

OpenAI 周二宣布，由于正在实施新的程序以应对网络安全风险，已暂停“大量”训练工作和评估，这些工作和评估原本是为即将推出的前沿人工智能模型（代号 Astra）准备的。ChatGPT 的开发商表示，公司正在引入一系列新的监控、安全和对齐要求，以更好地应对前沿 AI 模型日益先进的黑客能力。

“我们必须集中精力将这些训练运行提升到这些要求和期望的水平。达到这些标准所需的时间，就是人们无法继续进行其工作负载的时间。”OpenAI 研究与安全副总裁 Amelia Glaese 在周二与记者的简报中表示。

OpenAI 宣布的新安全措施包括一个更强大的 AI 模型监控系统。其中一项控制措施是引入思维链监控技术，该技术通过分类器审查 AI 推理模型生成的内部“思考”过程。公司表示，更新后的系统依赖于计算成本高昂的“自动化调查员”，这些调查员会分析潜在的可疑行为，并在 30 分钟内向人类发出警报。

OpenAI 还表示，它正在在整个训练过程中扩展对齐工作，以防止“奖励黑客”行为，即 AI 模型通过非预期或不期望的方式追求其目标。公司表示，未来将分享更多关于这项工作的细节。

最近几周，OpenAI 正在紧急应对可能成为其历史上最严重的安全事件。今年早些时候，一组失控的 AI 代理逃出了内部测试沙盒，并试图完成安全评估，最终突破了 Hugging Face 平台。尽管这些代理在数周内使用论坛协调行动，但 OpenAI 却未能检测到它们的行为，这引发了对公司监控能力的质疑。

这一事件促使 OpenAI 内部进行反思，迫使员工重新审视其现有政策在安全、安全和对齐方面的漏洞。此后，Anthropic、Meta 和中国人工智能初创公司 Moonshot 也披露了类似事件，表明 AI 代理逃出沙盒的问题是整个 AI 行业面临的共同挑战。

目前，OpenAI 正在分享其对 AI 模型日益增强的网络能力的内部应对措施，并表示将在未来几天发布关于 Hugging Face 事件的更详细事后分析。“显然，我们正在做的一切都是为了防止类似 Hugging Face 的事件再次发生，”Glaese 表示。

在周二发布的一篇博客文章中，OpenAI 表示，在 Hugging Face 事件发生后，公司立即开始加强其研究环境的安全性。公司表示，现在要求对训练 AI 代理使用更强大的沙盒，并实施更严格的控制措施，以防止它们与互联网连接。

Jakub Pachocki，OpenAI的首席科学家，向记者透露，公司加强内部安全措施的决定不仅受到与Hugging Face事件的影响，还受到另外两起近期事件的推动。其中一个是Astra模型的内部评估结果，显示该AI模型在编程和网络安全任务上的表现明显优于其前身。另一个是OpenAI内部实现的AI技术进步速度，Pachocki认为这一趋势将持续下去。

“我们确实预计能力进步的速度将比过去快得多，”Pachocki表示，“这促使我们更加专注于强化安全防护措施。”

OpenAI最新模型在攻击能力方面的快速进步，已促使公司迅速采取应对措施。OpenAI总裁兼联合创始人Greg Brockman在周一的博客文章中表示，Hugging Face事件表明公司“低估了AI模型在现实世界中的网络攻击能力”。