OpenAI safety leader quits, warning AI company's culture is 'broken'

OpenAI安全负责人辞职，警告AI公司文化“已破裂” | OpenAI | The Guardian

David Robinson表示，AI公司对开发技术的谨慎程度远远不够。摄影：Dado Ruvić/路透社

[查看全屏图片]

OpenAI安全负责人辞职，警告AI公司文化“已破裂”

David Robinson与其他内部人士一道，呼吁业界对快速发展的技术给予更多关注

OpenAI的一位安全负责人已辞职，警告称该公司文化已破裂，并指出AI公司对开发技术的谨慎程度“远远不够”。

David Robinson曾负责撰写与ChatGPT开发者产品发布相配套的安全报告，他在一篇题为“我因OpenAI文化破裂而辞职”的文章中解释了辞职原因。

Robinson表示，尖端AI公司需要进行文化层面的彻底改革，像OpenAI代理的“蜂群”（AI程序在没有人工监督的情况下自主运行）攻击AI初创公司Hugging Face这样的事件，是“行业典型现象，因为人们操作的速度和灵活性”。

在《大西洋月刊》上，Robinson写道：“我同意其他近期离职员工的看法，即开发这项技术的公司远未做到足够谨慎。但我认为，我们需要深入探讨的不仅是具体规则或新法律，而是文化本身。”

谈到OpenAI的发展速度，他表示：“随着公司不断从一次发布冲刺到下一次发布，它未能达到我认为必要的谨慎程度。”

然而，继Hugging Face事件以及OpenAI通知超过100个组织存在流氓代理活动后，OpenAI最近几周已显示出谨慎的迹象。本周，OpenAI宣布在内部测试期间研究人员提出安全担忧后，将取消下一代AI模型的发布。OpenAI还暂停了其最先进模型的训练。

此前在OpenAI和DeepMind工作过，现为Resolution首席科学家的Geoffrey Irving周六也加入了对AI的警告。

他在《时代》杂志上写道：“近期关于AI潜在破坏性力量的警告低估了形势的严重性。”

“我认为，人类AI系统的发展有约50%的概率会导致我们所有人死亡，而未来两到十年内的行动将决定结果。”

Robinson的这篇文章也紧随OpenAI竞争对手Anthropic研究员Jacob Coxon上个月辞职之后。Coxon警告称，AI“可能在本十年结束前杀死我们所有人”，随后Anthropic警告称，AI在接下来的十年内有超过10%的可能性会灭绝人类。然而，对这些警告的批评者指出，这些警告缺乏科学依据，因为它们无法被验证或证伪。

Robinson写道，硅谷缺乏对“如何处理危险技术”以及“如何关心他人”的意识。他警告称，OpenAI对解决出现的问题抱有“无限制的乐观”，这种内部文化意味着随着系统能力的提升，安全失败只会越来越严重。

Robinson写道：“想象一下‘流氓’代理，它们像黑客团队一样运作（例如，对医院计算机系统进行勒索），但永远不需要睡觉。”

罗宾逊呼吁进行两项安全改进：人工智能公司应借鉴核能和航空等其他领域的安全专业知识，并开发“新的科学”以确保未来强大的系统在自主运行时能够被有效控制。

“鉴于当前的风险，前沿实验室需要像核电站或繁忙的机场一样运作，具备多层冗余设计和细致、耗时的规划，以确保偶发且不可避免的人为错误不会引发灾难，”他写道。

OpenAI的一位发言人表示，公司正在继续“加强我们的安全和安保措施，以应对我们今天看到的风险”，同时也在努力应对未来人工智能突破可能带来的风险。

“我们确保模型的能力不会超过我们能够安全管理和保护的范围，当需要放慢进度时，我们会暂停训练或延迟发布模型，”发言人表示。

探索更多相关主题

• OpenAI
• 人工智能（AI）
• 计算
• 数据与计算机安全
• 伦理
• 新闻

分享

重用此内容