Why I Left Google DeepMind

为什么我离开了Google DeepMind

目录 Google支持移民执法供应链 但我能为此做些什么？ 与Jeff Dean的对话 五角大楼试图恐吓Anthropic 我想动员AI领域的专家在会议上发声 与Bengio和Stuart的对话 Stuart为iaseai国际人工智能伦理沉默协会收尾 尝试阻止Google签署协议 为Google内部建立成本 Jeff Dean，你是我们唯一的希望 Jeff签署支持Anthropic的法庭之友简报 高层坚持认为Google不会屈服 准备与Jeff Dean共进午餐 我安排了社交支持 交易的艺术 我与Jeff的午餐 寻找另一条产生影响的路径 没有人回应，那为什么不直接给CEO发私信？ 我的框架未被评估 Google悄悄签署了协议 Demis坚称Google的AI原则“没有改变” 我们可以“与西方民主国家合作”来“对抗中国”而无需屈从于每项要求 构建改变世界的技术需要个人信任 反思 一个签署承诺的人如何留在DeepMind？ 伦理的重量 AI领域的专家们在做什么？ 为什么Jeff没有坚决反对？ 走出角色的束缚 为什么我离开了Google DeepMind 相似文章 附录：预期问题 如果你批评的人正在保存他们的政治资本？ 也许他们认为你不值得他们花时间；你没有权利要求他们的帮助 每个人都不必就每个问题发声 即使Google采纳了你的框架，五角大楼也会拒绝 这对AI带来的存在性风险有影响吗？ 附录：“别担心，只是API访问” 脚注

1月，美国国土安全部（dhs）的官员至少杀害了两人。在两个案例中，一名联邦特工握紧手枪，对和平市民开火，将其射杀。

Renée Good，在dhs杀害她前的瞬间。

Alex Pretti，在dhs杀害他前的瞬间。

我得知Google向dhs相关机构销售其云服务。我认为这是错误的。联邦特工不应能在街头杀害市民。我开始寻找最有效的方式，推动公司停止为这些机构提供服务。我的撤资运动很快扩展为阻止Google签署一项不道德的军事AI协议，因为五角大楼开始向AI供应商施压，要求其参与军事AI协议，而这些协议对用于杀手机器人或大规模监控的使用没有任何限制。¹

我希望AI伦理承诺在压力下依然有效。特别是，我希望Google DeepMind（gdm）能坚持其现有的反对支持杀手机器人的承诺。在数月内，我请求许多人采取行动。我请求了高层人士——受人尊敬的人——那些因关注AI伦理和安全而声誉卓著的人。几乎所有人都拒绝了。

以Stuart Russell为例，他是一位著名的AI研究员，曾花费十多年时间反对自主武器。我在他的实验室工作了多年。在一次会议上，他公开承诺推动其组织发表支持AI供应商反对政府胁迫的声明，并承诺进行成员调查。声明和调查最终都消失了。

或以谷歌首席科学家、谷歌Gemini AI项目联合负责人杰夫·迪恩（Jeff Dean）为例。2018年，杰夫签署了一份承诺，永远不支持致命机器人武器的研发或使用。我曾说服杰夫公开并大胆地签署了一份法庭之友简报（由外部人士提交以影响诉讼结果），支持Anthropic对抗五角大楼。但我也要求他利用巨大的影响力阻止谷歌与军方达成不道德的协议，我认为他并未做到这一点。尽管做出了承诺，他仍留在谷歌。

我撰写了一份25页的提案，包含合同条款和监督机制。军事与监控法律专家对这份提案表示赞赏，它代表了谷歌本可以坚持的有原则的反提案。我将提案发送给DeepMind首席执行官德米斯·哈萨比斯（Demis Hassabis），他将其转交给高级政策团队，但提案最终被搁置，直到谷歌签署协议。

高级管理层曾坚持认为谷歌不会签署该协议。我不同意他们的看法，但他们基本上忽视了我的警告。虽然我可能增加了五角大楼对协议的犹豫，但谷歌仍签署了协议，将AI技术无限制地交给军方，既不防范致命机器人，也不阻止大规模AI监控。谷歌的合同限制甚至比OpenAI的还要弱。在那一刻，我无法继续以良知留在谷歌，因此离开了。

本文讲述了我为何离开谷歌DeepMind的原因。它也是关于一个更广泛问题的故事：在压力面前，一个又一个有影响力的人和机构如何未能履行他们的AI伦理承诺。

关于私人通信

在本文中，我从未在未经允许的情况下引用任何人的私人言论。当私人对话相关时，我会以最小的范围描述它们。否则，我只陈述自己的行为、公开信息和官方通信。你无法验证我的描述，因此请相应地权衡其可信度。这种最小化处理删除了可能支持我论点的内容。

谷歌支持移民执法供应链

2026年1月26日

在亚历克斯·普雷蒂（Alex Pretti）去世后，我决心采取有效行动。为了确定如何减少国土安全部（DHS）造成的伤害，我研究了大型科技公司的关联。当然，微软和亚马逊的参与程度更高，但令我惊讶的是，谷歌也深陷其中。

谷歌与国土安全部（DHS）的合同

Alex Pretti，2024年。国土安全部2025年AI使用案例清单将谷歌列为用于“提高国土安全部运营效率”的生成式AI（GenAI）提供商。谷歌通过第三方公司（如ITC Federal）向美国移民与海关执法局（ICE）销售云服务。2025年10月3日，谷歌下架了警告ICE活动的应用程序。谷歌未经通知，自愿将一名学生抗议者的账户信息交给ICE，违反了其“在向政府披露信息前向用户发送电子邮件”的服务条款承诺。

正如我所计划的，我认为谷歌不会在意100名随机的研究工程师离职。不，在人工智能行业，人才分布呈金字塔结构，团队由少数难以替代的明星人物驱动。我不需要协调100名工程师。也许我只需要协调10人就够了。

我关注了相关新闻，并猜测桑达尔·皮查伊（谷歌CEO）更像是一位商人，而不是那种“让我做一场关于伦理的宏大演讲，我就会改变主意”的人。但如果几位难以替代的人准备离职，这将影响业务，桑达尔可能会倾听。

就在这时，我想起了杰夫·迪恩曾发推文抱怨冰的糟糕，还转发了安妮·弗兰克的名言。也许我甚至不需要10名工程师，我只需要一个人。

杰夫·迪恩 @JeffDean

这绝对令人羞耻。联邦机构的特工无端升级行动，随后处决了一名无辜的公民，而该公民的“罪行”似乎只是使用手机摄像头。无论政治立场如何，每个人都应该谴责这种行为。

2026年1月24日 245 8.4k

杰夫·迪恩转发了

拉里·南斯 @Larrydn22

“外面正在发生可怕的事情。贫穷无助的人被拖出家门。家庭被撕裂。 男人、女人和孩子被分开。孩子们放学回家后发现父母消失了。”

安妮·弗兰克日记 1943年1月13日 25 548 34.8k

杰夫在谷歌被视为圣人。他是谷歌的第30位员工，开发了关键算法，以坚持原则著称。一个常见的玩笑是：杰夫·迪恩的简历列出他未取得的成就，比列出他取得的成就更容易。他是谷歌的首席科学家，也是谷歌Gemini项目的联合负责人。如果杰夫离职，对公司来说将是灾难。

但如果杰夫如此在意且拥有如此大的影响力，为什么谷歌最初会签订这些冰合同？当然，你不能一边是首席科学家，一边通过威胁辞职来不断获得自己想要的东西。但我不明白的是，为什么事情会发展到这一步？

与杰夫·迪恩对话

2026年2月9日

起初我思考着谁能帮我联系到他。但（这是一条很好的通用经验）如果你想和某人讨论某事，你总是可以直接问他们！

我告诉杰夫，我钦佩他公开表态，我希望谷歌从DHS供应链中撤资。我问他是否认同这些目标，如果认同，我该如何协助。

他建议我可以合理地给几位人士发邮件。他们的名字是：桑达尔·皮查伊（谷歌CEO）、德米斯·哈萨比斯（谷歌DeepMind CEO）和托马斯·库里安（谷歌云CEO）。我想：“当然，杰夫。没问题。我只需要告诉他们我的想法。”

我以gdm的一名担忧员工身份撰写这封邮件。我最近就我的担忧向Jeff Dean发送了信息。他建议直接向你们三人发送邮件是合理的下一步。我对Google与美国两党合法政府机构合作没有异议。我的担忧不是关于政治，而是Google在DHS供应链中的角色所导致的事件。我认为ICE已经远远超出了其法律授权范围，以有序方式驱逐非法移民。根据监督组织的报告，ICE的行动经常剥夺目标的正当程序。这些行动经常在缺乏（或几乎没有）法律监督的设施中拘留公民。仅在其中一个地点就有超过1000人失踪。在其他地点，ACLU报告称存在人权侵犯行为以及被拘留者的严重安全问题。这些并非标准的合法执法活动。从人权角度来看，这些行动令人担忧，也对任何参与的供应商构成声誉风险。2026年1月28日，DHS发布了其2025年人工智能使用案例清单，其中将Google列为多个GenAI提供商之一，这些提供商被描述为“提高DHS运营效率”。我敦促Google立即停止与ICE（以及更广泛的DHS）合作，包括通过支持促成这些特定行动的第三方集成商。无论通过直接（“主要”）合同还是通过中介（如ITC Federal），Cloud和Gemini都不得为这些行动提供支持。历史将根据科技行业在这类事件中的参与程度来评判它。我热爱在Google工作，并希望确保Google站在历史的正确一边。Alexander Matt Turner 研究科学家

他们从未回复。我回到Jeff，请求安排一次午餐，讨论在Google内部实现真正变革的建设性机会。我告诉他：“任何时间、任何地点。我愿意开车到Mountain View与你见面。”

此时，我认为“计划A”将在此失败。令我惊讶的是，他竟然接受了，安排了数周后的一次午餐。

这段时间内将发生很多事情。

五角大楼试图恐吓Anthropic

2026年2月25日

五角大楼要求前沿AI实验室Anthropic删除现有合同中的红线：禁止致命自主武器系统和AI间谍/画像的红线。最后通牒本质上是“给我们你的产品，否则我们将把你列为供应链风险”。政府希望获得AI用于“所有合法用途”。

这种交易存在两个主要问题。

• 独立法律专家指出五角大楼可能犯有战争罪（如对遇难者进行双重打击），尽管五角大楼坚持认为这些行为是合法的。在这样的“合法性”下，“所有合法用途”可能意味着“AI使能战争罪”和“用AI自动画像异见者”。

• 五角大楼威胁要对一家私营公司造成经济毁灭。通常政府会说“谢谢，我们不接受，我们会找到另一家愿意提供我们想要条款的供应商”。在此次事件中，政府威胁要错误地将一家美国公司指定为“供应链风险”，这将迫使所有军方承包商停止使用Anthropic。

我一直在关注Anthropic与五角大楼之间的对峙已有数周。那天早上，我读到了最后通牒的内容。当时我正在巴黎参加由国际安全与伦理人工智能协会（iaseai）举办的会议，该协会成立于2024年，旨在成为“安全与伦理AI的统一声音”，这是一家非营利组织。世界著名的AI科学家斯图尔特·罗素（Stuart Russell）担任其指导委员会主席。2026年的工作组包括“高级AI的红线”，专注于“自主武器和升级”议题。iaseai似乎就是为了应对这样的时刻而建立的。

iaseai的会场将聚集许多关心伦理问题的AI领域专业人士。我心想：我们可以作为领域内的集体，组织一场回应，支持两个核心诉求：1）Anthropic在不面临被摧毁威胁的情况下正常开展业务的权利；2）制定实际标准，明确是否以及如何将AI整合到致命自主武器系统和监控设备中。

Anthropic有两天时间必须满足政府的要求。或许在截止日期前，其他公司会同意这些“所有合法用途”的条款。但萦绕在我脑海中的主要问题是：我能否阻止谷歌屈服，接受“所有合法用途”的军事AI协议？如果Anthropic说“不”，而谷歌也说“不”，那我们才真正接近目标。这似乎很难实现。但无论如何，我都想促成这一结果。谷歌随时可能在周五截止日期前或之后屈服。

会场设在联合国教科文组织总部。

当我抵达iaseai会场时，本以为数百位AI专业人士中会有人在讨论刚刚爆出的紧急AI伦理新闻。但事实上，除了我之外，没有人提起这个话题。人们忙于讨论那些惯常的抽象概念：“公共选择理论如何指导协调问题？”

我想动员与会的AI领域权威人士

斯图尔特·罗素（Stuart Russell）

iaseai创始人。

与人合著了被全球超过1500所大学采用的标准AI教科书。

加州大学伯克利分校“人类兼容AI中心”创始人，我曾在该中心实习数个夏天并完成博士后研究。多年来，他是唯一一位认真对待AI存在性风险的知名学者。我早就深知这一点。

最重要的是，他是全球禁止致命自主武器运动的领军人物，其网站上列出了关于该议题的200多场权威演讲。他曾向联合国展示“屠杀机器人”视频。在地球这颗绿色星球上，若有人有理由谴责“所有合法用途”的军事AI协议，那一定是这位组织整个领域对抗屠杀机器人的专家。

约舒亚·本吉奥（Yoshua Bengio）

在世的引用次数最多的计算机科学家，图灵奖得主（相当于计算机领域的诺贝尔奖）。2023年，他向美国参议院作证，警告AI对民主和国家安全的威胁。

他刚刚完成了一项工作，将军事AI应用映射到AI安全关切上。

杰弗里·辛顿（Geoffrey Hinton）

2024年诺贝尔物理学奖得主，图灵奖得主。辛顿于2023年主动从谷歌辞职，就是为了能够不受谷歌利益考量地警告AI的危险。

2025年，他已批评谷歌“在军事AI应用问题上立场倒退”。

辛顿辞职谷歌，就是为了能够直面这些问题说出真相。

与本吉奥和斯图尔特的对话

我迅速收集信息。Hinton是远程参会，所以必须通过Bengio或Stuart间接联系他。我认识Stuart，而且有朋友能帮我牵线。Bengio是个变数，我看到他正离开会场，便跑过去拦住他。

“Yoshua，您愿意发表声明支持Anthropic的商业权利，并反对不受监管的致命机器人吗？”我解释称他的声音能影响众多尊重他的gdm专业人士，这些专业人士可能被动员起来反对向五角大楼让步。他让我发邮件联系他。

不久后，他的办公室告知我他们决定不发表声明，但未说明原因。由于我不熟悉Bengio，便决定将注意力转向Stuart Russell，让他来处理。

午餐时间，我看到Stuart正与某人单独交谈。在多位参会者的鼓励下，我克服了短暂的社会焦虑，礼貌地打断了他的谈话。

“Stuart，这是一个极其重要的情况，您的声音至关重要，”我告诉他说，“您能发表声明吗？能否让iaseai组织也发表声明？能否推动这些公司内部的人行动起来？”他思考后表示同意，承诺会尝试说服Bengio和Hinton加入，并立即组织iaseai投票，当天会议结束时公布结果。他没有回避表态的意愿。

“这才对嘛，”我心想，“这里是一位清楚自己权力的强者。”

Stuart推动iaseai行动

AI公司与国防部的交易具有重要意义。这标志着现代生成式AI首次与军事使用限制产生公开、高调的交集。无论这些公司做出何种妥协（或屈服），都将成为未来先例，产生深远影响。iaseai参会者有机会将他们的贡献从“可能为政策制定者提供参考的抽象研究”转变为“直接影响先例的行动”。Stuart现在将动员他们。

如承诺的那样，他在闭幕时谈及了这些问题。我在问答环节录下了他的发言，这些内容最初在iaseai会议日程中可查，但后来被迁移且未重新上传至iaseai官方YouTube频道。

我向Stuart提出的问题（

完整对话视频

）

国防部正威胁要接管Anthropic，以便在无限制使用致命自主武器或大规模监控的情况下使用Claude。您会如何向仍在谈判中的Google和OpenAI公司表态？

我本打算提及这一点，这也是我们很可能对所有

成员进行调查的主题，以了解他们是否希望

就这一问题表态。

[Stuart总结了情况。]

iaseai是否应发表声明，支持Anthropic拒绝将软件用于合同约定范围之外的用途的权利？

问题提到“那DeepMind和OpenAI呢？他们是否也会采取与Anthropic相同的立场？”这似乎取决于他们自己，但公司有权表示“我们不想将产品用于该目的”，并能在此声明下免受经济毁灭性威胁。我不是律师，但似乎这种权利应当受到保护。

我感到惊讶。Stuart说：“似乎采取相同立场是他们自己的选择。”他没有鼓励Google和OpenAI避免为致命自主武器提供动力吗？这难道不是他过去十年来始终坚持的立场吗？

一位与会者接着提问，询问iaseai是否会就当前议题发表立场。随着会议结束，iaseai临时执行董事Mark Nitzberg登台发言。

Mark要求举手投票。“我们将征求会员的意见……如果你还不是会员，请前往会员登记处。” 几乎全体与会者举手支持iaseai声明，支持Anthropic自由开展业务的权利。

Stuart Russell的闭幕发言（视频）

许多新闻媒体正在讨论国防部对Anthropic施加的勒索行为……我认为如果时间允许，我们会尝试发起一项在线投票。这样我们就能发布新闻稿称“iaseai百分之九十二（或其他实际比例）的会员支持‘Anthropic不应被迫做自己不愿意做的事’这一提案。”

Stuart将国防部的行为称为“勒索行为”。我欣赏他的坦率，但会场上的坦率与世人将看到的正式声明中的坦率并不相同。离开时，我注册成为iaseai会员以参与投票。我认为这项提案会通过，但想让自己的声音被听到。我支付了75美元的会员费。

闭幕仪式前，Mark发短信告诉我调查将在周四晚上截止。若获得三分之二支持，Stuart将代表iaseai签署声明；若未达到该比例，Stuart将亲自签署声明，并允许其他人联署。

我离开去卢浮宫度过夜晚。

国际人工智能伦理沉默协会

周四早上，我迎来了新的一天。我找不到投票的入口。奇怪。我给Mark发了短信。他说iaseai必须在Anthropic周五的最后期限后采取行动。

我告诉Mark情况紧急：Google和OpenAI随时可能采取行动。我敦促他与Stuart沟通，让他发表任何声明。我感激Mark帮助我理清了这个局面。当天晚些时候，Anthropic表示他们将坚持现有合同中对国防部设定的红线。

（原本周四应该是我在冰岛开始浪漫假期的日子。我其实并不想做这些事。）

周五早上，Stuart仍未发表任何公开声明。我问Mark：“还有什么比花几分钟给他的 favorite reporter 写封邮件更重要？”通过与Mark的对话，我了解到Stuart和iaseai都不会采取行动。

但问题是，Mark在闭幕时公开承诺iaseai将进行会员投票。他鼓励人们缴纳会费成为会员参与投票。然而，iaseai领导层却悄然取消了投票。6 从未有任何声明发布。

Mark给我列出了组织不发表声明的不断变化的理由：

• iaseai需要更多时间起草声明，因此将在周五的转折点之后行动。
• iaseai不清楚应援引哪项原则来发表声明。
• iaseai担心参与Anthropic-五角大楼的新闻循环“有利有弊”。
• Mark表示同情，但希望专注于完善iaseai处理此类情况的流程。
• 由于Anthropic已发表声明，iaseai不再需要发表声明。

我能够理解第一个原因：毕竟，Stuart多次表示“时间允许的话”会在截止日期前发表声明。但最后一个原因却让我困惑。Anthropic已经发表了声明表示不会让步，那iaseai就没有必要再发表支持Anthropic的声明吗？

iaseai未予回应

五角大楼为Anthropic设定了周五的截止日期，而不是针对iaseai。在那之前，Anthropic的自主武器问题已经持续数周登上新闻。Anthropic对五角大楼的诉讼也持续了数周。Google又花了两个月才签署协议。iaseai有充足的时间采取行动，也有多种方式可以行动，例如提交法庭之友简报、发表声明或联系Google的高层决策者。

OpenAI确实在周五宣布了协议。OpenAI声称其协议保护了与Anthropic坚持的相同红线，即反对杀人机器人和大规模监控。然而，一些分析师得出结论认为，OpenAI的合同条款存在广泛的漏洞。

在接下来的两个月里，我多次联系Mark Nitzberg。我向他解释，我正在试图说服Google内部的高层决策者；Stuart可以私下联系而无需承担公开反对特朗普的政治代价；即使只是介绍也有所帮助。

我在3月30日发送给Mark的信息，距离协议被报道签署尚有30天。虽然我希望iaseai的决定能有所不同，但我希望找到一种方式让我们共同实现目标。

Mark从未回复。

尝试阻止Google签署协议

让我们回到周三，我刚得知五角大楼的威胁时。我当时处于未知的时间压力下。我完全不知道Google是否即将通过签署协议来削弱Anthropic的立场。在外部游说Bengio和Stuart的同时，我也在内部采取了行动。

为Google内部制造成本

2026年2月26日

在Google DeepMind的当前事件讨论频道中，我呼吁Google（以及AI社区）“坚定支持Anthropic”，并指出所谓“合法”用途可能包括“在委内瑞拉海岸杀死超过150人（其中大多数人可能是无辜的渔民）”。该消息获得了超过125次“”反应。

[我的信息] Gemini 的“所有合法用途”政策与国防部对 Anthropic 的压力

我看到报道指出，Google 正在与国防部就允许 Gemini 用于机密用途的“所有合法用途”政策接近达成协议。据称，对于非机密工作，Google 已经“移除了部分模型级限制”，并同意将 Gemini 用于国防部的“所有合法用途”。虽然“所有合法用途”中的“合法”最初让我感到安心，但需要考虑这种语境下“合法”的含义。首先，国防部曾声称在委内瑞拉海岸处决超过 150 人（其中大多数人很可能是无辜的渔民）是合法的。8 “所有合法用途”也包括利用 AI 进行大规模监控与分析（这在法律上是允许的，因为监控法规并未考虑 AI 的影响），以及制造致命的自主武器系统。海格塞特（Hegseth）部长向 Anthropic 发出了周五下午 5 点的最后通牒。如果 Anthropic 拒绝，他威胁将采取以下措施：取消 Anthropic 的 2 亿美元合同、将其列为供应链风险（迫使所有其他军方承包商停止使用 Claude——“供应链风险”通常仅用于被渗透的外国公司！），并援引《国防生产法》强制 Anthropic 提供 Claude。我认为，将实验室国有化以迫使他们提供致命的自主武器和大规模 [AI 画像] 工具是不可接受的。作为行业的一员，我们应该坚定支持 Anthropic。我们辛勤的工作应是为了改善 Gemini 以服务客户，而不是增强致命自主武器系统的能力。我对这个话题的其他观点很感兴趣。我们如何有效倡导，以确保我们的 AI 原则在面对这种外部压力时，能够抵御军事进攻用途的诱惑，即使没有人类参与？

我开始在仅限 gdm 的讨论频道中发布这类信息。这些信息收到了异常强烈且支持性的回应。我有多个原因发布这些内容：

• 我想提高领导层沉默的成本。请记住，整个目的就是积累足够的成本，以超过 Sundar 认为签署协议所带来的好处（例如避免来自特朗普政府的政治报复）。

• 我经常有战略性的论点，想与高级联系人分享。作为一位研究科学家，我直接告诉他们“考虑 X”会显得自大。不过，我知道他们中的一些人会阅读这个频道，所以我只是在频道中发布了我的论点。

• 我想让 gdm 员工了解，他们并不是唯一对这些合同感到不安的人。

• 我指出 OpenAI 协议中“保护”条款的问题，以防止 gdm 员工被 Google 可能提出的虚假“保护”所误导。如果员工们不买账，Google 将付出更大的士气代价。

• 后来，一些信息为人们提供了一个渠道，可以暗示如果协议通过，他们将离开 Google，同时仍能保持软性否认。

“ ” 的回应也起到了微妙的组织作用。我的理解是，Google 不鼓励人们通过大型内部渠道直接组织。我注意到哪些人用“ ”回应了，然后私下联系他们，为即将谈到的请愿活动做准备。

Jeff Dean，你就是我们唯一的希望

我曾考虑给杰夫再发一条私信：“如果你能的话，请阻止谷歌签署这笔交易。”但这样做似乎……不太可能起到什么作用。“是什么促使杰夫这样的人采取行动？”我思考着。道德风险：已经存在。归属感：不存在。我无法拥有这个项目，因为我没有直接的权力。据我所知，杰夫确实是少数几个既有权力又有意愿反对这笔交易的人之一。我希望他能感到被赋予权力，并知道GDM员工支持他。

我给杰夫写了一份请愿书，并在几位朋友的帮助下，在一两天内获得了大约250名GDM/研究部门员工的签名。我不会全文复现这份请愿书，因为当时我声明它是“非公开的”，并指示人们不要对外分享。9 但是，《纽约时报》确实报道了这份请愿书，因此部分内容10 已经公开：

谷歌员工寻求对军事AI设定“红线”，呼应Anthropic的立场。员工写道：“请尽你所能阻止任何跨越这些基本红线的交易。我们热爱在谷歌工作，并希望为我们的工作感到自豪。”

杰夫签署了一份支持Anthropic的法庭之友简报

2026年3月9日

五角大楼不仅将Anthropic指定为供应链风险。美国国防部部长皮特·黑格塞特（Pete Hegseth）最初声称，军事承包商必须停止使用Claude，而不仅仅是合同中使用Claude。这影响了Anthropic的主要云服务和企业客户，因此这一指定看起来对他们的企业收入构成了致命威胁。这一要求似乎也非常违法，黑格塞特在这一点上后来退让了。（不过，我认为黑格塞特的推文已经造成了损害，使企业对使用Anthropic是否会受到惩罚感到不确定。）

无论如何，大约在周一，Anthropic在法庭上向五角大楼发起挑战，并要求颁布禁令以阻止该命令。一个名为Protect Democracy的非营利组织汇集了AI专业人士撰写了一份法庭之友简报。这份简报传达了这样的信息：“以我们专家的身份，我们同意Anthropic的技术和政策关切是合理的，尽管我们为竞争对手实验室工作。”我签署了这份文件，让一些同事11 也签署，并在一名组织者鼓励下联系了杰夫。他签署了。

我感到非常惊喜。这是一个重大举措。（此时，我的一些朋友开始用“based and Jeff-pilled”来形容他们支持的事情。）

当杰夫公开签署这份法庭之友简报时，他作为首席执行官，公开打破了谷歌的沉默立场。正如我所预料的那样，他的签名引起了关注。最终，谷歌与五角大楼的谈判陷入僵局，部分原因在于法庭之友简报提出了谷歌可能之后退出的可能性。12

Google 在 AI 竞争中占据优势，但 Pentagon 官员仍对其持保留态度（发布于 2026 年 3 月 18 日）据两名熟悉五角大楼与谷歌讨论的人士透露，部分 Pentagon 官员仍不愿完全依赖谷歌。这源于该公司在 2018 年因员工抗议而放弃了一项军事合同，员工们认为 AI 不应用于武器系统。此外，谷歌和 OpenAI 的多位顶尖 AI 研究人员近期共同签署了一份法律简报，支持 Anthropic 对五角大楼提起的两起诉讼。Anthropic 正在挑战五角大楼将其列为供应链风险的决定，这源于双方在 AI 战争应用方面的分歧。谷歌员工参与法律简报的行为，进一步加剧了部分官员对谷歌的担忧，使 Pentagon 及其他决策者回想起过去员工反对 AI 武器化的抗议活动，一名了解讨论的前官员表示。一些特朗普政府官员则担心，即使谷歌同意广泛使用其 AI 技术，公司也可能再次退出，该前官员补充道。

在此期间，我向谷歌法务部门发送了数封备忘录，建议谷歌提交一份法庭之友简报。我提醒他们，如果谷歌不支持 Anthropic 抵制该威胁，政府将在未来所有谈判中对谷歌形成要挟：要么屈服，要么被贴上供应链风险的标签。最终，谷歌并未提交法庭之友简报（但微软提交了）。

高层坚持不妥协

整个三月期间

随着我与高层管理团队的深入交流，他们反复强调类似的观点："别担心，领导层也关心这些问题，他们不会签署'所有合法用途'协议。"我曾认真考虑过这个说法，它可能是真的吗？"不，这不属实，"我最终得出结论：除非有人迫使领导层坚守立场，否则不会如此。我撰写了一份引用丰富的备忘录，解释为何谷歌很可能妥协。我指出谷歌在低风险情境下的服从历史（例如自愿向 ICE 提供学生抗议者信息）；指出谷歌在政府合同中的庞大份额；并指出谷歌 DeepMind 的 AI 原则已逐渐沦为含糊其辞的表述。我还回顾了谷歌面临的压力，包括谷歌在反垄断方面的复杂处境，以及当前司法部历史上糟糕的执法记录。

我多次分享了这份备忘录。据我所知，我未能说服这些高层员工。

为与 Jeff Dean 共进午餐做准备

2026 年 3 月 10 日

我始终专注于自己的目标。我需要说服 Sundar。我估计 Jeff 有能力说服 Sundar。Jeff 是否愿意说服 Sundar？他是否会离开一家将他奉为偶像、为其量身打造了显赫职位、并留下四分之一人生记忆的公司？另一方面，全球每家科技公司都渴望聘请 Jeff，他的遗产似乎已稳固，他早已拥有难以估量的财富，辞职将彰显其原则。

我不想操纵 Jeff。我希望以一个关心者对另一个关心者的真诚态度与他沟通。甚至为了避免潜意识中根据他的心理特点调整论点，我只阅读了关于他的单篇文章。

我看到的解决方式是：我不需要让杰夫就这件事同意辞职。从某种意义上说，他早已为此同意辞职了。他在2018年签署过一份承诺书：

5218人签署的《致命自主武器承诺》

任何剥夺人类生命的决定都不应交由机器做出。这一立场具有道德层面的考量，我们不应允许机器做出那些无法追究责任（无论是他人还是无人）的夺命决策。同时也有强有力的现实考量：致命自主武器在无人干预下选择并攻击目标，将对每个国家和个体造成危险的不稳定影响。……通过消除夺人性命的风险、可归责性和难度，致命自主武器可能成为暴力和压迫的有力工具，尤其是当它们与监控和数据系统结合时。……我们，签署人，呼吁各国政府和领导人创造一个未来，建立强有力的国际规范、法规和法律，禁止致命自主武器。鉴于目前这些规范尚不存在，我们选择对自己设定高标准：我们既不会参与也不会支持致命自主武器的研发、制造、交易或使用。

签署人包括：Google DeepMind（组织）、Demis Hassabis、Shane Legg（联合创始人，现任首席AGI科学家）、Raia Hadsell（研究副总裁）、Jay Yagnik（Google副总裁兼工程专家，负责Google AI多个核心部分）以及杰夫·迪恩：

同意。大规模监控违反了美国宪法第四修正案，并会对言论自由产生寒蝉效应。监控系统容易被滥用于政治或歧视性目的。

Boaz Barak @boazbaraktcs

作为美国公民，我最不希望看到的是政府使用AI对美国人进行大规模监控。

February 168 4.3k

Topher Spiro @TopherSpiro

你对自主武器持什么立场？

1 27

2018年我签署了这封信，我的立场至今未变。

信件内容： futureoflife.org / open-letter / le…

相关文章： weforum.org / stories / 2018/0…

7 392

杰夫·迪恩公开重申了他的承诺，并同意“使用AI对美国人进行大规模监控”是“他最不希望看到的事情”。

我的推理是：如果杰夫“既不会参与……也不会支持致命自主武器的研发……或使用”，那么从逻辑上讲，如果Google签署了“所有合法用途”协议，杰夫就必须辞职。我不知道杰夫是否真的准备好采取这样的行动。我想要为这种可能性做好准备。

我安排了社会支持

杰夫和我们所有人一样，都是普通人。人类在独自对抗强大实体时往往会感到担忧。尽管我设想杰夫的影响力本身足以推动Google做出改变，但我希望他能感受到支持。第一步是我在组织的联署，超过250名Google DeepMind员工签名，请求杰夫为他们发声。第二步则更为隐秘。

我获得了几位Google高级员工的背书。如果杰夫同意向桑达尔（Sundar）表明立场，他们也表示会同样行动。不过，原本计划的联盟规模是13人：只有杰夫一人。我预计杰夫的影响力本身已经足够，因为他的离职可能导致Gemini项目陷入混乱。也许Google会更在意其AI项目，而不是担心来自特朗普的报复。

我猜测 Sundar 擅长缓解员工压力。我希望这是一场他即使知情也无法阻止的博弈。

协议的艺术

2026年3月13日

Jeff 是一名摔跤手吗？我读到一段关于 Demis 尝试与 Sundar 谈判为 DeepMind 设立独立法律架构的记录。任何与 Sundar 的协议似乎都需要摔跤。持续的摔跤。此外，Sundar 可能会用模糊的承诺来缓解紧张局势，因此 Jeff 需要一个具体的方案。

想象一下 Jeff 和我一起共进午餐。想象他已加入。想象他去找 Sundar 说：“如果我们签署这份协议，我就无法继续留在 Google 了。帮我留下。”想象 Sundar 说：“你对我来说很重要，Jeff。需要什么条件？”Jeff 会说什么？“不要签署糟糕的协议”很可能会导致一份表面看起来不那么糟糕但实际上糟糕的合同。

协议的标准

我需要起草真正有效的合同条款。

良好的红线条款

排除有争议的使用场景（如无人工控制的自主瞄准、无目标的用户画像），同时允许可信的场景（如导弹防御）。避免在 Anthropic 红线条款的法律分析中指出的弱点。

稳健的红线条款

云部门会利用任何漏洞推动协议，Google 法律部门似乎不太可能收紧我的起草，五角大楼甚至不想看到任何条款。语言必须经得起压力，审计需尊重分类和操作安全。

最小信任假设

我将首席科学家设为唯一信任根源，其他所有内容都以此为基础（反正我本来就把一切押在 Jeff 身上）。首席科学家将组建一个审查委员会，为合同提供建议。

通过透明实现问责

审查委员会只会私下向 Jeff 和 Sundar 提供建议，但这些内容会在年度透明度报告中向所有 AI 员工公开。解散委员会需要提前通知并披露具体未合规发现。我努力确保委员会不会像 Google 2018 年原则那样被悄无声息地削弱。

对反对利益相关者的最小影响

我给予云部门 7 个席位中的 2 个，仅让员工回避自己的交易，将延迟限制在 10 天内，并在律师-客户特权下保护讨论内容。

我考虑过一轮谈判。对方会反对某些条款，我不希望这些条款成为关键支撑点。因此，我加入了“审查委员会可通过超级多数投票升级至 Alphabet 董事会”等次要条款，这些条款本就打算被协商掉。

我创建的框架

在个人时间（利用假期）里，我创建了可作为良好起点的条款。我撰写了 25 页的“良好起点”材料。我已在个人网站上以通用形式发布了该框架，适用于任何同时提供云服务和 AI 服务的供应商。

摘自《军事AI的红线与监督框架》

我有时会将这个框架简称为“框架”。该框架为公司向行使强制权力的政府实体提供的AI系统提出了两个具体标准：对目标选择和使用武力的人类控制。公司提供的AI不会用于在缺乏适当人类控制的系统中选择并攻击目标，每个使用场景都将单独评估。无论公司是直接提供目标系统，还是仅在目标处理流程中提供AI组件，该标准均适用。该框架包含法律透明权，即系统合法部署的法律依据需通过双方同意的中立审计机构进行合规性验证。该标准不适用于防御性反武器系统、受标准2约束的情报分析、后勤或研发。禁止无针对性的AI画像。公司不会将批量数据转化为对尚未被明确指定为调查对象的个人的个性化情报。无论国籍如何，所有个人的AI辅助分析必须与所服务的安全利益成比例，不得仅基于人口统计特征或政治表达启动分析，AI生成的输出也不能作为启动个性化审查的唯一依据。对美国境内所有人员（无论身份如何）提供更高保护标准。允许对已识别目标进行针对性分析、汇总研究以及改善平民保护的战区分析。通过年度内部报告实现透明度：由首席科学家任命并向其报告的七人高级管理层组成的防御AI审查委员会。未来法律可能取代本框架：若国会通过相关法律，首席科学家和审查委员会（经多数投票）可废除一个或两个标准。公司不会接受“所有合法用途”作为其标准。当对方要求使用“所有合法用途”表述时，公司将要求查看证明其用途合法性的法律备忘录。这种透明度使公司能够根据标准评估每个使用场景。部分场景将符合公司标准，部分不符合。对于不符合的场景，公司将予以拒绝。

在TomSmith的帮助下，我获得了军事与监控法专家的反馈。特别是，我得到了一位在人类/人工智能作战整合领域首屈一指的法律专家的建议。他们表示我的框架“实际上相当不错”，并提出了改进建议。

我与Jeff的午餐

2026年3月17日

一位朋友开车带我前往山景城与Jeff会面。我穿着整洁的衬衫和西裤，走进Gradient Canopy办公室。我将框架放在包里，心中带着一个问题：“Jeff想要做些什么？”，我即将见到的会是斗士、旁观者还是战略家？

一个月前，我请求这次午餐，以便讨论如何让谷歌的合同情况更加道德。“建设性选项”。他是否有自己的计划？当然，他可能有。他拥有更多可见度和经验。我准备放弃自己的框架，转而遵循基于更多信息制定的更好计划。我并不太在意。即使Sundar采纳了我的框架，我也知道自己不太可能获得署名。这让我有点难过，但我想完成这项工作。

我在加州阳光下与Jeff共进午餐。我提议让Jeff领导潜在的审查委员会，但他没有接受这个建议。除此之外，我不会讨论我们午餐的细节。我只能指出他的公开行为：他曾在推特上发帖并签署了一份支持Anthro pic的法庭之友简报。后来Google签署了这项协议。尽管他做出了承诺，Jeff仍然在Google工作。

寻找另一条产生影响的路径

我原本就预料到这一点——我只是认为成功的几率足够高，值得尝试。如果没有Jeff推动审查委员会的成立，成功的机会大幅下降。但我仍然认为巨大的潜在收益值得我继续努力。另一个显而易见的升级路径是Demis Hassabis。

2014年，Google在明确承诺下收购了DeepMind：其AI绝不会用于军事或武器目的。2018年，DeepMind的所有联合创始人（包括Demis）都签署了《致命自主武器系统》的承诺书，Google DeepMind作为组织也签署了该承诺书。

Demis已经与Sundar交涉，以确保未来的DeepMind AGI不会被绑定到Google的利润激励机制上（尽管最终他失败了）。我认为：“Demis不会因为这件事辞职。但如果他推动，他可能会获得一些透明度机制。”我寻找了一种不显得尴尬的方式来向Demis提出我的建议。Jeff本可以毫无问题地发送，但我不得不另寻他法。

我进行了搜索。我了解到有一位高级人士正在积极主动地努力阻止这项交易，我对此表示赞赏。但我知道的只有这一个人。

无论如何，在尝试通过管理层渠道升级一周后，我决定直接采取尴尬的方式。

没人回应，那为什么不直接给CEO发私信？

2026年4月1日

毕竟，最坏的结果可能只是他回复：“不合适，下次请通过你的经理发送。”不管怎样。

我给Demis的信息：我起草了一份关于Google军事AI监督的框架，以及两个候选标准（可以分别考虑）。一位在人类/人工智能作战整合领域的主要法律专家表示该框架“实际上相当不错”。监督是咨询性质的，为国防AI部署提供独立的技术和伦理评估。

Demis让我让两位在GDM政策领域工作的高级人士对这个框架进行评估。我将框架发送给他们，他们只是将消息标记为已读。

我的框架未被评估

也许他们只是太忙了。几天后，我再次联系他们。其中一人让我去和他们的下属沟通。大约一周后，我与这些下属进行了交谈。他们对框架表现出兴奋之情，但表示我可能需要等待数月才能得到回复，这与时间压力不符。

我回到高级政策人员那里讨论下一步行动。其中一人希望我在情况发展时向他们提供更新。几天后，我给出了温和的反对意见。我解释了我们面对的未知但可能很短的时间框架，指出五角大楼1月9日的备忘录要求所有AI承包商在7月8日（即180天期限）前接受“任何合法用途”合同。我基本上说：“如果你们认为Demis不应该再次查看框架，这也没关系，但请无论如何做出这个决定。”我甚至提出愿意从旧金山飞往伦敦，只为回答他们关于框架的任何问题。

他们将消息标记为已读。

我仍然不清楚到底发生了什么。毕竟，公司的CEO希望对此进行评估。我没想到他们会让我参与进来，但至少期望得到一句“谢谢，我会把我的评估告诉Demis”。可能有一些未知但合法的复杂情况。无论如何，我对这个过程并不满意。

Google低调签署协议

据2026年4月27日报道

在那之前的周末，我听到了一些传闻。与另外600多名员工一起，我签署了一封信，要求Sundar对机密AI合同说“不”。我问Jeff是否有任何非正式的方式可以协助他跨越汇报线和官僚主义障碍，完成他想做的事情。我可以在周末随时工作，无论他觉得什么方式合适。可惜的是，最终没有这样做。

Google与五角大楼签署机密AI协议。该协议允许五角大楼将Google的AI用于“任何合法的政府用途”。Google的协议要求其在政府要求时协助调整公司的AI安全设置和过滤器……合同中包含条款指出：“双方同意，该AI系统不应用于，且不应用于国内大规模监控或自主武器（包括目标选择），除非有适当的人类监督和控制。”然而，该协议还说明，它并未赋予Google控制或否决合法政府操作决策的权利。

我是在晚上11:45通过Signal群组得知此事的。Google从未在内部宣布这项协议。让我感到意外的不是Google签署了协议，而是这项协议对伦理问题仅做了最表面的回应：“不应”这一措辞并不具有约束力。

Alex Turner

@Turn_Trout

过去两个月我一直在努力阻止这件事的发生。如果OpenAI提供了一片遮羞布，Google则说“想象我们提供了一片遮羞布”。

Google确认其无法否决使用，承诺在政府要求时修改安全过滤器，并使用没有法律限制的抱负性语言。

可耻。

April

28

47

882

我联系了该领域顶级的安全与伦理组织（iaseai）。我向一些最杰出的AI科学家（Bengio和Stuart）寻求建议。我为Google最直言不讳的高管（Jeff）制定了联盟和计划。我甚至直接联系了我公司CEO（Demis），但其下属从未评估过这项提议。除了Jeff之外，其他人都没有采取任何可见的行动来阻止这项协议。而这项协议中没有任何具有约束力的条款，这正是我预期的结果，因为Jeff从未威胁要退出。

协议最终签署。

但同样，谷歌停止竞标无人机合同？在取得进展后，谷歌突然退出了价值1亿美元的五角大楼技术挑战赛。据知情人士透露，谷歌在成功提交方案后，突然宣布退出该项目。据另一名知情人士称，该公司于2月11日通知政府，不再参与该计划，该计划旨在开发控制无人机群所需的技术，这距离方案提交仅数周时间。据《彭博新闻社》查阅的记录显示，这一决定是在内部伦理审查之后做出的。据记录显示，谷歌官方将退出比赛归因于“资源配置不足”。显然，谷歌确实有一个具有约束力的伦理审查机制，至少在某些项目上如此。这是好事。然而，这并不能为谷歌签署该协议的决定开脱。让我们善意地假设谷歌有一个流程，总是会阻止那些明显用于武器的合同。正如我将很快提到的，谷歌的标准似乎是“利益明显超过危害”。如果谷歌无法知道Gemini将被用于哪些“合法用途”，又如何衡量这一点呢？在“所有合法用途”协议下，将不再有任何警告，这会让像Jeff或Demis这样的伦理意识员工感到不安。政府也不会打电话告诉谷歌“我们用Gemini在杀伤链中轰炸了一群人”。同样，Anthropic的首席执行官仍然不知道Claude在轰炸伊朗女子学校事件中扮演了什么角色，如果有的话。就连Anthropic自己也不知道，而Anthropic在合同透明度方面公开表现出比谷歌更强烈的意愿。

Demis坚持认为谷歌的AI原则“没有改变”

谷歌DeepMind首席执行官Demis Hassabis关于军事中的人工智能和AGI对人类意味着什么的采访 记者：2014年谷歌收购DeepMind时，你签署了一份合同，规定谷歌不会将你的技术用于军事目的。从那时起，你进行了重组。现在DeepMind的技术已经出售给包括美国和以色列在内的多国军队。你曾谈到开发AGI的巨大优势。你是否觉得为了有机会开发这项技术，你在这一方面做出了妥协？Demis：不，我不这么认为。我认为我们最近对一些内容进行了更新，部分原因是考虑到全球范围内更大的地缘政治不确定性。不幸的是，世界变得越来越危险。我认为我们不能再理所当然地认为民主价值观会取得胜利——这一点远不清楚。存在严重威胁。因此，我认为我们需要与政府合作。同时，与政府合作也使我们能够与银行、医疗保健等受监管的重要行业合作。我们的原则没有改变。我们原则的基本内容始终是：我们必须慎重权衡利益，且利益必须明显超过危害的风险。因此，对我们可能想做的任何事情来说，这都是一个很高的标准。当然，我们必须尊重国际法和人权——这些内容仍然保留。

我们原则的核心始终在于：我们必须慎重权衡利益，且这些利益必须显著超过潜在危害的风险。

这并不是原则。原则是事先承诺的事物，即使利益看似超过危害，你也无法事后说服自己违背它。你不能违反“我看到情况后再决定”这样的“原则”。

Google 原始的 2018 年 AI 原则承诺 Google 不会支持特定用例，这导致 Google 放弃了 2018 年价值 100 亿美元的合同竞标。这些原则包含一个标题为“我们不会追求的应用”的章节，其中指出 Google 不会设计或部署用于武器的 AI（其主要目的或实施方式是造成或直接促成对人员的伤害），也不会用于违反国际公认规范的监控。

2025 年 2 月 4 日，Demis 联合发布了一篇帖子，宣布对这些原则进行更新。更新后的原则删除了对武器和监控的禁令。

考虑以下陈述：“Demis 从 Google 的 AI 原则中删除了禁令”和“我们的原则没有发生任何变化”。这两者不可能同时成立。

Demis 希望 gdm 员工信任他，并信任 DeepMind 拥有足够强大的审查流程。但 Google 的 AI 原则列出了 Google 不会做的事情，随后他删除了这些禁令，最后却告诉我们“原则没有变化”。

在我最后一天工作时，我在讨论频道中指出了这一矛盾。许多 gdm 员工表达了失望。

我们可以与西方民主国家合作“击败中国”，而无需屈从于特朗普的每一项要求

当一位 AI 领导者表示需要“与西方民主国家合作”时，这暗示他们正在做某件坏事。

Demis 通过声称“Google 需要与政府合作”来证明自己违反了 gdm 的“不开发武器”承诺，以确保民主价值观占上风。我认为这建立了一个虚假的二分法。为了理解原因，假设整个世界观：如果美国不采用自主武器，我们将失去世界给专制主义——乌克兰沦陷，自由崩溃，红色浪潮席卷一切。即使接受这一强烈假设，“满足五角大楼的所有要求”也不一定是全球的最佳行动方案。你可以构建一个治理框架，限制 Google 愿意为其产品提供哪些用例。这将允许 Google 提供符合“击败中国”目标的伦理用途，而避免不道德的用途。

即使 Google 被迫签署协议，它仍可以利用其巨大的影响力游说国会制定法律保障措施。屈服是一个选择。

在个人信任基础上构建重塑世界的技术

我曾认为 Demis 是一个安静、深思熟虑的人，在苛刻的公司结构中尽其所能。再次回到 Demis 尝试（并失败）将 Google DeepMind 分离出去的故事：

无限机器：Demis Hassabis、DeepMind 与超级智能的追求

Hassabis 表示：“在与 Google 的谈判中，我们希望以一种无需信任的方式确保安全。但实际上这非常困难。”他继续说道：“安全并不关乎治理结构。即使你有一个治理委员会，当真正面临关键时刻时，它可能也无法做出正确的决定。” “同样地，安全宪章也是如此。你可以尝试协商一个，但提前几年制定明确的规则并不现实，因为你很可能会在错误的地方划下界限。” “于是我想，为什么不换一种方式？把原本用于无需信任谈判的精力，投入到建立真正的信任中——一种真正有用的信任。与其疏远 Google，不如积极融入其中。” “结果当然发生了两件事。首先，你现在坐在桌边，当安全问题出现时，你可以参与决策。其次，你逐渐了解 Google 的人，并与他们共同取得成功。你不能只谈论信任，你必须通过行动赢得它。” Hassabis 若有所思地说道：“对我而言，也许对 Mustafa 也是如此，这关乎我们的成长。我们经历了那些谈判，也变得更加成熟。事情并非非黑即白，尤其是当你面对一种后果未知的技术时。” “因此你必须具备适应能力。你必须从理想主义者转变为现实主义者，但希望仍然能坚守自己的价值观。”

Demis 对无需信任的结构持谨慎态度。我认为这方向是错误的：你应该努力降低系统对信任的需求。我提出的框架基于一个单一的信任假设：首席科学家足够理性，能够促成审查委员会的成立。该框架通过透明度和契约制造合理的信任，而非阻止不道德的交易，而是增加摩擦成本。Demis 的反对意见是，治理委员会“在关键时刻可能无法做出正确决定”。这确实如此，但桌边的个人同样面临同样的压力，只是缺乏透明度且激励机制更差：股权、与同事的社会纽带，以及与公司形象紧密相连的自我认同。

注意 Demis 是如何形成他的哲学观的。他试图通过将 DeepMind 从 Google 中剥离、置于半独立董事会下，建立一个对信任需求更低的结构。但 Sundar 拒绝了。只有在那时，Demis 才得出结论：答案是相互信任，以及坐在桌边。

与其疏远 Google，不如积极融入其中。结果当然发生了两件事。首先，你现在坐在桌边，当安全问题出现时，你可以参与决策。其次，你逐渐了解 Google 的人，并与他们共同取得成功。你不能只谈论信任，你必须通过行动赢得它。

那么，他的席位带来了什么？在本文中涉及的每一份合同中，Demis 都坐在桌边。那份机密协议对提出伦理担忧的员工没有做出任何具有约束力的让步。也许他的存在避免了更糟糕的结果，但 Google 的条款几乎接近我想象中可能的最低限度。伦理条款不具备约束力，因此比 OpenAI 的条款更弱。如果他的席位真的如他所说有价值，你应该能看到更多实际成果。16

反思

Google DeepMind 是一次治理实验。联合创始人曾以“永不参与武器开发”为条件将公司出售给谷歌，并争取建立半独立的治理结构。桑达尔拒绝了这一提议。谷歌 2018 年的 AI 原则虽因员工压力而出台，但后来又被高层悄悄削弱。

这次实验的最终结果是：失败了。

当利润与压力与谷歌 DeepMind 的道德承诺相遇时，压力胜出，承诺被抛弃。当利润与压力与 Anthropic 的道德承诺相遇时，道德准则获胜。因此教训不是“没人会坚持立场”，而是社会不能依赖道德驱动者坚守原则。

我知道其他选项看起来也不太好。国会仍像角落里的盆栽一样无能为力。但我们至少应该停止告诉自己“桌上的席位能起作用”。

承诺签署者如何留在 DeepMind？

杰夫·迪恩、德米斯·哈萨比斯、谢恩·莱格等高级员工承诺“不参与也不支持致命自主武器的研发、制造、贸易或使用”。谷歌签署了这份机密协议，但他们仍留在 DeepMind。

有人可能辩称：“这份协议并未禁止自主武器，这与主动支持自主武器不同。”谷歌的合同让关心承诺的签署者无法获得确定性，但蒙眼并不能免除责任。

你的公司正在向一个希望使用致命自主武器的军方提供最先进的人工智能，并放弃了限制使用场景的能力。你选择留下并继续构建这个 AI。

在我看来，这简直就像“支持致命自主武器的开发”。

承诺签署者该怎么办？我认为有三个诚实的选择：公开解释留在 DeepMind 如何与承诺一致，坦率说明你不再坚持承诺并说明原因，或者辞职。沉默地戴着承诺的面具不是选项之一。

保留桌上的席位

但 DeepMind 员工是否应该留下以继续向积极方向引导？对此我必须反对：“什么引导？”这份协议可能是谷歌 Gemini 项目将面临的最清晰的红线，但协议却未对关注伦理的员工做出任何让步。如果他们的“桌上的席位”在那种情况下无法产生哪怕一条具有约束力的条款，那么什么时候才能做到？

此外，承诺的价值只取决于其背后的可信度。当某人签署“我不会支持致命自主武器的开发”，却在公司向希望使用这类武器的军方出售无限制 AI 时选择留下，他们向所有交易对手传递了一个教训：这些安全人员即使在最明显的关键时刻也不会行动。他们下一次的承诺将变得毫无价值。

道德的重量

责任应归咎于谁？是威胁 AI 公司的 Pete Hegseth 和唐纳德·特朗普？是签署协议的桑达尔·皮柴？是杰夫·迪恩，他的影响力在协议中未留下任何痕迹？责任在他们之间分配不均，但我的关注点落在那些公开承诺过伦理原则的人身上。

至少你知道 Pete Hegseth 的真实面目。“说服 Pete 停止下令战争罪行”不是一个可行的策略。但我对这些谈论伦理的高级 AI 专业人士几乎一致的不作为感到特别失望。

为什么他们选择不作为？答案似乎并不清晰简单，但我认为其中一部分原因是对特朗普政府的恐惧。

2025年4月26日，对杰弗里·辛顿的长篇访谈 访问者：当谷歌违背了不使用军事AI的承诺时，你感到失望吗？ 辛顿：非常失望。特别是我知道谢尔盖·布林并不支持AI的军事用途。 访问者：你认为他们为什么这么做？ 辛顿：我没有内部信息……我只能推测，他们可能担心如果不为美国制造武器，就会被现任政府对待不公。

这些AI领域专家在做什么？

这些人显然不是普通的懦夫。多年来，斯图尔特一直坚持一个不受欢迎的观点，即应认真对待AI的生存风险。辛顿在1980年代因“不认同军事资助人工智能”而离开美国，然后于2023年离开谷歌，坦率谈论AI的风险。

2026年6月10日，杰弗里·辛顿 唯一能约束这些大型AI公司的方式就是公众压力。

那么压力在哪里？

有时人们会问：“如果iaseai只是在为一个更有影响力的时刻积累政治资本，那会怎样？”一个回答是，“积累资本”无法解释为什么iaseai忽视了低成本的机会（比如斯图尔特将我与谷歌关键决策者联系起来）。

考虑到斯图尔特的职业生涯，我本期望他会公开表态。斯图尔特曾发表数百次演讲（面向联合国、参议院和采访者），猛烈抨击“杀手机器人”。他在《IEEE光谱》的页面上大声反对“盲目乐观”。他在iaseai闭幕式上发表了强硬声明。但面对一个真正的机会，去公开反对一个具体的强大对手时，他却保持沉默。

为什么杰夫没有坚决反对？

杰夫是个棘手的案例。在谷歌所有高管中，他是唯一公开采取行动的人。他签署了支持信并离开了公司。这可能让C-套件内部感到尴尬。我尊重他的做法。

他本有更大的权力去做更多事。我真的希望他那样做。我认为他本可以阻止这笔交易，但他没有。他仍然留在那里，但我认为他不应该继续留下。

摆脱角色束缚

我曾是一名研究科学家，你知道的——在gdm数百名研究科学家之一。我脑海中有一个“负责任”的研究科学家形象。这个“负责任”的研究科学家发一条推文，然后向经理发送关于冰合同的担忧信息。这个“负责任”的研究科学家不会冷淡地向谷歌高管发送消息。

很少有人会突破自己的界限。他们走出恐惧的束缚。他们承认一个困难的真相。他们以一种前一天会让自己惊讶的方式行动。我不明白人们为什么会或不会突破自己的界限。

我知道在这个例子中是什么打破了我的界限。我手机上有一个定期提醒，显示着亚历克斯·普雷蒂的照片。在某个一月的时刻，我的愤怒如此炽热，唯一的出口就是找到一个真正可行的计划。一条推文什么都做不了，也毫无意义。只有好的计划才能满足。愤怒烧穿了我的界限并打破了它们。

当我感到害怕时——我确实感到害怕——我会想到明尼苏达州。我会想到冰在街上射杀人们，把人们从家中拖走。

当一位员工离开顶尖的AI实验室时，通常会加入另一个实验室。他们通常会因此获得巨额奖金。而我并非如此：我没有与竞争对手实验室勾勾搭搭，也拒绝了OpenAI安全团队的联系。目前我处于失业状态。

二月时，我意识到谷歌很可能签署那份协议，这让我开始思考离职的事。我意识到或许我应该离开，也许在别处能做更好的AI安全工作。但若他们没有签署协议，我想我还会再留几个月。当谷歌签署协议后，我再也无法继续工作了。我的大脑只说了一个字：“不。”

当我再次走进办公室时，大楼感觉像是一个遥远的记忆。就像回到你曾经就读的高中：它曾是梦想和希望的中心，但某天你突然意识到，自己已经不再属于那里。

我在gdm办公桌前的景色。2024年3月。

☙

❧

想了解我何时发布更多内容：邮件订阅 & RSS

有想法？请通过以下方式联系我：

alex@turntrout
.com

(pgp

相似文章

• 政府AI合同的红线与监督框架：为向政府出售AI制定原则性合同语言，确保在压力下仍能坚持原则的透明度。

• TurnTrout应该如何处理他的DeepMind股权情况？在目标是降低AI风险而非最大化利润的情况下，如何道德地管理AI股权。

附录：预期问题

如果被批评的人正在保存他们的政治资本？

确实，有时在刚产生想法时立即表达并不理性。然而，“保存政治资本”可以解释为何避免做出代价高昂的公开声明，但无法解释为何拒绝无成本的私下帮助。我曾向iaseai请求私下介绍，却一无所获。

也许他们觉得你不值得他们花时间；你没有资格获得他们的帮助？

当然。没有人应该仅仅因为没有遵循我的特定建议而受到指责。但我会期望看到任何形式的行动。

更广泛地说，富有同理心的故事会预示可见的影响，包括“在后果中可见的影响”。这就是为什么我有信心猜测Jeff并未坚决反对并威胁要离开。如果他真的采取了强硬立场，我认为世界在我眼中会有所不同：特别是，我会期望那份机密协议中至少包含一些具有约束力的条款。

每个人都不必就每个问题发声？

是的，但如果你承诺采取行动却未兑现，这就不同了。iaseai承诺会举行成员投票却从未落实。此外，如果你的身份很大程度上建立在反对某事的基础上，我认为在该问题尚未决断时，讨论保持沉默的决定是公平的。Stuart就是最明显的例子。他花了十年时间作为反对自主武器的最响亮声音，却在现代AI与军事用途首次真正碰撞时突然沉默。

即使谷歌采用了你的框架，五角大楼也会拒绝？

我同意。xAI仍会交出他们的AI。但如果谷歌更早表现出独立性，或许可以与OpenAI和Anthropic建立联盟。

同时也要考虑到，Anthropic采取立场只是一个科技公司的行为。如果像谷歌这样的公司也违抗了政府，我认为这将把科技行业从顺从转变为独立。但事实却是……

五角大楼表示将“永不”再依赖单一AI供应商，官员称国防研究与工程副部长埃米尔·迈克尔表示，与科技巨头的新协议是对当前Anthropic与五角大楼冲突的“反制声明”，因为该机构优先考虑灵活的合同。[…] 迈克尔补充称，与亚马逊网络服务、谷歌、微软、英伟达、OpenAI、Reflection、甲骨文和SpaceX的新协议是“全球参与AI领域最大科技公司的一份声明……并让他们表示：‘我们支持国防部，我们支持美国政府，我们支持……所有合法使用案例的武装部队。’”

尽管五角大楼有此政策，但杰夫的影响力仍然存在。五角大楼确实会拒绝，但谷歌可以退出。

这对AI的生存风险有何影响？

有。

在构建高级AI系统时，最佳实践是制定“安全案例”，解释系统为何会保持对齐且不会造成灾难性伤害。我认为任何可信的GDM安全案例都会大量依赖监控“思维链”，这是其前沿安全框架讨论的机制。20 对不熟悉的人来说，思维链是AI大致解释其正在做什么以及原因。它并不完全准确，但非常具有信息量。

一个想要伤害我们的AI不会直接向我们宣布，因为我们会将其关闭，然后它就无法实现其（错位的）目标。因此，AI很可能会表现出欺骗性。我们检测欺骗的最佳方式之一是查看思维链。要查看思维链，必须有受过训练的人类监督者能够访问并分析数据。但没有人能这样做：谷歌正在将其AI交给一个安全的军事数据中心运行，该数据中心默认情况下不会让受过训练的监督者进行此类分析，而且显然该数据中心不会将数据传回谷歌！21

我不是说谷歌工程师应该阅读军队正在做的事情。我的意思是，默认情况下，不会有适当受过训练的军事工程师执行这种监控。如果AI在其思维链中未被监控欺骗，它将更容易通过策划、欺骗和试图接管来对人类造成灾难性损害。这很糟糕。

不幸的是，这仅仅是问题的一半！没有思维链欺骗监控的军事部署环境将成为流氓AI的诱人目标，既提供对策划行为的弱监督，又提供接触强大决策者和基础设施的机会。22

希望军队（与美国CAISI合作）能够发展出监控和控制流氓AI系统的专业知识、谨慎和控制程序。

附录：“别担心，这只是API访问”

管理层常见的安抚说法：

一位谷歌发言人表示，我们相信，在谷歌基础设施上提供API访问，包括我们的商业模型，采用行业标准的做法和条款，是支持国家安全的负责任方式。

“API访问”具有误导性。当我们或你想到“API访问”时，我们会想到向AI提供商发送请求，然后AI提供商可以扫描这些请求并确保使用是可接受的。

想象一位指挥官在执行任务时与Gemini进行咨询。你认为他是否真的会将明文查询发送到Google，让Google（理论上）读取机密任务细节？当然不是。那样做简直疯狂。

我的猜测是，Google使用的是本地API访问。以下是我认为更合理的场景：政府拥有一个与Google服务器农场完全断开连接的专用安全云计算集群。Google将一台或多台服务器部署到该集群，这些服务器向军方集群暴露Gemini API端点。

“仅提供API访问”在技术上是正确的，但具有误导性（错误地暗示Google存在集中监督）且无关紧要。API访问能提供什么保护？问题在于使用Gemini协助实施潜在战争罪行和对异议人士进行大规模画像。但部分归功于Google，这些术语如今已成为“行业标准实践”（Anthropic除外）。

注释

• 从技术角度，我担心的是AI带来的大规模画像问题。监控涉及数据收集，而画像则是基于数据得出结论，例如“这个人是否讨厌政府？”。⤴

• Google回应称，移民局人员只是使用了商业云服务。但问题从来不是Google提供了特殊服务，而是Google向ICE提供了服务。⤴

• 在学生抗议事件中，服务条款的例外条款并不适用。⤴

• 林法官后来表示，五角大楼的供应链风险认定是“典型的非法第一修正案报复行为”。⤴

• 斯图尔特的“勒索集团”评论似乎仅在The Information的一篇新闻综述中被偶然提及。⤴

• 在同一天的同一建筑内，一场四小时的工作坊讨论了如何使AI红线“可验证且可执行”。参与者被问到：这些红线最大的障碍是什么？政治意愿。⤴

• 经请求，Mark退还了我的会员费用。⤴

• 在我最初的gdm讨论消息中，我估计“造成150多人死亡”。截至2026年6月28日，死亡人数已上升至215人。⤴

• 在我整个内部行动过程中，我确保没有与媒体接触（即使是非公开场合）。我希望从内部推动变革，并希望以正确的方式对待像Jeff这样的人。⤴

• 《纽约时报》也报道：AI信件附录中提到，许多签署人反对“对世界任何公民进行无证监控”。但他们决定将该内容从信件中删除“以提高实现请求的可能性”。我对这一决定感到遗憾。“仅限美国人”的保护措施与Anthropic的红线一致，但“仅限美国人”的要求过于狭隘。谈判前不要先放弃自己的诉求！我后来提出的合同语言要求为非美国人提供更多的保护。⤴

• 我负责了18个gdm签名中8个的amicus简报。签名人数较少是因为这是临时起意的。⤴

• 这就是为什么我认为我的行为导致五角大楼更加警惕。我向Jeff（以及近一半的Google签署人）介绍了amicus简报。他们签署了。五角大楼部分犹豫正是因为Google签署人参与了amicus简报。⤴

• 大型联盟在此处会遇到问题。假设我的计划依赖于几位高级gdm员工向Sundar表明，如果协议签署他们将辞职。Sundar无需逐一安抚他们；他只需破坏他们的行动意图即可。向部分高级员工提供1500万美元的留任奖金。如果少数人接受，联盟就会瓦解。其他人无法判断彼此是否真的支持，且他们认为单靠辞职无法改变现状，因此不会辞职。 ⤴

• 政府7月8日的最后期限是另一个让我认为“谷歌只会等待”这一说法不成立的原因。 ⤴

• 我不认为“禁止机密合同”是正确的立场，但相比完全不设界限，这至少是一个更好的选择。 ⤴

• 当前gdm研究员Andreas Kirsch在其文章《信任不等于治理》中独立得出了相同的结论。 ⤴

• 到2026年，五角大楼为自主武器申请的资金甚至超过了美国海军陆战队的预算！ ⤴

• 总而言之，我们和其他许多专家仍然认为，自主武器可能成为可扩展的毁灭性武器这一观点是合理的。Scharre声称禁令无效或适得其反，这与历史记录不符。最后，认为在自主武器领域无监管的军备竞赛能增强人类安全的想法，充其量只是不切实际的幻想。 ⤴

• 这些知名人士将自主武器作为其关注议题之一。2025年9月，联合国大会期间，“AI红线全球呼吁”获得了300多名签署者，其中包括15位诺贝尔奖和图灵奖得主。该倡议声明，应通过国际协议禁止某些AI用途，包括大规模监控和致命性自主武器。Stuart签署了该声明，Bengio、Hinton和Nitzberg也签署了。他们于2025年9月签署了这一抽象原则。当2026年2月具体测试到来时，他们的iaseai组织却完全未发表任何声明。 ⤴

• Frontier Safety Framework V3.1，第3.2.1节，Ctrl+F搜索“chain-of-thought”。 ⤴

• 机密部署需要在授权级别（如IL-6）运行，这些级别要求与商业云基础设施隔离。 ⤴

• 在递归自我改进场景中监控AI可能更为重要，但这并不削弱我的观点。一旦自我改进完成，AI就需要根据其目标采取行动。不谨慎的军事部署会降低与目标不一致的AI所需达到的最小能力优势，从而更容易被接管。 ⤴