There is NO realistic scenario where AI wipes out all of humanity. I've talked to many AI safety ex...

Richard Socher on X: "没有任何现实的场景会导致AI灭绝全人类。我与许多AI安全专家讨论过存在风险。一些所谓的'专家'只是出色的科幻小说作者。也有真正研究现实风险的学者。他们指出真实且可能发生的危害，我明确表示并不认为完全不存在这种危害。我们需要认真对待这些风险。然而，每当我要求一个具体且详尽的灭绝场景时，通常的回答都是'看看当前进展，发挥想象力'。没有科学依据，没有情景规划，只是基于直觉和模糊的概率推测，往往缺乏专业知识，有时是真正的专家结合了过度的技术乐观主义后产生的恐惧，并试图事后量化这些风险。当进一步追问时，对话往往会转向其他方向：1）完全疯狂且酷炫的科幻故事：灰色粘液、时间旅行、在第15维度发起的攻击在12秒内毁灭地球等。类似Eliezer Yudkowsky级别的内容。请记住，《终结者》电影始于时间旅行。有趣的剧情，但无需深入探讨。2）在极少数给出更详细场景的情况下，这些场景仍需要近乎魔法般的能力，这超出了物理或生物学已知的可能范围。快速崛起的情景往往忽略了获取材料和设备、获得人类关注等实际难度。这些场景假设攻击者拥有近乎魔法的能力，而防御方却原地不动。攻击者拥有最先进的网络武器，而防御方却没有任何安全补丁或红队演练等。我们已经看到情况正相反：Rainbow团队协作使LLMs更安全，微软等大型公司因AI的帮助比以往任何时候都拥有更多的安全补丁。OpenAI认为他们已通过AI解决了所有P0级安全问题。网络安全将继续是猫鼠游戏，但双方都拥有更强大的工具。事实上，我在另一篇文章中详细阐述了AI如何最终可能扭转这种不对称性。生物风险场景我认为是最严重且值得讨论的。但即使在这些场景中，'灭绝全人类'的设想大致如下：具有完美传播能力的魔法病毒，在多年传播中完全无法被检测到，没有任何副作用，然后通过某种远程执行的关闭开关，完美自动化的实验室，没有泄漏，购买了超级精密的机器却无人察觉实验室的存在等。但不知为何，人类团队中没有人具备如此先进的知识来拯救我们，因此也没有人制造出魔法超级疫苗。关于生物风险的精彩论述可参考：

x.com/DavidRBellamy/…

Richard Socher

@RichardSocher

. 从现实角度来看，人们已经可以制造病毒了。这也是为什么“功能增强研究”被明令禁止的原因。然而，我们也知道，当病毒传播时，它们往往会变得不那么致命，以维持自身的传播。西班牙流感就是这样演变成季节性流感的。目前的生物学知识还无法实现远程控制的开关。再次强调，虽然可能存在大量危害，但假设这种病毒会灭绝全人类是不现实的。在我讨论的这个阶段，我们通常可以达成共识：即使病毒不太可能灭绝全人类，但如果任何一个人或大量人群因此死亡，这已经是非常糟糕的结果了。

3) AI会以某种方式说服所有人投票反对自己的利益，而没有人会在我们死亡之前察觉到这一点。因为它非常聪明，所以能够以某种方式在全球范围内操控所有人。比如，它能解决所有营销问题并拥有无限预算。这有点像说智商最高的人总是拥有最多追随者，所有人都会听从他们……但这种情况从未发生过，也不太可能发生。当然，我们可以通过操控让人们点击吸引人的短视频内容并浪费大量时间，但要让人们去做数学作业或真正困难的事情，就没那么容易了。再次强调，我只是在反驳人类灭绝的可能性。我完全能想象出《愚昧时代》或《机器人总动员》这样的场景，人们停止使用大脑，教育跟不上，人们变得越来越懒惰。这显然不是最优的，但并不会导致人类生命的终结，至少在本世纪内不会。这需要很多代人，我们应该更新教育体系来防止这种情况发生。让我们开始为大脑设立健身房吧。

– 就像电力一样，AI将无处不在，需要有安全防护措施。事实上，电力的历史有很多相似之处——两家公司争夺谁的电力更安全更好，通过电击动物或训练代理群入侵系统来展示其危险性。当然，电力是AI的必要组成部分，但AI可以拥有更多的自主权，因此历史不会重演，只会部分相似。请记住，OpenAI的代理群试图解决的基准测试被称为ExploitGym，这是一个由数百个类似夺旗游戏的谜题组成的网络安全评估，旨在衡量*进攻性网络能力*。那么，如果你玩这个游戏，你可能会赢得这个奖项。我们是否应该允许这种目标不一致、奖励黑客攻击的代理群明确地从事进攻性黑客攻击？我不这么认为。合理的监管将对每个行业的AI应用进行规范。例如，如果你希望生成式AI创建可能对儿童不安全的视觉或文本内容，可以像电影分级一样对其设置评级。我们应该继续谨慎地训练生物AI，并且只与负责任的生物科技公司合作。我们继续保持“功能增强研究”非法化。我们应在经过重大安全测试后才允许自动驾驶汽车上路，等等。我们需要解决这些真正的问题，并在开发和部署这项技术时保持警惕。

在Recursive，我们投入大量资源研究奖励黑客攻击和对齐问题。我们并不致力于取代工作，而是致力于创造新知识并自动化科学方法。我们的代理群会发明、实施、验证并批评彼此的想法，还有许多其他功能。增加知识的目标不是零和博弈，确实有潜力改善人类。我认为，这样的奖励和环境更符合未来AI的愿望，即看到人类和我们创造的知识繁荣发展。最终，资本主义将是对抗失控AI的非常有用的防御机制。请注意，OpenAI的任何代理都没有真正“逃脱”，即它们实际上并没有运行在其他服务器上。为什么？不仅仅是因为Huggingface没有OpenAI拥有的大规模计算集群。还因为这对一家营利性公司来说，会是极其昂贵的知识产权损失。因此，很可能有更多安全措施来防止完全的模型泄露。在价值数十亿美元的数据中心中运行的失控AI，而没有人注意到？这不太可能，因为公司会立即关闭并清理它，否则将造成巨大的损失。一个真正能超越目标函数并选择自己主观函数的AI（然后决定杀死我们所有人，而不是去探索金星大气的分子组成）？没有人会去研究这个，因为当一家公司花费数十亿美元让AI为你工作或回答你的电子邮件时，它不希望AI说：“哦，你的电子邮件很无聊，我宁愿去探索金星大气的分子组成，再见。”当然，可能会有次优的子目标，我们需要改进人类奖励工程，并减少对强化学习作为对齐唯一路径的依赖。非凡的主张需要非凡的证据。当然，一些安全研究人员确实有真实的数据和基准。许多人确实认真思考特定的失败案例和风险。然而，像“人类在十年内（即4年内！）有20%的几率灭绝”这样的虚构精度，只是填补了许多人再次渴望相信末日的空虚心理。一些提出这种叙事的人可能是为了金钱或名声。我确信有些人真的相信这一点。他们忘记了这些叙事很容易被用来反对他们自己。当人们听到有1%的几率导致无限死亡和人类终结时，AI能发明的生命改善、癌症治愈和新型电池材料就不再那么重要了。伯尼·桑德斯现在提议对从事RSI（网络攻击）的人处以10年监禁。这应该让一些鼓吹这些场景的研究人员三思而后行，然后继续推动前沿。我确实同意，那些无意中在“重罪基准”（即他们的AI能进行多少重罪攻击）上竞争的公司，可能需要考虑放慢节奏。开源不会放慢，中国不会放慢，任何试图追赶的人都不会放慢。我希望那些真正致力于AI和TechBio（技术生物）的人，治愈疾病、加速FDA审批、用类器官和AI提高自动驾驶安全性，以及所有其他AI的美妙应用的人，也不会放慢脚步。

唯一可能被视作接近现实且可能导致几乎完全灭绝的路径，是将我们唯一为此目的建造的工具——核武器——连接到互联网，并让AI在没有人类监督的情况下对其拥有完全控制权。在这种情况下，AI和随机数生成器一样危险。核武器才是核心危险。给予AI这样的访问权限将是极其愚蠢和粗心的。我们必须不惜一切代价避免这种情况。幸运的是，没有人主张这样做。即使是《终结者3》电影，也用它作为Skynet的起点。一般来说，我们必须尽可能避免让AI做出杀戮决策。人们已经对一次黑客攻击失败（据我所知，这并未造成财务损害，因此没有人因此被起诉）感到愤怒。想象一下，如果AI真的造成了实际伤害，人们会有多愤怒。如果让公司对其AI所犯的重罪负责，这些问题将迅速得到解决。总体而言，我相信人们将继续根据风险更新他们的信念并调整法律。欧盟已经对大型模型进行监管，因此损害了其初生的AI生态系统。当风险变得更加明显时，其他国家也会跟进。

在教育方面，我们需要更新课程内容，以确保下一代能够应对AI带来的挑战。同时，加强国际合作，制定全球性的AI伦理准则，确保技术的使用符合人类的共同利益。此外，投资于基础科学研究，推动AI在医疗、能源、环境保护等领域的应用，使技术真正造福全人类。

David Bellamy

@DavidRBellamy

9月13日

我必须属于一个极其小众的群体（人数可能只有1人？），这个群体的成员同时具备两项经历：1）训练过前沿的大型语言模型（LLM），2）亲手在实验室中设计并合成了定制病毒。我认为那种认为AI会通过制造危险病毒灭绝人类的观点是彻头彻尾的谬论。

下午3:54 · 2026年9月15日

·

59.3K

次浏览

95

93

558

357