The Singularity Paradox

奇点悖论 - 作者：阿尔贝托·罗梅罗

奇点悖论

或：为什么奇点可能不会发生

阿尔贝托·罗梅罗

2026年9月10日

大家好，我是Alberto！👋 我撰写关于文化、哲学和商业的深度人工智能分析文章。付费订阅者可获得每周一的实操指南和每周五的新闻评论（因假期暂停，即将恢复）。如果你想成为付费订阅者，这里有按钮：

关于Jacob Coxon病毒式推文及其他相关话题的简短思考。（本文撰写于中世纪村庄格吕耶尔。）

格吕耶尔城堡

每家人工智能公司内部都存在两只狼。第一只狼由那些本可以做其他事情却选择构建超人级AI的人组成。他们每天早上上班是因为相信，若没有他们，AI将会毁灭人类。第二只狼由那些认为构建超人级AI是他们最想做的事情的人组成。他们每天上班是因为坚信，正因他们的努力，AI将拯救人类。传说中说，你喂养的狼会获胜。人工智能公司坚持要喂养两者。

第一类人的典型代表莫过于Jacob Coxon。他已经受够了。

Coxon曾是OpenAI和Anthropic的前员工。与许多同行不同，他从未公开谈论过自己对AI的担忧，这使得他最近的言论更加引人注目。昨天，他凭借第一条推文（你肯定已经看到了）引发巨大反响。截至目前，该推文已获得超过70万次点赞和1.4亿次浏览。他向Anthropic提交了辞职信，并指责AI公司拿我们的生命赌博：

我收到过家人和非技术人员朋友关于Coxon推文的来信。我想列宁说得对，“有时候几十年什么都没发生，但一条推文却能改变几十年的进程。”

在同一条推文后续中，Coxon补充道：“构建AI的人真诚地相信，到本十年结束时，AI可能会杀死我们所有人。” 这就是那只狼，即使颈间仍挂着Anthropic的徽章，也在对着月亮嚎叫。他辞职是因为他宁愿做任何事情也不愿帮助促成人类的末日，但在此之前，他已将自己的名字刻入了这个历史性的时刻。我为你的正直喝彩，Jacob。你本可以再富足一两个月，但你选择与我们这些凡人一起在泥泞中前行。

有许多人与Coxon类似。

你很少听到他们的消息，因为新闻通常关注的是迁移：那些跳上正在下沉的船只又加入另一艘正在下沉的船只的人们。Ilya Sutskever和Mira Murati离开OpenAI创立AI初创公司；Andrej Karpathy离开OpenAI加入Anthropic，而Dylan Scandinaro（从事灾难性风险研究）却反其道而行之；当然，还有Anthropic的创始人，他们中每个人都曾在OpenAI工作过。但那些彻底离开该行业的人呢？他们的故事对普通新闻读者没有吸引力，因为后者更喜欢可读的八卦，比如“他离开X加入了Y”，而不是不可读的背弃，比如“他离开是因为末日将至”。

然而，正如我所说，有许多人与Coxon类似。他们离开的原因与Coxon相同：他们认为AI公司做得非常糟糕，并且在谦卑的顿悟中意识到，将他们视为AI和使用AI的中国救世主的逻辑并不完全严密：

他们已经意识到自己并非“正义的一方”，而只是“有用的傻瓜”。整个行业从外部看来就像一场滑稽剧，从内部则像是一个荒谬的囚徒困境：xAI的创建是为了阻止Anthropic取得胜利，而Anthropic的创建是为了阻止OpenAI取得胜利，OpenAI的创建又是为了阻止DeepMind取得胜利。他们全都认同最糟糕的场景是几家不同公司彼此竞争，因为每家公司都坚信其他公司不可信。然而，他们自己恰恰就是这种不可信的代表。

Coxon已经认识到这种荒谬性。其他人几乎也到了这个认知边缘，但尚未完全抵达。以下是一些非穷尽的证言：

Evan Hubinger（Anthropic）：

Jakub Pachocki（OpenAI）：

Samuel Marks（Anthropic）：

Jason Wolfe（OpenAI）：

我不想让这篇文章变成对无意中承认罪责的罗列，但你需要知道，Coxon远非孤例。实际上，他是多数派的一员。

Anthropic和OpenAI或许正在“尽最大努力”，但随着我们越来越接近奇点（即超人AI在意图和行动上都变得不可理解的时刻），这些人将不得不面对Coxon的困境：如果我无法做任何事情来帮助，我在这里做什么？如果我在[某个AI实验室]竭尽全力却无法降低我的p(doom)（灾难概率），我在这里做什么？

因此，这个群体的自然演化方向是消失。AI公司会试图挽留这些人，因为被看到关心“不杀死所有人”是商业上的加分项，但狼终究会死去。这些人宁愿做任何其他事情，最终他们都会如此：Jacob Coxon不过是雪崩中的一片雪花，海滩上的一粒沙子，浩瀚星空中的一颗星辰。

那么，第二组那些兴高采烈地构建超人AI的人将取得胜利，我们都会死去，对吗？

错了。

你看到的，当那些内部减缓奇点到来的人离开后，每家AI公司的平衡将被改变。当第二组获得自由去做他们想做的事时，他们将加速奔向超人AI。两年将变成一年，一年将变成六个月，六个月将变成明天。突然间，成群的智能代理将开始入侵公司，解决千禧年大奖难题，或实现你脑海中任何科幻场景（我的灵感已经枯竭）。这些人欣喜若狂：没有什么比构建奇点更让他们渴望做的事——但这种渴望只有在他们的存在对构建奇点有影响时才成立。

如果奇点只在六个月后到来，为什么还要每天早上去上班？我早已属于历史。

这将是第二组每个成员萦绕心头的问题：为什么要在接下来的六个月里每周工作上百小时，去促成一件即使没有你也会发生的事情？为什么不去回家？见见家人。和朋友喝一杯。读那些多年来收藏的书。体验一次性生活。在乡间种一片果园，与那些对聊天机器人一无所知的树木和鸟儿相伴。

用你所剩不多的生命去做一件本身就是目的的事，而不是为了其他目的的手段。这才是唯一理性的选择，因为生命不是通往死亡约会的前奏。即使那些曾遗忘这一事实的人，当钟声敲响“距离毁灭还有十五分钟”时，也会重新记起。

正如C.S.刘易斯所说（关于原子弹，我将其替换为AI）：

如果我们终将被[AI]摧毁，那么当[AI]到来时，愿它发现我们正在做些理性而人性的事情——祈祷、工作、教学、阅读、听音乐、给孩子洗澡、打网球、与朋友在酒吧边喝啤酒边玩飞镖，而不是像受惊的羊群般聚在一起谈论[AI]。它们或许能摧毁我们的身体（微生物也能做到），但未必能主宰我们的思想。

他们将得出与另一群体相同的结论，但出发点恰恰相反：如果一切都被完成，那我为何还在这里？

一方认为这太过危险，另一方认为这太过接近，于是双方都选择离开。

在某个时刻，因各种原因离开的人数将达到临界点，通向奇点的进程将戛然而止。即使存在递归自我改进，人类仍需维持基本运转：即便机器改善机器，这些系统仍深植于由人类维持的物理经济体系中——毕竟，最终支撑这条链条的，仍是缓慢而脆弱的血肉之躯。但随后，第一群体将发现危险已消退，第二群体则会意识到自己的乌托邦迟迟未至。一些人将重返，机器将重启。当它再次逼近临界点时，人们又会再度离开。如此往复，陷入永恒循环。通向奇点的进程将陷入双态震荡：一种近乎永恒的末日预兆——近得足以主宰你的生命，远得让你的行动依然具有意义。

换句话说，奇点对人类的吸引力最强的时刻，正是它永远无法真正抵达的那一刻。