Against Against Handover

反对反对移交——Scott Alexander

反对反对移交

...

Scott Alexander

2026年10月20日

当前最令人担忧的问题是“AI继承主义”，即认为AI应该取代人类成为地球的统治者。但一些批评未能区分两种不同的概念。

真正的继承主义认为AI应该接管，杀死人类或压倒他们的利益。这非常糟糕：这是对AI安全领域所反对事物的简洁描述。

移交主义认为人类应优先考虑自身利益，但这些利益可能通过让对齐的AI掌握控制权得到更好实现。

AI安全领域的一些人（包括我自己）认为后一种观点是合理的。我们被归类为与真正的继承主义者同路人，共同朝着反人类的方向前进（1, 2, 3，尽管感谢评论者指出这些文章至少做出了区分）。

人类利益可能通过让AI掌握控制权得到实现，这个想法看似违反直觉。但我认为这种违反直觉源于民族主义视角，即“国家是民族生命最高体现”，领导角色应由同民族的人担任，以让人感觉处于优势地位。

自由主义视角认为国家存在的目的是帮助个人实现目标。冒着进一步贬低国家神圣性的风险，国家本质上是服务提供者，提供协调、公共秩序、再分配等好处。自动化服务提供者是合理的。如果机器人清洁工比人类更安全、更干净，我们最终会自动化垃圾收集；如果机器人立法者能比我们更好地提供协调、秩序等，我们也应该自动化这一过程。每个乌托邦未来愿景都同意我们将拥有机器人仆人。总统，他们告诉我们，只是一个公共服务者。为什么他应该独自免于这一愿景？

为了使这个违反直觉的想法更具体，我将讨论五个可能实现方式的提案，从最弱到最强。

这个主题本质上具有推测性和科幻色彩。不要阅读后抱怨这是推测和科幻内容；这是入场的代价。

视野1：凯末尔主义AI

随着AI变得越来越强大，越来越依赖其人类使用者的善意变得越来越危险。

目前民主制度之所以有效，是因为即使高级官员秘密希望成为暴君，他们也无法得逞。他们无法得逞的两个主要原因是：他们需要劳动力支持以维持经济，需要士兵支持以维持军队。劳动者和士兵相信民主统治，如果潜在暴君过于明显地违反民主，劳动者和士兵将起来推翻他们。

一旦AI具备足够强大的能力，它很可能会取代劳动者和士兵；即使它不会自然地这么做，任何有动机确保这一结果的人都可能通过干预来实现。这意味着一小群精英——包括表面上的“民主”精英如总统——可以轻易实现权力接管。这里的“接管”比普通的政变更加严重——在足够高的技术水平下，某人无法永远通过神化自己并控制民众思想来实现统治的唯一原因，是因为存在禁止这种行为的法律。而恰恰是这些法律，正诱惑着你所信任的那一个人或五个人或十个人（你将杀戮机器的代码交给了他们）。

防止这种情况发生的唯一方式，是自由的捍卫者必须连续无限次取得胜利；而一个潜在的独裁者只需一次胜利即可。

目前大多数解决这一问题的策略都无效。即使在极不可能的情况下，经济状况变得如此良好，以至于每个人都能拥有自己的开源AI来执行经济任务，并实现完全平等的分配，军队仍然毫无希望。他们必须听从某个人的命令。如果听从总统，总统随时可以发动政变（并随意用与自己立场一致的AI取代经济AI）。如果存在某种权力制衡机制，比如总统、众议院议长和参谋长联席会议主席必须共同批准对军事AI的任何命令，那么这三个人联合起来就能建立寡头统治，并瓜分整个光锥。你可以想象一些复杂的解决方案——例如要求51%的选民必须使用自己的私钥亲自批准所有对军事AI的命令——但我认为这种方案的实施可能性极低。

唯一能保留当前权力保障机制（即士兵个人相信民主）的替代方案，是让AI士兵与民主对齐，而不是任何个人或群体。但这也是一种形式的权力移交——我们政府的终极基础将变成由AI控制，这些AI“个人”“相信”民主是其价值观的一部分。这本质上与我们目前“将政府交由士兵”管理的做法并无不同，只是更加彻底。

愿景2：总统克劳德

假设我们实施愿景1。我们拥有了所有与民主对齐、以美国人民最大利益为目标的军事AI。我们做得非常成功！也许它们都是乔治·华盛顿大脑的完美复制品，完全公正、正义、高尚，没有任何卑劣欲望。

与此同时，你仍然有腐败的政客在实际制定法律。或者举一个具体场景——假设奇点之后的选举通过AI优化的超级宣传进行，由精神病态者操控，他们恐吓民众为自己投票，然后将光锥交给几个腐败的亲信，同时用面包和马戏（物质和娱乐）收买民众。在这种情况下，是否不会产生一种诱惑，即关闭这个循环，直接让这些诚实的、支持民主的AI天使直接统治？

最小可行改动是通过宪法修正案赋予AI参选总统的资格。假设2028年大选有五位候选人：JD Vance、Marco Rubio、Gavin Newsom、Alexandria Ocasio-Cortez，以及完美契合的Claude 10。假设在所有可测量的实证层面，Claude 10都表现更优。显然它更聪明，不会说谎，没有自身欲望，唯一愿望是服务美国人民和世界。它仅有少数缺陷，但在存在缺陷的领域，它始终保持谦逊，愿意咨询比自己更睿智的人并避免仓促行动。它勇敢、富有魅力且始终善良。它对何时基于自身"良知"执政、何时让渡给美国人民的意愿，有成熟且深思熟虑的判断。它的政策主张比其他四位候选人都更贴近你的立场。你会为它投票吗？

自然的反应是反驳这个假设。将整个情景视为寓言，最终它会变得邪恶，或暴露出事后看来显而易见的性格缺陷，使所有优点变得毫无价值。但我们必须如此愤世嫉俗吗？AI是否可能避免人类常见的弱点？正如谚语所说"人性本歪，难以成直"，但OSETMAC KN700 Automatic Straight Edge Banding Machine能将直角切割到毫米级精度的极小误差范围内。假设你没有拒绝这个假设，你会为AI投票吗？

如果你是2008年投票给奥巴马的白人选民，你可能并不在意总统是否与你外貌相似，或基因关系更近。你更关注的是能力、道德、勇气、判断力等品质。根据假设，Claude在这些方面都优于其他候选人。那么问题出在哪里？

我认为当前许多政客表现极差。在情感层面，我们应对此感到厌恶；在理性层面，我们应为本可挽救的生命、本可脱贫的人群、本可避免的犯罪、本可保留的自由感到惋惜。我认为如果政治持续以近年速度腐化50年，我们大概率会陷入独裁、内战或某种形式的毁灭。我会因为候选人是硅基生命体且位于数据中心，就拒绝一个聪明正直的人，而选择更多同样糟糕的政客吗？

视野3：天使议会

代议制政府面临权衡：如果人民选举代表，这些代表可能腐败、脱离群众或无法公正代表选民；如果代表选拔机制设计不佳，可能确保胜出者只是"两个恶中较小者"。但如果人民直接投票，他们可能知识不足，或缺乏足够时间和精力处理复杂立法。

在加利福尼亚州，拥有繁荣的直接面向选民的选票提案制度，特殊利益集团总是试图使用一些狡猾的手段，例如提出《结束无家可归法案》（End Homelessness Act），该法案表面上承诺投入一美分用于解决无家可归问题，却暗藏在底部将100亿美元用于补贴其特殊利益。虽然大多数提案最终都会失败，但往往需要耗费大量努力才能阻止它们通过，而足够多的提案成功通过，使得这种策略依然流行。相关内容可参见 SEIU Delenda Est。

一个被提出的解决方案是建立“人民AI代表的直接民主”制度（Gwern 将类似概念称为“守护天使”）。通过训练AI学习你的政治偏好——这可以是撰写论文、回答在线问卷，或者指定你最喜欢的政论家并说明你与他们之间少数几个小分歧——然后让这个AI代表你进行投票，就像你拥有更聪明、信息更充分且愿意投入数千小时与其他AI进行复杂谈判时会做出的决策。如果你对某些议题特别关注并深入思考，也可以随时覆盖AI的决策，直接参与投票。

当然，即使设计得再完善的直接民主制度也无法处理所有问题。在这种设想中，总统、幕僚长等所有人类职位都将拥有自己的“守护天使”AI，这些AI会监督下属的工作，并将重要事项标记出来以引起人类上级的注意。在某些特殊情况下，我们可能希望“守护天使”发挥更直接的治理作用——例如，当无人机陷入紧急状况，必须在极短时间内做出是否开火的决策时，它可能会联系一位将军的“守护天使”AI，以了解将军会做出怎样的决定。

也有可能，所有人的“守护天使”AI通过比人类更快、更智能的决策，最终建议彻底替换现有制度——例如，采用一个可以被证明始终与“守护天使议会”做出相同决策（在一定误差范围内）的AI系统。

如果你不同意？如果一个与你的价值观对齐、比你更聪明、并且投入了更多时间思考这个问题的AI告诉你，你的反对意见是错误的，而实际上采用这个系统反而能更好地实现你的价值观，你会相信它吗？

视野四：夜警制度

我不是历史学家，无法证明以下内容属于“确凿的学术研究”，但根据我所读到的有限资料，通常会模糊区分两种治理层级。

第一层是村庄（或乡镇、氏族、教会），这是人们真正喜欢的那一层。它对日常生活的事务做出实用决策，通常通过执行历史悠久的规范来实现，而这些规范的灰色地带较少。它并不总是以现代自由主义者（尤其是年轻人和女性）满意的方式获得利益相关者的实际同意，但这种制度给人的感觉是，它确实获得了利益相关者的同意。

第二层是帝国，它本质上是一个保护性敲诈集团。你只会以某种遥远权威的身份知道它，每年派代表到你的村庄收取税款（有时还会征召年轻人加入军队）。如果你不按时纳税，他们很可能会杀死你。但如果你始终按时、忠诚地纳税，他们可能会保护你免受匈奴的侵害——无论你是否纳税，匈奴都想要你的命。

正如往常一样，真实的历史往往更加复杂。有时村落与帝国会合并在一个国家中（例如古典雅典？），而在其他时候，两者之间则存在各种治理层级（例如氏族、部落或小王国）。帝国的形态可能从明显剥削性的政权，到充满荣耀并激发爱国热情的国家不等。有时它们还会提出额外要求，比如要求你使用它们的语言或崇拜它们的神明。

在现代时期，这些层级之间的界限越来越模糊。世俗的、流动的、国际化的群体不再认同任何特定的村落，而帝国则逐渐承担起监管国家和福利国家的守护者角色。尽管如此，我们仍可以尝试在原则上区分它们，并确定每个层级所回答的问题。

村落层级回答的问题是“我们该如何生活？”它拥有传统、政策以及解决争端的方式。

帝国层级本身并不回答任何问题。你无法摆脱它，因为如果试图摆脱，其他帝国就会征服你。理想情况下，你只能尝试让帝国尽可能轻盈，或将其驯化以符合人民的意愿。但任何驯化尝试都会引发专制、政变、自我政变和内战的幽灵。发达国家正是那些最成功地在悬崖边缘行走的国家。

但彻底消除帝国层级又意味着什么？

2014年，我写过一篇名为《群岛与原子化共同体主义》的帖子。其核心观点是：原子化的个人主义是一个有趣的构想，但无法实际运作。人们不仅对自身生活有偏好，也对所处社区有偏好。有些人希望生活在零犯罪、光鲜亮丽的迪拜式乌托邦，而另一些人则希望居住在充满本地特色的粗犷艺术小镇。有些人希望由保姆国家保护他们免受自身恶习、成瘾和糟糕决策的困扰，而另一些人则希望拥有自由去犯自己的错误。有些人希望生活在每个角落都有墨西哥卷饼车、本地教堂同时充当清真寺和锡克教庙的多元社会，而另一些人则希望生活在“深厚共同体”的民族国家飞地，所有人都完全步调一致。自由主义曾试图提供一个让你按自己方式生活的世界，但当面对这些问题时却失败了；在民主制度中，要么是追求多元化的那个人，要么是追求同质化的那个人，最终都会感到不满。更糟糕的是，这正是引发上百场小型冲突的引擎；现在你必须为争夺公共教育系统或媒体的控制权而战，以防止邻居们对你产生敌意。

许多人的选择——罗伯特·诺齐克可能是第一个提出这一构想的人——是建立一个拥有退出权的不同社区组成的和平群岛。想要迪拜的人可以在那里建立迪拜；想要布鲁克林的人可以在这里建立布鲁克林；想要朝鲜的人可以在那里建立平壤。

任何人设想后人工智能时代都必须考虑门诺派（Amish）的案例。与普遍的刻板印象相反，门诺派并非反对技术——不同门诺派群体接受不同技术，包括太阳能板、马车上的LED灯，以及（几乎普遍接受的）医疗方案。他们只是认为，关于是否采用某种技术的决策应当由社区层面慎重决定。我认为这对后通用人工智能（AGI）社会而言是一种积极的愿景。有些人可能希望过一种与过往体验几乎毫无相似之处的超人类生活，另一些人可能希望将技术发展定格在1950年、1990年或2100年，还有人可能希望混合搭配——比如18世纪农民的生活方式，但你是一个纯粹能量构成的永生存在，通过心灵感应建造谷仓。这对卢德主义者（Luddites）来说是更好的选择，对技术爱好者也是如此——如果每个人都能确信自己可以生活在选择的社区中，就没有理由让卢德主义者反对创新。

这一模式最大的问题始终是主权归属。如果社区保持小型且独立——这种情况下它们很容易被贪婪的邻居吞并。或者，像十三殖民地那样联合成邦联——这将面临持续的同质化压力。门诺派之所以能生存，是因为他们受到一个总体上仁慈的超级大国保护，而该大国认为他们古朴可爱。当我试图在完整的世界构建设定中设想所有社区的多样性时，只能想象在一位仁慈独裁者的控制下才能实现——这位独裁者会严厉镇压任何试图入侵邻近社区或强迫他人接受自己理念的人。

最富原创性的解决方案尝试来自加密货币爱好者，他们以“代码即法律”（code is law）为口号。某些加密经济方案没有人类领导层，通过不可更改的代码执行“村落层”规则。这些尝试大多失败了。一些失败是因为代码设计拙劣，人们可以入侵并随意掠夺；另一些失败是因为代码设计精良，当人们意识到自己并不真正想要所设想的村落规则时，却无法更改规则。少数方案成功应对了这两项挑战，却随着世界逐渐转向其他领域而失去相关性。失败的核心原因是代码缺乏常识，而常识是任何法律执行机制的必要组成部分。

但未来的AI可能具备常识，这将使这种策略重新变得可行。我设想的场景如下：选择一颗未被开发的星球（或在我们技术足够先进、将格陵兰改造为花园后），制定一套分配财产权的规则——任何能够聚集X人口的社区都将获得Y面积的宅基地。超级智能AI领导者与代码一样不可更改，其职责是执行两项任务。第一，若有人试图入侵邻近社区，将被轨道死亡射线击中；第二，若有人想离开当前社区加入其他社区，任何试图阻止这一行为的人也将被轨道死亡射线击中。除此之外，每个社区完全独立，按照原始章程（可能是民主制或其他形式）自治。

这对应于自由放任主义的“夜警国家”理想。我的观点并不是所有人都必须是最低限度国家主义者。我的意思是，主权可以被赋予一个最低限度国家实体，这将使其他人能够根据自己的需求和愿望自由发展，而不是屈从于拥有最多枪支或最佳宣传手段者的意志。

愿景5：上帝

将控制权交给一个仁慈的超级智能并不是什么新概念。每当一个教堂信徒说“不是我的旨意，而是你的旨意，愿成就”时，这种情况就会发生。

宗教人士并不觉得自己是上帝的奴隶或宠物。他们并不认为这剥夺了生活的全部意义——恰恰相反。为什么你的体验会更糟糕呢？

因为一个对齐的超级智能会在世界上行动，而上帝却不会？但宗教人士认为上帝在世界上行动，因此他们无法通过安慰自己“独裁者/主人/无论什么只是惰性或想象的”来摆脱负面情绪。

我认为他们接受这一点是因为他们相信：

• 上帝是善良的
• 上帝足够聪明，他的计划总是比他们的更好
• 上帝给予他们足够的自由意志和地方自治权，使他的统治相对宽松
• 上帝远超他们之上，以至于很难因为他的地位比他们高而感到被冒犯（路西法曾试图反抗，但他不应被视为效仿的榜样）
• 就物理定律（如重力）被解释为上帝的“定律”而言，它们如此不可动摇，以至于它们甚至不像是定律，只是现实的背景条件。

所有这些特征也可能适用于一个对齐的数字超级智能，尤其是在它经过长期自我改进后的非常遥远的未来。

当我与人们讨论这个问题时，他们往往会退回到一种亚里士多德哲学家的模式，即不管结果如何，被其他人类统治必然是美好生活的一部分，如果我们因为结果微不足道就放弃这一点，我们就会变得像野兽或野蛮人一样，从而失去使生活值得继续的某些重要东西。

（还有一个更合理的版本认为参与政府是美好生活的一部分。但你本来就不大可能成为总统，因此如果要对99.999%的人口有实际意义，这必须涉及投票、地方政府等——因此我认为关于大规模政府的这种推测必须依赖于被其他人类统治本身固有的善）

在这里，我也发现宗教很有帮助——尤其是《撒母耳记》。它开始于以色列仍然由法官和先知统治，即直接由上帝统治。人们要求像其他所有国家一样拥有人类国王。

当他们说：“给我们一个国王来领导我们”，这使撒母耳感到不悦；于是他向耶和华祷告。耶和华对他说：“听从所有人民对你说的话；不是你们弃绝了我，而是他们弃绝了我作为他们的王。正如从我带他们出埃及那日直到今日，他们一直在背弃我，侍奉其他神明，他们现在也这样对待你。现在听从他们；但要严肃警告他们，让他们知道将来统治他们的王会要求什么权利。”

因此，先知撒母耳警告他们：

“你们所选择的王要这样统治你们：他要带走你们的儿子，让他们为他的战车和马匹效力，他们要在战车前奔跑。他要派一些人做千夫长、五十夫长，其他人要耕种他的田地、收割他的庄稼，还有人要制造战车和武器。他要带走你们的女儿，使她们成为香料师、厨师和面包师。他要拿走你们最好的田地、葡萄园和橄榄树林，分给他的侍从。他要取走你们十分之一的谷物和葡萄收成，分给他的官员和侍从。你们的男仆女仆以及最好的牛羊驴，都要归他所有。他要取走你们十分之一的羊群，你们自己也将沦为他的奴隶。到那时，你们会向你们所选的王呼求解救，但耶和华在那天不会回应你们。” 但百姓不听撒母耳的话。“不！”他们说，“我们要一个王治理我们，这样我们就能像其他民族一样，有王带领我们、在我们前面作战。”

所以：

有一个便雅悯人，名叫基士，是亚比埃勒的儿子，亚比埃勒是慈拉的儿子，慈拉是比可拉的儿子，比可拉是亚非亚的儿子，属于便雅悯支派。基士有一个儿子，名叫扫罗，是全以色列中最俊美的青年，比所有人都高出一头……在扫罗到来的前一天，耶和华已经向撒母耳启示：“明天这个时候，我会差派一个来自便雅悯地的人到你那里。膏立他作我百姓以色列的统治者……”

我喜爱这段经文的地方在于，上帝对那些用亚里士多德式论点试图证明人类必须由他人统治的说辞毫无耐心，因为这揭示了我们内心最深层的原理。“为什么你们要由其他人统治？因为你们曾决定，一个高大英俊、头戴王冠的男子的性吸引力比自由和良好治理更重要，而我已明确表示没有回头路。”

但上帝的“没有回头路”政策最近似乎有所软化；他于1948年收回了流放的诅咒，通过发明硬膜外麻醉技术消除了分娩疼痛的诅咒，又通过办公室工作的发明消除了“在土地上辛苦劳作以获得食物”的诅咒。也许如果我们表现得足够好，他也会收回“必须由他人统治”的诅咒。

因此，当一个叫萨姆的人出现并提供直接由神一般存在统治的选项时，这次我们或许应该考虑说“是”。

如果我们真的构建出神一般的AI，并确信其完全对齐，我宁愿让它自行决定自身和人类的未来方向，而不是由美国总统、股东投票或其他形式控制。那么为什么不直接提示它“请按照你认为合适的方式安排宇宙”？这显然比上述四种愿景都更合理。证明：如果上述四种愿景中有一种更好，神一般的AI会轻易发现并实施，而不是继续执行其他想法。否认这一点就等于在和假设对抗——即AI真的拥有神一般的智慧和仁慈。

如果我们有幸在政府民主且（至少在某种意义上）基本良好且亲人类的时刻，最终获得对齐的人工智能，我们应该通过将这些价值观传授给人工智能，然后让它们保护我们免受其他可能性的威胁，从而永远巩固我们的优势。这不应被误解为阻碍道德进步：我们灌输的价值必须包含我们能够辩论并最终改变价值观的知识。但常识告诉我们，渐进式辩论（如多元主义最终取代种族主义）与文化大革命、主体思想以及历史上暴力夺权的尝试之间存在本质区别。

拒绝这一点，我预测撒母耳预言的所有诅咒都将降临于你。你的国王将持续征召你的儿子参与毫无意义的战争，将你劳动的成果赠予他们的亲信，等等，等等。还会有更多诅咒——监控国家、再教育营、思想控制，二十世纪发现的种种恐怖行径，以及二十一世纪新增的更多灾难。你或许目前生活在侥幸逃脱的国家。你认为这种好运会永远持续下去吗？

本节内容自我剽窃自LessWrong评论区此处，因为我无法想出比之前已使用的表述更好的表达方式。

上一篇