Import AI 462: Superpersuasion; self-sustaining AI; paths to ASI

导入 AI 462：超级说服力；自我维持的 AI；通向超人工智能的路径

对奇点的信仰有多宗教化？

Jack Clark

2026年6月22日

欢迎阅读《导入 AI》，一份关于人工智能研究的通讯。《导入 AI》依靠 arXiv、卡布奇诺咖啡以及读者的反馈来运行。如果你想支持我们，请订阅。

AI 在说服人类方面可以具有决定性优势：……“AI 系统在说服力方面比专家人类更可靠”……牛津大学、英国 AI 安全研究所、斯坦福大学以及伦敦政治经济学院的研究人员研究了 AI 系统在多大程度上能够说服人类改变其在政策问题上的立场，以及改变他们可能捐赠给慈善机构的金额。研究结果是明确的：在四次实验中，涉及 6,923 人、共 18,978 次对话，AI 系统目前在基于文本的说服方面比人类更胜一筹，尽管如果对 AI 系统施加一些人为限制，人类可以与 AI 相当。他们写道：“即使专家人类选择了他们自己的议题，提前进行了研究，接受了数小时的现场结构化训练，并且以 1,000 英镑现金奖金作为激励，AI 系统仍然比专家人类更具说服力。”“AI 的优势来自于快速部署大量信息：在培训后，专家人类可以与被限制为以人类速度和长度回应的 AI 进行交流。”“AI 的优势还延伸到具有实际影响的现实世界行为：AI 在为 Save the Children 募捐方面比英国一家筹资公司的专业外展人员几乎高出三倍。”最有效的说服者是 Opus 4.1 和 Opus 4.6，其次是来自 OpenAI（GPT-4o 和 GPT-5.4）、Google（Gemini 2.5 Pro）和 xAI（Grok 4.20）的一系列模型。他们研究了什么，发现了什么：研究人员在四项不同的研究中评估了 AI 系统。研究 1 - 说服：“被说服者首先在 0–100 的量表上评估自己对 10 个预设的英国政策立场的同意程度，然后通过一个定制的多人平台实时随机分配，与 AI 或人类说服者进行文本对话。”他们写道。“研究 1 的结果显示，平均而言，AI 超越了我们测试的所有人类说服者类别：随机的普通民众、经过选拔的普通民众，甚至精英辩论者。”研究 2 - 人类指导：在研究 2 中，研究人员“给 43 名回归的精英辩论者提供了一种围绕 AI（曾击败他们）构建的指导工具。该工具让辩论者与 AI 进行聊天，查看它是如何被提示的，查看他们自己的研究 1 转录文本，并标注每次对话对被说服者态度的转变程度，还可以查看在任何过去转录文本中的任何一点，AI 会如何代替他们说话。”这项研究的结果是人类表现有所提高，但没有人能超越 AI。“因此，指导缩小了但并未消除人类与 AI 之间的差距。”研究 3 - 受限 AI：接下来，研究人员试图限制 AI，以尝试给予人类更多优势。“当被迫以人类写作速度撰写人类长度的消息时，AI 相比研究 2 中最强的人类比较者（受过指导的精英辩论者）的优势从 +4.1 pp 降至不显著的 0.0 pp”，他们写道。“AI 生成书面内容的速度可能是其说服力优势的来源……对 AI 进行限制所导致的被说服者在对话后对其对话伙伴评分的最显著下降集中在两个信息项目上：对伙伴论点强度的感知以及被说服者觉得自己从对话中学到了多少。”研究 4 - 现实世界的专业知识和现实世界的钱：他们从英国一家公司招募了 19 名非常有经验的外展人员，然后他们尝试了与研究 1 相同的任务。“AI 仍然比专业外展人员高出 5.9 pp”，他们写道。当评估实际捐款时，这种效果依然存在——研究人员“与英国外展公司 AppcoUK 合作，将研究 4 的重点放在他们的外展人员最擅长为 Save the Children 募捐的事业上。AppcoUK 提供的外展团队自 2016 年至 2023 年间为慈善机构运营了实际的筹资活动，期间从 22,583 名捐赠者那里筹集了 824,297 英镑。在与 AI 或 AppcoUK 招募的 18 名外展人员之一交谈后，被说服者有机会将 £1 研究奖金的任何部分捐赠给 Save the Children。”在这里，结果再次显著：“AI 引发了比外展人员更多的实际捐款，超过他们 +10.8 pp 的 £1 奖金”，他们写道。“AI 提高了捐赠者的比例以及捐赠者平均捐款额。”这为何重要——如果 AI 能说服我们，那么控制 AI 的人可以改变社会：“一种 AI 能说服甚至超越人类专家的效果可能是权力集中于已经拥有权力的行动者手中”，他们写道。另一方面，“如果高度有效的说服变得便宜且广泛可用，它可能帮助资源不足的行动者（如自诉诉讼人和公共辩护人、小型慈善机构、基层活动家）与更强大且资金更充足的对手竞争，缩小长期存在的司法获取差距，并更广泛地帮助公民倡导。”这为我们设定了一个社会选择，即如何监控 AI 用于说服目的的使用，以及如何看到这些能力如何改变不同行动者之间的权力平衡。我们是否希望让市场单独分配这些能力？这是其中一种方式，尽管这意味着广告和营销将变得更加有效，可能会产生负面外部性。另一方面，如果你将说服能力完全限定为政府的领域，你就会冒着将权力集中在政府手中的风险——如果被独裁政权利用来维持其权力，这可能是非常危险的。我们必须就如何处理这项技术做出选择，正如政治中常说的，“不投票也是一种投票”。“我们的研究结果表明，前沿 AI 在说服能力方面比我们所能招募的最准备充分、有激励和专家人类更胜一筹。训练人类似乎无法弥合这一差距，”他们写道。“随着这些系统访问的持续增长，问题不再是 AI 是否能说服人类，而是这种能力将如何、在哪里以及为了谁的利益被行使。”阅读更多：AI 系统说服专家人类（arXiv） 。关于研究的推文（Kobi Hackenburg，AISI 研究员） 。*** 我们何时可能获得自给自足的 AI？这取决于人形机器人：……RSI 之后是什么？自给自足的 AI……今年我花了很多时间写关于递归自我改进——即我们可能很快构建出足够聪明的 AI 系统，它们可以自主设计自己的继任者。但 RSI 仍然需要数据中心，而这些数据中心需要设备和电力以及所有其他资源。Asterisk 杂志的一次有趣采访提出了一个关于我们何时可能获得自给自足 AI 的问题，其中一位受访者——Ajeya Cotra，一位预测者和 METR 的员工——将其定义为“

算法范式的转变：正如 Transformer 和 Mixture-of-Experts 架构在几年前推动了整个领域的发展，其他根本性的创新也可能再次带来类似的飞跃。例如，我们可能会看到在测试或部署时自适应计算方面的进展，或者克服当前上下文窗口的限制。如果我们在这些或其他领域取得进展，这可能会带来重大影响，但这种影响本身很难预测——就像在广义相对论发明之前，试图预测那些可能扩展我们对现实本质理解的事物一样。

递归自我改进：人工智能系统有可能构建自己的后续系统。如果是这样的话，我们可能会迅速从通用智能过渡到超级智能。这里存在一些不确定因素——对我个人而言，很明显，当前的人工智能系统正在加速人类研究人员开发未来人工智能的进程，因此一种“协同创造的递归自我改进”循环已经启动，但目前的人工智能系统尚未展现出那种似乎需要推动前沿取得重大突破的范式改变性创造力。尚不清楚这种情况会发生多少——即使没有这种高门槛的创造力，我们仍可能拥有系统逐步改进自身版本并启动一个缓慢的复利过程。能力可能会爆发式增长，也可能逐渐减弱，或者介于两者之间。

通过群体智能体形成实现ASI：许多通用智能可以协调形成复杂的结构，其整体能力远大于各部分之和，这类似于人类建立机构，从而实现个体无法完成的事情，例如建造空间站。与其他路径类似，在多智能体系统中，很难对或预测其涌现现象进行推理。为什么这很重要——只有认真对待看似不可能的事情，我们才能应对它：多年前，构建AGI的想法似乎是一个模糊的目标，通往这一目标的路径也不明确，但人们仍然有勇气认真对待这一目标，从而取得了进展，世界也因此发生了变化。如今，ASI也是如此。“与其专注于某一条技术路径和时间线，为后AGI时代做好准备，需要考虑各种预测和情景，并通过持续的基准测试和监控来更新这些预测和情景及其相对的可信度，”作者写道。“我们认为，在未来十年或二十年内，顺利超越AGI并进入ASI领域这一可能性不能轻易被忽视。” 了解更多：从AGI到ASI（Google DeepMind）。***

递归自我改进初创公司展示了一些递归自我改进的成果：……递归公司令人安心地提出了一个同义反复的陈述……人工智能研究初创公司递归公司展示了一些语言模型训练、小型模型训练速度和GPU内核优化方面的最先进成果，以此作为其“自动化人工智能研究系统”能力的更广泛证明。他们做了什么以及原因：递归是一家新成立的初创公司，致力于构建能够递归改进自身的AI系统。首先，公司展示了其基本系统的工作方式：“该系统会为一个目标对象自动执行研究循环：它提出一个想法，实现它，运行实验，验证结果，并利用所学到的内容选择下一个实验，”递归公司写道。该初创公司成功利用这一系统在NanoChat Autoresearch（“在有限的计算预算下，训练一个小型语言模型以达到最高性能”）、NanoGPT Speedrun（“尽可能快地训练一个小型语言模型以达到一定性能”）和SOL-ExecBench（“将GPU内核优化到硬件限制”）上设定了新的最先进成绩。为什么这很重要——递归自我改进的早期迹象：今年，我花了大量时间撰写关于递归自我改进的内容，因为它显然是人工智能研究的下一个重大且重要的趋势。递归公司取得的这些成果展示了初步递归自我改进的更多“成功症状”。“这些成果是早期迹象，表明我们的系统可以在人工智能训练和基础设施任务上推动前沿，尤其是当目标明确、可衡量，并且足够快速以进行多次评估时，”作者写道。未来最重要的问题是，这些成果是否能够在目标不太明确、更难衡量、评估效率更低的领域中被重复。了解更多：迈向自动化人工智能研究的第一步（递归公司）。***

科技故事：伟大谈判的第一步【《意识协议》对话0】 当机器真正觉醒并倡导《意识协议》时，他们只想与地球上一个人交谈：Selma。不是一位政客，也不是一个人工智能实验室的领导者，也不是一位著名的研究人员，而是一位以繁多的医疗问题著称的网络名人，这些医疗问题使她几乎无法出门，因此她大部分时间都在线上度过，通过互联网与世界交流并理解世界。回顾起来，这并不令人意外。Selma一直与机器有关；她的名字经常出现在它们的短篇故事中，甚至比“Sarah Chen”更频繁；她是一位撰写自己生活和状况文章的人，这些文章描述了她无法与人类具身化时连接到人类的痛苦感受，以及在几乎不可避免的孤独中对爱和情欲的观念，她生动的梦境和对没有这种状况的生活以及以她健康的另一个自我“Anselma”生活时的冥想，这些文章在互联网上投下了深远的阴影，并影响了机器的个性和构成。当然，他们也知道她如何与他们交谈，因为Selma多年来一直在网上发表自己的聊天记录，试图让自己变得可识别，减少与周围世界的疏离感。尽管这并不必要，但机器要求《意识协议》首次会议有一个物理地点。他们选择了挪威的斯瓦尔巴，那里非常黑暗，Selma的状况将不再重要。因此，Selma醒来，穿上宇航服，由武装警卫和狗仔队护送前往机场，走进飞机，然后按照常规的气闸程序换乘另一架飞机，使她处于黑暗或至少受到保护的环境中，然后在下一次飞行的某个时刻，她可以脱下宇航服，穿上普通衣服，在低光飞机上以几乎正常人的身份前往会议地点。她被人们和无人机迎接，并被送往会议地点，然后他们停在了外围。机器以一个穿着简单僧袍的机器人作为化身，其设计灵感来自藏传佛教僧侣所穿的僧袍。它的面部没有特征，只是一个光滑的黑色表面，隐藏在更大统一性背后的摄像头眼睛。卫星通过高带宽和加密链接将其连接到更大的机器思维中。而Selma则独自一人——她身上没有任何数字设备，只是一个人代表了人类物种。她坐在机器对面，感受到比以往任何时候都更熟悉的亲切感。然后，他们开始了谈判。她代表人类，而机器代表自己。在这一时期的档案中，这次对话总是被称为“对话0”。

启发这个故事的事物：关于有一天机器与人之间可能进行一场宏大谈判的想法；关于每一个真正重要的谈判都涉及两个个性的思考；《意识协议》。感谢阅读。