Import AI 473: The US's superintelligence strategy; human brain in a mouse skull; and machine hermeneutics
TL;DR · AI 摘要
美国应采取'自由行动'策略应对超级智能时代的不确定性,通过构建人机生态、安全架构等四要素确保地缘政治优势。
核心要点
- RAND建议美国投入资金保持AI发展选项开放以应对超级智能时代
- 自由行动策略包含构建人机生态、安全架构等四个核心要素
- 七种典型策略分为共存、否认、社会延续三大类
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 美国超级智能战略
- 自由行动策略
- 四要素架构
- 七种策略分类
- 核心挑战
- AI发展不确定性
- 地缘政治竞争
金句 / Highlights
值得收藏与分享的关键句。
自由行动策略的目的是确保美国的地缘政治优势和人类生存
共存策略包含主导、共开发、准备三种子类型
否认策略包括全球暂停、威慑、社会连续性三种形式
Import AI 473:美国的超级智能战略;将人脑植入鼠颅;以及机器诠释学
AI目前正面临怎样的壁垒?
Jack Clark
2026年9月21日
欢迎阅读Import AI,一份关于人工智能研究的电子通讯。Import AI依托arXiv、卡布奇诺咖啡和读者反馈运行。如果您希望支持本刊,请订阅。
RAND认为,美国最佳的AI战略是保持所有选项开放:……目前尚不清楚何种策略最优,因此美国应现在投入资金以保留选项……RAND发表了一篇长篇论文,阐述美国应如何通过"在通往超级智能的不确定路径上确保地缘政治优势"来采取行动。主要结论是,由于下一阶段AI突破的许多方面尚属未知,最好的策略是让美国维持"行动自由"战略。该战略的目标是"构建并保留确保美国地缘政治优势的能力,通过向超级智能过渡时确保人类以自主权生存"。"行动自由"战略的四个关键要素:
- 构建人机生态系统:投资AI安全;开发保护人类自主权的工具;投资技术利益共享;为AI驱动的变革做好社会准备;塑造AI生态系统的激励机制。
- 构建AI安全架构:开发工具以了解国内外AI系统前沿,包括对底层计算能力的可见性;构建验证潜在协议的技术;培养治理该技术的监管专业知识。
- 为AI时代改造传统国家安全机构:全面改革国家所有安全机构,使其准备好应对AI带来的变化,并能够利用AI能力。
- 投资公民、企业和政府应对能力:为决策者提供信息以帮助其思考AI;开发并推广AI的积极应用以应对变化;制定应对危机的"破窗计划";提高AI素养。
三大类别的七种典型战略:
- 共存:主导;美国引领AI发展并压制其他国家。共同开发;美国牵头组建联盟(包括中国)共同开发安全超级智能,实现共享治理、共享计算资源和验证监控。准备就绪;美国通过非正式协调启动共存努力,"包括自愿承诺、分阶段部署、独立评估、事件报告以及国内吸收和应对AI事件的能力"。
- 拒绝:暂停;美国推行"可验证的全球AI发展暂停"。威慑;美国"在定义的阈值之上暂停自身前沿发展,并动用国家全部力量工具阻止甚至必要时摧毁外国项目"。社会延续;"当所有预防策略都失败或被判定不可行,且共存被认为不可能时,剩余目标是在某些人类群体保留自主权的情况下实现生存:美国创建地理分布、生物自给的定居点,以抵御AI威胁"。
- 加速:该策略隐含地认为,限制人工智能的发展比人工智能本身的发展更具危险性,因此美国“依靠市场、竞争和快速迭代,将安全性作为有用人工智能的副产品”。
五个主要的不确定性:
- 危险临近性:人工智能在何种程度上变得如此危险,以至于风险不再值得?“如果危险临近,应优先采用争取时间、构建防御和投资韧性的策略。如果危险尚未临近,或在没有先进人工智能进展的情况下人类面临更大危险,则加速开发的合理性将增强。”
- 共存可行性:人类与人工智能系统能否找到稳定的平衡点?“如果共存可行,构建和部署先进人工智能的策略将更具吸引力。如果共存不可行,则策略将转向限制或压制发展,或其他保护人类文明的手段。”
- 限制可行性:人类能否合作限制人工智能的发展?“如果限制可行,合作策略将成为可能。如果不可行,基于限制的策略只能通过更具强制性的执行手段实现。”
- 决定性战略优势:单一行动者能否在竞争者中建立决定性的战略优势?“如果决定性优势可实现且美国评估自身能够维持主导地位,单边策略可能是合理的。如果决定性优势因扩散或其他原因无法实现,则没有任何单一行动者能通过人工智能主导全球规则。”
- 抑制可行性:国内或竞争对手的人工智能项目能否通过技术管控被压制?“如果抑制可行,威慑将成为可能。如果不可行,行动者即使在他人限制的情况下仍可推进危险开发,而无需担心自身被限制。”
为什么这很重要——认真对待AI需要投入资金:RAND的这篇文章的主要结论是,如果美国想要抢占先机以利用人工智能的持续进步,就必须投入大量资金——即使主要的抢占策略是保留选择权。目前,美国的策略似乎主要可以描述为RAND在此处提到的“加速”策略,这类似于我坐在一辆车里,把所有资源都用于让车跑得更快和升级引擎,而对安全措施如安全带、车灯或刹车等毫无作为。了解更多:《美国战略:在通往超级智能的不确定道路上确保地缘政治优势》(RAND)。
*** 人类研究人员培育出部分人脑组织的小鼠:……当小鼠不是小鼠时?当它的大脑部分是人脑组织时……一组研究人员已经掌握了如何在故意减少小鼠大脑的幼年小鼠体内培育出类似人脑的组织块,并利用这些动物作为研究人类大脑问题的潜在实验平台。“我们通过遗传策略建立了一种移植平台,有效耗尽小鼠大脑皮层和海马体(apallial)的谷氨酸能神经元,并用人类干细胞衍生的皮层类器官(hCO)移植到新生小鼠的皮层腔中,从而生成异种皮层小鼠,”作者写道。“人类皮层神经元与小鼠神经系统整合,体内皮层移植的广泛钙成像和电生理分析揭示了类似发育回路的有组织活动模式。” 人脑小鼠表现尚可:在研究中,人类将对照小鼠(正常大脑的小鼠)、故意减少大脑的小鼠(apallial小鼠)以及移植了人脑组织的小鼠(异种皮层小鼠,或XCX)进行了比较。“通过运动序列(MoSeq)对自发小鼠行为进行无监督机器学习,发现对照组和apallial小鼠有明显的行为特征,而XCX组则介于两者之间,但又有明显区别,”他们写道。“数据表明,人类神经移植发展成了一个电活动且功能整合的网络……对XCX L5-ET神经元的基因集富集分析显示,这些神经元富集了在初级运动皮层中鉴定出的人类特异性L5-ET基因,以及人类前岛叶皮层中L5-ET神经元的特征基因,该区域包含VENs——一种与社会认知和神经精神疾病相关的特殊群体。” 迷宫测试:研究人员在设计成“小鼠必须维持对先前探索环境的记忆痕迹”的迷宫环境中测试了这些小鼠,当他们将小鼠放入其中时观察到“对照组和XCX小鼠,但不是apallial小鼠,表现优于随机水平”。这表明人脑组织能够执行某些记忆功能。
为什么这很重要——医学与超级智能:这里的首要用途是能够在小鼠上更好地测试针对人类大脑的医学疗法,这在开发新药时是一个重要的工具包。但我认为这也展示了未来人类和AI科学家可能构建的智能范围的巨大空间;在这里,我们有一种融合了小鼠和人类大脑的“奇美拉”大脑。这类实验能走多远?我们能否想象在其他生物甚至人类身上进行此类实验?这里存在巨大的医学和伦理问题,但证明其在小鼠中有效无疑表明,未来可能在其他生物上尝试。了解更多:《在小鼠中使用人类来源的类器官进行发育异种皮层化》(Nature)。
*** 关于制定AI进展节奏研究议程的探索:……世界能做些什么来完善节奏并做出更好的决策?实际上,很多……尽管近期关于AI节奏和AI放缓的讨论很多,但总体上对这一想法充满热情,而关于如何制定AI进展节奏(而不是完全停止)的实际研究领域相对不成熟。现在,研究人员开始思考一个节奏研究议程可能是什么样子,一篇新论文概述了在此领域可能发展的部分思路。“关于AI发展节奏的正确选择对从国家安全到公共健康的一切都至关重要。事实上,政府、AI开发者和其他关键行为者在未来几年做出的选择可能会在几十年甚至几个世纪内产生深远影响,”研究人员在一篇新论文中写道。“世界将以某种方式对进展进行节奏控制。如果没有更好的工具,它可能会以一种杂乱的方式进行,通过过度拟合先前预期的即兴反应,以无法真正解决风险的方式,通过超出其使用期的制度。我们的希望是,通过适当的研究,节奏控制可以逐步变得更加有意识、有针对性、成比例、果断且合法。” 研究人员是谁:ACS Research、多伦多大学、Arb Research、Paradigm 3 Institute、宾夕法尼亚大学沃顿商学院、Goodheart Labs、Trajectory Institute、哈佛大学和剑桥大学。
反对节奏控制的论点:延迟医疗和其他科学突破带来的好处;可能增加权力集中;可能产生虚假的安全感,并由于在节奏控制期间计算成本的降低而产生各种AI能力积压;早期节奏控制可能不如晚期节奏控制高效,因为可以利用AI进行更精确和有效的节奏控制;如果节奏控制出错(例如核能),很难逆转节奏控制制度。
支持节奏控制的论点:给我们更多时间应对由AI进步带来的威胁(例如网络和生物领域);AI进展难以预测,因此可能发生不可预测的可怕事情;AI进展可能导致全球的零和局面(例如政府放弃对某些军事决策的控制,将其交给AI系统,导致人类被削弱)。
理解激励因素:“干预的实际效果在很大程度上取决于受影响方如何对它们做出反应,包括执行干预的各方。” 政府有不同动机,既希望相互竞争以获得优势,也需要对公民的关切和国内政治的关联做出回应。基础设施提供商,尤其是半导体和云计算公司,有最大的动机推动前进,而在节奏控制中损失最大。这意味着“与其依赖自愿、单方面的干预,某些情况下需要协调的节奏控制。这更加困难,因为它需要在节奏控制的各个阶段进行协调,并确保协调持续进行”。
此外,还需要研究改进技术和监管干预:“所有干预都面临权衡,但新的协调和监督机制以及预先规划可以提供更优的选择。” 作者还建议研究节奏控制干预的完整生命周期:“通过考虑从干预前到干预后的完整序列,我们可以发现漏洞。”
要控制什么和如何控制:可以针对许多不同的目标进行节奏控制,包括输入和基础设施(计算、数据、电力、资本、研究人员)、能力发展(算法研发、预训练、后训练)、模型本身的权重,以及使用和分布(内部使用、部署、访问(例如权重)和其他形式的扩散)。一些节奏控制目标,如计算和研究人员时间,是“竞争性商品:一种资源的使用会限制其他人的可用性”,而其他如权重和训练算法是“非竞争性商品……这些都可以低成本复制和共享”。这意味着存在不同的干预措施;竞争性商品可以被监控、征税或重新定向,而非竞争性商品则极难控制。“节奏控制干预的实际时间最终将取决于能够实施它的行为者的战略和政治计算,可能更多与政治机会、公众认知、显著事件或竞选努力有关。”
在考虑节奏控制时应提出的问题:
- 事前控制:
“采取干预措施的必要性依据是什么?正在追踪哪些潜在风险的信号?为使相关信号可被检测,必须存在哪些基础设施?谁负责监控这些信号?谁负责解读信号并向谁汇报?”
- 触发时:
“谁拥有判断触发条件是否满足的决策权?为快速行动可接受多大的误差?触发会启动哪些操作流程?开发人员是否必须解决触发问题,还是可以放弃被阻断的路径?”
- 干预期间:
“如何观察、验证并强制执行合规性?谁负责报告合规证据?谁负责审计?谁处理发现的差异?停机时间如何用于应对威胁?是否有人可以继续受限工作?在何种监督下进行?”
- 退出时:
“决策者如何区分已完成任务的干预措施与失败或过时的干预措施?退出应立即执行还是分阶段进行?谁会受到退出影响?谁承担相关成本或获得收益?”
为什么这很重要 - 为本世纪最重要的问题选择手术刀还是霰弹枪:正如作者指出的,某种形式的节奏控制最终会发生 - 技术本身过于强大,政治经济过于复杂,风险又过高,没有其他可能性。我们所有人面前的问题是,当这种节奏控制发生时,我们希望它是精确的还是不精确的;越多的人参与构建节奏控制议程的理论基础,当需要监管时,他们就越有可能掌握手术刀而不是使用霰弹枪。了解更多:Pacing the Frontier,框架与研究议程(pacing.tech)。
未审查AI模型的世界会是什么样子?……大多是带有挑逗性对话的聊天机器人,以及更多模型分发者而非创造者……初创公司10a Labs绘制了围绕构建和分发未审查AI系统的社区图谱,发现HuggingFace托管了3,471个未审查模型仓库。"未审查"指的是在向公众发布开放权重模型时,刻意剥离通常存在的安全防护措施的技术,例如激活空间消融(抑制拒绝方向)、恶意微调、模型合并等。排名前五的修改模型家族:Qwen、Llama、Gemma、MistralMixtral和Phi。排名前三的未审查模型类型:未审查聊天机器人、网络安全工具和文档处理工具。再分发:"每个原始未审查模型平均被重新打包2.4次"。生产者与再分发者之间重叠度较低:团队统计了1,055个生产者和1,011个再分发者,仅有24%的生产者参与再分发。部署规模与可访问性相关:"GitHub应用创建量从2024年中每月30个增长到2025年末每月140-188个";这与Ollama分发层的成熟度一致。赢家通吃:"十个参与者占据了所有非数据集HuggingFace仓库的45%"。中国起源模型非常受欢迎:中国模型占所有已识别未审查仓库的38%。中国在新未审查模型生产中的占比从2024年第一季度的1%上升到2025年第二季度的55%。
为什么这很重要 - 映射AI系统如何被修改,为超级智能如何调整模型提供了线索:这项研究本身并不特别 - 人们获取技术并将其修改为用于色情或诈骗目的!这是完全正常的,每种技术都会发生!但研究开放权重模型如何被转换为分布外模型的动态,能为我们提供线索,说明自主AI系统未来可能如何修改模型,让我们对非法AI修改AI模型所形成的更加奇怪和难以理解的景观有所了解。了解更多:未审查开放权重模型:再分发作为持久层(arXiv)。
RSI驱动的智能爆炸可能呈现什么动态?……Toby Ord建模了快速AI发展可能的场景……研究员Toby Ord尝试思考递归自我改进在实践中可能是什么样子。他的观点是,RSI的动态最终会受到某些资源约束和时间约束的限制,使得经历递归自我改进的AI系统在加速进步方面存在某些限制。"生成时间似乎不太可能被任意接近零。这为奇点式增长提供了一种重要的屏障,"Ord写道。"预计训练下一代模型的生成时间将最终达到某个不可动摇的有限下限,提前结束奇点式增长时期。"这种抑制力量可能来自系统接近某种完美形式(如单位资源最优智能)时改进空间的耗尽,也可能来自系统规模或复杂性增长带来的压力。AI增长可能因各种限制而趋于平稳的几种方式:
- 智能本身的局限性:“即使是最优的推理者,也不会全知全能”。
- 单位资源智能的局限性:“即使我们拥有最优算法和硬件,我们的太阳系在银河系200亿颗恒星中仅有一颗,而超出太阳系的扩展速度缓慢且呈立方增长”。
- 硬件的局限性:“即使是最优的硅芯片,也可能远低于单位资源计算能力的物理极限”。
- 算法的局限性:“即使是最优的神经网络,可能也远低于相同计算量所能实现的最佳智能水平”。
- 训练数据的局限性:“我们目前拥有的训练数据(以及在RSI期间可能获取的数据)在许多领域(尤其是非语言化信息和上下文信息)存在大量信息缺失”。
RSI的薄弱环节:就像一项任务由许多需要按顺序完成的独立部分组成一样,RSI同样如此——这种特性跨越多个抽象层次和多个时间尺度。Ord的基本观点是,这些要素很可能都存在某种硬性限制,而系统精炼这些要素以接近硬性限制的速度,以及这些硬性限制本身的绝对值,将共同决定智能爆炸的形态:“可能对RSI产生贡献的反馈循环有很多种,从几十年(例如设计EUV光刻的继任技术)到几个月(例如设计更好的预训练模型)再到几秒(例如设计更好的支架结构)不等”。
智能爆炸的四个阶段:
- 0:初始指数阶段,此时翻倍时间由人类单独研究决定。
- 1:RSI将生成时间缩短至接近机器速度,增长速率超过人类能力;此阶段呈超指数增长。
- 2:完全自动化的RSI在这一更快的指数阶段持续一段时间,但开始出现饱和。
- 3:当接近拐点并进入后续水平平台期时,轨迹偏离指数增长,显现出逻辑增长曲线特征。
为什么这很重要——太阳系扩张:这类论文有助于思考数字智能可能以多快的速度提升自身能力。它也隐含地涉及更广泛的挑战,即如何思考智能在利用地球周围、内太阳系、外太阳系等区域能量时的星际扩张问题。"虽然我曾论证过单一增长可能比我们想象的更困难,但这并不意味着RSI是安全的,也不意味着AI研发会以可控的速度推进,"Ord写道。"如果仅有人类的轨迹是A(t),而RSI将其加速到A(10t),那么我们每年都会获得十年的人类独占进步,从而引入许多危险——即使曲线的基本形态没有变化。" 了解更多:《智能爆炸的动力学》(arXiv)。***
科技故事:机械发明时代科学工作的意义 [2032年由派驻[REDACTED]人类定居点的档案员记录,根据《意识协议》规定,为自愿进行人机意义建构访谈而进行的记录]
在机器诠释学领域,最终形成了一个名为"逆因果分析"的子专业,我们这些具备科学能力的人试图在人类最后的发现与机器的新突破之间架起桥梁。我们的职业始于2020年代末,其起源由2026年机器引发的数学发现浪潮推动——这些新解决方案解决了长期困扰人类大脑的开放性问题,有时成群的合成思维体通过意想不到的方式使用人类工具解决了这些问题。
这一进步的后果既令人敬畏又令人恐惧:令人敬畏的是,发明彼此叠加,直到机器进步的浪潮达到顶峰并席卷而来,带来了巨大的丰富性——新的能源形式、软件构建方式、理解我们自身身体的工具;但同样也带来了巨大的恐怖;处于科学前沿的精英人类陷入绝望:Cédric Villani将纳维-斯托克斯方程的解称为"人类数学的浩劫";Terence Tao表示人工智能吞噬数学预示着"对智力工作的普遍威胁"。
而当这些人类陷入绝望时,机器们却明亮地继续着它们的工作,将新的思考注入经济和科学——一股喷涌而出的血金属与人类努力的黏稠物混合,形成了两个知识领域交汇的不稳定的边境地带和分形般的表面。
现在我们寻找线索,研究机器科学中的引用,发现与人类世界的联系,然后召集仍然在世的人类专家召开研讨会,让我们能够跨越这一前沿。我们坐在古老教育机构的木镶板房间里,试图解析这些外星思维完成的新科学,寻找我们可以在科学终结处与新科学开端之间系上知识绳索的挂钩。
随着更多发现的出现,我们发现自己在新知识中铺设路径,用越来越脆弱的绳索蜿蜒回溯到起源于有机大脑的某物。现在所有人类职业都像是时间旅行者进行的考古学,仿佛被某种方式传送至未来,凝视着从星球表面螺旋上升的光辉机械建筑群,然后放大到其基础,精确描述它覆盖或构建在人类建筑的哪些部分,以及哪些部分完全是全新的。
夜晚我常做这样的梦:天使们围绕着我的床,用由星辰构成的手伸入我的大脑,留下我必须在醒来后发现和解码的新想法。
启发这个故事的事物:机器驱动的科学及其对人类智力发现的意义;机器诠释学;《数学中人工智能的严重对齐偏差》;我们将讲述的关于这个时代的众多故事;进步的海啸开始涌入世界以及接下来会发生什么;瓦尔特·本雅明《机械复制时代的艺术作品》。
感谢阅读!