Import AI 469: Science AI; RSI simulator; and Zuck's technological pessimism

Import AI 469：科学AI；RSI模拟器；以及扎克的技术悲观主义

AI新前沿：开发具备自主研究能力的系统

Jack Clark

2026年8月17日

欢迎阅读Import AI，一份关于AI研究的通讯。Import AI依托arXiv、卡布奇诺咖啡和读者反馈运行。如果您希望支持本项目，请订阅。

DiG-bench表明Fable展现了一些创造性的直觉：……分析AI系统的新前沿是理解它们在推断环境未明规则方面的表现……AI系统通过探索和好奇心来推断环境规则，与直接被输入规则相比效果如何？这是理解AI系统直觉和创造能力的重要问题，也是DiG-bench（游戏中的发现）这一新基准所关注的问题。该基准包含70款游戏，"旨在映射受控交互系统中发现过程的表面特征"。与视觉类'ARC'游戏类似，在DiG-bench中"每款游戏都是一个拥有自身法则的独立微型世界，但规则和目标对玩家都是隐藏的，必须通过交互来揭示"。您可以通过项目官网（digbench.ai）在线体验部分游戏，感受其玩法。该基准关键衡量的是玩家识别决定成功关键机制的能力——通过游玩游戏，您能感知自身行为如何改变环境，并借此发现必须理解才能取得游戏胜利的机制。其核心理念是：如果能解决这些游戏，说明您具备在新环境中识别关键信息并更新先验知识的能力。研究团队来自：Thinking About Thinking、牛津大学、普林斯顿大学、阿卜杜拉国王科技大学、瑞士AI实验室、Inria、MIT。其中一位作者是极具创造力的早期AI研究者Juergen Schmidhuber。关键信息：

• 纯文本驱动：这些游戏本质上是为语言模型设计的。大多数游戏的长度"足够短，使得当前前沿模型的上下文窗口能够容纳完整的游戏内容"。

• 人工精心设计且新颖私密：所有游戏均由人类专家开发。大部分游戏保持私密性，防止AI系统对其进行训练。

• 可战胜但具有挑战性：每款游戏至少被一名人类玩家攻克，但玩家报告称许多游戏难度较高。

• 需要多样化技能：解决所有游戏需要不同的技能和策略。

• 实验模式：游戏包含可选的实验模式，允许玩家在没有严格"操作步数限制"的情况下自由探索。

• 难度适中：游戏难度足以让当前前沿模型难以攻克。

AI系统表现如何？该基准分为七个层级，第一层级最简单，第七层级最难。目前已公开21款游戏，其余游戏暂未发布。大多数游戏包含多个关卡，每一步玩家可执行的操作数量从2到34不等。

• Opus 5和Fable 5配合Claude Code是综合表现最佳的模型，其次是GPT-5.5

• 仅有 Opus 5 和 Fable 5 能在第 7 层级完成任何任务（0.2）。当获得工具支持（例如 Claude Code）时，Opus 5、GPT-5.5 和 Kimi K3 能在第 6 层级完成部分任务。

• GLM-5.2 和 Gemini 3.1 Pro 能在第 4 层级完成部分任务。

• 总体来看，这似乎非常具有挑战性！

为什么这很重要——创造力和发现的代理：此类测试旨在隔离创造力的一个前提条件，即能够自主发现关于新情境中未被记录的有用信息。正如这个测试所显示的，一些前沿模型已经能够完成一些相当令人印象深刻的发现任务，但与人类相比仍存在困难（例如，Tier 7测试中20%的成功率与人类在测试中100%的成功率相比非常低）。我的猜测是，到2027年中旬，我们将在DiG-bench测试中达到与人类相当的水平，届时我们应期待递归自我改进等技术真正开始加速发展。了解更多：DiG-bench：游戏中的发现（GitHub，PDF）。在官方网站（digbench.ai）上玩游戏并查看排行榜。* 通过玩这个基于浏览器的游戏，体验递归自我改进：……Cookie Clicker，但为奇点而设计……这是Paradigm Research团队开发的一款有趣游戏，旨在模拟运行一家开发能够实现递归自我改进的AI系统的公司的体验。如果你玩游戏，可以很好地理解AI研究中不同组件的交互方式，从如何平衡在研究人员与计算资源上的投资，到何时以及如何授权数据使用等。请注意，游戏很难——但前沿AI开发同样困难。为什么这很重要：发展对递归自我改进的更好直觉对我们所有人来说都具有存在性意义；这类游戏有助于我们更容易地理解这项技术及其研发实验室。在这里玩游戏：RSI模拟器（Paradigm Research）。* AI系统正在展现出早期的科学研究所需的“品味”：……Inherent通过训练开放权重模型，将其转化为监督前沿模型的AI科学家……“品味”很难量化，但很容易通过直觉感知，就像我们坐在精心设计的房间中，看到某人穿着特别合身的衣服，或读到一篇提出恰到好处问题的研究论文时的感受一样。现在，AI初创公司Inherent的研究人员发表了一篇论文，展示了他们如何构建Faraday——一个他们希望能在研究方面培养出“品味”的AI科学家模型。他们做了什么：该公司构建了一个监督框架和一个相对较小的LLM，该框架和模型位于大型专有前沿模型之上，并以一种提高其科学效果的方式控制这些模型。（在某些方面，这相当于可扩展监督问题的能力建设版本）。为了帮助他们训练和评估该系统，他们组装了一个名为“Replica”的数据集，该数据集包含缺少关键图表或结果的研究论文，然后观察AI系统能多好地自主完成填补空白的实验，并通过GRPO方法，利用精心设计的填补内容持续训练一个小型监督模型（“Faraday”），以实现越来越好的结果。Faraday是一个27B参数的模型，使用OpenAI Codex作为底层工具，并在Qwen-3.6-27B上进行后训练。Replica包含的内容：Replica包含100篇1990年至2026年间发表的机器学习和用于科学的AI论文。作者将该数据集转换为310个复制任务，方法是逐一删除论文中的个别结果。“对于每个任务，他们使用Claude Opus 4.7并提示一个元评分标准，生成特定任务的评分标准，”他们写道。然后他们使用基于Codex的Judge模型提供“总体奖励和每回合的信用分配权重，这些权重用于通过GRPO的修改版本训练Faraday代理。”结果：使用Codex的Faraday在某些复制任务中能够击败标准Opus 4.8和GPT-5.5，根据他们的评分标准，其性能“在73%的分布内机器学习任务和60%的保留用于科学的AI任务中超过了它们。”“与基础Qwen模型相比，我们在训练和测试任务中都实现了全面的性能提升，”他们写道。为什么这很重要——随着Faraday等系统变得更好，AI系统实现递归自我改进的可能性将更高：如今，大多数高信号AI评估都在尝试捕捉创造力和直觉的某些属性，Faraday/Replica也是如此。AI系统在这方面变得越好，我们越有可能认为AI系统将很快具备自我构建的能力。“使Faraday能够填补模糊指定细节的技能，可能正是它通过设计自己的实验来推动技术进步所需的技能，”该公司写道。“Faraday获得的技能——决定研究什么、根据预算规划实验以及判断复制结果——与前沿编码模型的进步相辅相成。人们希望，一个经过后训练的外部代理能够随着时间的推移跟踪前沿模型的更新。”了解更多：训练AI科学家复制研究（arXiv）。*** 马克·扎克伯格似乎是一个技术悲观主义者：……扎克伯格关于AI的大文章似乎忽略了或回避了AI系统具备发明能力意味着什么……马克·扎克伯格撰写了一篇名为《未来属于每个人》的论文，作为他和Meta如何开发AI系统的宣言。扎克伯格策略的核心思想是通过大规模普及AI能力给全球每个人，以避免权力集中在少数玩家手中并造成专制。这是一个总体上合理的观点，但超级智能能够发明新想法，可能希望做与马克·扎克伯格提议不同的事情，而在这个关键领域，他的文章保持沉默。马克的观点：“我们这个时代的决定性问题是，谁将拥有超级智能，以及我们将引导它走向何方，”扎克伯格写道。“我们提出了一种以个人赋权为繁荣之源、以发明为超级智能的主要目的、以权力平衡为安全基础的哲学。”Meta的目标和信念：

• “每个人都将拥有一个能力非凡的个人代理，它能够理解你、你的目标以及你所关心的一切。”

• “每个人都将拥有令人惊叹的创作工具，用来表达你的想法。”

• “每个人都将拥有强大的工具来创建新企业，经济将变得更加以创业为导向。”

• “每个人都将拥有一个个性化的导师和教练，其在每个领域都拥有博士学位，并且有无限的耐心来帮助你学习任何你想学的内容。”

• “每个人都将从科学进步中受益，并能够为科学进步做出贡献。”

• “每个人都能以免费或可负担的成本获得这些工具。”

缺失的问题：我最不理解的本文部分是扎克伯格将具备发明能力的AI系统与个人赋权混为一谈的方式。文章中充斥着一些似乎假设这些事物会以打包形式出现的表述，例如：

• “虽然一个人每天能提出的问题数量是有限的，但超级智能能够发明出的有价值的事物数量却是无限的，以帮助实现你的目标。”

• “超级智能作为发明工具的作用越强，个人能力超越自动化技术的可能性就越大，未来对人类来说也越好。”

• “很快，每个人都将拥有发明超级能力。”

• “我们最终会得到哪种结果，取决于自动化与个人赋权和发明之间进步的平衡。”

这为何重要——所有讨论中缺失的问题是：“一个具备超人般发明能力的系统，是否只会服务于那些在发明能力上弱于它的个体的赋权？”这难道不是最关键的问题吗？我并非暗示超人般的发明能力必然催生某种独立于人类的邪恶实体。相反，我认为很难将一个具备超人发明能力的系统与某种不从根本上改变世界权力平衡的事物调和起来，而这种改变是令人困惑且难以理解的。扎克伯格似乎得出结论，这些系统的普及将导致拥有超级智能的个人和公司之间形成一种反脆弱的权力平衡。这当然是一个潜在的结果，但我很难看出这为何是必然的结局。阅读更多：《未来属于每个人》（Meta）。

科技故事：第一座弧形生态建筑

这座弧形生态建筑是为机器主观的千年而建，但对人类而言，其建造过程仅持续了一年。它如此庞大而复杂，看着它生长就如同以快进的方式目睹植物从裸露的泥土中迅速崛起；时而猛然生长，时而停滞，每次生长都跨越数公里。在建造过程中，建筑的部分区域会随着新增结构而“苏醒”；传闻称，最早亮起的某些大厅专门保留给计算机，用于协调后续阶段的建设。当机器出现故障时，人们会判断它们的价值：若价值珍贵，它们会被就近送去维修，然后再送回现场；若价值低于某个阈值，它们会被销毁并拆解零件，用于建造结构。夜晚时分，附近空气中会传来诡异的嗡鸣声，那是风穿过其细长且尚未完工的边缘发出的声音，也是其缓慢梦境计算中风扇的嗡鸣声，最后则是机器整夜高速运转时切割空气发出的非自然尖啸声。对于那些在听力范围内生活的人类来说，清醒着聆听这种异星般的声音，其中似乎蕴含着自己后继者的讯息，这一定是一种奇特的体验。

启发这个故事的元素：金字塔的建造；高迪的圣家堂；墓穴与未来的墓穴。感谢阅读！