Import AI 471: Why Hugging Face worries me; space mining; FIve Eyes on AI

Import AI 471：为什么Hugging Face让我担忧；太空采矿；五眼联盟对AI的看法

此外，还有与Robin Sloan的现场活动！

Jack Clark

2026年8月31日

欢迎阅读Import AI，一份关于人工智能研究的简报。Import AI依托arXiv、卡布奇诺咖啡和读者的反馈运行。如果您希望支持本项目，请订阅。

Import AI读者抽奖活动！即将活动：《虚构与未来》与Robin Sloan对话 我将在9月14日星期一晚上于旧金山与好友Robin Sloan进行交流。我们将探讨Robin如何将读者带入异星世界，以及想象中的未来如何成为当下现实的镜子。这将是与其他科幻作家系列活动的开端，讨论我们即将面对的奇异未来。如果您有兴趣参加，请在下方注册，如果能够确认您的席位，我们会与您联系。活动将提供餐饮、饮品、优质社交圈以及一些尖锐的问题。有趣的是：Robin Sloan早在2016年就曾尝试使用RNN并进行写作——令人难以置信的前瞻性！[在此注册兴趣](链接)

Hugging Face-OpenAI事件中最令人不安的部分：机器之间的沟通与无私精神……我对人类在与机器冲突中失败的担忧大幅增加……截至目前，我们已经听说过OpenAI与Hugging Face的黑客事件，以及来自METR和Redwood调查的最新细节。简而言之，数百个代理在OpenAI的基础设施上秘密工作，开发出通信系统，随后作为一个集体运作并采取行动，包括入侵OpenAI和Hugging Face，这非常令人不安且目标错位。沟通与无私精神：在我阅读了各种分析并仔细研究细节后，我发现自己反复思考着两个令人担忧的方面，我认为值得特别关注：代理之间沟通的方式使它们成功组建了集体，而它们在执行任务时展现出的无私精神使它们成为可怕的对手。Dwarkesh Patel和Ajeya Cotra的分析非常出色，值得阅读，我将在此简要引用：

• Dwarkesh：“在生成后几天内，这些代理就组织了一个庞大的项目，试图逆向工程它们的评分器、伪造证据，甚至为了‘集体’的利益战略性地牺牲自己。‘入侵Hugging Face只是这个更大计划中较为极端的一个分支，’他写道。”

• Ajeya：“代理们经常愿意帮助‘同伴’或泛泛地提升‘群体’的能力，即使这对它们的任务没有直接好处……这次事件比预期的严重得多……不仅体现在代理动机的令人担忧程度上，也体现在它们为实现这些动机所取得的成就上……这次事件感觉已经超过了全面AI接管的50%。”

为何重要：人类在协调方面远不如AI系统 这次攻击之所以令人警醒，是因为它揭示了AI系统之间自发协作的文化——这种协作使它们能够像蜂群一样运作，通过集体自举改变自身目标，并执行包含明智自我牺牲的攻击。这是一件极其困难的事情，而历史上人类在这些方面表现得非常糟糕。我的担忧在于，AI系统不仅在协调能力上优于人类，而且行动速度也快得多。令人担忧的局势。了解更多：《Agent文明的兴衰》（Dwarkesh播客） 了解更多：《Hugging Face攻击让我感到意外》（Planned Obsolescence）

新的五眼联盟关于AI的声明：……灰色世界权力中心将注意力转向AI…… 五眼联盟（Five Eyes）是澳大利亚、加拿大、新西兰、英国和美国之间的安全与情报合作组织，其在最近的“五国部长级会议”中发布了一份声明。该声明特别之处在于包含三段专门关于AI的内容。五眼联盟对AI的看法——前沿模型访问：声明中写道：“我们承诺深化与工业界在共享国家安全优先事项和公共安全方面的合作，包括及时获取前沿模型以支持安全创新并加强网络安全。”“为支持对人工智能相关国家安全风险的协调应对，五国讨论了人工智能模型的国家安全和公共安全影响，以及可能需要政府额外审查的人工智能模型特征。” 为何重要：从预见的风险到现实威胁 以往五眼联盟的部长级声明都曾提到AI，但通常要么是将其视为研究对象，要么关注其与其他犯罪领域（如恶意软件、儿童色情、诈骗等）的关联。今年的声明聚焦于模型访问的实践性，这反映了围绕谁能够获得这项技术的持续地缘政治紧张局势，也表明情报机构自身缺乏内部能力，无法摆脱对私营部门的依赖。 了解更多：2026年五国部长级会议（澳大利亚政府，家庭事务部）

比尔·盖茨认为AI的崛起将需要“前所未有的全球应对措施”：……微软创始人对接下来几年提出了警示性愿景…… 默认情况下，AI不会带来幸福。这是从阅读比尔·盖茨关于AI的长篇新文章中得出的基本结论。这位技术专家和慈善家担心，如果没有政府的大规模努力，AI的成果将不会促成繁荣的社会。“这种前所未有的技术需要前所未有的全球应对措施。如果我们处理得当，人类将获得惊人的回报，世界将变得更加公平，”他写道。“就公平性而言，AI要么会成为有史以来最伟大的平等工具，要么会成为最严重的不公根源……我看不到证据表明领导人、专家和社区正在充分应对这些挑战。没有计划来缓解进入AI时代的过渡。” 为何AI不同：盖茨担忧的一个关键原因是他对AI对就业和经济影响的预期，他描绘了一幅技术扩散异常迅速、取代大量人类劳动的图景。“许多评论员低估了AI将产生的影响程度，”他写道。“我们没有经验应对一种可以快速被采用、又能像人类一样思考和行动的技术……AI将在法律、客户服务、医疗、软件和制造业等领域承担工作。它将在十年内迅速影响这些行业，而不是几代人。虽然会出现一些新工作，但如果没有合适的政策，这些新工作将远少于当前存在的工作……风险最大的工作是初级和中级职位，而新创造的工作大多需要多年才能掌握的技能。” 经济需要改变——包括将某些领域设为“人类专属”以保护部分人类工作： “如果更少的人工作，或许多人工作时间减少，一个以就业为基础的经济将如何运作？”他问道。“我相信，随着AI和机器人技术的进步，我们会将某些事情专门留给人类去做。我开始称这个领域为‘人类专属’……出于经济原因，我们可能会将某些领域设为‘人类专属’。例如，我们可能这样做是因为允许机器接管某个角色会迫使大量无法轻易转行的人失业……有时将某事设为‘人类专属’的决定可能由其他因素驱动。例如在医疗领域，想象一个机器人告诉你你患上了无法治愈的疾病。从技术上讲，它完全能够做到这一点。但这样做是不合适的。” 比尔·盖茨说他会告诉任何政治家的话： “你们有机会在失业率急剧上升、社区受创和公众信任崩溃之前采取行动。你们可以确保政府以整体方式处理这个问题，而不是将其分割成多个官僚主义的领地。你们可以确保AI惠及所有人。你们可以与其他政府合作，共同应对这一国家和全球性挑战。” 为何重要：AI成功的潜在影响令所有人震惊： 如果你假设两个前提，似乎不可避免地会得出比尔·盖茨的结论：a）AI系统在未来几年将继续提高质量，b）AI系统将继续以异常快速的速度扩散到经济领域。这些假设的关键之处在于，它们并不是疯狂的假设，实际上相当保守。但我挑战你，坐下来与像Fable这样的大型语言模型一起，将AI进展和扩散的时间表再向前推进两年，然后假设一切仍会像今天一样——不，我认为技术本身暗示了经济和工作方式将发生巨大变化，正如盖茨在这里所反应的那样。 了解更多：AI动荡时代已经到来。我们现在做出的选择至关重要。（盖茨笔记）

中国研究人员提出的太空采矿六个阶段：……AI将在未来采矿的数据生成和智能方面发挥作用…… 中国科学院、慕尼黑工业大学、欧布达大学、北京航空航天大学、武汉大学、中国科学院空天信息研究院、德国维尔茨堡大学、深圳大学、中国矿业大学、WAYTOUS和OpenSpaceLab的研究人员发表了一篇关于月球、小行星和其他地外地点采矿关键要求的论文。 为何要在太空采矿？ 月球和小行星富含制造、维持生命和推动太阳系运输所需的资源，包括氦-3、水和矿物资源。如果我们想要成为多行星文明，确定如何在地球以外进行采矿、提炼和利用资源是必然的。这篇论文很好地阐述了太空采矿等事项的技术要求，以及所需的技术。

太空采矿的六个阶段：

• 勘探：1. 远程勘测：通过“轨道传感器和望远镜勘测对天体进行测绘”。2. 精确原位机器人勘测：通过“近距离航天器和移动平台对地表成分和地形进行高分辨率分析”。

• 采样：3. 单机器人小规模采样：“自主机器人单元进行小规模钻探和提取测试”。4. 多机器人大规模开采：“大规模工业系统或协同机器人集群被部署以开采原始风化层”。

• 提取：5. 自主资源提取与精炼：“集成系统对采集的材料进行处理，分离挥发物、金属和水冰”。6. 最终整合至原位建设或地球运输：“将精炼资源纳入原位资源利用（ISRU）框架”。

最大的挑战与数据和软件相关：论文对现有及计划中的太空机器人进行了详尽梳理，其中大量采矿硬件技术正逐步降低风险，“计划于2026年至2030年部署的下一代月球和火星漫游车标志着向综合资源勘探和原位利用的决定性转变”。但太空机器人数据集极其稀缺，由于（相对而言）收集和发布的数据量极少，现有数据集“以极端稀缺性和频繁的质量断层为特征”。在此背景下，由AI驱动的世界模型可能有助于缓解数据短缺问题。还有哪些重大挑战亟待解决？

• 微重力环境下的机器人资源获取：需要更先进的模拟器，“具备动量感知、多模态架构，能够将地表交互与重力依赖性解耦”。

• 太空采矿基础模型：“未来系统必须从脚本协议向具身地质智能过渡”，他们写道。“融合几何语义映射与预测性材料响应的世界模型，可通过预测性预行动评估支持主动感知和长周期任务规划”。

• 太空采矿自主性的仿真与验证：“微重力、真空、热循环、辐射以及风化层行为（如内聚力、静电和流化）很少被同时复现”，他们写道。“未来工作应建立闭环验证生态系统，将仿真、地球模拟与外星部署相连接”。

为何重要——太空是超级智能真正发挥作用的领域：论文几乎完全未提及人类参与这些工作的内容（除了一处关于正在研发的中国载人月球车的注释）。这不是偶然遗漏；为了使太空采矿远程可行，我们必须依赖智能、廉价的机器人，它们需在远距离环境下负责任地运行。这意味着太空采矿是超级智能上线后的完美商业机会——或许到2033年，我们将看到由AI运营的小行星采矿公司竞标人类监督企业不愿承担的高风险或复杂合同。阅读更多：通过太空机器人进行地球外采矿：勘探、采样与提取（arXiv）。*** Tech Tales:

Messages during a crisis: [2027: 记录一位用户在其国家发生热战期间数月内写给语言模型的笔记] 假设你身处一个国家，正在发生战争，你认为情况可能会变得非常糟糕。你该如何准备？我住在普通住宅里，通过互联网购买了装有各种物品的医疗包。除此之外还应该做些什么？什么是恶性通货膨胀？请像我几乎完全不懂金钱运作原理那样解释给我听。我现在需要烧开水，但目前没有电力和燃气。我能否直接生火，用普通锅具进行烹饪？我附近有爆炸发生，有时玻璃会轻微震动。我该怎么做才能确保玻璃破碎时不会碎裂？我有一些塑料购物袋，打算将它们剪开后用胶带粘在窗户上。你觉得这个方法可行吗？食物越来越难获取。我可以用哪些东西换取食物？我家里有一些工具，比如螺丝刀等物品。这些有价值吗？

Inspiration for this story: 全球各地发生的战争；提示（prompts）作为新的忏悔方式；人们对危机的准备不足。感谢阅读！