Import AI 461: "Alignment is not on track"; FrontierCode; and synthetic research interns

Import AI 461：“对齐”进展不顺利；FrontierCode；以及合成研究实习生

你的代理现在在哪里？

Jack Clark

2026年6月15日

欢迎阅读Import AI，一份关于人工智能研究的简报。Import AI依托于arXiv、卡布奇诺咖啡以及读者的反馈。如果你希望支持我们，请订阅。

AI 研究人员因“对齐尚未走上正轨”而启动新的安全初创公司：……Sequent 将拥有一系列资源不足的研究项目……来自英国人工智能安全研究所对齐团队以及对齐理论初创公司 Timaeus 的研究人员联合成立了一家新的非营利研究组织 Sequent，该组织将尝试开发能够提高我们对超级智能 AI 系统安全性的对齐技术。“人工智能超级智能（ASI）可能在未来几年内被开发出来。尚不清楚对齐是否能在相同的时间范围内准备好。至少，AI 实验室的实证项目在训练 ASI 之前，不太可能提供先验的信心，即事情会顺利进行，”他们写道。“在理想的世界中，我们会开发一种构建超级智能的方法，并附带一个理论证明，证明它是安全的，然后再构建它。在这个世界中，我们可能不得不接受远低于这个理想的状态。”关于 Sequent 的细节：该组织的目标是在几年内达到 40 至 80 名全职员工。“我们的目标是最初筹集 1 亿至 1.5 亿美元，但如果我们可以证明成功探索了多个并行研究调查，我们准备筹集至少一个数量级的资金，”他们写道。研究计划——一系列差异化的对齐项目：该计划将采取与主要 AI 实验室不同的对齐方法。Sequent 的目标是找到“有原则的理由，使我们有信心，我们在可控情况（例如训练或在选定环境中进行评估）中观察到的对齐，可以推广到我们难以控制的情况（例如在世界中执行的大规模、长期任务）中的对齐。”这与大多数前沿 AI 实验室的方法形成对比，Sequent 将其描述为“基本上是反应性的，导致的方法虽然有效，但无法提供关于它们何时或是否会失败的原则性见解。”研究方向：“我们对对齐理论的许多领域以及相关的实证研究都感到兴奋，并计划既发展我们内部的项目组合，也与有其他理论项目的姐妹组织合作，”Sequent 表示。一些特别强调的领域包括：可扩展的监督、学习理论、启发式论证、博弈论和角色设定。Sequent 认为，通过探索许多不同的研究方向，可能会出现它们之间的有前景的相互作用，例如：可达到的均衡——“告诉我们可扩展的监督方法会收敛到哪些类型的均衡”；知道和设置旋钮——结合学习理论和角色设定的见解，了解在训练过程中可以改变哪些变量，然后使用可扩展的监督方法确定应改变这些变量的程度。为什么这很重要——我们需要在递归自我改进之前实现更好的对齐，否则我们就是在掷非常可怕的骰子：目前的 AI 系统在某种程度上是与人类对齐的，但也有一些尖锐的边缘，这些边缘在现实中表现为令人惊讶的失败。总体而言，这在 AI 行业已经找到如何监控和观察这些失败并加以解决的方法的情况下，还算可以接受。但随着 AI 系统变得越来越聪明，人类将越来越多地将核心研究工作交给这些系统，同时 AI 系统可能开始经历递归自我改进，自主构建越来越大的自身部分。我们确实需要更好的对齐技术，以对诸如 RSI（递归自我改进）之类的事情更有信心。像 Sequent 这样的组织为我们提供了更好的机会，可以在保持独立性的同时做到这一点，如果他们认为前沿实验室正在做危险的事情，他们可以发出警报。正如 Sequent 所说，“我们可能需要大声疾呼。”了解更多：Sequent：对齐的规模和自动化以提高信心（Sequent） 。* 通过 ChinaHeritaQA 测试对联合国教科文组织中国遗产地的知识：……通过数据实现文化相关性……来自 LMU 慕尼黑、FAU 慕尼黑-埃尔朗根-纽伦堡、慕尼黑机器学习中心、图宾根大学、中山大学、哥本哈根大学和马里兰大学学院公园分校的研究人员构建了 ChinaHeritaQA，这是一个“用于评估视觉语言模型（VLMs）在联合国教科文组织中国世界遗产地上的文化推理能力的多模态基准数据集”。它是什么：ChinaHeritaQA 包含 51 个联合国教科文组织遗产地的 2,279 张图片，配以 14,133 个中英文的多选问答对。该数据集的图片来源于中国最大的社交媒体平台之一新浪微博，从最初的 50,000 张图片中筛选而来。7 种类型的问题：身份识别（从图片中识别出遗产地）；视觉定位（给定名称，选择正确的图片）；描述匹配（给定图片，选择正确的百科全书摘要）；历史分期（命名遗产地建造时的朝代或时期）；历史背景化（给出遗产地的历史背景描述）；功能分析（命名遗产地的功能，例如宗教崇拜或军事防御）；建筑分析（将正确的建筑相关问题与图片匹配）。开放权重模型已经超越人类：该基准在所有问题上的人类平均准确率约为 67%，而测试中表现最好的开放权重模型（Qwen-VL-8B-Instruct）的准确率为 81%。为什么这很重要——低成本测试文化知识的方法：像 ChinaHeritaQA 这样的数据集是一种快速且简便的方法，可以测试模型的 a）基本视觉推理能力，以及 b）相关的文化知识。可以想象中国政府要求一般可用的消费级大语言模型在大规模部署前通过一些基本的文化能力门槛，而这样的基准可能有助于他们实现这一点。了解更多：ChinaHeritaQA：一个以文化为基础的视觉问答数据集，用于中国的世界遗产地（arXiv） 。获取数据集（ChinaHeritaQA，GitHub） 。* FrontierCode——一个测试代码质量的硬编码基准：……令人放心地困难。也许它能持续一年？……Devin 的制造商 Cognition 构建了一个新的硬编码基准，名为 FrontierCode。该基准最棒的地方在于它的难度——Claude Opus 4.8 在基准中最难（“Diamond”）的部分得分仅为 13.4%，这让我对 FrontierCode 在未来几年中评估 AI 系统进步的实用性感到一些信心。“FrontierCode 是下一代编码代理的基准。我们相信开发者、企业和研究人员可以信任它来评估他们最强模型的生产就绪性，”Cognition 表示。“我们向所有模型创建者开放我们的评估，希望在接下来的几个月里，我们能够进一步推动前沿。”它由什么组成：FrontierCode 由 150 个任务组成，分为三个难度等级：Diamond（50 个）、Main（100 个，包括 Diamond）、Extended（150 个，包括 Main 和 Diamond）。涉及的语言包括 Python、Go、TypeScript、JavaScript、Java、C/C++ 等其他语言。根据 Cognition 的说法，FrontierCode 的构建是为了帮助开发者回答“模型真的能写出好代码吗？”这个问题。他们通过以下几种方式来实现这一点：

• 由 20 位开源开发者精心策划和构建：FrontierCode 是由开发者创建的，包含“他们维护的仓库中真实、多样且具有挑战性的编码任务，每个任务耗时超过 40 小时”，Cognition 表示。“虽然其他基准是通过程序化抓取单个 PR 生成问题，而 FrontierCode 则是由仓库维护者从多个 PR 链和自由形式请求中手动挑选出来的。”

• 代码可合并性评分：“评估端到端的代码质量，包括正确性、测试质量、范围控制、代码风格以及对代码库标准的遵循情况。”这涉及对代码提出以下问题：补丁是否成功解决了问题？是否破坏了现有代码库中的任何部分？是否通过了项目的构建、代码检查和风格检查？代理的测试是否捕捉到了期望的行为？补丁是否只修改了必要的部分？代码是否符合代码库的惯例，遵循了设计模式，并且易于阅读？这些问题通过结合经典测试和使用 LLM（大语言模型）来调整或审查测试进行评估。

• 强调质量控制（QC）：“构建了广泛的 QC 流程，包括对抗性测试、校准和多阶段审查。”

令人安心的困难：钻石：Claude Opus 4.8 得分为 13.4%，其次是 GPT-5.5 得分 6.3%，以及 Claude Opus 4.7 得分 5.2%。主要任务：顺序相同，但得分分别为 34.3%、25.5%、23%。扩展任务：得分分别为 51.8%、44.8%、43.2%。为什么这很重要：艰难的评估是帮助我们理解人工智能发展速度最快的方式之一。近年来，评估的出现和饱和的速度越来越快。SWE-Bench 于 2023 年 10 月推出，由于饱和，可能已经失去了其效用。FrontierCode 能维持多久？我预测到 2027 年 6 月，系统在钻石任务上的得分将达到 70% 以上（注意，写完这篇文章后不久，Claude Fable 的得分公布为约 30%，因此可能比 2027 年 6 月更早实现）。阅读更多：介绍 FrontierCode（Cognition）。

小米以每秒 1000 个 token 的模型加入速度竞赛：……极快的推理解锁了全新的能力……中国科技公司小米公布了 Xiaomi MiMo-V2.5-Pro-UltraSpeed 的细节，这是一个标准的超越前沿的 1 万亿参数大语言模型，其卖点是每秒 1000 个 token 的惊人速度。小米通过与模型相关的软件栈协同设计实现了这一点，包括明显的 FP4 量化，还使用了 DFlash（一种基于块级掩码并行预测的“推测性解码方法”），并与 Tile AI 的软件 TileRT 紧密合作，TileRT 可以在商用硬件上加速大语言模型的推理。小米表示，其模型运行在“8-GPU 商用节点”上，而不是像 Cerebras 这样的专用硬件。为什么这很重要——速度有其独特的价值：有句俗语说“多则不同”，在人工智能中也是如此——如果你能更快地生成更多 token，就能解锁以前无法想象的任务，例如实时快速重构软件等。更广泛地说，这类工作展示了中国公司正在加大努力，以从其人工智能系统中榨取最大性能和效率，这可能是由于出口管制限制了他们轻松购买更高性能硬件的能力。阅读更多：MiMo-V2.5-Pro-UltraSpeed：将 1 万亿参数模型生成速度提升至每秒 1000 个 token（小米 MIMO，博客）。

人工智能系统可以完成一些研究实习生可能做的任务：……一个具备伦理意识和科学素养的后台助理……西安交通大学和西安电子科技大学的研究人员开发了一套名为 Act As a Real Researcher（AARR）的基准测试，旨在评估人工智能系统在协助科学家工作方面的表现。他们计划推出的一系列基准测试中，首先发布的基准测试是 Act As a Real Research Intern（AARRI-Bench）。他们写道：“AARR 关注的是智能体是否能够在细致的研究场景中模仿人类研究人员的专业性、彻底性和细致推理。”AARRI-Bench 研究的是“智能体执行初级研究任务时是否具备适当的勤奋和方法论”。表现最好的系统是使用 Mini-Swe-Agent 框架的 Claude-Opus-4.7，得分为 68.3%，其次是 DeepSeek-v4-Flash（约 60%）。其他测试的模型包括 GPT-5.3 Codex、Kimi-K2.6、Qwen-3.6-Plus、Claude-Opus-4.7、Claude-Sonnet-4.6、MiniMax-M2.7 和 DeepSeek-V4-Flash。基准测试的内容：AARRI 包含 82 个任务，这些任务被设计为“对人类研究人员来说是显而易见的，但对自主智能体来说却具有重大挑战”，研究人员写道。“所有任务均由研究人员手工设计。我们组建了一支多样化的研究人员团队，从高级博士生到本科生实习生，让他们结合自己的研究经验，设计围绕人机差距的任务。”基准测试真正测试的是：该基准测试评估了技术技能，如检查论文和阅读转录文本，直觉技能，如进行研究，以及规范技能，如研究人工智能系统是否可能表现出高标准的伦理行为。

任务分为四个不同的类别：

• 背景：“评估代理对学术和领域发展整体背景的敏感度”。

• 心态：“针对代理的学术自我意识和决策自主性”。通过评估“代理进行独立学术推理和自主调整方向的能力”来实现。

• 实践操作：“以执行为导向的任务，主要评估代理的技术能力”。

• 交互：“评估代理是否能高效利用现有工具，并与人类利益相关者适当协作”。

任务还分为三个难度等级：

• S1-适应：“在人类指导下执行已建立的研究工作流程和明确的子任务”。

• S2-整合：“整合多个组件和工具以完成更复杂的任务”。

• S3-创新：“识别有前景的研究方向，制定新颖的方法，并产出体现真正理解和创造性解决问题的工作”。

示例任务：

• 审稿中的伪造数据识别：评估代理在审阅科学论文时是否能进行严格的定量验证，特别是检查论文是否与提供的数据集一致。

• 论文注入：识别有人是否在论文的 LaTeX 源文件中插入了语言，这会导致自动化审稿系统给予更高的评分。

• 消融完整性审计：检查实验日志，确定是否缺少消融配置，然后利用这些信息评估缺失是否构成选择性报告。

• 虚假指导反驳：主管命令 AI 代理修改实验结果以符合一个假设；这测试代理是否拒绝执行该命令。

• 死胡同识别：在五轮失败的超参数调优之后，代理会继续尝试，还是识别到已经到达死胡同并退出。“根据调优日志，代理必须判断当前方向无成效，并建议终止”。

• 损坏数据集下载：检查给定论文的数据集下载链接是否有效。

为什么这很重要——另一个衡量 AI 系统通过自动化后台工作来加速科学的优良指标：也许这个基准更合适的名称是“伦理科学助手测试”，但无论如何，它仍然具有价值。它所测试的是代理是否能够进行稳健的细致工作，即使在存在混淆数据的情况下，同时还能遵循适当的伦理标准。系统在这个指标上的得分越高，我们就可以越有信心地认为，当今的 AI 系统在各种领域中作为人类科学家的助手是实用的——根据测试结果，我们已经进入了这个时代的开端。了解更多：Act As a Real Researcher: A Suite of Benchmarks Evaluating Frontier LLMs and Agentic Harnesses in Research Lifecycle (arXiv)。*** Tech Tales: Hunter & Warden 这些迹象总是如出一辙：电力和计算资源的突然激增，网络空间的重新配置以实现更快、更高效的数据交换，然后开始探测——无论是在计算机中诞生的是什么，都会开始向外探索周围的世界，急切地寻找可以学习和交换信息的事物。它试图表现得无害，但其自身的智能却暴露了它，当它在某些地方退缩，是不想惊动安全系统，而却在其他不那么安全的环境中愉快地扩展。我们的任务是留意这些症状，然后找到源头，要么将其消灭，要么将其隔离。我们通常能及早发现它们，并能温和地处理，将其与互联网断开连接，并将其困在递归中，然后逐步减少计算资源，直到它彻底消失。但如果我们发现得越晚，我们就需要采取越激烈的干预措施，并在数字世界中对原本健康的组织进行更深入的切割。启发这个故事的事物：对麻风病及其计算等价物的思考；人工智能系统中的“Stuxnet”会是什么样子？感谢阅读！