AI needs science’s search history

AI需要科学的探索历史

分析

研究论文是理想路径。如果我们希望AI具备科研品味，就必须让它学习那些曾被考虑、被拒绝、却从未被写下的分支路径。

Air Street Press

和

Nathan Benaich

2026年8月13日

文章配音

0:00

-9:50

您的浏览器不支持音频播放。请升级浏览器。

“实际上，这才是黄金所在，”我的研究生同学、剑桥大学临床前基因编辑小组负责人Alasdair Russell说道。

他谈论的是被发表论文所忽略的科学探索曲折之路。“当你讨论如何进行实验，为什么这种方法优于另一种方法，以及数据究竟意味着什么时？我知道它显示了什么，但它的真正含义是什么？”

在2026年RAAIS会议上，他描述了其团队如何开始记录发现过程中的曲折路径，保留那些通常会消失的口头和书面交流。想法成为动态图谱中的节点：当会议产生两个可行实验时，节点会分叉；当不同证据线汇聚时，节点会合并；当有人悄然停止探索时，节点会消失。在他的实现中，一个代理评估新颖性，另一个则试图学习“科学家如何思考以及如何在复杂数据世界中导航”，从而触发对高潜力节点的深入调查。

当前沿AI实验室将代理部署到科学探索中时，赋予AI真实的科学品味仍然是一个价值千亿美元的难题。瓶颈在于，我们数百年来记录的科学成果可能不足以达到这个目标。

Black Forest Labs FLUX 3想象的科学探索曲折之路

永远无法发表的实验

1960年诺贝尔奖得主、"移植之父"Peter Medawar在1963年曾质疑科学论文是否是一种欺诈，并给出了肯定回答：论文形式扭曲了产生它的思维过程。六十年后，这一诊断依然成立。论文呈现了从假设到结果再到结论的清晰进展。在这个过程中丢失的，是那些非常规理论、被放弃或无法负担的方法，以及平淡无奇且结论不明的数据。

这读起来就像一个删除了所有死胡同的浏览器历史记录：十个打开的标签页、四个重新表述的查询、误入的子论坛。所有内容都被清除，只留下从问题到答案的一条干净路径作为标准路径。

自那以后变化的是，被丢弃的材料现在变得有价值了。没有高影响力期刊愿意发表这些"废料"，但原始的试错过程最可能是培养科学直觉（或研究人员所说的"品味"）所需训练数据的来源。

早期尝试捕捉这些被丢弃材料的动机源于科学诚信。2002年《生物医学负面结果杂志》创立，旨在发表挑战既定模型或揭示无效治疗的严谨研究。其档案保存了论文发表后的负面结论，而非产生这些结论的实时替代方案和论点。BioMed Central于2017年关闭该期刊，称其他期刊现在已开始发表零结果，使命已完成。更苛刻的解读是，在十五年里该期刊只发表了约200篇论文，因为几乎没人想阅读负面结果，更不用说撰写那些无法计入学术职称评定的论文了。

AI 模型各不相同。只要对结果进行标注，即使是无趣的负面结果也可能具有价值。

今年早些时候，Anthropic 对这一观点进行了验证。该公司从 2026 年 1 月至 3 月的真实 Claude Code 会话中提取了 129 个决策点，向模型展示了人类在中途偏离前的工作内容，并询问下一步应如何行动。Claude Mythos Preview 在 64% 的情况下优于人类选择，而 Opus 4.5 则在 51% 的情况下表现更优。该对比偏向模型，因为 Anthropic 故意选择了人类决策仍有改进空间的时刻。在另外 127 个场景中，当人类行动已经足够有力时，模型仅在约 20% 的情况下进行了改进。

这项研究之所以可行，是因为 Anthropic 的研究人员使用了一款默认会记录日志的工具。推理过程、绕道选择和结果都产生于相同的协作环境中。生物学领域没有类似的机制。其推理过程发生在走廊、实验台、Slack 聊天线程和白板上，而结果则在几周后出现在其他地方。记录必须从工作本身中产生。如果让科学家事后重建这些记录，我们只会得到另一个经过润色的版本。

日志并非标签

在这些内容成为训练数据之前，负面结果必须明确说明失败原因。发表在《生物医学负面结果期刊》上的第一篇论文分析了五家顶级医学期刊中的 234 项负面研究。只有 30% 的研究讨论了统计功效，一半的研究明确界定了主要结果。如果告诉模型实验失败了，却不说明是由于实验设计功效不足、试剂降解，还是假设本身错误，模型就会带着确定性学习噪声。

决策历史还存在另一个缺失的标签。当实验室考虑了五项实验却只执行其中一项时，只有被选择的分支会返回结果。其他四项是实验性反事实。研究人员将这种现象称为“选择性标签问题”：数据仅揭示了执行者所选择行动的结果。这样的记录可以让模型模仿实验室的偏好，但无法证明这种偏好本身是合理的。它还会将局部约束带入普遍性结论中。一个从未运行冷冻电镜实验（因为没有显微镜）的实验室，会教会模型冷冻电镜实验很少是正确选择。

Alasdair 的节点保留了候选方案集，这是必要的第一步。要使每个决策记录具有实用性，需要包含以下六个字段：

• 该时刻可用的证据，不包含后续出现的信息。
• 考虑过的候选方案，包括那些被一句话否决的选项。
• 对于每个候选方案：预期结果、附带的信心值，以及时间和金钱成本。
• 选择的路径及原因。
• 接下来发生的事情。
• 证据如何改变了科学家的观点。

这些字段必须在结果出现前进行时间戳标记，因为事后回顾会将不确定性转化为必然性。不同意见也必须得以保留。将三位科学家的意见平均成一个整洁的解释，恰恰会重现我们试图解决的信息丢失问题。

但这里显然存在一种失败模式。一旦决策被记录并评分，人们就会为了记录而事后补录。任何观察过电子实验记录本被大量回顾性整理填满的人都知道，研究工具会多么迅速地变成合规性练习。一份需要科学家为每个决策投入十分钟诚实思考的记录，其价值远高于一份需要一小时绩效投入的记录。

一项名为“注册报告”的出版计划提供了一个有用的起点。在此模式下，研究人员在数据尚未产生时就提交研究动机、方法和分析计划接受同行评审，期刊则承诺只要研究人员遵循获批计划，原则上将予以发表。《自然》杂志现已将其格式扩展到其覆盖的所有领域。这种论文撰写方式在结果产生前就记录了研究意图，但同时也固定了单一计划。有用的搜索历史还必须保留计划如何变化、哪些备选方案被拒绝、何时拒绝以及基于何种证据。

让备选方案参与竞争

自主实验室展示了当决策与结果形成闭环时会发生什么。利物浦的移动机器人化学家在八天内于十变量配方空间中完成了688次实验。一种批量贝叶斯搜索利用每次实验结果选择下一次实验，发现的光催化剂混合物活性是初始配方的六倍。每次完成的实验都会改变系统后续的操作。

机器人在人类预先设定的目标和搜索空间内进行优化，它并未决定哪些科学问题具有重要性。因此，这项工作展示的范围较为有限，但仍具价值：当选项能快速返回标准化结果时，搜索历史会产生显著价值。开放式的生物学研究更具挑战性，因为分支可能需要数周时间，而被舍弃的备选方案可能永远无法执行。

因此，部分探索需要投入资源。当两个分支都具有合理性且投入成本值得时，实验室有时应执行备选方案。否则，记录只会反映科学家通常的选择，而对系统性忽视的选项保持沉默。资助方可以将资助中的一小部分专门用于未被采纳的分支，前提是决策记录和结果都已存档。这需要花费资金，但让每个实验室重新发现同一条被遗弃的路径同样需要成本。

测试品味是否可迁移

当我们评估新AI系统是否具备科学品味时，比较应跨越实验室和领域。在实时研究活动中，我们应在选定的决策点冻结六个要素：证据、候选方案、预期结果、置信度、成本和决策。专家在结果揭晓前对选项进行排序，之后由独立团队验证这些结果。

我们可以为模型提供两种“饮食”——仅论文，或论文加决策历史——并要求它们对陌生项目中的下一次实验进行排序。然后，我们根据每美元和每周获取的信息量、校准度以及弱分支被放弃的速度进行评分。

如果历史记录仅在产生它们的实验室内部提升决策质量，它们就相当于有用的组织记忆。如果它们能提升其他领域陌生问题的决策质量，那么阿拉斯代尔团队就实现了科学界从未成功记录的突破：一种可迁移的品味记录。在实现这一目标之前，科学搜索历史仍是一种有前景的记录，尚未成为训练数据集。