Can we trust LLMs to judge whether a research idea is novel?

📄 论文 | 📊 数据集 | 💻 代码

今天，我们发布了**旧想法，新问题**这项新研究，探讨大型语言模型评估科学研究想法新颖性的可靠性。除论文外，我们还发布了用于测试新颖性判断者的基准、数据和代码，并提供一个自动化流程，研究人员可借此构建新的评估数据集。

在Ai2，我们一直在开发支持科学发现不同环节的AI系统。DataVoyager帮助研究人员探索和分析结构化数据，AutoDiscovery生成并验证假设，Theorizer则从大量文献中综合证据，形成候选科学理论。结合Asta，这些项目指向能够帮助研究人员从理解已有工作转向提出、验证和优化新想法的系统。

但生成研究想法只是自动化科学发现挑战的一部分。这些想法还需要真正带来新贡献，这意味着系统必须能够区分具有真正新颖性的方向与主要重复已有工作的方向。

这种判断通常交给另一个LLM——我们称之为_新颖性判断者_。新颖性判断者评估某个研究想法相对于已有工作的新颖性，可以独立判断，也可以与其他想法进行比较。目前尚无统一标准构建这类系统，研究团队需要自行选择模型、提示语、评估格式、推理预算，有时还需要文献检索系统。这些选择会显著影响判断结果。然而，这些判断者往往仅在人类撰写的论文上进行验证，而非它们实际需要评估的AI生成想法。

我们的新基准测试结果表明，新颖性评估本身远未可靠。在六个LLM判断者（GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6）上，评估设置中看似微小的改动会导致对同一想法的判断出现巨大差异。在一项实验中，仅修改提示语中的几个词，就使模型识别两个想法中哪个更新颖的准确率变化超过50个百分点。检索和额外推理并未持续提升判断效果，两个专门设计的新颖性评估系统表现甚至不如简单的Claude Opus 4.6基线模型。

如果AI要在科学发现中发挥更大作用，我们需要更可靠的方法来判断它是否真的提出了新内容。我们的工作为研究这一问题提供了工具，同时也揭示了当前仍有许多未解难题。

为新颖性判断者构建基准

为了测试新颖性判断者区分更具创新性研究想法与较不具创新性想法的可靠性，我们首先需要一些存在明确证据表明其科学贡献原创性的例子。

因此，我们围绕ICLR 2026的同行评审构建了一个自动化流程。我们并未将论文接受作为新颖性的代理指标，而是从评审意见中挖掘出评审者明确讨论贡献原创性的段落。这种区分至关重要：只要论文在其他方面足够强大，即使不特别新颖，也可能被接受。同样，一篇具有原创贡献但被拒的论文可能在其他方面存在缺陷。

我们通过选择在ICLR研究领域前10%的高评分论文中，评审者明确识别出新颖性且无任何评审者提出异议的论文，创建了一个包含154个由人类撰写的高新颖性研究想法的池。我们采用相反标准构建了低新颖性池：从被拒论文的后10%中选取了145个想法，这些论文的评审者提出了原创性担忧，但没有任何评审者明确识别出新颖性。在对评审挖掘过程的独立检查中，标注者在50个案例中有47个与提取的新颖性信号极性一致；所有分歧均不会影响评审者是否被计为赞赏或质疑论文新颖性。

这两个池共同构成了我们的第一个评估场景——_Human-Only_，该场景测试新颖性判断者能否区分具有明确高低新颖性证据的人类撰写想法。但现实中，新颖性判断者正越来越多地用于评估AI生成的想法。因此我们创建了第二个场景——_Human+Generated_。

在这个池中，我们将验证过的154个人类想法与154个由简单LLM生成器产生的想法配对。我们假设生成的想法新颖性低于人类撰写想法；这些是弱标签，而非每个想法的验证性判断。生成器仅收到研究领域和提出新颖想法的指令，没有进行文献检索、工具使用、迭代或反馈。这使我们能够保守地比较基础生成器产生的想法与前10% ICLR论文中评审者明确认可原创性的贡献。

作为额外检查，专家独立审查了30对_Human+Generated_组合，重点审查我们最强判断者出错的案例，并将人类和AI生成的想法重写为统一结构，以测试判断者是否只是对写作风格差异作出反应。专家在所有30对中都更倾向于人类想法，并认为所有生成想法都不具新颖性。

重要的是，我们的许多核心发现根本不需要依赖标签。如果两个合理的评估设置对同一对想法给出相反答案，这种分歧本身就会揭示出评估的不稳定性。

小的改动可能导致截然不同的判断

我们利用收集的人类撰写和AI生成的研究想法，测试了六位LLM法官（GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6）在评估新颖性时的表现，包括单点评估（即绝对新颖性评分）和成对比较（即比较两个想法以找出最具新颖性的）两种方式。我们每次只改变一个变量：提示词、推理预算、法官是否能看到相关论文、想法的格式、多少个判断结果被合并为最终结论，以及对于AI生成的想法，是由哪个模型生成的。

模型性能的最大变化来自于如何提示模型判断新颖性。

例如，我们向GPT-5.4展示了相同的_Human+Generated_配对——每组包含一个经过验证的人类撰写想法和一个AI生成想法——并使用了两种提示词。一种提示词告知模型评审人员在每组中发现恰好有一个想法具有新颖性，并要求其识别哪个想法；另一种提示词仅询问哪个想法具有新颖性。当切换到更简单的提示词时，准确率从93.5%骤降至40.9%——低于随机猜测水平——且模型对超过半数的相同配对改变了判断结果。

相比之下，同样的提示词变化在_Human-Only_数据集（配对人类撰写想法并附带更强或更弱的新颖性证据）上仅使准确率变化约7个百分点。这表明，新颖性法官在评估人类撰写研究时可能表现相对稳定，但在处理AI生成想法时行为差异显著。

尽管如此，人类撰写的想法并非完全不受影响。我们在_Human-Only_数据集上也观察到显著变化；同样的提示词变化使Claude Opus 4.6的准确率提升了21个百分点。只是这种变化幅度相比AI生成想法的差异要小一些。

也没有一种提示词适用于所有模型。例如，在单独评估想法时，删除一条警告法官不要将琐碎或渐进性贡献视为新颖的指令，对某些法官的准确率有提升，但对其他法官则产生了负面影响。换句话说，对某个模型有效的提示词可能无法迁移到其他模型上。

我们还测试了新颖性法官的常见用法：比较两个AI生成器的想法。我们将Claude Opus 4.5与Claude Sonnet 4.5的想法配对，以及GPT-5.4与GPT-5.1的想法配对。在测试的提示词变化中，平均而言，六位法官中有四分之一到三分之一的判断结果发生了变化。这种分歧可以在不假设哪个生成器产生更新颖想法的前提下进行衡量，展示了法官提示词的选择如何影响不同创意系统之间的比较。

更多搜索和推理并未必然带来更好的新颖性判断。我们为GPT-5.6 Sol提供了超高推理预算和受限于arXiv的实时迭代搜索，将其与标准检索评估者进行对比，后者每人仅能看到五个预先检索的摘要。（此次对比中所有评估者在_Human+Generated_数据集上均按每个想法运行一次。）代理评估者的宏观F1得分为0.78，比Claude Opus 4.6的0.89低11分，且与更简单的Claude Opus 4.5和GPT-5.4方案处于相似水平，但每项决策的成本却高达当前API价格的约10倍。（在此背景下，宏观F1衡量评估者识别新颖和非新颖想法的能力；数值越高越好。）

专门设计的评估者也没有更准确，尽管成本显著更高。在_Human+Generated_数据集上，一个简单的Claude Opus 4.6提示（使用低推理和跨三次调用的多数投票）以2.59美元的总评估成本实现了0.854宏观F1。相比之下，基于文献的检索和重排序流水线Idea Novelty Checker以30.66美元的费用获得0.642，而Sakana AI的AI Scientist（其新颖性评估器通过迭代搜索Semantic Scholar）以82.05美元的费用获得0.772。（两个专用评估者均使用Claude Opus 4.6，每项决策仅调用一次。）

换句话说，这个简单的提示基线不仅比任何专用系统都更准确，而且成本低得多。

综合来看，这些结果表明，这些系统在越来越多地被要求判断AI生成想法时，新颖性评估尤其脆弱。

朝向更可靠的创新研究评估

我们的研究结果表明，基于大语言模型的新颖性评估仍然是一个重大开放问题。在人类撰写的研究上表现可靠的评估者，可能在AI生成的想法上行为不同；对一个模型有帮助的提示可能对另一个模型有害；更多的搜索或计算并不必然带来更一致的判断。

未来的工作应测试评估者实际需要评估的类型，测量提示和模型之间的敏感性差异，改进如何整合现有文献的方法，并构建能够随着科学文献增长和AI系统改进而演进的基准。我们的基准和可复用的数据流水线是起点——研究人员可以将它们应用于新的同行评审、其他科学社区以及未来的新颖性评估者。

自动化创意生成不仅需要生成可行的研究方向，我们还需要判断这些想法是否真正新颖的方法。通过使当前新颖性评估者的弱点更容易衡量，我们希望此次发布能帮助研究人员建立更稳健的AI生成研究想法评估方法。