AI Is Getting Good at Math. Here’s Why.

AI在数学上越来越擅长。原因如下。—— Latent Space

5月，OpenAI内部模型发现了一个反例，推翻了Erdős单位距离猜想。该猜想自1946年提出以来，众多专家曾试图证明它。但OpenAI却找到了一个反例。一个月后，OpenAI发表了循环双覆盖（CDC）问题的证明，到7月又解决了另外十个未解难题。9月，他们又给出了Navier-Stokes方程的证明。Anthropic则完成了费马大定理的形式化证明，并在黎曼假设上取得了突破性进展。这些模型突然变得擅长数学了。

最让我感兴趣的问题是：我们能否预测这些模型将解决哪些类型的问题？什么类型的数学问题对LLM来说是可解的？这些解决方案又有什么共同点？如果AI以不同于人类的方式解决问题，识别这种差异将帮助我们判断应该将AI应用于哪些领域。单位距离猜想的反例证明有最丰富的评论，所以我们从这里开始分析。

问题复杂性

这里有一个简单的思维模型：要解决任何问题，都需要一系列提示或洞察，以及这些洞察之间的努力。这个模型令人惊讶地适用于日常简单问题和复杂理论如广义相对论（见附录）。这个序列看起来像这样：

洞察 -> 时间/努力 -> 洞察 -> 时间/努力 -> 解决方案。

专家所需的提示数量会比新手少，因为他们拥有更多背景知识。在单位距离证明的评论中，WT Gowers使用了类似的概念：证明的难度等于让专家能够重建证明的最短提示序列长度。他称之为“专家模下的Kolmogorov复杂度”。对于单位距离问题，他的提示序列包含三个部分：

• 寻找反例。
• 采用已知的最佳构造并进行推广。
• 尝试一系列次数域，但使用有界范数的素理想进行操作。

Gowers提出的复杂度公式是2^k + t，其中k是最短提示序列的长度，t是开发该序列所需的工作量。这个公式在你试图代入具体数值时就会显现出其局限性，这正是它的设计目的。随着解决问题所需的洞察数量增加，复杂度呈指数级增长。

大多数问题解决过程发生在这些洞察之间的努力阶段。你可能有顿悟时刻，然后花费数月时间发展提示，直到另一个概念性突破成为可能。对专家而言，所花费的时间是衡量这种工作量的有效指标，因此用t表示。如果给某人第一个单位距离提示，他们仍然需要足够多的工作才能达到推广构造的阶段。

这个模型虽然有用，但属于事后分析。你无法仅凭观察问题就预测它需要x个提示。因此，问题的年龄、尝试次数和附带的奖金通常被用作衡量难度的替代指标。

提示的特性

典型的洞察会改变问题的表述方式。问题的表示和理解方式会发生变化。决定提示价值的两个因素是：

• 在提示出现前，这个想法看起来有多不可能，与提示出现后变得多么显而易见之间的差距 → 这比人们想象的要困难得多。在单位距离问题中，许多专家并未认为反例是可能的。

• 在序列中的位置：提示是有序的。第三个提示只有在前两个提示的工作已经取得足够进展，使其变得可操作时才有用。这打破了列出一千种数学技巧并尝试所有组合的朴素暴力穷举法。提示序列遍历一棵树。初始洞察改变了问题，揭示了后续的选择。

人类以广度优先的方式解决问题

将k和t结合起来，你就得到了人类的搜索模式。生成候选方向，浅层探索，放弃大部分，专注于少数几个。如果某个有前景的方向早期没有提供足够的鼓励，它就会被放弃。这是一个人类的约束条件：发展一个想法可能需要数月时间。在投入之前，研究人员需要相信这个想法会有所进展的理由：概念上的潜力、早期结果，或对类似问题的经验。发现所需时间越长，尝试这个想法的门槛就越高。

大多数研究软件的存在是为了通过自动化繁琐、机械、可重复的工作来缩短这个时间。AI将这个时间缩短到足以让搜索模式本身发生翻转，所有后续步骤都由此而来。

AI与复杂性

首先，t。模型的等效努力是计算资源和token，用于单条路径（测试时计算）或分散到并行代理中（并行测试时计算）。预训练还提供了人类研究人员需要自行定位或重建的知识。没有哪个专家能了解所有先前的发展，因此他们偶尔会重复已经做过的事情。

更大的差异在于模型的搜索方式：

LLM是深度优先的

给模型一个提示，它就会给出一个解决方案。可能是正确的，也可能不是。要求证明时，它会给出接近良好证明的内容。这些模型的思维链（CoT）也以贪婪的深度优先方式运行。而且这个过程可以扩展。给并行代理十个方法，你就会得到十个朝着结论发展的尝试。可能全部不同，也可能部分重叠。每个尝试要么遇到障碍，要么产生看起来正确的论点。如果任其发展，这会得到漂亮的错误证明。

这看起来像是计算资源和资源的浪费，直到你添加一个自动验证器5，它可以修剪已完成的路径并识别正确的路径。有了这个验证器，现在花费大量计算资源在不确定的想法上变得合理。你可以在几分钟内确定某个想法是否有效。问题是验证器只能判断完整的论点。它无法告诉你一个半成型的想法是否会有进展。

对比

如果你能在五分钟内确定提示是否有效，提示需要多好？对人类而言，质量门槛很高，因为追求一个提示可能需要数月的工作。对模型而言，门槛几乎消失。提示可以是普通的、不可信的或刚刚形成的。跟随它就能确定它是否能导向任何地方。LLMs让我们能够用计算资源换取时间，帮助我们在更短的时间内解决更多问题。

失败的尝试是LLM的提示

模型不需要明确的方向即可开始。预训练已经赋予它关于问题历史和过去尝试的先验知识。每个错误的解决方案都可以作为负面提示返回给模型，用于下一次迭代。系统会积累关于已失败内容及其原因的指令。大致来说，这个系统看起来像这样：

/think

• Drafter: 编写提供给求解模型的提示。这些提示基于模型的先验知识，减少之前运行中的错误，并考虑所有未果的有前景路径（这些是负面提示）。

• Solver: 接收提示并生成一个或多个候选解决方案。它可以运行多个子代理，并通过并行测试时计算探索不同路径。

• Verifier / Checker: 检查论证是否有效并建立所需结果。

例如，考虑这个CDC提示：

假设为了本任务的目的，存在完整的肯定证明。→ 这防止模型将问题的开放状态（在预训练期间学习到）视为停止的借口。

特别是，特殊图类的证明、除两次覆盖外的边覆盖循环构造、有限长度或指定循环变体、归约到另一个未证明猜想、通过任何固定图大小的计算验证，以及没有完整不存在证明的候选反例都不充分 → 这排除了实际解决问题的一系列替代方案。

在整个过程中使用对抗性代理：每个候选证明都必须检查精确的双重乘数、伪装成循环的重复边闭合路径、平行边2-循环、不连通图、割点、归约引入的桥，以及循环使用等效CDC陈述 → 将记录的失败模式提升为标准检查。

再加上一行针对学习到的惰性：不要仅仅因为当前方法失败或代理报告定理强度差距就返回

OpenAI很可能进行了多轮尝试，Drafter将错误和失败的想法收集起来，并引导下一轮迭代避开这些。每一条都是失败路径的记录，写成指令。

重建单位距离证明和Tsimerman的工作

让我们通过Harness的视角重新审视Gowers的三个提示：

提示1：寻找反例：这确实很难，因为社区和模型的预训练先验都表明该猜想是正确的。Drafter最有可能得出这个提示，是因为求解器在追求证明时不断失败。这种表述阻止模型将普遍接受的观点视为必须遵循的方向。每一次失败尝试都使反例略微不太可能。

提示2：采用已知最佳构造并进行推广。最接近社区先验；这是标准操作。实质性工作是将推广推进到足够远，以发现其允许的内容。这是大t步骤。但请注意，这是对反例的推广，几乎没有人关注过。

提示3：尝试次数不断增加的数域。一旦前两个提示构建了其适用的空间，这是标准工具。

顺序很重要。从第三个提示开始，你甚至不知道这个练习是反证。跳过推广构造，第三个提示就无从发挥作用。即使有全部三个提示，工作量依然巨大。反例提示在事后看来显而易见，这让你不禁思考为何没人尝试过。事实上，有些人确实尝试过。

Jacob Tsimerman，最近被OpenAI聘用，参与了反例的构造工作。他精通数论，甚至考虑过增加次数，但最终停下了。寻找反例是第一个关键洞察，但这仅仅是开始。阻碍他的并非能力不足，而是他清醒地意识到自己已陷入泥潭数周，却毫无证据表明泥潭有另一侧。他本人曾这样描述：

“这是一种令人非常不安的动态，很难在分析领域中保持清晰的直觉，这会耗费大量时间，且往往难以奏效。”

Jacob Tsimerman，OpenAI数学家

心理学界早在几十年前就发现了问题解决中的人性一面：Metcalfe和Wiebe每15秒询问解题者对解决方案的接近程度。在普通问题上，人们报告的进展感会逐渐提升；但在洞察性问题上，这种感知在找到答案前始终停滞。他们表示，这种问题缺乏渐进性，直到解决前你无法感知自己离答案的远近。

因此，专家需要回答两个问题：是否有人会进入该领域（提示），以及进入后是否能坚持足够久以完成普通能力能解决的工作？坚持的成本包括工作记忆、士气和职业发展。而坚持一条所有已知专家都认为错误的路径，会同时放大这三方面的代价。对LLM来说，这是一大优势。如Arul Shankar所述：

“模型能快速遍历各种想法，但当它到达关键点（以‘假设乐观地认为……’开头的段落）时，会非常系统地聚焦于证明。”

这可以简化为两个问题：一个问题需要多少洞察，以及两次洞察之间需要多少工作量才能判断方向是否值得？Tsimerman从AI的角度解释道：

Sponsored

您的赞助广告位在此

联系正在构建未来AI的工程师

Latent Space被负责部署代理、模型和基础设施的团队阅读。咨询赞助该广告位事宜。

[email protected] →

“这可能表明AI系统的一个优势：它们不仅能尝试所有已知方法，还能在更危险的领域中坚持更久而不会被压垮。当然，这目前尚未完全成立，但这可能是一个预示性事件。”

其他证明

OpenAI关于Navier-Stokes的证明展示了同样的过程。根据粗略阅读，它完成了Córdoba和Martínez-Zoroa此前的工作。该证明长达166页，包含大量修正和复杂数学，但在概念跳跃的层面，其创新性不如预期。Anthropic在Fermat和Riemann上的工作附有丰富注释，同样呈现出相同的结构：数百个失败想法、多个代理在单一协调者下运作、脚本和检查器无处不在，以及少量关键概念飞跃支撑整体。

今年模型发生了哪些变化？

三项具体能力的提升尤为显著，它们推动了证明的进展。

• 模型现在擅长串联基本操作。近期的训练目标集中在创建可在长周期任务中复用的阶段性成果。=> 这降低了时间成本t。

• 自我验证：模型现在可以在人类或验证者看到输出之前，识别出轨迹中语法正确但无意义的步骤。OpenAI特别训练模型进行数学验证，使用大规模真实案例，并通过验证层识别证明中的错误。=> 这使得轨迹内部的剪枝成本更低。

• 协调。模型可以指挥子代理，利用记忆等能力进行引导和排除错误路径，并实现代理间的协调。=> 这就是负面提示累积的方式。

分支因子

重新审视Gowers的公式。他指出该公式遗漏了一点：探索潜在提示树所需的时间。将每一步中可能的下一步提示数量称为分支因子b。若有b个可能的提示，k个提示意味着b^k条路径。对人类而言，品味和判断使有效b保持较小，大多数分支默认被丢弃。9

AI必须在每个中间步骤几乎探索所有可能的分支，但可以快速完成。这预测模型在b^k × 计算成本（k为提示数量）较小时表现优异。这回答了我们最初的问题。网络安全看似复杂，但率先被解决，因为中间步骤的分支因子约为1-2。10

专业人士需要大量技能，但解决方案的形态在事前已知。这也解释了为何寻找反例如此有效。这缩小了解空间并降低了b。同样的模式体现在社区推动代理寻找所有未解问题反例的努力中。

验证者会剪枝已完成的分支。撰写者会剪枝未来分支，通过告知求解者哪些路径已失败来缩小搜索空间。在中间阶段，你没有任何剪枝信号。自我验证能识别错误步骤，而非语法正确但无意义的步骤。没有梯度，你必须探索所有分支。Tsimerman为此付出了士气代价，AI公司则会用计算资源买单。实验室会选择解空间狭窄的问题来展示模型能力。11

从这里可以得出一个直觉：当概念性飞跃已完成，剩余的是繁琐复杂的数学时，AI模型在完成想法方面会表现得非常出色。也就是说，当k和b不会过于庞大时。近期发表的许多其他证明都符合这一特征。Navier-Stokes的证明完成了Córdoba和Martínez-Zoroa的计划，即使这需要10,000个代理，在88小时内共使用了3000亿个token。

如果人类在任何领域保持优势，Gowers认为这将体现在"搜索树深度大且分支多的问题上，没有严格剪枝，即使对计算机来说搜索也不可行"。换句话说，当人类直觉仍起作用时，高b和/或高k的问题领域。

有趣的差异

人类会谨慎选择方法并投入数月时间研究。失败的方法之所以有洞察力，正是因为它说服了某人投入数月时间。专家明确拒绝的方法也是如此。拒绝本身包含着他们的判断和洞察。无论如何，追随一个想法都会改变我们对问题的理解。即使死胡同也能为专家留下有用的思考工具。

借助 AI，解决方案得以实现，因为模型会尝试所有可能的路径直至完成。失败成本低廉，大多数失败是显而易见的，少数可能具有启发性。失败所包含的信息量与其背后的信念强度成正比。尽管我们很少有机会看到这些失败，更不用说理解为何某次尝试失败。CDC 提示符可能是我们能接触到的最接近的线索，它本身包含了所有失败的列表。

这种差异性创造了一种有益的互补关系。人类擅长缩小分支范围，而模型擅长缩短修剪单个分支所需的时间。专家可以让模型完整探索一个想法，再决定是否值得投入三个月时间。需要大量洞察力的问题（即大 k 值问题）对双方来说依然困难。专家可以借助模型的失败尝试和自身逐步形成信念的过程来缩小范围。

尽管如此，许多开放性问题之所以被提出，是因为解决它们能提升我们对领域的理解。其中一部分来自直接追求问题本身，另一部分来自理解为何高信念度方法失败。模型最终可以生成证明。12 失败中蕴含的大量洞察力。这种互补关系只有在我们能看到这些失败时才能生效。

Terence Tao 将解决问题描述为数学更深层目标的代理：发展我们的理解能力。一个结果或证明是社区事件，它促使人们解释新想法，将其与现有知识联系起来，并推动集体直觉向前发展。仅宣布最终解决方案，是将目的地误认为旅程本身。

附加内容：LLM 是否能提出广义相对论？

有人（Demis、Zahavy、Adam Brown）提出，AI 越过门槛的一个测试是训练一个模型学习到 1901 年的数据，然后看它是否能提出广义相对论。我现在认为，如果研究者过度追求这个目标，进展会很快。这个突破不需要太多提示。

第一个有效提示是将引力视为几何学，这已足够缩小解空间。之后的数学极其困难，这正是模型擅长的领域。这个提示极其反直觉，我认为只有在穷尽所有其他可能性后，思维链（CoT）才会落到这个结论上。尝试将引力视为一种力、视为平坦空间中的场、视为对牛顿平方反比定律的微调。每次尝试都会与 1901 年前已知的事实冲突，最著名的是水星近日点。

每一次失败都让几何学变得略微更有可能。模型可能会提出数百种看似合理的理论，但当我们验证时，会发现“是的，它确实做到了”。

1907 年，爱因斯坦提出了他称为“一生中最幸福的想法”：一个从屋顶坠落的人不会感受到自己的重量。此后他需要再花八年时间，以及一位真正懂得几何学的朋友的大量帮助，才能将这一想法转化为方程。这就是两个洞察之间箭头的样貌。广义相对论需要两到三个主要洞察。第一个是将引力视为几何学。爱因斯坦花了数年时间思考这一观点，将其推进，然后在大约八年时间里得出了最终理论。当时所有人都认为牛顿定律是神圣不可侵犯的，因此要指出牛顿犯了错误需要巨大的信念和决心。C.P. Snow 曾说，狭义相对论“是一个等待发生的理念。但广义相对论则是另一回事。”这就是一个平淡无奇的提示与一个令人震惊的提示之间的区别。

Kolmogorov复杂度旨在寻找生成特定输出的最短程序；在此过程中，专家提供背景知识。

这比宇宙中的原子数量还要多的排列组合，也远超愿意为此付出努力的研究生人数。

这也是为什么不同的人类文化高度重视坚持精神。如果Tsimerman再坚持一些，他本可以解决这个问题。并非针对他本人，但后文他解释了自己在如此接近答案时的感受。附注：一个想法在三个月内成型，研究者一生中最富有成效的十年里，可能获得大约二十次严肃的赌注，大多数人会希望其中至少一次能成功。

我有个理论，无限只猴子在无限台打字机上可以敲出莎士比亚及其他许多小说，甚至还能创作一些原创作品。但要确认它们是否真的做到了，你需要一个验证者。而这个验证者很可能会拒绝它们同时创作的所有原创作品。道格拉斯·亚当斯对此有过一句经典描述："福特，外面有无数只猴子想和我们谈谈他们为《哈姆雷特》剧本想出的方案。"

向机器发出"请继续"的指令本质上就像写一张便条，这种行为本身就很奇怪，更奇怪的是这种方法竟然有效。

我不认为每15秒询问一次有效。即使我感觉自己接近答案，我也会说"不"。

这显然是一个初步结论，但我没看到关于概念跳跃的深入评论。

就像许多事物一样，品味和判断源于先验知识。而先验知识可能出错。正如我们在单位距离反例中看到的那样。在Gowers本人的叙述中，"我从未想过要尝试推翻它。"这种先验知识将概率导向了较低的分支，许多专家也因此没有选择那条路径。

文献中已经存在完整的攻击链。模型只需填充这些空白即可。

或者谁知道呢，他们可能宣布一个耗资四十亿美金的模型，证明某个问题确实困难，并发现有无数种方法无法解决它，最终选择接受一个不同的结果。

道格拉斯·亚当斯早已预言了这一点。"我非常仔细地检查过，"计算机说道，"答案毫无疑问就是42。老实说，问题在于你们从未真正知道问题本身是什么。"