AI 正在变得擅长数学，原因何在？

5月，OpenAI 的一个内部模型找到了 Erdős 单位距离猜想的反例。该猜想自 1946 年以来一直悬而未决。许多专家曾试图证明它。OpenAI 却找到了一个反例。一个月后，OpenAI 发布了关于循环双覆盖（CDC）问题的证明，随后又在 7 月前给出了另外十个开放问题的解答。9 月，OpenAI 又给出了Navier Stokes 的证明。Anthropic 发布了费马大定理的形式化证明，以及关于 Reimann 假设的更优界。这些模型突然变得擅长数学了。

我感兴趣的问题是，我们能否预测这些模型会解决哪类问题。什么样的问题对 LLM 来说是可解的？这些解法有什么共同之处？如果 AI 解决问题的方式与人类不同，那么找出这种差异应该有助于我们决定让它着手解决什么问题。关于单位距离猜想的反驳有最丰富的评论，我们就从这里开始。

问题复杂度

这里有一个简单的思维模型。要解决任何一个给定的问题，你都需要一系列提示或洞见，并在它们之间投入工作。这个模型出人意料地适用于简单的日常问题，也适用于广义相对论这样的复杂思想¹（见附注）。这一过程大致如下：

洞见 -> 时间 / 努力 -> 洞见 -> 时间/努力 -> 解答。

专家需要的提示会比初学者少，因为他们有更多背景知识。在他对单位距离证明的评论中，WT Gowers 使用了类似的思路：证明的难度，就是能让专家重构证明的最短提示序列。他称之为相对于专家的 Kolmogorov 复杂度²。对于单位距离问题，他给出的提示序列有三个部分：

寻找一个反例。
对已知的最佳构造进行推广。
尝试一系列次数递增的数域，但只考虑范数有界的素理想。

Gowers 提出的复杂度公式是 2^k + t，其中 k 是最短提示序列的长度，t 是将其发展完善所需的工作量。这类公式看起来严谨，直到你试着往里面代入一个数——这多少正是重点所在。解决一个问题所需的洞见越多，复杂度就呈指数级增长。

大多数解题工作都发生在这些洞见之间。你灵光一闪，然后花几个月发展完善这个提示，直到有可能实现另一次概念上的飞跃。对专家来说，花费的时间是衡量这项工作的有效替代指标，因此记作 t。即使把第一个单位距离提示交给某人，他们仍然必须投入足够的工作，才能得到推广后的构造。

这很有用，但只是事后分析。你无法只看问题，就预测它需要 x 个提示。因此，问题存在的时间、尝试次数以及与之相关的奖金，都是常见的难度替代指标。

给定提示的特征

一个典型的洞见会改变问题的表述方式。问题的表征和理解都会发生变化。有两件事决定一个提示的价值：

在给出提示之前，它看起来有多么不可能；给出提示之后，它又显得多么显而易见 → 这比人们想象的要难。在单位距离问题中，许多专家并不认为这个反例很可能存在。
在序列中的位置：提示是有顺序的。只有在前两个提示所引导的工作取得足够进展、使第三个提示能够付诸行动后，第三个提示才有用。这打破了天真蛮力法的想法：列出一千种数学技巧，然后尝试每一种组合³。提示序列会遍历一棵树。最初的洞见会改变问题，并揭示接下来有哪些选择。

人类以广度优先的方式解决问题

结合 k 和 t，就能得到人类的搜索模式。生成候选方向，浅尝辄止地探索，大多数方向就此放弃，少数方向则深入推进。如果一个有希望的方向早期没有带来足够的鼓舞，就会被放弃⁴。这是人类面临的限制：提出一个想法可能需要数月时间。在投入之前，研究者需要有理由相信这个想法会有所进展：概念上的潜力、早期结果，或对类似问题的经验。得知结果所需的时间越长，尝试这个想法的门槛就越高。

大多数研究软件的存在，都是为了通过自动化繁琐、机械、可重复的工作来缩短这段时间。AI 将这段时间缩短到足以让搜索模式本身发生逆转，而后续的一切都由此而来。

AI 与复杂性

首先是 t。模型付出的努力相当于计算量和 token，它们要么用于单条轨迹（测试时计算），要么分散到多个并行智能体上（并行测试时计算）。预训练还提供了知识，而人类研究者则必须自行查找或重建这些知识。没有哪个专家个人能了解过去的每一项进展，因此他们有时会重复已经做过的工作。

更大的区别在于模型如何搜索：

LLM 采用深度优先搜索

给模型一个提示，它就会给你一个解答。也许正确，也可能不正确。要求它给出证明，它就会给你一份接近良好证明的内容。这些模型的 CoT 也以贪心的深度优先方式运行。而且，这一过程可以扩展。让并行智能体尝试十种方法，你就会得到十次朝着结论推进的尝试。它们可能各不相同，也可能部分重叠。每种方法要么遇到障碍，要么提出一个看起来正确的论证。如果放任不管，你得到的会是漂亮的错误证明。

在加入自动验证器⁵之前，这似乎是在浪费计算量和资源；验证器可以剪除已完成的轨迹，并找出正确的轨迹。有了这个检查器，将大量计算资源花在不确定的想法上就变得合乎理性。你可以在几分钟内得知某个想法是否行得通。但问题在于，验证器只能判断已经完成的论证。它无法告诉你一个尚未充分发展的想法是否会有所进展。

两者的对比

如果五分钟内就能知道一个提示是否有效，那么这个提示需要有多好？对人类来说，门槛很高，因为追随一个提示可能需要数月的工作。对模型来说，这个门槛几乎消失了。提示可以很普通、看似不可信，或只是初具雏形。沿着它探索，就能确定它是否会有所进展。LLM 让我们能够用计算量换取时间，也能帮助我们在更短时间内探索更多问题。

失败的尝试也是 LLM 的提示

模型不需要一开始就有明确方向。预训练已经让它对问题的历史和以往尝试形成了先验。每个错误解法都可以作为负面提示反馈给模型，用于下一轮迭代。系统会不断积累关于哪些方法已经失败以及失败原因的指令。大致来说，harness 的构成如下：

起草器：编写提供给求解模型的提示。这些提示基于模型先验，旨在减少以往运行中出现的错误，并涵盖所有看似有希望却走不通的路径（即负面提示）。
求解器：接收提示，并提出一个或多个候选解。它可以运行多个子代理，并利用并行测试时计算探索不同路径。
验证器 / 检查器：检查论证是否有效，并确立所要求的结果。

例如，来看这个 CDC 提示：

为完成本任务，假设存在一个完整的肯定性证明。 → 这可以防止模型因预训练中习得的问题尚未解决这一状态，而将其当作停止作答的理由。

特别是，针对特殊图类的证明、构造某些边被覆盖次数不等于两次的循环覆盖、有限长度或指定循环的变体、归约到另一个尚未证明的猜想、对任意固定图规模以内情形的计算验证，以及未附带完整不存在性证书的候选反例，均不足以满足要求 → 这排除了一系列替代方案，确保求解的是真正的问题。

始终使用对抗性代理：每个候选证明都必须检查覆盖次数是否恰为两次、是否把重复边的闭迹伪装成循环、是否存在平行边构成的 2-循环、图是否不连通、是否存在割点、归约是否引入桥，以及是否循环使用等价的 CDC 表述 → 将已归纳出的失败模式提升为常规检查项。

再加上一条针对习得性懈怠的指令⁶：不要仅仅因为当前方法行不通或代理报告了定理强度方面的差距，就停止作答

OpenAI 很可能进行了多轮尝试，起草器吸收错误和失败的思路，并引导下一轮避开这些方向。这些句子无一例外都是失败路径，只不过被整理成了指令。

重建单位距离证明与 Tsimerman 的工作

让我们从 harness 的角度重新解读 Gowers 的三个提示：

提示 1：寻找反例：这确实很难，因为学界和模型预训练形成的先验都认为该猜想成立。最有可能的情况是，求解器在试图证明猜想时屡屡失败，促使起草器提出了这个方向。这种表述阻止模型把公认观点当作必须追寻的方向。每一次失败的尝试，都会让反例显得不那么不可能。

提示 2：将已知的最佳构造加以推广。这最符合学界的先验；这是常见做法。真正费力的是把推广推进到足够深入，从而发现它能带来什么。这是大规模搜索步骤。但请注意，这里推广的是一个反例，而几乎没人曾想到要寻找反例。

提示 3：尝试次数递增的数域。当前两个提示构建出适用空间后，这就是标准工具。

顺序很重要。从第三条提示开始，你甚至不知道这个练习是在做反证。跳过广义构造，第三条提示就无从发挥作用。即使有全部三条提示，所需的努力仍然巨大。事后看来，反例提示显而易见，这会让人纳闷，为什么没人试过。事实上，有人试过。

最近受聘于 OpenAI 的 Jacob Tsimerman曾研究这个反例。他懂数论，甚至考虑过提高次数。然后他停下了。寻找反例是第一个洞见，但这仍然只是开始。阻止他的并非能力不足，而是一个人陷入沼泽数周、却没有证据表明沼泽的另一边存在时，那种恰如其分的理智感受。他本人的话是：

“这种动态很可怕，很难思考各种分析情形，同时保留引导直觉；它会耗费大量时间，而且经常没有结果。”

Jacob Tsimerman，OpenAI 数学家

几十年前，心理学就发现了问题求解中的这一面：Metcalfe 和 Wiebe 每隔十五秒就询问解题者离答案有多近；在普通问题中⁷，他们报告的进展感会逐渐增强。而在洞察型问题中，这种感觉一直停滞，直到他们找到答案。他们没有感受到任何进展，无法支撑自己继续搜索。洞察型问题没有梯度。你不知道自己离答案有多近，直到解出问题。

因此，关于专家的问题有两个：有没有人会进入这条分支（提示），以及进入之后，他们能否坚持足够久，让常规能力完成任务？坚持的代价包括工作记忆、士气和职业生涯。而坚持一条所有已知专家都认为错误的路径，会让这三方面的代价不断叠加。对大语言模型来说，这是巨大的优势。Arul Shankar 说：

“模型很快就尝试了各种想法，但当它到达关键想法时（在以‘假设乐观地认为……’开头的段落中），它便相当有条理地专注于这项证明。”

这可以归结为两个问题：一道题需要多少个洞见？在这些洞见之间，要做多少工作才能判断某个方向是否值得继续？Tsimerman 谈到了 AI 这一面的情况：

“这或许表明了 AI 系统的一种优势：它们不仅可以尝试所有已知方法，还能比数学家坚持更久、在更险恶的水域中探索，而不会不堪重负。当然，这一点目前还谈不上稳健，但这或许是一个预示性事件。”

其他证明

OpenAI 对 Navier-Stokes 方程的证明展现了同样的过程。根据粗略阅读，它完成了 Córdoba 和 Martínez-Zoroa 所做的工作。证明长达 166 页，包含许多修正和大量复杂数学，但从概念跳跃的角度来看，它的数量并不多。⁸ Anthropic 关于费马和黎曼的工作附有丰富的评论，也展现了同样的框架：数百个失败的想法、由一个协调者统领的多个智能体、无处不在的脚本和检查器，以及少数几个承担主要工作的概念飞跃。

今年模型有哪些变化？

三项具体能力层层叠加，助力推动这些证明。

模型现在擅长串联基本操作。近期的训练目标着重于在步骤 1 创建可用于长周期任务第 n 步的产物。 => 这降低了 t。

自我验证：模型现在能够在某个推理轨迹中，趁人类甚至验证器还没看到输出之前，发现其中错误的步骤（而不是语法上有效、却导向死胡同的步骤）。OpenAI 专门针对数学验证训练模型，使用大规模真实案例，并加入能够识别证明中错误的验证层。=> 这让在推理轨迹中剪枝的成本更低。

编排。模型可以指挥子智能体，利用记忆等工具框架能力来引导搜索、排除错误路径，并协调智能体之间的协作。=> 负面提示就是这样逐渐积累起来的。

分支因子

重新审视 Gowers 的公式。他指出公式漏掉了一点：探索潜在提示树所需的时间。把每一步可能出现的合理后续提示数量称为分支因子 b。每一步有 b 个合理提示时，k 个提示就意味着 b^k 条路径。对人类而言，品味和判断力会让有效的 b 保持较小，大多数分支都会被默认舍弃。⁹

AI 必须在每个中间步骤追寻几乎所有合理分支，但可以很快完成。这预示着，当 b^k x 计算成本（其中 k 是提示数量）较小时，模型会表现出色。这回答了我们最初的问题。网络安全看似复杂，却最先被攻克，因为中间步骤的分支因子¹⁰约为 1-2。

专业人士需要大量技能，但解决方案的形式是预先已知的。这也解释了为什么寻找反例如此有效。这缩小了解空间，也降低了 b。一个社区协作项目也体现了同样的模式：引导智能体为所有尚未解决的问题寻找反例。

验证器会剪除已完成的分支。起草者会剪除后续分支，通过告知求解器哪些路径已经失败来缩小搜索空间。身处推理过程之中时，你没有剪枝信号。自我验证能发现错误的步骤，却发现不了那些语法上正确、但导向死胡同的步骤。没有梯度，你就必须探索所有分支。Tsimerman 为此付出了士气代价，AI 公司则会付出算力代价。实验室会挑选解空间狭窄的问题，以展示模型的能力。¹¹

由此可以得到一个直觉：如果概念上的飞跃已经完成，剩下的只是繁琐复杂的数学运算，那么就可以期待 AI 模型非常擅长将想法落实到底。也就是说，k 和 b 都没有大到难以承受。近期发表的许多其他证明也符合这一点。Navier-Stokes 的证明完成了 Córdoba 和 Martínez-Zoroa 的研究计划，而这甚至动用了 10,000 个智能体，在 88 小时内总计使用了 300B 个 token。

如果人类在某些领域仍保持优势，Gowers认为那会是在这样的问题上：“搜索树很深且分支很多，因此若没有严格剪枝，即使是计算机也无法进行有效搜索。”换言之，就是 b 和/或 k 很大，且人类直觉仍然重要。

一个有趣的分歧

人类会慎重选择一种思路，然后投入数月时间。一个失败的思路之所以能带来启发，恰恰是因为有人坚信它值得投入数月时间。专家果断否决的思路也一样。否决背后包含着他们的判断和洞见。无论哪种情况，沿着一个想法探索，都会改变我们对问题的理解。即便走进死胡同，也能为专家留下有用的思考工具。

借助 AI，模型会沿着每条看似可行的路径尝试得出结果，因此解决方案很快就能出现。失败的代价很低。大多数尝试都很天真，但有些或许值得关注。失败中蕴含的信息，取决于尝试者对它的信念有多坚定。不过，我们通常根本看不到这些失败，更不用说理解某次尝试为何失败。CDC 提示词或许是我们最接近这种情况的例子：它在提示词中列出了所有失败的尝试。

这种差异有助于形成一种良好的互补。人类擅长收窄探索分支。模型擅长缩短剪除一条分支所需的时间。专家可以让模型从头到尾探索一个想法，再决定是否值得为它投入三个月。需要大量洞见的问题，也就是 k 值较大的问题，对两者而言仍然很难。专家可以借助模型失败的尝试以及自己逐渐建立信心的过程来缩小范围。

尽管如此，许多未解问题之所以被提出，是因为解决它们有助于我们加深对该领域的理解。其中一部分收获来自直接攻克问题，另一部分则来自了解那些信心十足的思路为何失败。模型最终或许能生成证明。¹²失败中蕴含着许多洞见。只有我们能看到这些失败，这种互补才能奏效。

Terence Tao 认为，解决问题是数学更深层目的——增进我们的理解——的一种替代性体现。一个结果或一份证明，是一场学界共同参与的活动：人们借此阐释新想法，将其与已有想法联系起来，并推动集体直觉向前发展。只宣布最终答案，就是把目的地误当成了旅程。

附加问题：LLM 能否提出广义相对论？

有人（Demis、再次提出这一观点、Zahavy、Adam Brown）提出，检验 AI 是否跨越门槛的一种方法，是用截至 1901 年的数据训练模型，看看它能否提出广义相对论。我现在认为，如果研究者在这一点上过度优化指标，这项测试很快就会被攻克。这个飞跃不需要太多提示。

第一个行之有效的提示是把引力视为几何，这就足以大幅缩小解空间。之后的数学极其困难，而这正是模型擅长的领域。这个提示极其反直觉，我认为只有在穷尽其他所有可能后，思维链才会得出这一点。试着把引力看作一种力、一种平直空间中的场，或对牛顿反平方定律的修正。每种尝试都会与 1901 年前已知的某些事实相矛盾，最著名的就是水星近日点问题。

每一次失败都会让几何思路显得更有可能。模型或许会提出数百种看似合理的理论，但我们会验证这一种，然后说：“嗯，它做到了。”

Einstein 在 1907 年有了他称之为一生中最幸福的想法：一个人从屋顶摔下来时，感觉不到自己的重量。随后，他又花了八年时间，并在一位真正懂几何的朋友的大力帮助下，才把这个想法转化为方程。这就是两个洞见之间那支箭头的含义。广义相对论需要两到三个主要洞见。首先是把引力视为几何。Einstein 多年来一直思考这个问题，并沿着这个方向不断推进，最终在大约八年后得出了完整理论。问题在于，当时所有人都认为 Newton 定律神圣不可侵犯，所以要说 Newton 错了，需要极大的坚定信念。C.P. Snow 曾说，狭义相对论“是一个早晚会出现的想法。但广义相对论则完全是另一回事。”这就是一个不起眼的提示与一个令人非常意外的提示之间的区别。

Kolmogorov 复杂度要找的是能够生成给定输出的最短程序；在这里，背景知识由专家提供。

这比宇宙中的原子数量还多得多，也远远超过愿意埋头苦干的研究生人数。

这也是不同人类文化都非常强调坚持不懈的原因。Tsimerman 如果再坚持一点，本来就能解决这个问题。并非要指责他，但他在文章后面解释了自己离成功那么近时的感受。顺带一提：一个想法诞生三个月后，一位研究者在职业生涯中产出最高的十年里，大概能认真押注二十次，而大多数人都很希望其中一次能成功。

我有个理论：无数只猴子在无数台打字机上，可以打出 Shakespeare 的作品和许多其他小说，还能写出一些原创作品。但要知道它们是否做到了，你需要一个验证器。而这个验证器很可能也会拒绝它们同时写出的所有原创作品。Douglas Adams 有句台词说的就是这事：“Ford，外面有无数只猴子想跟我们聊聊它们琢磨出的《Hamlet》剧本。”

你必须给机器写一条消息，本质上就是告诉它“真的，继续做下去”，这件事本身很奇怪；而更奇怪的是，它居然有效。

我不认为每 15 秒询问一次有效。即使我觉得自己快成功了，我也会说不。

这显然是个初步结论，但我没看到对那些概念性飞跃有深入的评论。

和许多事情一样，品味和判断力源于先验认知，而先验认知可能是错的。单位距离反例本身就说明了这一点。按照 Gowers 本人的说法，“我从未想过要试着反驳它。”这种先验认知让正确分支的概率显得很低，因此许多专家没有选择那条路。

文献中已经存在一条漏洞利用链。模型只要填上空缺即可。

也可能谁知道呢，他们会宣布一个模型，花掉四百亿亿美元才发现一道题很难，还发现有无数种解不出来的方法，最后只好接受另一个结果。

Douglas Adams 早就预言过这一幕。“我已经非常彻底地检查过了，”电脑说，“毫无疑问，那就是答案。说实话，我认为问题在于，你们根本从来不知道问题是什么。”