开场：一个被忽视的根本问题

2026 年，AI 的数学推理能力引发了一个"薛定谔的进步"现象：一方面，AI 在 IMO 拿银牌，在数学考试中碾压本科生；另一方面，AI 在一些简单的数学推理上犯低级错误，让数学家们摇头。

这种"既聪明又愚蠢"的矛盾，根源在于 Transformer 架构本身。

这篇文章从计算理论的角度，分析 Transformer 架构在数学推理上的根本局限。不涉及具体模型，只讨论架构层面的"天花板"。

局限一：Transformer 是"一层前馈+一层自注意力"的有限组合

从计算理论的角度，单层 Transformer 的计算能力大致相当于常数深度的阈值电路（TC0）。多层 Transformer 相当于有限深度的 TC0 电路。

TC0 电路能做什么？它能做加法、乘法、比较——这些都是"可并行化"的运算。但 TC0 电路不能做什么？它不能做需要"串行推理"的运算。

数学推理本质上是串行的。 证明一个定理需要一步步推导，每一步依赖前一步。这种"串行深度"是 Transformer 的架构所不能自然支持的。

这就是为什么 Chain-of-Thought（思维链）让 AI 的数学推理能力大幅提升——它显式地引入了"串行推理"的步骤，弥补了 Transformer 架构的并行化偏向。

局限二：位置编码的"有限记忆"

Transformer 通过位置编码来理解序列中 token 的顺序。但位置编码的"视野"是有限的。

对于 RoPE（旋转位置编码，当前主流），理论上可以处理任意长度的序列。但实践中，当序列长度超过训练时见过的最大长度时，模型的性能会显著下降。

数学证明的长度可能非常长——一个严肃的数学定理的形式化证明可能有几十万行。 当前 Transformer 架构的"有效上下文窗口"（在实践中约为 128K-1M token，取决于模型）可能不足以容纳一个完整的复杂证明。

即使 token 数量足够，Transformer 的自注意力机制在长序列上的"注意力衰减"也是一个问题——证明开头的关键信息，在序列末尾可能已经被"注意力稀释"了。

局限三：自回归生成的"雪崩效应"

Transformer 是自回归模型——它一个 token 一个 token 地生成输出，每个 token 依赖于之前的所有 token。

这导致了一个"雪崩效应"：如果一个 token 是错误的，后续的 token 会基于这个错误继续生成，导致错误像雪崩一样扩大。

在自然语言中，这个效应比较温和——一个错误单词通常不会毁掉整个段落的语义。但在数学推理中，一个错误 token（比如一个错误的符号、一个错误的数值）可以让整个证明变得无效。

数学推理对错误的"零容忍"特性，与自回归生成的"误差传播"特性，是根本冲突的。

局限四：“搜索"和"推理"的分离

人类的数学推理是一个"搜索 + 推理"的混合过程。我们在脑中搜索可能的证明路径，同时进行逻辑推理。当一个路径走不通时，我们回溯，尝试另一个路径。

Transformer 的推理是"一次通过的”（单次前向传播）。 它没有真正的"搜索"和"回溯"机制。Chain-of-Thought 模拟了搜索过程（通过"让我尝试另一种方法…"），但这不是真正的搜索——它只是在生成 token 的过程中"假装"搜索。

o3 等推理模型通过"推理时计算"（如蒙特卡洛树搜索 + 自验证）部分弥补了这个问题。但这是在推理阶段额外添加的机制，不是 Transformer 架构本身的能力。

突破方向：超越 Transformer

2026 年，几个研究方向正在尝试突破 Transformer 的数学推理天花板：

方向一：神经符号混合系统。 将神经网络（模式识别）和符号推理引擎（逻辑推导）结合起来。AI 识别"题目的类型"，符号引擎执行"严格的证明"。AlphaProof 就是这个方向的代表——它用 LLM 生成证明策略，用 Lean 编译器验证每一步。

方向二：递归式架构。 设计能够"递归思考"的架构，使模型能够自然地处理"嵌套"和"递归"的数学结构。2025 年的一些工作（如 Recursive Transformer）展示了初步的可行性。

方向三：外部记忆增强。 给 Transformer 配备一个"外部记忆"模块，使其能够存储和检索中间推理步骤，而不需要把所有信息都塞进有限的上下文窗口。

方向四：证明即程序。 将数学证明视为"程序"，利用程序合成（program synthesis）技术来自动生成证明。这个方向与 Lean、Coq 等形式化证明语言天然契合。

结尾：天花板在哪里？

回到标题的问题：AI 数学推理能力的天花板在哪里？

如果只依赖当前的 Transformer 架构，天花板大约在"人类数学博士水平"附近——AI 可以处理本科和硕士级别的数学，能够辅助博士级别的研究，但无法独立做出原创性的数学发现。

突破这个天花板，需要架构层面的创新。神经符号混合系统是目前最有希望的方向，它将神经网络的"直觉"和符号系统的"严谨"结合起来。

一个有趣的预测：AI 证明黎曼猜想的那一天，大概率不是纯粹的 Transformer 做到的，而是一个神经符号混合系统。 因为黎曼猜想的证明需要"创造力"（神经网络擅长）和"极致的严谨"（符号系统擅长），两者缺一不可。

推荐阅读：Transformer 计算能力理论分析 (NeurIPS 2023)；神经符号 AI 综述 (Nature Machine Intelligence, 2025)；Recursive Transformer 论文 (ICLR 2025)