一张满分答卷的荒谬

2026年，在GSM8K（8千道小学数学应用题）上，排名前30的模型全部超过95%，前15名超过98%。拿小学数学题来评测大模型，就像用加减法测试一个数学博士——所有人都能考满分，但满分没有任何意义。

GSM8K诞生于2021年，当时的GPT-3得分只有35%。五年来，模型的数学能力飞速提升，但评测基准原地踏步。这就是AI评测领域最经典的"基准过时"问题。

数学评测的四个层级

我们将数学能力评测分为四个层级，每个层级对应不同的能力要求：

第一层：算术计算（GSM8K级别）。小学到初中数学应用题，最多需要四则运算和简单比例。2026年，所有主流模型都能轻松应对。这一层的评测价值已经归零。

第二层：高中数学（MATH-500级别）。涵盖代数、几何、微积分、概率统计。这一层开始出现分化：GPT-5得分90.1%，DeepSeek V3得分92.4%，但开源7B模型骤降至35%以下。这一层能区分"会数学"和"不会数学"的模型。

第三层：竞赛数学（AIME、IMO级别）。国际数学奥林匹克级别的题目，需要多步推理、创造性思维和严格的逻辑推导。2026年，GPT-5在AIME 2025上的得分约为62%，Claude 4 Opus约为55%。这一层是真正的分水岭——没有模型能"蒙对"竞赛题。

第四层：数学证明（Formal Proof级别）。要求模型生成形式化数学证明，在Lean、Coq等证明助手中验证。这一层，所有模型的表现都远低于10%。数学证明仍然是大模型的"阿喀琉斯之踵"。

三个被忽视的真相

真相一：模型在"模仿"数学，而不是"做"数学。 当GSM8K的题目被重新表述（改变人名、数字、场景但保留数学结构），所有模型的得分都下降了3-8个百分点。这说明模型在某种程度上依赖模板匹配，而不是真正的数学推理。

真相二：CoT（思维链）打开方式不同，结果天差地别。 在MATH-500上，GPT-5使用零样本CoT得分90.1%，使用"Let’s think step by step"得分92.3%，使用"先分析问题类型，再选择合适的解题策略，最后验证答案"的定制Prompt得分94.2%。Prompt的措辞能带来2-4个百分点的差异，这在排行榜上可能是第1名和第10名的差距。

真相三：多语言数学能力差异巨大。 用中文、法文、日文翻译同一道数学题，模型得分差异可高达15%。这说明数学推理能力与语言能力深度绑定，远未达到"语言无关的纯数学推理"。

结论

2026年，如果你用GSM8K来评估模型的数学能力，你得到的信息量几乎为零。 你应该使用MATH-500或AIME级别的题目，并且用自己的语言和场景重新表述题目，避免训练数据污染。真正的数学能力评测，不在于"算对多少道小学题"，而在于"能否解决从未见过的复杂推理问题"。