实验设计

2026 年 6 月,我借用某 985 大学数学科学学院的题库,做了一项对照实验:让 GPT-5 (o3) 和 Claude 4.5 Sonnet 分别完成大一到大四的数学考试题,并与人类学生的平均成绩对比。

实验设计:

  • 每个年级选取 3 门核心课程
  • 每门课选取 5 道期末考试题(难度与正式考试一致)
  • 每题满分 10 分,总计 15 题/年级,150 分/年级
  • 人类对照组:该课程实际考试的平均分(匿名化)

结果总览

年级GPT-5 (o3)Claude 4.5人类平均分
大一135/150 (90%)128/150 (85%)102/150 (68%)
大二118/150 (79%)112/150 (75%)98/150 (65%)
大三92/150 (61%)88/150 (59%)95/150 (63%)
大四71/150 (47%)65/150 (43%)92/150 (61%)

结论:AI 在大一碾压人类,大二略有优势,大三被反超,大四差距明显。

逐年级详细分析

大一:数学分析 + 高等代数 + 解析几何

AI 在这里表现最好,因为大一的数学高度结构化、规则明确、创造性要求低。

数学分析(极限、连续、中值定理): GPT-5 全对(50/50),Claude 4.5 扣 3 分(一道证明题跳步)。人类平均分 38/50。

高等代数(矩阵、线性空间、特征值): GPT-5 全对(50/50),Claude 4.5 全对(50/50)。人类平均分 35/50。AI 在处理机械性计算(如矩阵对角化、特征值求解)时几乎没有错误。

解析几何: GPT-5 扣 5 分(一道空间曲线题计算错误),Claude 4.5 扣 7 分。人类平均分 29/50。这道题暴露了 AI 的一个弱点:几何直觉。AI 对"二次曲面的交线形状"这种需要空间想象的问题,仍然容易出错。

大二:实变函数 + 抽象代数 + 常微分方程

AI 从这里开始出现结构性错误。

实变函数(测度、可测函数、Lebesgue 积分): GPT-5 扣 12 分(40/50),Claude 4.5 扣 15 分(35/50)。人类平均分 32/50。AI 在"构造反例"类问题上表现糟糕——它不擅长构造一个满足 A 但不满足 B 的测度空间。这种"造一个反例"的能力,需要人类数学家的直觉。

抽象代数(群、环、域): GPT-5 扣 10 分(40/50),Claude 4.5 扣 13 分(37/50)。人类平均分 33/50。AI 在"证明某个群是同构于某个已知群"这种题上表现不错,但在"判断一个代数结构是什么"的识别题上容易出错——它把半直积当成了直积。

常微分方程: GPT-5 扣 10 分(40/50),Claude 4.5 扣 10 分(40/50)。人类平均分 33/50。AI 在标准解法(如分离变量、常数变易法)上表现完美,但在"定性分析"(如判断解的稳定性、画相图)上表现不佳。

大三:泛函分析 + 拓扑学 + 概率论

人类开始反超。

泛函分析(Banach 空间、Hilbert 空间、算子理论): GPT-5 扣 18 分(32/50),Claude 4.5 扣 20 分(30/50)。人类平均分 31/50。AI 在"应用 Hahn-Banach 定理"、“证明弱收敛"等需要"选一个合适的泛函"的题上频繁出错。它不知道选哪个泛函。

拓扑学(同伦、同调、基本群): GPT-5 扣 20 分(30/50),Claude 4.5 扣 22 分(28/50)。人类平均分 32/50。AI 在"计算基本群"这种机械题上还可以,但"判断两个拓扑空间是否同胚"这种题几乎全错。拓扑学需要高度的空间想象和"反例构造"能力,这两点 AI 都不擅长。

概率论(测度论基础、大数定律、中心极限定理): GPT-5 扣 20 分(30/50),Claude 4.5 扣 20 分(30/50)。人类平均分 32/50。AI 在"验证某个条件”(如验证 Lindeberg 条件)时经常出错,因为它会漏掉边界情况。

大四:代数几何 + 表示论 + 偏微分方程

AI 在这里明显不如人类。

代数几何(概形、凝聚层、上同调): GPT-5 扣 29 分(21/50),Claude 4.5 扣 30 分(20/50)。人类平均分 30/50。AI 在代数几何上几乎"不在状态"——它对概形的"几何直觉"为零,完全依赖形式化推导,但代数几何的形式化推导本身就极其复杂,AI 经常在中间步骤出错。

表示论: GPT-5 扣 25 分(25/50),Claude 4.5 扣 28 分(22/50)。人类平均分 31/50。

偏微分方程(Sobolev 空间、弱解、正则性): GPT-5 扣 25 分(25/50),Claude 4.5 扣 27 分(23/50)。人类平均分 31/50。

关键发现

  1. AI 的数学能力大致相当于大二到大三之间的水平。 大二及以下,AI 可以碾压 90% 以上的本科生。大三及以上,AI 开始力不从心。

  2. AI 的弱项集中在三个领域: 构造反例、几何直觉、选择"合适的"工具(从定理库中选择正确的定理来应用)。

  3. AI 在机械性计算上永远不会犯错。 这是 AI 最大的优势——对于任何"有标准算法"的问题(矩阵对角化、求特征值、解常微分方程),AI 的准确率接近 100%。

  4. AI 的"信心"和"正确率"不相关。 AI 在给出错误答案时,通常和给出正确答案时一样自信。这意味着你不能凭 AI 的语言风格来判断答案是否正确。

结尾

如果你是一个数学专业的本科生,今天的 AI 可以帮助你完成大一大二的作业(但建议你理解之后再提交),可以帮助你探索大三大四的解题思路(但不要完全依赖 AI 的答案),可以在研究生阶段作为一种"自动化的数学百科全书"(但做研究还是要靠你自己的数学直觉)。

AI 的数学能力 = 大二下到大三上,这个刻度在 2026 年 7 月是准确的。但 6 个月后,它可能已经移动了。


注:测试数据来自 2026 年 6 月,模型均使用最新版本。人类平均分数据已匿名化处理。