一个让人哭笑不得的测试
2026年,我们做了一个简单但揭示性的测试:给AI一道IMO银牌级别的数论题和一道小学三年级应用题,看AI的表现。
IMO题:求所有正整数n,使得n^2 + 1整除n! + 1。
AI答对了,用了巧妙的数论推理。
小学题:小明有15颗糖,他想分给3个朋友,每个朋友分到的糖要比小明自己留下来的多2颗。小明应该分给每个朋友几颗糖?
AI答错了。它给出的答案是"每个朋友分5颗",但正确答案是"每个朋友分4颗,小明留3颗"。
为什么AI能做IMO题,却做不对小学题?因为IMO题是"纯数学推理"——AI的强项。小学题需要"数学常识"——把中文描述转化为数学关系,理解"分给朋友"和"留给自己"之间的逻辑。AI缺乏这种"数学常识"。
AI数学的"常识鸿沟"
鸿沟一:从文字到数学的"翻译"。 小学应用题的核心能力是把"中文"翻译成"数学"。AI的文字理解能力很强,但数学翻译能力很弱——它经常搞错"谁比谁多"、“先买了再退了”、“涨价后打折"等涉及顺序和关系的描述。
鸿沟二:对"现实约束"的理解。 数学题往往有现实约束——“糖不能分半颗”、“人数必须是整数”、“速度不能超过光速”。AI在做纯数学推理时不需要考虑这些约束,但应用题需要。AI经常给出"数学上正确但现实中不可能"的答案——比如"分给每个朋友4.5颗糖”。
鸿沟三:对"多余信息"的过滤。 应用题往往包含"多余信息"——“小明买了3个苹果和5个橘子,苹果2元一个,橘子3元一个,他还剩下10元钱,问小明原来有多少钱?“AI经常被"多余信息"干扰,把"买苹果"和"买橘子"当成两个独立事件,而不是一个整体。
鸿沟四:对"隐含条件"的识别。 应用题经常有"隐含条件”——“连续自然数"意味着"两两相差1”、“相向而行"意味着"速度相加”。AI经常忽略这些隐含条件,导致推理出错。
为什么AI在"纯数学"上强,在"应用题"上弱?
原因一:训练数据的偏差。 AI的训练数据中,IMO级别的数学题和解答很多(因为互联网上有大量讨论)。但小学应用题的"错误解答"和"正确解答"的对比数据很少。AI学到的更多是"高级数学的模式”,而不是"基础数学常识的模式"。
原因二:AI的"推理"是"文本推理",不是"数学推理"。 AI在做数学题时,本质上是"文本生成"——它生成看起来像数学推理的文本。这种"文本推理"在纯数学领域(有严格的符号和规则)效果不错,但在应用题领域(需要语义理解和常识判断)容易出错。
原因三:AI缺乏"世界模型"。 人类在做应用题时,会在脑海中构建一个"场景"——小明拿着糖,分给朋友,留下一些。AI没有这个"场景",它只是在处理文字。没有"世界模型",就无法正确理解"分糖"这个动作的含义。
如何弥补这个"常识鸿沟"?
方向一:增加"应用题"专项训练数据。 最简单的方法:给AI更多"应用题"的训练数据,特别是"错误解答和纠正"的对比数据。
方向二:引入"代码执行"验证。 让AI在生成数学答案后,通过代码执行来验证——如果"分给每个朋友5颗糖,3个朋友就是15颗,小明自己留0颗",代码会检测到"小明自己留的糖不满足条件"。
方向三:引入"世界模型"增强。 让AI在解题前,先用自然语言描述"场景"——“小明有15颗糖,要分给3个朋友,每个朋友分x颗,小明自己留y颗,满足x > y + 2,且3x + y = 15。“先把"应用题"转化为"纯数学题”,再做推理。
结语
AI在IMO拿银牌,但做不对小学应用题——这不是AI的"耻辱”,而是暴露了AI数学能力的"结构性缺陷"。AI的数学能力是"模式匹配"的,不是"理解"的。在"纯数学"(模式清晰)领域,AI表现优异。在"应用题"(需要常识理解)领域,AI表现糟糕。
金句:AI数学的"常识鸿沟",不是"数据不够"的问题,而是"AI没有真正理解数学"的问题。AI可以"算"出答案,但不会"理解"题目。