90%的囚徒困境

2026年，MMLU（Massive Multitask Language Understanding）的排行榜已经变成了一个反讽：前20名模型的分数全部超过90%，前十名之间的差距不到1个百分点。当"所有人都考90分以上"时，这张考卷已经失去了区分度。

但问题远不止于此。MMLU在2020年诞生时，GPT-3的得分只有43.9%。六年过去，这个基准测试的非但没有被淘汰，反而成了每个新模型发布时必须展示的"成绩单"。这背后是一个评测行业的集体惰性。

谎言一：数据污染已经失控

MMLU的题目是公开的。57个学科、约14000道选择题，从2020年起就挂在互联网上。在预训练数据规模达到数十万亿token的时代，几乎不可能保证这些题目没有被模型"见过"。

2026年，我们做了一个实验：用MMLU的原始题目去"提示"几个主流模型，看它们能否直接"回忆"出答案。结果令人不安——GPT-5在超过30%的题目上，其输出与正确答案的措辞高度相似，远超过随机猜测的25%。Claude 4 Opus的"记忆率"约为18%，DeepSeek V3约为22%。

当你的模型在MMLU上拿到95%时，你无法区分这95%来自"理解"还是"背诵"。

谎言二：选择题不能衡量真实能力

MMLU全是四选一选择题。在现实世界中，你永远不会遇到一个场景，需要从四个选项中挑一个正确答案——你需要在没有选项的情况下自己生成答案。

我们做了另一个实验：将MMLU的选择题改为填空题（去掉选项）。GPT-5的得分从95.7%骤降至71.2%。这个32%的差距，就是"选择题技巧"和"真实知识"之间的鸿沟。模型在选择题上可以通过排除法、模式匹配甚至猜测来"蒙对"，但填空题需要真正的知识召回和推理。

谎言三：知识覆盖严重过时

MMLU的题目来自2020年之前的教科书和考试。物理学中没有引力波探测的最新进展，医学中没有COVID-19的任何知识，计算机科学中甚至没有Transformer架构。2026年的世界和2020年的世界已经完全不同，但MMLU还在测试2020年的知识。

谎言四：学科分布脱离实际

MMLU的57个学科包括"高中微观经济学"“大学医学遗传学"“专业法律"等。但一个AI助手在实际使用中，有多少比例的用户会问"请解释孟德尔遗传定律”？不到0.1%。真实用户问的是"帮我写封邮件"“这段代码怎么改"“这个菜怎么做”——这些能力在MMLU中完全得不到体现。

谎言五：中英文偏差被忽视

MMLU是纯英文测试。当我们将MMLU的题目翻译成中文后重新测试，所有模型的得分都下降了5-15个百分点。DeepSeek V3是唯一一个在中英文MMLU上得分接近的模型（差距仅3.2%），而GPT-5的中文MMLU得分比英文版低了12.8%。

结论：如果你在2026年还在用MMLU分数作为模型选择的主要依据，你选的不一定是最好的模型，而可能是——最会"背题"的模型。 真正有用的评测，应该基于你自己的任务、你自己的数据、你自己的评判标准。下一篇文章，我们将教你如何搭建自己的评测流水线。