评测榜上的"军备竞赛"

2026年，大模型评测榜就像一场"军备竞赛"。每个模型厂商都希望在MMLU、HumanEval、GSM8K等基准上拿到最高分。但在这场合法的竞赛背后，隐藏着各种"灰色地带"的操作。

我们不否认大多数模型厂商的评测是诚实的。但了解这些潜在的"作弊"手段，对于建立评测素养至关重要。

手段一：数据污染（最普遍）

数据污染是最常见也最难检测的作弊手段。如果评测数据（或类似数据）出现在模型的训练数据中，模型就不是在"推理"，而是在"背诵"。

数据污染可以是"无意的"（训练数据中无意包含了评测数据，因为评测数据来自公开来源），也可以是"有意的"（在训练数据中刻意加入评测数据或其变体）。

如何检测：使用min-k% prob方法，检查模型是否在"背诵"答案；查看评测数据是否在模型的训练数据中（通过n-gram overlap）；寻找"异常"的模式——如果模型在某个评测上得分特别高，但在相似的评测上得分正常，那就有数据污染的嫌疑。

手段二：选择性报告（最隐蔽）

选择性报告是指：只报告模型表现最好的评测结果，而不报告表现差的。

比如，模型在MMLU上跑了10次，取最高分而不是平均分。或者，模型在10个评测基准上测试了，但只报告了得分最高的5个。

如何检测：要求模型厂商提供完整的评测报告，包括所有评测基准的结果、多次测试的分布（而不只是最高分）、以及评测方法的详细描述。

手段三：Prompt工程过拟合（最难界定）

针对特定的评测基准，精心设计prompt，以最大化分数。这种prompt可能不适用于其他场景，但它能让评测分数好看。

比如，在MMLU上使用特定的few-shot示例（这些示例是从MMLU的训练集中精心挑选的），在HumanEval上使用特定的函数签名格式。

如何界定：这算不算作弊？这取决于prompt是否"通用"。如果prompt是专门为某个评测基准设计的，而且在实际使用中不适用，那就有"过拟合"的嫌疑。

手段四：评测集"清洗"

在评测前，从评测集中去掉模型"答错"的题目，或者把"答错"的题目标记为"有争议"并排除。

这就像考试前先把不会的题目撕掉，然后宣称自己得了满分。

如何检测：要求模型厂商提供完整的评测结果，包括所有题目的得分（而不只是总分）。如果某些题目被排除，要求说明排除的原因。

手段五：不公平的对比

将模型与"弱化版"的竞争对手对比。比如，用自己最好的prompt评测自己的模型，但用默认参数评测竞争对手的模型。

如何检测：在对比评测中，确保所有模型使用了相同的评测方法（相同的prompt设计、相同的few-shot设置、相同的温度参数）。

手段六：模型"特化"训练

在评测前，针对评测基准进行"特化"微调。比如，在MMLU的训练集上微调模型，然后宣称模型在MMLU上"泛化"能力强。

这就像考试前拿到了真题，然后宣称自己"学习能力强"。

如何检测：如果模型在某个评测上的得分远高于其他评测，而且这个评测的发布时间较早（数据更容易获取），那就有"特化"训练的嫌疑。

如何保护自己不被"注水"评测欺骗？

多源验证：不要只看一个评测基准的结果。看多个独立评测基准的结果。

实际测试：如果可能，用自己的数据和任务来测试模型。这比任何公开评测都更有参考价值。

关注动态评测：Chatbot Arena等动态评测平台的评估结果，比静态评测基准更难被"作弊"。

看趋势而非单点：一个模型在多个评测基准上的长期趋势，比单个评测基准上的单次高分更有意义。

结论

评测作弊是一个"猫鼠游戏"——作弊者不断发明新的手段，评测者不断发明新的检测方法。2026年，这个游戏还在继续。作为评测结果的消费者，建立评测素养、保持批判性思维，是保护自己不被欺骗的最好方式。