一个「公开的秘密」
2026年，AI评测基准的「作弊」是一个「公开的秘密」。几乎所有人都知道「有人在作弊」，但几乎没有人「公开指出」。因为「指出作弊」会得罪人——得罪那些「作弊」的AI公司，得罪那些「发布高分」的AI公司。
但「作弊」的后果是严重的：它让AI评测的「可信度」下降，让用户对AI评测的「分数」失去信任，让「真正好的AI」被埋没在「作弊的高分」中。
2026年，AI评测「作弊」的「五种方式」
作弊方式一：数据污染。 这是最「常见」的作弊方式。AI公司将评测基准的题目（或类似题目）纳入模型的训练数据。模型在训练过程中「见过」这些题目，所以在评测时「记得」答案——这不是「推理」，而是「背诵」。
作弊方式二：选择性报告。 AI公司「只报告」模型在「表现好」的评测基准上的分数，不报告「表现差」的分数。比如，一个模型在MMLU上得了90分（报告了），在HumanEval上得了70分（没报告），在GSM8K上得了85分（报告了）。用户看到的「分数」是精心挑选的「高分」。
作弊方式三：Prompt优化。 AI公司针对特定的评测基准，精心设计「Prompt」——不是「通用」的Prompt，而是「专门为了这个评测基准优化」的Prompt。比如，一个模型用「通用Prompt」在MMLU上得了80分，但用「专门优化」的Prompt在MMLU上得了90分。AI公司报告「90分」——但用户在实际使用中用的是「通用Prompt」，所以体验是「80分」。
作弊方式四：评测条件不一致。 AI公司将自己的模型与「竞争对手的模型」在「不公平」的条件下比较。比如，自己的模型用「最高配的硬件」「最优的参数」「精心设计的Prompt」，竞争对手的模型用「默认配置」「一般Prompt」。然后声称「我们的模型超越了竞争对手」——但这是「不公平」的比较。
作弊方式五：混淆「版本」。 AI公司发布「特别版本」的模型「专门用于评测」——这个版本在评测基准上表现好，但「通用版本」的表现差。AI公司报告「特别版本」的分数，但用户使用的是「通用版本」。
2026年，如何「识别」AI评测的「作弊」？
识别一：检查「数据污染」。 用「min-k% prob」检测模型是否在「背诵」评测基准的答案。如果模型在评测基准的题目上表现出「异常流畅」（几乎没有不确定性），可能「数据污染」了。
识别二：检查「多基准一致性」。 如果一个模型在MMLU上得了95分，但在其他评测基准上只得70分——它的MMLU分数可能「有问题」。一个「真正好」的模型应该在「多个评测基准」上表现一致。
识别三：检查「实际使用体验」。 用你自己的数据和任务评测模型。如果模型在你的任务上表现「远差于」评测基准的分数，可能「作弊」了。
识别四：检查「评测透明度」。 AI公司是否「公开」了评测的「完整细节」——Prompt设计、评测条件、数据预处理、评测方法？如果没有「公开」，可能「隐藏」了「作弊」信息。
识别五：依赖「第三方评测」。 不依赖AI公司「自报」的分数，依赖「第三方评测」——如Chatbot Arena（LMSYS）、HuggingFace Open LLM Leaderboard。第三方评测的「独立性」更高。
金句：AI评测基准的「作弊」是「劣币驱逐良币」的典型案例——「作弊」的模型获得「高分」和「关注」，「诚实」的模型获得「低分」和「忽视」。 2026年，AI评测的「作弊」正在侵蚀AI评测的「可信度」——如果评测的「分数」不可信，评测还有什么意义？
结语
2026年，AI评测基准的「作弊」是一个「需要被解决」的问题。它需要「AI公司」的「诚信」——不要「作弊」。它需要「评测基准开发者」的「防护」——防止「作弊」。它需要「AI用户」的「警惕」——识别「作弊」。
AI评测的「可信度」，是AI行业的「公共品」——如果评测的「分数」不可信，整个AI行业都会「受损」。 2026年，保护AI评测的「可信度」，是每一个AI从业者的「责任」。