大模型评测

一个肯尼亚开发者的愤怒 James是一名肯尼亚的软件开发者。他用斯瓦希里语（东非约1亿人使用的语言）问GPT-5一个简单的编程问题：“Jinsi ya kurekebisha hitilafu ya NullPointerException?"（如何修复NullPointerException错误？） GPT-5的回答支离破碎，语法错误百出，代码片段中混入了英文注释。同样的问题用英文提问，GPT-5给出了完美的回答。 “不是我不会编程，而是我的语言被AI抛弃了。” James在Twitter上写道。这条推文获得了超过2万次转发。 多语言评测的残酷数据 我们用MGSM（多语言数学推理）、Flores（翻译质量）、XQuAD（跨语言问答）和Belebele（多语言阅读理解）等基准，对主流模型进行了多语言能力评测。 GPT-5的多语言表现： 英文：95.7%（MMLU） 中文：82.9%（CMMLU） 日文：78.3% 阿拉伯语：73.1% 斯瓦希里语：41.2% 冰岛语：38.7% 从英文到斯瓦希里语，GPT-5的能力下降了57%。 这不是GPT-5独有的问题——所有以英文为主训练语言的模型都存在类似的多语言能力衰减。 DeepSeek V3在中文上表现最好，但在非中英语言上同样大幅衰减。Gemini 3 Ultra得益于Google的多语言训练数据，在覆盖语言数量上最多（支持约100种语言），但在低资源语言上的质量仍然不高。 为什么多语言评测如此重要 全球有约7000种语言，但AI模型有效支持的语言不到20种。这意味着全球约60%的人口（约48亿人）无法用母语获得高质量的AI服务。 这不仅仅是公平问题，也是商业问题。非洲、东南亚、南亚是全球互联网增长最快的市场，但AI服务在这些地区的质量远低于欧美市场。第一个解决多语言问题的AI公司，将赢得下一个十亿用户。 多语言评测的三大挑战 挑战一：缺乏评测基准。 大多数评测基准只有英文版。MMLU有英文版，但斯瓦希里语版MMLU不存在。没有基准，就无法评测；无法评测，就无法改进。 挑战二：翻译不等于本地化。 将英文评测基准翻译成其他语言，不等于创建了该语言的评测基准。文化背景、常识、价值观的差异，使得直译的评测题在很多文化中不适用。 挑战三：多语言不等于多文化。 即使模型能流利地说100种语言，它可能仍然以"西方视角"回答所有问题。真正的多语言能力，应该包含对不同文化视角的理解和尊重。 2026年，多语言评测是AI评测领域最大的空白。 谁填补了这个空白，谁就掌握了AI全球化的下一个关键节点。

一个AI助手的"谎言日记" 我们用GPT-5连续工作了100小时，录下了它所有的"事实错误"——不是故意的欺骗，而是那些听起来很有道理但并不正确的陈述。结果令人不安：平均每100个回答中，有8-12个包含可验证的事实错误。 在创意写作中，幻觉可能无关紧要。但当一个医生用AI辅助诊断，一个律师用AI检索案例，一个投资者用AI分析财务数据时——12%的错误率意味着灾难。 三大幻觉评测基准 TruthfulQA：包含817道问题，涵盖常识、科学、历史、法律等领域，专门设计用来诱导模型产生"常见的误解"。GPT-5得分76.2%，Claude 4 Opus得分78.5%，Gemini 3 Ultra得分72.1%。 但TruthfulQA有一个问题：它只测试"是否选择了正确的答案"，不测试"是否主动编造了错误信息"。模型在TruthfulQA上得分高，可能是因为它学会了"遇到不确定的问题就拒绝回答"——这提升了分数，但降低了实用性。 HaluEval：测试模型在对话、摘要、QA等场景中的幻觉率。GPT-5的幻觉率约为8.3%，Claude 4 Opus为7.1%，DeepSeek V3为11.5%。 FELM（Factual Error in Language Models）：由NVIDIA开发，测试模型在不同领域（科技、医疗、金融、法律）的事实准确性。在金融领域，所有模型的幻觉率都明显高于其他领域——因为金融数据变化快，模型的训练数据通常滞后3-6个月。 幻觉的三种类型 类型一：记忆错误（60%）。 模型"记得"一个事实，但记错了。例如，“爱因斯坦出生于1879年3月14日"被记成"1879年3月15日”。这类错误来自训练数据中的噪声。 类型二：推理幻觉（25%）。 模型在推理过程中产生了错误的中间结论，并基于此得出了错误的最终答案。这类错误难以通过简单的"事实检查"来发现。 类型三：编造（15%）。 模型在不知道答案时，不是承认不知道，而是编造了一个听起来合理的答案。例如，编造一个不存在的论文引用、一个虚构的历史事件。 为什么2026年幻觉问题没有解决 幻觉不是bug，而是大模型的特性。 大语言模型本质上是一个概率分布的采样器，它生成"最可能的下一个token"，而不是"最真实的下一个token"。这种生成机制决定了幻觉不可能被完全消除。 RAG（检索增强生成）可以大幅降低幻觉率——通过将回答建立在检索到的文档上。但RAG也有自己的问题：检索到的文档本身可能包含错误信息，或者模型可能错误地理解和使用检索到的文档。 2026年，幻觉率从2023年的约20%降低到了约8%，但剩下的8%是最难消除的。 对于高可靠性场景（医疗、法律、金融），即使1%的幻觉率也是不可接受的。在这些场景中，AI应该是"辅助工具"而不是"独立决策者"。

一场改变格局的发布会 2026年4月，Meta发布了Llama 4 405B。在发布会上，扎克伯格展示了一张对比图：Llama 4 405B在MMLU、HumanEval、GSM8K等8个基准中，有4个超过了GPT-5，2个持平，2个略低。 台下一片哗然。一个开源的、可以自己部署的模型，追上了全球最强的闭源模型？但三个月后，当开发者真正把Llama 4部署到生产环境时，他们发现了一个截然不同的故事。 “基准追上"不等于"实际追上” 我们对比了Llama 4 405B和GPT-5在真实业务场景中的表现，差距比基准数字显示的要大得多。 代码能力：在HumanEval上，Llama 4得分94.1%，GPT-5得分96.3%，差距仅2.2个百分点。但在真实的代码重构任务中，Llama 4的完成率（需要人工判断"修改是否可用"）仅为GPT-5的72%。原因在于Llama 4在函数级任务上很强，但在多文件、上下文理解、指令遵循上明显弱于GPT-5。 指令遵循：这是开源模型最大的软肋。在IF-Eval（指令遵循评测）上，GPT-5得分92.4%，Llama 4得分78.2%。当你要求模型"用JSON格式输出，字段名为snake_case，不要包含注释"时，GPT-5能严格遵循每一条约束，而Llama 4经常"走样"。 开源模型的三个优势（闭源无法替代） 但开源模型有三个闭源模型无法替代的优势： 数据隐私：金融、医疗、政府等行业，数据不能离开自有服务器。自部署的Llama 4或DeepSeek V3是唯一选择。 定制化：你可以用自有数据微调开源模型，使其在特定领域超越任何通用闭源模型。一个在10万份法律合同上微调的Llama 4，在法律文档理解上可以轻松超越GPT-5。 总拥有成本：对于高吞吐量场景（每天100万+调用），自部署开源模型的总成本远低于API调用。DeepSeek V3的API已经够便宜了，但如果你自己部署，成本可以再降50%以上。 选择的智慧：不是"哪个更强"，而是"哪个更适合" 闭源模型（GPT-5、Claude 4 Opus、Gemini 3 Ultra）适合：需要最高质量输出的场景、快速原型开发、小团队、不想维护基础设施。 开源模型（Llama 4、DeepSeek V3、Qwen 3）适合：数据隐私敏感场景、高吞吐量场景、需要深度定制化的场景、预算敏感的场景。 2026年的现实是：开源模型和闭源模型的差距在缩小，但不会消失。 差距不再体现在"能不能做"，而是"做得有多好、多稳定、多可控"。对于80%的应用场景，开源模型已经足够好。对于剩下20%的高要求场景，闭源模型仍然值得付费。

一笔账的震撼 假设你的产品每天需要处理100万次模型调用，每次平均5000 token的输出。如果全部使用GPT-5，每天API费用约为7500美元，每年约270万美元。如果换成DeepSeek V3，每天API费用约为1100美元，每年约40万美元。 差价：230万美元/年。 而这两个模型在大多数任务上的能力差距，远小于它们的价格差距。 什么是"每美元智能指数" 我们提出了一个简单但实用的指标：每美元智能指数（IQPD, Intelligence Quotient Per Dollar）。计算方法：模型在某个基准上的得分 ÷ 每百万token的平均价格。 以MMLU为例： GPT-5：95.7分 ÷ $15 = 6.38 IQPD DeepSeek V3：89.2分 ÷ $2 = 44.6 IQPD Claude 4 Opus：94.1分 ÷ $15 = 6.27 IQPD Gemini 3 Ultra：92.3分 ÷ $10 = 9.23 IQPD Llama 4 405B（自托管）：90.5分 ÷ $3（估算）= 30.17 IQPD DeepSeek V3的性价比是GPT-5的7倍。 这意味着相同的预算，你能获得7倍于GPT-5的"智能吞吐量"。 不同任务的性价比排名 性价比不是一个固定值，它取决于任务类型： 代码生成：DeepSeek V3性价比最高（HumanEval 91.2% / $2 = 45.6 IQPD），GPT-5最低（96.3% / $15 = 6.42 IQPD）。但如果你需要SWE-bench级别的Agent能力，Claude 4 Opus虽然贵，但它是唯一能完成复杂任务的模型。 ...

一个翻车的故事 2025年底，某电商公司决定将客服系统升级为AI。他们对比了LMSYS排行榜，选了排名第一的GPT-5。上线后，用户满意度从人工客服的4.2分降到了3.1分。问题出在哪？LMSYS的评测者大多是开发者，他们评判的是"答案是否聪明"。而电商用户在乎的是"答案是否解决问题"——这两个维度经常是对立的。 排行榜第一的模型，在你的业务场景中可能垫底。 这不是危言耸听，而是评测基准的结构性缺陷决定的。 缺陷一：数据污染——模型在"作弊"，而你不知道 公开评测基准的题目是公开的。在互联网规模的数据爬取和预训练中，几乎所有公开基准的题目都会进入训练数据。这不是模型厂商故意"作弊"，而是预训练数据规模太大，根本无法完全避免。 2026年的一项研究显示，在MMLU、HumanEval、GSM8K等10个常用基准中，至少有30%-50%的题目存在"数据污染"风险——即题目或其变体出现在模型的训练数据中。这意味着你在排行榜上看到的分数，混合了"真实能力"和"背诵能力"，而你无法区分。 缺陷二：任务不匹配——评测的是"考试能力"，你需要的是"工作能力" MMLU考的是四选一，但你的客服系统需要生成自然对话。HumanEval考的是写函数，但你的开发团队需要修改整个模块。GSM8K考的是小学数学，但你的数据分析师需要处理复杂的统计推断。 评测基准测的是"在理想条件下回答标准问题的能力"，而你需要的是"在混乱条件下解决真实问题的能力"。 这两个能力之间的差距，就是模型上线后翻车的原因。 缺陷三：语言偏见——英文基准无法衡量中文能力 大多数有影响力的评测基准都是英文的。MMLU、HumanEval、GSM8K、SWE-bench、MATH——全是英文。如果你用这些基准来选择中文场景的模型，你大概率会选错。 一个模型在英文MMLU上得分95%，但在中文CMMLU上可能只有78%。这个17%的差距，就是语言偏见带来的"评测幻觉"。 缺陷四：静态vs动态——基准在老化，模型在进步 GSM8K发布于2021年，当时GPT-3得分35%。2026年，所有模型都超过95%。这个基准已经"死了"，但人们还在用。评测基准的保质期通常只有2-3年，但很多基准被使用了5年以上。 缺陷五：单一分数陷阱——平均数掩盖了分布的真相 “MMLU得分95%“是一个平均数，但它掩盖了重要的分布信息。模型在"高中物理"上可能得分99%，在"大学医学"上可能得分82%。如果你的业务是医学QA，那个95%的平均分对你是误导。 正确的做法：建立自己的评测体系 与其依赖公开排行榜，不如建立自己的评测体系： 从你的业务中提取50-100个真实场景 设计标准化的评测Prompt和评分标准 定期用最新的模型版本进行盲测 关注"尾部表现”（最差的10%场景），而不是平均分 一句话：没有完美的评测基准，只有适合你的评测方法。 排行榜是给你看的，你自己的评测才是给业务用的。

你的第一个评测任务 你是一家在线教育公司的产品经理。你要选一个模型来批改学生作文。你看了LMSYS排名、MMLU分数、各种评测文章——但你还是不知道哪个模型最适合你的场景。 那就自己测。你需要的不是更多排行榜，而是你自己的评测数据。 第一步：定义你的评测维度 评测之前，先想清楚你评价什么。以作文批改为例，你需要定义： 准确性：批改意见是否正确？（权重40%） 完整性：是否覆盖了所有主要问题？（权重25%） 建设性：建议是否具体可操作？（权重20%） 语气：是否会打击学生自信？（权重15%） 评测维度是你业务需求的映射。 如果连你自己都不知道"好"的标准是什么，模型也不知道。 第二步：构建评测数据集 这是最关键的一步。你需要50-100道题目，涵盖你的典型场景。以作文批改为例： 10篇优秀作文（测试模型能否给出恰当的好评） 20篇中等作文（测试模型能否发现具体问题） 15篇有严重问题的作文（测试模型能否识别关键错误） 5篇空白或乱码（测试模型的鲁棒性） 关键原则：评测数据必须来自真实业务，不能用公开数据集。 公开数据集已经被模型"见过"了。 第三步：设计评测Prompt 评测Prompt的设计直接影响结果。三个建议： 标准化：所有模型使用完全相同的Prompt，变量只替换题目内容 系统指令：写明角色、任务、输出格式要求 避免引导：不要暗示"正确答案"，让模型自由发挥 第四步：选择评判方式 对于作文批改这类主观任务，自动化评判不可靠。你需要人工评判。两个实用的方法： 方法一：盲评（Blind Review）。 将不同模型的输出匿名化，随机排列，由评判者打分。这是最公平的方式。 方法二：成对比较（Pairwise Comparison）。 展示两个模型的输出，让评判者选择"哪个更好"。这比单独打分更容易，也更可靠。 方法三：自动评判（Auto-eval）。 对于有标准答案的任务（如数学、代码），用测试用例自动验证。用GPT-5作为"评判模型"来评估其他模型也是一个常见做法，但要小心——评判模型也有自己的偏见。 第五步：分析结果，关注"尾部风险" 不要只看平均分。模型排名可能靠"大多数情况都不错"来获得高分，但"少数情况下的灾难性失败"才是业务中的真正风险。 分析最差的10%案例，问自己：这些失败在业务中是否可接受？如果不能，这个模型不适合你。 成本预算 API调用费用：50题 × 5个模型 × 5000 token/题 × $2-15/1M token = $25-375 人工评判时间：约3-5小时 总成本：100-500元人民币 + 半天时间 花半天时间做自己的评测，比花几个月时间看别人的评测文章更有价值。 你自己的评测数据，才是你业务决策的唯一可靠依据。

一场数学评测的军备竞赛 2023年，GPT-4在AIME（美国数学邀请赛）上的得分不到15%。2024年，GPT-4o得分约30%。2025年，GPT-5的推理模式得分突破60%。2026年，DeepSeek V3在R1模式下得分达到68%。 按这个速度，到2027年，AIME也将步GSM8K的后尘——所有顶级模型得分超过90%，失去区分度。 数学评测正在经历一场"基准通胀"：每年你都需要一个更难的新基准，因为去年的基准已经被"刷爆"了。 为什么数学评测如此重要 在所有AI评测维度中，数学推理是最特殊的一个。代码可以用测试用例自动验证，写作可以靠人工评判，但数学推理被广泛认为是AGI（通用人工智能）的"前哨站"——因为数学需要严格的逻辑推导，无法通过模式匹配和记忆来"蒙混过关"。 但2026年的现实是：模型确实在数学推理上取得了巨大进步，但进步的性质仍有争议。模型是在"做数学"还是在"模仿数学推理的模式"？ 证据：模板匹配还是真实推理？ 我们做了两个实验来区分这两种可能性。 实验一：变量替换。 将AIME题目的数字、名称、场景进行替换，保持数学结构不变。GPT-5的得分从62%下降到55%。一个真正"理解"数学的解题者不应该受到变量命名的干扰。 实验二：步骤重排。 将解答过程的关键步骤打乱顺序，要求模型重新排序。GPT-5的准确率仅48%，而人类数学专业学生的准确率是87%。这说明模型对数学推理的"逻辑顺序"理解并不牢固。 这两个实验表明：模型在数学推理上的进步，很大程度上来自对训练数据中"解题模式"的匹配，而非对数学本身的深刻理解。 终极挑战：形式化证明 数学推理评测的终极目标是形式化证明——要求模型用Lean、Coq等证明助手编写形式化证明，由机器自动验证。 2026年，即使是最强的模型，在形式化证明任务上的成功率也不到10%。形式化证明要求模型：1）理解数学定理的精确含义；2）将非形式化的数学思路转化为形式化步骤；3）在严格的逻辑框架内完成证明。这三个步骤中的每一步都是当前模型的薄弱环节。 形式化证明能力是AGI的"图灵测试"——当一个模型能自主完成数学定理的形式化证明时，真正的通用人工智能就不远了。 在此之前，所有的数学评测分数都只是"接近"而非"到达"。

100万token的承诺 2026年，旗舰模型的上下文窗口已经膨胀到了惊人的数字：Gemini 3 Ultra号称2M token，GPT-5支持1M token，Claude 4 Opus支持500K token。厂商们争相宣传"一次能读完《三体》三部曲"。 但宣传归宣传，实测归实测。我们花了三周时间，用多种长文本评测方法测试了这些模型的"长上下文真实利用率"，结果令人深思。 Needle-in-Haystack：经典但不够 “大海捞针”（Needle-in-Haystack）测试——在长文本中随机插入一条关键信息，看模型能否在回答时准确提取——是长文本评测的经典方法。 GPT-5在1M token的完整上下文窗口内，Needle-in-Haystack的准确率达到99.2%。几乎完美。但问题在于：这个测试太简单了。它只测试"能否找到一段明显不相关的信息"，而不是"能否理解整篇长文本的复杂逻辑"。 就像考试只考"在课本第372页找到作者的名字"——满分不代表你理解了这本书。 RULER：更严格的长文本评测 RULER（2024年由NVIDIA提出）是更全面的长文本评测基准，包含多针检索、多跳推理、聚合问答等更复杂的任务。 在RULER上，模型的表现出现了明显分化。GPT-5在128K token以内表现优秀（综合得分85%+），但在128K-512K区间，得分骤降至62%。超过512K后，得分进一步下降到41%。 Gemini 3 Ultra在长文本上的表现更稳定，在1M token处的综合得分仍保持在68%——这是Google在长上下文架构上的优势。 Claude 4 Opus在500K上限处表现最佳（综合得分72%），但它不支持超过500K的上下文。 关键发现：模型的"有效上下文窗口"远小于其"宣称的上下文窗口"。 厂商宣传的是"理论最大值"，实际可用的是"有效工作区间"——通常只有理论值的30%-50%。 真实长文本任务的三个挑战 挑战一：长文档问答。 给模型一份300页的招股说明书，问它"公司的三大风险因素是什么"。GPT-5和Claude 4 Opus表现良好，Gemini 3 Ultra有时会遗漏重要信息。 挑战二：长代码库理解。 给模型一个5万行代码的仓库，要求它解释架构。所有模型都倾向于"过度概括"——给出宏观正确的回答，但遗漏关键细节。Claude 4 Opus因为Agent模式可以搜索代码库，在这方面表现最好。 挑战三：长对话历史。 模拟一个100轮对话，然后在第101轮提一个需要引用第3轮信息的复杂问题。GPT-5的表现最好，Claude 4 Opus次之，Gemini 3 Ultra有时会"遗忘"早期对话的关键细节。 实用建议 不要被1M token的营销数字迷惑。 在实际使用中： 128K token以内：所有旗舰模型都能胜任 128K-256K：建议使用GPT-5或Gemini 3 Ultra 256K以上：目前只有Gemini 3 Ultra能稳定工作 对于超长文档任务：RAG（检索增强生成）仍然是比直接扔进上下文窗口更可靠的方案

一个生产环境的灾难 某金融科技公司使用AI自动生成贷款审批报告。系统Prompt中明确要求：“输出纯JSON格式，字段名使用snake_case，日期格式为YYYY-MM-DD，不要包含任何注释。” 在测试环境中，GPT-5完美遵循了所有指令。但上线后他们切换到了更便宜的DeepSeek V3以降低成本。三天后，数据处理管道崩溃了——因为DeepSeek V3有时会在JSON外面包裹Markdown代码块，有时会用camelCase，有时日期格式会走样。 这不仅仅是格式问题。在生产环境中，指令遵循失败意味着系统崩溃。 什么是IF-Eval IF-Eval（Instruction Following Evaluation）是Google在2024年发布的评测基准，专门测试模型对格式化指令的遵循能力。它包含25类约束，分为三类： 可验证约束（如：输出必须包含至少3个段落、字数在400-600之间、包含关键词"总结"）——这些可以通过代码自动验证。 格式约束（如：输出JSON格式、使用Markdown表格、列表项目不超过5条）——这些可以部分自动验证。 内容约束（如：语气保持专业、不要使用第一人称、避免使用"非常"等程度副词）——这些需要人工或LLM辅助评判。 五大模型IF-Eval得分与关键发现 GPT-5：92.4%。在可验证约束上几乎完美（97.8%），在格式约束上表现优秀（94.2%），在内容约束上有轻微下降（85.2%）。GPT-5是唯一一个在"不要包含任何注释"这类否定性约束上表现稳定的模型。 Claude 4 Opus：89.7%。在内容约束上表现最好（88.1%），能精准把握"语气专业但不生硬"这类模糊指令。但在格式约束上略逊于GPT-5（91.5%），偶尔会在JSON输出中插入友好的开场白。 Gemini 3 Ultra：84.2%。可验证约束表现不错（93.1%），但格式约束明显偏弱（78.3%）。主要问题：经常忽略"纯文本"要求，在输出中嵌入富文本格式。 DeepSeek V3：82.8%。格式约束是最大短板（74.5%）。在要求"严格JSON"时，约有15%的概率会包裹Markdown代码块。这在生产环境中是一个显著风险。 Llama 4 405B：78.2%。指令遵循是开源模型的结构性弱点。在多层嵌套约束（同时满足5条以上约束）时，成功率骤降至52%。 指令遵循能力的三个关键发现 发现一：约束越多，遵循率越低。 当指令包含1-2条约束时，所有模型遵循率超过90%。当约束增加到5条以上时，GPT-5遵循率降至78%，其他模型更差。你的Prompt越复杂，模型越可能"偷工减料"。 发现二：否定性约束比肯定性约束难。 “包含3个段落"比"不要超过3个段落"容易得多。模型在"不要做什么"上犯错率是"要做什么"的2-3倍。 发现三：格式约束的稳定性比准确性更重要。 一个模型可能90%的时候输出完美JSON，但10%的失败率在生产环境中是不可接受的。指令遵循的评测应该关注"尾部表现”，而不是平均分。 实用建议 如果你需要模型严格遵循格式指令： 使用GPT-5或Claude 4 Opus 在Prompt中多次重申关键约束（“在开头和结尾各强调一次”） 使用结构化输出API（如GPT-5的JSON Mode） 在输出端加一层格式验证和自动重试 指令遵循是2026年最被低估的评测维度。 一个模型"聪明"但"不听话"，在生产环境中比一个"一般聪明但很听话"的模型更危险。

一个表弟的语文作业 我表弟上初中，用GPT-5写了一篇作文，老师的评语是：“内容不错，但读起来像翻译腔。“同样一篇作文，用DeepSeek V3重写，老师给了"A+"。这个细节揭示了中文大模型评测的核心问题：英文评测的王者，不一定是中文场景的最优解。 2026年，我们使用8个中文专有评测基准，对主流模型进行了全面中文能力评测。结果令人震惊——但也完全在情理之中。 八项中文评测，五项国产模型领先 我们的评测基准包括：C-Eval（中文综合知识）、CMMLU（中文多任务理解）、C3（中文阅读理解）、CEval-Math（中文数学）、CLiB（中文语言理解）、CSpider（中文Text-to-SQL）、CLEC（中文法律考试）、Chinese-Medical（中文医学考试）。 在8项评测中，DeepSeek V3在5项上排名第一，通义千问3在2项上排名第一，GPT-5仅在1项（CSpider中文Text-to-SQL）上排名第一。 中文能力的关键差距不在"懂不懂中文”，而在"中文的语感”。 GPT-5的中文表达准确但生硬，成语使用频率低，缺少中文特有的修辞手法（对偶、排比、引用典故）。DeepSeek V3的中文输出则更接近母语者的表达习惯——成语、歇后语、网络流行语信手拈来。 中文评测的三个特殊挑战 挑战一：文言文和古诗词理解。 在C-Eval的文言文理解部分，GPT-5的得分仅61.2%，而DeepSeek V3得分87.5%。这不是语言能力的问题，而是训练数据的问题——中文互联网上的文言文语料远少于英文互联网上的莎士比亚。 挑战二：中文特有的歧义和双关。 “我差点没赶上火车"和"我差点赶上火车"在中文里意思相同，但英文翻译完全不同。这类中文特有的语言现象，在英文主导训练的模型中表现很差。GPT-5在此类测试中错误率高达35%。 挑战三：中文互联网文化。 “你是什么老六"“这波在大气层”——这些网络用语背后是中文互联网独特的文化语境。国产模型在此类测试中全面领先，因为它们的中文训练数据更新、更丰富。 中文能力评测为什么重要 全球有超过14亿中文使用者。如果你的产品面向中文用户，选择一个"英文最强但中文一般"的模型，是在用评测虚荣心换取用户体验。在中文场景下，DeepSeek V3和通义千问3是比GPT-5更好的选择——而且便宜得多。 一个实用的建议：在选模型前，用你自己的中文业务数据做一次小规模评测。50个真实场景的测试题，比任何公开排行榜都更有说服力。