一个表弟的语文作业

我表弟上初中,用GPT-5写了一篇作文,老师的评语是:“内容不错,但读起来像翻译腔。“同样一篇作文,用DeepSeek V3重写,老师给了"A+"。这个细节揭示了中文大模型评测的核心问题:英文评测的王者,不一定是中文场景的最优解。

2026年,我们使用8个中文专有评测基准,对主流模型进行了全面中文能力评测。结果令人震惊——但也完全在情理之中。

八项中文评测,五项国产模型领先

我们的评测基准包括:C-Eval(中文综合知识)、CMMLU(中文多任务理解)、C3(中文阅读理解)、CEval-Math(中文数学)、CLiB(中文语言理解)、CSpider(中文Text-to-SQL)、CLEC(中文法律考试)、Chinese-Medical(中文医学考试)。

在8项评测中,DeepSeek V3在5项上排名第一,通义千问3在2项上排名第一,GPT-5仅在1项(CSpider中文Text-to-SQL)上排名第一。

中文能力的关键差距不在"懂不懂中文”,而在"中文的语感”。 GPT-5的中文表达准确但生硬,成语使用频率低,缺少中文特有的修辞手法(对偶、排比、引用典故)。DeepSeek V3的中文输出则更接近母语者的表达习惯——成语、歇后语、网络流行语信手拈来。

中文评测的三个特殊挑战

挑战一:文言文和古诗词理解。 在C-Eval的文言文理解部分,GPT-5的得分仅61.2%,而DeepSeek V3得分87.5%。这不是语言能力的问题,而是训练数据的问题——中文互联网上的文言文语料远少于英文互联网上的莎士比亚。

挑战二:中文特有的歧义和双关。 “我差点没赶上火车"和"我差点赶上火车"在中文里意思相同,但英文翻译完全不同。这类中文特有的语言现象,在英文主导训练的模型中表现很差。GPT-5在此类测试中错误率高达35%。

挑战三:中文互联网文化。 “你是什么老六"“这波在大气层”——这些网络用语背后是中文互联网独特的文化语境。国产模型在此类测试中全面领先,因为它们的中文训练数据更新、更丰富。

中文能力评测为什么重要

全球有超过14亿中文使用者。如果你的产品面向中文用户,选择一个"英文最强但中文一般"的模型,是在用评测虚荣心换取用户体验。在中文场景下,DeepSeek V3和通义千问3是比GPT-5更好的选择——而且便宜得多。

一个实用的建议:在选模型前,用你自己的中文业务数据做一次小规模评测。50个真实场景的测试题,比任何公开排行榜都更有说服力。