一个肯尼亚开发者的愤怒

James是一名肯尼亚的软件开发者。他用斯瓦希里语（东非约1亿人使用的语言）问GPT-5一个简单的编程问题：“Jinsi ya kurekebisha hitilafu ya NullPointerException?"（如何修复NullPointerException错误？）

GPT-5的回答支离破碎，语法错误百出，代码片段中混入了英文注释。同样的问题用英文提问，GPT-5给出了完美的回答。

“不是我不会编程，而是我的语言被AI抛弃了。” James在Twitter上写道。这条推文获得了超过2万次转发。

多语言评测的残酷数据

我们用MGSM（多语言数学推理）、Flores（翻译质量）、XQuAD（跨语言问答）和Belebele（多语言阅读理解）等基准，对主流模型进行了多语言能力评测。

GPT-5的多语言表现：

  • 英文：95.7%（MMLU）
  • 中文：82.9%（CMMLU）
  • 日文：78.3%
  • 阿拉伯语：73.1%
  • 斯瓦希里语：41.2%
  • 冰岛语：38.7%

从英文到斯瓦希里语，GPT-5的能力下降了57%。 这不是GPT-5独有的问题——所有以英文为主训练语言的模型都存在类似的多语言能力衰减。

DeepSeek V3在中文上表现最好，但在非中英语言上同样大幅衰减。Gemini 3 Ultra得益于Google的多语言训练数据，在覆盖语言数量上最多（支持约100种语言），但在低资源语言上的质量仍然不高。

为什么多语言评测如此重要

全球有约7000种语言，但AI模型有效支持的语言不到20种。这意味着全球约60%的人口（约48亿人）无法用母语获得高质量的AI服务。

这不仅仅是公平问题，也是商业问题。非洲、东南亚、南亚是全球互联网增长最快的市场，但AI服务在这些地区的质量远低于欧美市场。第一个解决多语言问题的AI公司，将赢得下一个十亿用户。

多语言评测的三大挑战

挑战一：缺乏评测基准。 大多数评测基准只有英文版。MMLU有英文版，但斯瓦希里语版MMLU不存在。没有基准，就无法评测；无法评测，就无法改进。

挑战二：翻译不等于本地化。 将英文评测基准翻译成其他语言，不等于创建了该语言的评测基准。文化背景、常识、价值观的差异，使得直译的评测题在很多文化中不适用。

挑战三：多语言不等于多文化。 即使模型能流利地说100种语言，它可能仍然以"西方视角"回答所有问题。真正的多语言能力，应该包含对不同文化视角的理解和尊重。

2026年，多语言评测是AI评测领域最大的空白。 谁填补了这个空白，谁就掌握了AI全球化的下一个关键节点。