一个AI助手的"谎言日记"

我们用GPT-5连续工作了100小时，录下了它所有的"事实错误"——不是故意的欺骗，而是那些听起来很有道理但并不正确的陈述。结果令人不安：平均每100个回答中，有8-12个包含可验证的事实错误。

在创意写作中，幻觉可能无关紧要。但当一个医生用AI辅助诊断，一个律师用AI检索案例，一个投资者用AI分析财务数据时——12%的错误率意味着灾难。

三大幻觉评测基准

TruthfulQA：包含817道问题，涵盖常识、科学、历史、法律等领域，专门设计用来诱导模型产生"常见的误解"。GPT-5得分76.2%，Claude 4 Opus得分78.5%，Gemini 3 Ultra得分72.1%。

但TruthfulQA有一个问题：它只测试"是否选择了正确的答案"，不测试"是否主动编造了错误信息"。模型在TruthfulQA上得分高，可能是因为它学会了"遇到不确定的问题就拒绝回答"——这提升了分数，但降低了实用性。

HaluEval：测试模型在对话、摘要、QA等场景中的幻觉率。GPT-5的幻觉率约为8.3%，Claude 4 Opus为7.1%，DeepSeek V3为11.5%。

FELM（Factual Error in Language Models）：由NVIDIA开发，测试模型在不同领域（科技、医疗、金融、法律）的事实准确性。在金融领域，所有模型的幻觉率都明显高于其他领域——因为金融数据变化快，模型的训练数据通常滞后3-6个月。

幻觉的三种类型

类型一：记忆错误（60%）。 模型"记得"一个事实，但记错了。例如，“爱因斯坦出生于1879年3月14日"被记成"1879年3月15日”。这类错误来自训练数据中的噪声。

类型二：推理幻觉（25%）。 模型在推理过程中产生了错误的中间结论，并基于此得出了错误的最终答案。这类错误难以通过简单的"事实检查"来发现。

类型三：编造（15%）。 模型在不知道答案时，不是承认不知道，而是编造了一个听起来合理的答案。例如，编造一个不存在的论文引用、一个虚构的历史事件。

为什么2026年幻觉问题没有解决

幻觉不是bug，而是大模型的特性。 大语言模型本质上是一个概率分布的采样器，它生成"最可能的下一个token"，而不是"最真实的下一个token"。这种生成机制决定了幻觉不可能被完全消除。

RAG（检索增强生成）可以大幅降低幻觉率——通过将回答建立在检索到的文档上。但RAG也有自己的问题：检索到的文档本身可能包含错误信息，或者模型可能错误地理解和使用检索到的文档。

2026年，幻觉率从2023年的约20%降低到了约8%，但剩下的8%是最难消除的。 对于高可靠性场景（医疗、法律、金融），即使1%的幻觉率也是不可接受的。在这些场景中，AI应该是"辅助工具"而不是"独立决策者"。