Bengio的"转向"

Yoshua Bengio,深度学习三巨头之一,2018年图灵奖得主,在过去十年里一直是深度学习最坚定的支持者。但在2024-2025年间,他开始公开表达一个观点:纯深度学习不足以实现AGI,神经符号AI是必经之路。

这不是Bengio一个人这么说。Geoffrey Hinton在2023年也开始反思深度学习的局限。Yann LeCun在2025年的一份"通往AGI的路线图"中,将神经符号推理列为关键组件。

为什么深度学习之父们会"转向"神经符号AI?让我们理解他们的逻辑。

深度学习的三个"天花板"

Bengio在2024年的一篇论文中,系统性地总结了深度学习的三个"天花板":

天花板一:分布外泛化(Out-of-Distribution Generalization)

深度学习模型在训练数据分布内表现好,但在分布外表现差。这是深度学习最致命的弱点。

例子: 一个在晴天训练的自动驾驶模型,在雨天表现大幅下降。对人类来说,看到雨天也知道怎么开车。但对深度学习模型来说,雨天是一个"不同的分布"。

Bengio认为,这个问题不能通过更多的数据和更大的模型来解决——它是一种架构性的局限。深度学习学到的是一种"统计关联",而不是"因果结构"。而因果推理需要符号化的因果图。

天花板二:系统性泛化(Systematic Generalization)

人类可以系统性地组合已知概念来解决新问题。例如,如果你学会了"跳"和"两次",你可以理解"跳两次"是什么——即使你从未见过"跳两次"这个组合。

深度学习模型缺乏这种系统性组合能力。Brenden Lake的经典研究(2018)表明,深度学习模型在需要系统性组合的任务上,表现远不如人类——即使模型在单个任务上表现很好。

Bengio认为,系统性泛化需要符号化的表示——将概念表示为离散的符号,然后在符号空间中组合它们。连续的向量表示不适合这种组合。

天花板三:因果推理(Causal Reasoning)

深度学习模型擅长发现"相关性",但不擅长发现"因果性"。如果你告诉一个深度学习模型"吃冰淇淋的人更多"和"溺水的人更多"同时发生,它会认为两者相关,但不会理解它们都是因为"天热"导致的。

因果推理需要因果图——一个符号化的因果结构。Judea Pearl(2011年图灵奖得主)一辈子都在研究因果推理,他认为因果推理离不开符号化的因果图。

Bengio的观点是:AGI需要因果推理能力,而因果推理需要符号化表示。因此,纯神经网络无法实现AGI。

Bengio的神经符号AGI路线图

Bengio在2024年提出了一个"神经符号AGI"的路线图,包含三个关键组件:

组件一:世界模型(World Model)

AGI需要一个内部的世界模型——一个对世界如何运作的因果性理解。这个模型不能只是统计关联(像LLM那样),而需要是因果结构。

Bengio认为,世界模型应该是一个神经符号系统——神经网络负责感知和表示学习,符号系统负责因果推理。

组件二:系统2推理(System 2 Reasoning)

Daniel Kahneman提出了"系统1"(快速、直觉)和"系统2"(慢速、推理)的思维模型。当前的AI模型(包括LLM)主要是系统1——快速、直觉、模式匹配。

AGI需要系统2推理能力——慢速、深思熟虑、逻辑推理。Bengio认为,系统2推理天然是符号化的——它需要显式的推理步骤、逻辑规则和因果结构。

组件三:意识与注意力(Consciousness and Attention)

Bengio认为,AGI需要一种"注意力机制"——能够选择性地关注相关信息,忽略无关信息。当前的注意力机制(如Transformer中的self-attention)是一个良好的开端,但还不够。

他提出的"全局工作空间理论"(Global Workspace Theory)认为,意识本质上是一个"全局工作空间"——一个信息被广播到大脑各个模块的机制。这个机制需要符号化的表示——离散的、可组合的、可传播的信息单元。

争议:Bengio是不是"走偏了"?

Bengio的"转向"在AI社区引发了争议。

支持者认为: 深度学习的局限是真实的。LLM虽然在很多任务上表现惊人,但它们在推理、因果、系统泛化方面的短板是结构性的。Bengio的"神经符号AGI"路线图是合理的。

反对者认为: 更大的模型可以解决这些问题。GPT-4已经展现了一些推理能力,GPT-5和更强的模型可能根本不需要符号推理。Bengio的"转向"是一种"老派AI"的怀旧。

我的看法: 更大的模型确实在提升推理能力上取得了进展,但这是"涌现"的推理,而不是"可靠"的推理。LLM的推理有时是对的,有时是错的——而你不知道什么时候是对的。如果你需要"可靠"的推理(如医疗、法律、工程),你需要符号推理作为保障。

写在最后

Bengio的"转向"不是否定深度学习,而是承认深度学习的局限。他仍然认为神经网络是AI的核心组件,但他认为纯神经网络不足以实现AGI。

神经符号AI不是要取代深度学习,而是要在深度学习的基础上,叠加推理能力。这可能是通往AGI的最现实的路径。


你认为纯深度学习能实现AGI吗?还是需要神经符号AI?欢迎在评论区讨论。