ARC挑战：AI的"智商测试"

ARC（Abstraction and Reasoning Corpus）是Francois Chollet在2019年提出的一个基准测试。它不像MMLU那样考知识，而是考推理——给你几组输入输出的网格图案，让你找出规律，然后应用到新的输入上。

听起来很简单？对于人类来说，确实简单。平均正确率在80%以上。但对于AI模型来说，这是噩梦级别的挑战。

2024年，Kaggle举办了一场ARC挑战赛，奖金池110万美元。最高分的纯神经网络方案，准确率只有15%。而同期，人类可以轻松做到80%以上。这个15% vs 80%的差距，正是当前AI在推理能力上的天花板。

我们实测了三种方法

我们选取了ARC的公开测试集（400个任务），分别用三种方法进行测试：

方法一：纯神经网络（CNN基线） 使用标准的CNN架构，在训练集上训练，在测试集上推理。结果：准确率15.7%。这基本就是在"猜测"，模型没有展现出任何真正的推理能力。

方法二：GPT-4 + 链式思维 使用GPT-4o，通过精心设计的提示词，让模型逐步分析规律。结果：准确率32.3%。有明显提升，但仍有大量任务失败。失败的主要原因：GPT-4在空间推理上存在明显短板，经常把颜色或形状搞混。

方法三：神经符号方法（DreamCoder变体） 我们实现了一个定制的神经符号系统：使用神经网络作为"感知模块"来识别图案特征，然后用符号推理引擎（DSL搜索）来合成变换规则。结果：准确率68.5%。

68.5% vs 15.7%。这个差距是本质性的。

神经符号方法为什么行？

神经符号方法的核心优势在于：它将感知和推理拆开了。

神经网络负责"看"——识别网格中的颜色、形状、位置关系。这部分是模糊的、概率性的，神经网络擅长。

符号推理引擎负责"想"——在已经识别出的符号化表示之上，搜索可能的变换规则。这部分是精确的、组合性的，符号方法擅长。

两者结合，就形成了一个完整的推理链条：感知（神经）→ 符号化 → 推理（符号）→ 输出。

纯神经网络的问题是：它试图用一个黑盒同时完成感知和推理。结果就是，它学到了训练数据中的统计模式，但没有形成真正的推理能力。

68.5%意味着什么？

68.5%离人类的80%还有差距，但已经是一个质的飞跃。更重要的是，神经符号方法的错误模式与神经网络完全不同：神经网络的错误是随机的、不可预测的；而神经符号方法的错误通常是"找到了部分正确的规则但没找到全部"，这是可解释、可改进的。

落地启示

这个实验的启示远超ARC本身。如果你的业务场景需要AI进行推理——比如法律分析、医疗诊断、科学发现——那么纯神经网络的方案可能永远不够。神经符号AI提供了一条更可靠的道路。

完整代码和实验数据已开源在GitHub。你可以在评论区获取链接。