AGI测试接近解决，但其设计可能存在缺陷

ARC

一项备受瞩目的人工通用智能（AGI）测试正在取得显著进展，但它的创建者们却表示这或许反映了测试设计上的不足，而非实际的科研突破。2019年，AI领域的领军人物Franois Chollet推出了名为ARC-AGI的基准测试，旨在评估AI系统能否有效地获取新技能，而不仅仅依赖于训练数据。据称，这是唯一一个能够衡量向通用智能进步的AI测试，尽管其他类似的提议也已经出现。

在过去的几年里，即便是最优秀的AI模型也只能解决不到三分之一的ARC-AGI任务。Chollet认为，这是因为行业过分关注大型语言模型（LLMs），这些模型主要依靠记忆模式进行预测，缺乏真正的推理能力。“如果需要大量样本来学习可重复使用的表示，那么实际上是在记忆。”Chollet曾在社交媒体上评论道。

为了激励更多元化的AI研究，今年6月，Chollet与Zapier的联合创始人Mike Knoop发起了价值100万美元的竞争，鼓励开发开源AI来挑战ARC-AGI。在这次比赛中，最佳提交结果达到了55.5%，比去年提升了约20个百分点，但仍未能达到85%的人类水平阈值。

然而，Knoop指出，这种提升并不意味着我们距离实现AGI更近了。相反，许多参赛作品通过“暴力破解”的方式找到了解决方案，表明ARC-AGI中的部分任务可能没有提供足够的信号来推动通向真正智能的进步。因此，Chollet和Knoop计划发布第二代ARC-AGI基准测试，并在明年继续举办竞赛，以期解决现有问题并加速AGI的研究进程。