弗朗索瓦·肖莱的AGI基准测试之旅

ARC-AGI

前谷歌工程师、颇具影响力的AI研究员弗朗索瓦·肖莱正在共同创立一个非营利组织——ARC奖基金会，以助力开发能检测AI是否具备“人类水平”智能的基准测试。该组织将由前Salesforce工程总监以及AI产品工作室Leverage的创始人格雷格·卡姆拉特领导，卡姆拉特将担任基金会主席和董事会成员，基金会将于1月下旬启动筹款活动。

ARC奖基金会将拓展ARC-AGI，即“通用人工智能抽象与推理语料库”。肖莱在2019年推出了ARC-AGI，它由一系列谜题式的任务组成，AI需要从不同颜色方块的集合中生成正确的“答案”网格，以此来评估AI系统能否在训练数据之外高效获取新技能。许多AI系统能在数学奥林匹克竞赛中取得优异成绩，并找出博士水平问题的潜在解决方案，但直到今年，表现最佳的AI在ARC-AGI任务中也只能解决不到三分之一的问题。

去年6月，肖莱和Zapier的联合创始人迈克·努普发起了一项竞赛，旨在打造能够超越ARC-AGI的AI。OpenAI的未发布的o3模型率先获得了合格分数，但使用了极其庞大的算力。肖莱明确表示，ARC-AGI存在缺陷，因为许多模型能够通过暴力计算获得高分，并且他认为o3并不具备人类水平的智能。努普表示，计划在今年的第一季度推出第二代ARC-AGI基准测试以及一项新的竞赛，ARC奖基金会还将着手设计ARC-AGI的第三版。

ARC奖基金会在社交网络上的一系列帖子中表示，它还将建立一个“学术网络”以推动AGI的进展和评估，并组建一个“前沿AI实验室合作联盟”，就行业AGI基准进行合作。