惊!不到50美元打造OpenAI推理模型开源竞品

AI快讯2个月前发布 freeAI
0

字数 1339,阅读大约需 7 分钟

惊!不到50美元打造OpenAI推理模型开源竞品
OpenAI是人工智能研究实验室和技术公司,致力于以安全和有益的方式推进人工智能,开发了如GPT系列语言模型等,在自然语言处理、对话系统等多个领域有广泛应用,推动AI技术发展并提供相关服务和产品。

科研人员以不到50美元打造OpenAI推理模型的开源竞品

近日,一项令人瞩目的研究成果在人工智能领域引起轩然大波。上周五发布的一篇新研究论文显示,来自斯坦福大学和华盛顿大学的人工智能研究人员成功以不到50美元的云计算积分,训练出一款AI “推理” 模型。这款名为s1的模型[1],在衡量数学和编码能力的测试中,展现出与前沿推理模型,如OpenAI[2]的o1以及DeepSeek的R1相媲美的性能 。目前,s1模型连同训练它的数据和代码均已在GitHub上开源。

技术实现:站在巨人肩膀上的创新

研究团队表示,他们从阿里巴巴旗下中国AI实验室Qwen的一个现成小型基础模型起步,该模型可免费下载。随后通过蒸馏技术对其进行微调。蒸馏是一种从其他AI模型中提取 “推理” 能力的过程,具体做法是基于该模型的答案进行训练。研究人员透露,s1模型的蒸馏源是谷歌的推理模型Gemini 2.0 Flash Thinking Experimental。

为了训练s1,研究人员精心策划了一个仅包含1000个问题的数据集,这些问题不仅配备了答案,还包含了源自谷歌Gemini 2.0 Flash Thinking Experimental每个答案背后的 “思考” 过程。借助16个英伟达H100 GPU,研究人员在不到30分钟的时间内完成了s1的训练。训练后的s1在某些AI基准测试中表现出色。斯坦福大学参与该项目的研究人员Niklas Muennighoff表示,如今租用所需的计算资源大约只需20美元。

此外,研究人员还采用一个巧妙方法,让s1对其工作进行二次检查并延长 “思考” 时间,即通过在s1推理过程中加入 “wait(等待)” 一词,帮助模型得出更准确的答案。

引发的行业震荡与思考:AI模型商品化的挑战

对于一些人而言,少数没有雄厚资金支持的研究人员仍能在AI领域实现创新,这无疑令人振奋。然而,s1模型的出现,也引发了有关AI模型商品化的深刻质疑。如果有人能用相对微薄的资金,近乎复制出价值数百万美元的模型,那么大型AI实验室的竞争优势究竟何在?

大型AI实验室对此并不满意。此前,OpenAI就曾指责DeepSeek为了模型蒸馏,从不正当途径获取其API数据。而此次s1模型的诞生,再次凸显了这一行业困境。

从技术路线上看,s1模型的论文指出,通过一种名为监督微调(SFT)的过程,推理模型可以使用相对较小的数据集进行蒸馏。在监督微调过程中,AI模型被明确指导模仿数据集中的特定行为。相比之下,DeepSeek为了训练与OpenAI的o1模型竞争的R1模型,采用的大规模强化学习方法成本更高。

谷歌虽然通过其Google AI Studio平台免费提供Gemini 2.0 Flash Thinking Experimental的访问权限,但设置了每日使用限制,并且其使用条款禁止通过逆向工程开发与其自身AI产品竞争的服务。

行业发展趋势:巨额投入与创新的博弈

据相关数据显示,2025年,Meta、谷歌和微软计划在AI基础设施上投入数千亿美元,部分资金将用于训练下一代AI模型。如此大规模的投资,在推动AI创新方面必不可少。尽管蒸馏技术已被证明是一种低成本重现AI模型能力的有效方法,但它并不能创造出比现有模型有质的飞跃的全新AI模型。

在AI初创企业领域,也有不少通过低成本创新实现突破的案例。例如,某初创企业凭借独特的算法优化,在有限预算内提升了图像识别模型的性能,成功获得新一轮融资。还有初创企业利用开源框架和创新的训练方法,打造出具有竞争力的自然语言处理模型,在市场上崭露头角。

近年来AI领域竞争愈发激烈,大型科技公司凭借雄厚资金和资源优势不断投入研发,小型团队和初创企业则通过创新技术路线和低成本策略寻求突破。在这种背景下,s1模型的出现为行业发展注入新变量,也让人们重新审视AI模型研发的成本与价值关系。

引用链接

[1] s1的模型: https://github.com/
[2] OpenAI: https://openai.com/

© 版权声明

相关文章

暂无评论

暂无评论...