AI大模型‘缩放定律’遇瓶颈,推理技术能否成为破局关键?

AI头条3个月前发布 freeAI
0
AI大模型‘缩放定律’遇瓶颈,推理技术能否成为破局关键?

OpenAI

大模型预训练‘缩放定律’定律失效?模型推理成‘解药’,英伟达一家独大格局要变天?

在‘缩放定律’的指导下,AI大模型预训练正面临前所未有的挑战。近期,据路透社报道,硅谷主要AI实验室的新模型训练计划普遍进展不顺,新模型训练不仅遭遇拖延,而且结果令人失望。例如,OpenAI的Orion几乎没有任何改进,而谷歌的Gemini 2.0也遇到了相似的问题。

为了克服这些瓶颈,OpenAI正积极探索‘训练时计算’(training runs)技术,旨在让模型能够以多步骤的方法思考问题,从而提高其表现。据报道,这项技术的应用最终促成了OpenAI发布o1模型,标志着AI模型发展的一个新方向。

这可能预示着AI硬件市场竞争格局的重大变化。截至目前,AI硬件市场主要由对英伟达训练芯片的巨大需求主导。然而,如果通过增加训练时间和推理时间,模型可以获得更好的结果,那么新一代模型可能不再需要如此庞大的参数量,较小的模型将直接降低总体成本。这可能导致市场需求从大规模预训练集群转向推理云,英伟达在推理芯片市场可能面临更多竞争。

‘缩放定律’正面临前所未有的挑战。据科技媒体The Information报道,OpenAI开发的下一个旗舰模型Orion,虽然已完成了20%的训练,但其进步幅度远不如前两代旗舰模型之间的飞跃。尽管在语言任务上的表现有所改善,但在编码等任务上,Orion的表现可能不会优于之前的模型。同时,OpenAI在数据中心运行Orion的成本可能更高。

Orion的进展放缓直接挑战了AI领域一直遵循的‘缩放定律’,即在数据量和计算资源不断增加的情况下,模型性能将持续显著提升。OpenAI的前联合创始人Ilya Sutskever在接受采访时表示,通过在预训练中使用更多的数据和算力,让AI模型性能暴涨的时代可能已经结束。他提到,现在更重要的是‘扩大正确的规模’,并透露其团队正在研究新的方法来扩展预训练。

尽管如此,OpenAI极力否认AI模型训练面临瓶颈。OpenAI的研究科学家Noam Brown表示,AI的发展短期内不会放缓,而OpenAI CEO Sam Altman则认为AGI的发展路径已经清晰,事情的发展速度将比人们预期的要快得多。

OpenAI的Adam GPT指出,大模型的‘缩放定律’和推理时间的优化是相辅相成的。即使其中一个维度放缓,也不意味着AI整体发展的停滞。扎克伯格、Sam Altman以及其他AI开发商的首席执行官均公开表示,他们尚未触及传统‘缩放定律’的极限,因此OpenAI等公司仍在建设昂贵的数据中心,以进一步提升预训练模型的性能。

‘测试时计算’技术可能成为破局的关键。多位AI科学家、研究人员和投资者认为,正是这些技术推动了OpenAI发布o1模型。通过在推理阶段增强模型,使其能够在面对复杂任务时进行多步骤思考,这种技术允许模型将更多的处理能力用于数学、编码等挑战性任务以及需要类人推理和决策的操作。

如果这项技术得以广泛应用,它不仅将为AI模型的发展开辟新道路,也可能打破英伟达在AI硬件市场的垄断地位。其他科技巨头如Anthropic、xAI和Google DeepMind等也在积极开发自己的‘训练时计算’技术,这可能引发新一轮的创新竞赛。

© 版权声明

相关文章

暂无评论

暂无评论...