OpenAI
不仅备受瞩目的OpenAI下一代模型“猎户座”（Orion）遇到了发展难题，据彭博社报道，谷歌和OpenAI的竞争者——明星人工智能初创公司Anthropic，在先进AI模型的开发上也遭遇了瓶颈。
根据彭博社11月13日的报道，OpenAI于今年9月完成了猎户座的第一轮训练，期望该模型能够显著超越之前的版本，向实现AI超越人类的目标迈进。然而，猎户座的表现并未达到公司的预期，例如在处理未训练过的编码问题时，其表现不尽如人意。
总体来看，相较于GPT-4对GPT-3.5的显著提升，猎户座与OpenAI现有模型之间的进步显得较为有限。报道还指出，谷歌即将推出的Gemini更新版本未能达到内部标准，而Anthropic则推迟了Claude模型3.5 Opus的发布计划。
这些公司面临的主要挑战在于，随着高质量训练数据的逐渐减少，进一步提高模型性能变得愈发困难。即便是微小的性能提升，也可能无法证明构建和运行新模型所需的巨大成本是合理的，或是满足市场对重大升级的期待。
这些瓶颈挑战了AI领域的核心信念——Scaling law，即大型模型的最终性能主要取决于计算量、模型参数量和训练数据量，而与模型的具体架构（层数、深度、宽度等）关系不大。尽管微软首席技术官Kevin Scott在今年7月仍坚持认为Scaling law有效，但OpenAI最近的发现直接挑战了这一观点。
面对这些挑战，OpenAI正在探索新的方法来改善模型性能，比如增加更多的代码编写功能，并开发能够接管个人电脑执行任务的软件。此外，OpenAI组建了一支专门团队，由前预训练负责人Nick Ryder领导，专注于优化有限训练数据的使用和调整扩展策略，以维持模型改进的稳定性。
针对彭博社的报道，谷歌DeepMind发言人表示对Gemini的进展感到满意，并承诺会在合适时机分享更多信息。OpenAI和Anthropic均未对此发表评论，但Anthropic在其博客中提到，CEO Dario Amodei认为所谓的‘Scaling law’并非普遍适用，未来几年可能有多种因素影响AI的发展，但他对未来持乐观态度。
对此，企业级AI解决方案提供商NossonAI的创始人Nosson Weissman评论道，尽管报道中提到的挑战确实存在，但这并不意味着AI领域的发展停滞。Weissman认为，媒体往往倾向于夸大事实，以吸引注意力。
