Meta发布Llama 4系列:AI模型的新纪元,混合专家架构引领未来

AI快讯2个月前发布 freeAI
0

字数 1064,阅读大约需 6 分钟

Meta发布Llama 4系列:AI模型的新纪元,混合专家架构引领未来
Meta(前身为Facebook, Inc.)是一家致力于开发社交技术以连接人与信息的全球性科技公司。Meta通过其一系列产品和服务,包括Facebook、Instagram、WhatsApp等,为数十亿用户提供沟通、表达和探索世界的平台。

Meta发布Llama 4系列AI模型:混合专家架构与全球影响

Meta最新发布的Llama 4系列AI模型,包括Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth,标志着该公司在人工智能领域取得了新的里程碑。这一系列模型利用混合专家(MoE)架构,显著提升了计算效率,并在代码总结、创意写作和数学问题解决等复杂任务中展现出突破性进展。

Llama 4系列的独特优势

Maverick模型:创意写作的得力助手

Maverick模型拥有4000亿总参数,但仅激活170亿参数,分布在128个“专家”中。这种设计使其在通用助理和聊天场景中表现出色,尤其是在创意写作方面。根据Meta的内部测试,Maverick在编码、推理、多语言、长上下文和图像基准测试中超越了OpenAI的GPT-4o和Google的Gemini 2.0等模型。

Scout模型:超长文档处理专家

Scout模型则以其惊人的超长文档处理能力而脱颖而出。它拥有1090亿总参数,激活170亿参数,分布在16个“专家”中,并具备1000万token的上下文窗口。这意味着Scout可以处理包含数百万单词的文档,为文档摘要和大型代码库的推理任务提供了强大的支持。

Behemoth模型:即将登场的巨无霸

虽然Behemoth模型仍在训练中,但Meta透露其拥有2880亿激活参数、16个“专家”和近2万亿总参数。内部基准测试显示,Behemoth在STEM技能评估(如数学问题解决)中超越了GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro等模型。

全球可用性与限制

Llama 4系列模型已在全球40个国家的Meta AI助手(包括WhatsApp、Messenger和Instagram)中得到应用。然而,由于欧盟的AI和数据隐私法律要求,欧盟用户无法访问这些模型。此外,对于月活跃用户超过7亿的公司,Meta要求其申请特殊许可证,并保留是否授予许可证的最终决定权。

应对争议话题的调整

为了应对关于AI偏见的广泛讨论,Meta对Llama 4系列模型进行了调整,使其更少拒绝回答“有争议”的问题。Meta表示,Llama 4能够回应之前版本回避的政治和社会话题,并提供更加平衡和公正的回答。这一调整旨在确保模型能够提供有帮助、客观的回答,而不带主观判断。

技术亮点与行业影响

Llama 4系列模型采用的混合专家(MoE)架构是其技术亮点之一。这种架构将数据处理任务分解为子任务,并分配给专门的“专家”模型,从而提高了训练和查询的计算效率。此外,Llama 4系列在处理复杂任务方面的突破性进展,以及对争议话题的调整,都将对科技界乃至整个社会产生深远影响。

根据行业报告,开放模型的成功(如中国AI实验室DeepSeek的模型,其性能与Meta之前的旗舰Llama模型相当或更优)促使Meta加快了Llama系列的开发进程。Meta reportedly组建了“作战室”来研究DeepSeek如何降低了运行和部署模型(如R1和V3)的成本。

© 版权声明

相关文章

暂无评论

暂无评论...