标签:月之暗面
Moonlight与Muon优化器:语言模型训练效率的革命性突破
月之暗面联手UCLA推出的Mixture-of-Expert新模型Moonlight,通过创新的Muon优化器解决了大型语言模型训练中的多项挑战。Muon优化器基于牛顿-舒尔茨迭代法实现...
突破万亿参数瓶颈:Muon优化器引领AI训练新纪元
本报告深入解析了当前大规模语言模型训练中AdamW优化器在万亿级参数规模下遇到的性能瓶颈,并介绍了由月之暗面团队研发的Muon优化器。该优化器通过创新的架构...
月之暗面Kimi:投流暂停,剑指底层模型
本文聚焦月之暗面(Moonshot AI)旗下Kimi项目战略转变,此前激进投流获客,现因自然增长契机,暂停大规模投流,将战略重心转至底层模型研发,计划重新训练基...
月之暗面推kimi-latest,抢先体验超强AI模型
2月18日,月之暗面科技在Kimi开放平台推出kimi - latest模型。该模型紧跟Kimi智能助手最新模型同步升级,具实时同步、灵活上下文长度与丰富功能等亮点。适用...
Kimi广告预算骤减,如何应对DeepSeek挑战?
本文聚焦月之暗面公司AI产品Kimi,其广告预算大幅削减,安卓渠道推广暂停且终止与第三方广告平台合作。与之对比,DeepSeek崛起,日活用户达3500万,给Kimi带...
月之暗面解密o1:Long – CoT开启模型思考新路径
月之暗面研究员Flood Sung发表万字长文,披露k1.5模型研发思路并反思OpenAI o1模型技术启示,强调Long - CoT重要性。文中介绍其前期验证成果,对比Long - CoT...