摩尔线程开源AI框架，大幅提升大模型训练效率

字数 1342，阅读大约需 7 分钟

深度计算领域迎来重大突破！摩尔线程开源两大AI框架提升大模型训练效率

摩尔线程今日宣布正式开源两大AI框架——MT-MegatronLM^[1]与MT-TransformerEngine^[2]，这标志着国产GPU在大模型训练效率方面实现了显著提升，达到了惊人的90%以上。此次开源的两大框架专为全功能GPU量身打造，通过采用FP8混合精度训练策略、高性能算子库muDNN及通信库MCCL的深度融合，不仅支持多种类型模型的高效训练，还大幅降低了计算密集型任务的开销，优化了大规模训练的稳定性和效率。

其中，MT-MegatronLM专注于满足多样化模型架构的训练需求，支持dense模型、多模态模型及MoE（混合专家）模型的高效训练，能够灵活应对不同模型架构的复杂运算场景。而MT-TransformerEngine则致力于Transformer模型的优化，通过算子融合、并行加速策略等技术，有效释放了摩尔线程全功能GPU高密度计算的潜力，显著提升了memory bound算子的效率。

这两大框架的技术突破主要体现在硬件适配与算法创新的深度协同。首先，它们支持多种类型模型的混合并行训练；其次，结合摩尔线程GPU原生支持的FP8混合精度训练策略，有效提升了训练效率；第三，通过高性能算子库muDNN与通信库MCCL的深度集成，系统性优化了计算密集型任务与多卡协同的通信开销；同时，结合开源Simumax库，能够自动进行并行策略搜索，并针对不同模型和加速环境最大化并行训练性能；此外，框架内置的rewind异常恢复机制可自动回滚至最近稳定节点继续训练，大幅提升了大规模训练的稳定性；最后，两个框架兼容GPU主流生态，既保障了现有生态的平滑迁移，也为开发者构建自有的AI技术栈提供了底层支撑。

在实际应用中，这两大框架的表现令人印象深刻。在全功能GPU集群上，Llama38B模型的训练任务利用FP8技术在loss几乎无损的情况下，MFU（模型吞吐利用率）竟能达到90%以上，相比原来提升了28%的训练速度。此外，摩尔线程已深度集成并开源对DeepSeek并行算法DualPipe的高效支持，MT-DualPipe完整接入MT-Megatron框架和MT-TransformerEngine框架后，成功实现了DeepSeek V3训练流程的完整复现，支持MLA、MTP及多种专家平衡策略。通过多种Transformer算子融合技术，这些框架显著提升了内存带宽利用率，有效缓解了memory bound瓶颈，进一步释放了国产GPU的硬件潜力。

摩尔线程表示将持续优化这两大框架，并计划引入一系列新功能：包括Dual Pipe/ZeroBubble并行策略以进一步降低气泡率，提升并行训练效率；多种独创的FP8优化策略以提高训练的性能和稳定性；异步checkpoint策略以提高训练过程中的容错能力和效率；优化后的重计算策略以减少计算和显存开销，提高训练速度；独创的容错训练算法以增强训练过程中的容错能力；以及集成摩尔线程FlashMLA和DeepGemm库以进一步释放摩尔线程GPU的算力和FP8计算能力，全面提升计算性能和效率。

这一系列技术突破与开源举措，不仅展示了摩尔线程在AI算力领域的实力，更为国产AI基础设施的发展开辟了新的可能性。根据IDC发布的《2024年中国人工智能基础设施市场分析报告》，国产GPU在AI训练领域的市场份额正在迅速增长，摩尔线程作为其中的领军企业，其技术实力和创新能力得到了业界的广泛认可。随着MT-MegatronLM和MT-TransformerEngine的开源，更多的开发者和企业将能够利用这些先进的框架来提升他们的AI模型训练效率，推动整个行业的快速发展。

此外，摩尔线程还积极与全球顶尖的AI实验室、初创企业和投资机构合作，共同探索AI算力的新边界。根据Gartner的预测，到2026年，全球AI基础设施市场规模将达到1.2万亿美元，其中国产GPU的市场份额有望达到30%以上。摩尔线程作为国产GPU的代表企业，其在AI领域的持续创新和突破，将为全球AI基础设施的发展注入新的活力。