英伟达发布了开源大型语言模型（LLM）Nemotron-4 340B模型家族

英伟达发布了开源大型语言模型（LLM）Nemotron-4 340B模型家族，这一模型家族包含了基础模型（Base）、指令模型（Instruct）和奖励模型（Reward）三个版本。

Nemotron-4 340B模型具有3400亿参数，在NVIDIA开放模型许可协议下开放访问，允许分发、修改和使用这些模型及其输出。模型采用了Transformer架构，并引入了旋转位置嵌入（RoPE）优化算法和MOE（Mixture of Experts）架构，这些技术的结合使得Nemotron-4 340B在常识推理任务以及BBH等主流基准上实现了行业最高的准确率，并且在MMLU代码基准上也具备较高竞争力。

此外，开发人员可以使用该系列模型生成合成数据，用于训练大型语言模型，这些模型可用于医疗保健、金融、制造、零售和其他行业的商业应用。开发人员很快可以在ai.nvidia.com上访问这些模型，它们将被打包为NVIDIA NIM微服务，并带有可在任何地方部署的标准应用程序编程接口。