英伟达发布80亿参数新AI模型：精度、效率高，可在RTX工作站上部署

英伟达于8月21日发布了Mistral-NeMo-Minitron 8B小型语言AI模型，这款模型具备高精度和计算效率高等特点，在搭载英伟达RTX显卡的工作站上运行效果更佳。这是英伟达与Mistral AI合作开发的开源Mistral NeMo 12B模型的基础上推出的更小版本。

Mistral-NeMo-Minitron 8B共有80亿个参数，该模型在各种任务的九项流行基准测试中表现优异。这些测试涵盖了语言理解、常识推理、数学推理、总结、编码和生成真实答案的能力。

据悉，Mistral NeMo 12B是通过宽度剪枝和知识蒸馏技术获得的。具体而言，研究人员在一个小型数据集上重新训练了经过剪枝后的模型，并显著提高了准确率。这个过程可以去除对准确率贡献最小的模型权重，从而缩小神经网络结构。

此外，Mistral-NeMo-Minitron 8B的规模也使其成为了一款非常轻巧且高效的语言模型。相比之下，其他大型语言模型通常需要大量的计算资源才能达到类似的性能水平。

英伟达表示，他们将会继续致力于推动人工智能领域的发展，并提供先进的工具和技术来支持研究和应用。此次发布的小型语言模型只是他们努力创新的一部分，未来还会有更多令人期待的成果问世。