浪潮信息发布源2.0-M32大模型 4bit / 8bit 量化版：号称性能媲美 LLaMA3

浪潮信息近日发布了源2.0-M32大模型的4bit和8bit量化版。这款大模型在性能上号称能够与700亿参数的开源大模型LLaMA3媲美。据悉，这款4bit量化版的大模型在推理运行时只需显存23.27GB，并且处理每个token所需算力约为1.9 GFLOPs，而消耗仅为同等当量大模型LLaMA3-70B的1/80。

据浪潮信息介绍，这款源2.0-M32量化版是为了进一步提高大模型的计算效率、降低部署运行所需的计算资源而推出的版本。他们将原模型精度降级至int4和int8级别，但保持了模型性能基本不变。

该源2.0-M32大模型是“源”系列大模型最新版本之一，“构建包含32个专家（Expert）混合专家模型（MoE）”，运行时激活参数为37亿。评测结果显示，在MATH（数学竞赛）和ARC-C（科学推理）任务中，其性能超过了700亿参数的LLaMA3大模型。

目前，这款源2.0-M32量化版已经开源，用户可以通过Hugging Face平台或modelscope平台进行下载。