英伟达与Meta发布Llama-3.1-Minitron 4B AI模型

8月17日，英伟达公司与Meta公司联合发布了最新的Llama-3.1-Minitron 4B AI模型。这款AI模型采用了尖端技术，包括结构化权重剪枝和知识提炼等，成功地将40亿参数的大型模型“小而强”。

在Llama-3.1-Minitron 4B模型上，英伟达使用了结构化剪枝技术，在深度和宽度方向上进行了优化。具体来说，他们通过删除网络中不那么重要的层或神经元来实现深度剪枝，并将其从8B模型缩减为4B模型；同时，还采用了一种叫做嵌入维度修剪的技术，在MLP（多层感知机）中的中间层进行宽度剪枝。

除了这些优化方法之外，Nvidia还采用了经典蒸馏技术来提高Llama-3