英特尔至强和AI PC等产品为Meta Llama 3生成式AI工作负载提供加速

中关村在线消息，Meta今日推出其下一代大语言模型（LLM）——Meta Llama 3。在发布的第一时间，英特尔即优化并验证了80亿和700亿参数的Llama 3模型能够在英特尔至强处理器、英特尔Gaudi加速器、英特尔酷睿Ultra处理器和英特尔锐炫显卡的AI产品组合上运行。

英特尔副总裁兼人工智能软件工程总经理李炜表示：“英特尔一直积极与AI软件生态系统的领先企业展开合作，致力于提供兼具性能与易用性的解决方案。Meta Llama3是AI大语言模型重要迭代的新一浪潮。作为AI软硬件产品技术创新的引领者，英特尔很开心能够与Meta合作，充分挖掘诸如Llama3等模型的潜力，助力生态伙伴开发领先的AI应用。”

重要意义：秉承推动AI无处不在的愿景，英特尔持续深耕软件和AI生态，以确保其产品能够满足AI领域持续变化的创新需求。在数据中心，集成英特尔高级矩阵扩展加速引擎（Intel AMX）的英特尔至强处理器和英特尔Gaudi能够为满足客户不断变化、多元化的需求提供更多选择。

英特尔酷睿Ultra处理器和英特尔锐炫显卡不仅为开发者提供了本地开发工具，也为在数百万台设备上进行部署提供全面的软件框架和工具支持。其中，包括PyTorch和用于本地研发的英特尔PyTorch扩展包，以及用于模型开发和推理的OpenVINO工具包等。

在英特尔产品上运行Llama 3：英特尔初步测试和评估80亿和700亿参数的Llama 3模型在自身产品上的性能时，使用了包括PyTorch、DeepSpeed、英特尔Optimum Habana库和英特尔PyTorch扩展包在内的开源软件，并提供最新的软件优化。

英特尔至强处理器能够运行严苛的端到端AI工作负载，同时为了降低延迟，英特尔也通过技术创新来优化大语言模型的推理性能。配备性能核的英特尔至强6处理器（代号Granite Rapids）在运行80亿参数的Llama 3模型推理时，延迟比第四代英特尔至强处理器表现出两倍的提升，并且能够以低于100毫秒的token延迟运行700亿参数的Llama 3模型推理。

英特尔Gaudi 2加速器在70亿、130亿和700亿参数的Llama 2模型上具备优化的性能，现在其基于全新的Llama 3模型也有了初步性能测试。随着英特尔Gaudi软件的更新，英特尔能够轻松运行新的Llama 3模型，并为推理和微调生成结果。近期发布的英特尔Gaudi 3加速器也支持运行Llama 3。

英特尔酷睿Ultra和英特尔锐炫显卡在运行Llama 3时亦展现出卓越的性能。在初步测试中，英特尔酷睿Ultra处理器已经展现出远高于人类通常阅读速度的输出生成性能。此外，英特尔锐炫A770显卡具备Xe内核中的全新矩阵引擎（Xe Matrix eXtensions，XMX）AI加速和16GB显存，进一步为大语言模型工作负载提供卓越性能。

未来，Meta将增加新的能力、更多模型尺寸以及增强的性能。英特尔也将持续提升自身AI产品性能，以支持这一全新的大语言模型。