Arm计算平台加持，全新Llama 3.2 LLM实现AI推理的全面加速和扩展

人工智能(AI)的迅猛发展意味着大语言模型(LLM)的新版本不断推陈出新。要充分发挥AI的潜力并抓住其带来的机遇，需要实现LLM从云端到边缘侧的广泛部署，而这也伴随着对计算和能源需求的大幅增长。整个生态系统正携手寻找应对这一挑战的解决方案，不断推出新的更加高效的开源LLM，以便大规模实现各种AI推理工作负载，加快为用户带来全新、快速的AI 体验。

为此，Arm与Meta展开紧密合作，在Arm CPU上启用新的Llama 3.2 LLM，集成开源创新与Arm计算平台的优势，显著推进了解决AI挑战的进程。得益于Arm的持续投资及与新型LLM的合作，Arm CPU运行AI的优势在生态系统中脱颖而出，使Arm成为AI推理开发者的首选平台。

加速云到边缘侧的AI性能

小型LLM（如Llama 3.2 1B和3B）能够支持基于文本的基础生成式AI工作负载，对于大规模AI推理的实现至关重要。通过Arm CPU优化内核在Arm技术驱动的移动设备上运行新的Llama 3.2 3B LLM，可让提示词处理速度提高五倍，词元(token)生成速度提高三倍，在生成阶段实现每秒19.92个词元。这将直接减少了在设备上处理AI工作负载的延迟，大大提升了用户整体体验。此外，当边缘侧能处理的AI工作负载越多，往返云端传输数据所节省的电量就越多，进而节省了能源和成本。

除了在边缘侧运行小型模型，Arm CPU同样支持在云端运行更大的模型（如Llama 3.2 11B和90B）。11B和90B的模型非常适合云端基于CPU的推理工作负载，可生成文本和图像，其中，在Arm Neoverse V2上的测试结果展现出了更大的性能提升。在基于Arm架构的AWS Graviton4上运行11B的图像和文本模型，可以在生成阶段实现每秒29.3个词元的表现，远远超出了人类大约每秒阅读五个词元的速度。

AI将通过开源创新和生态系统协作迅速扩展

能公开获取新的LLMs（如Llama 3.2）至关重要。开源创新正以迅猛速度发展，在之前的版本中，开源社区在不到24小时的时间内便能在Arm上部署并运行新的LLM。

Arm将通过Arm Kleidi进一步支持软件社区，让整个AI技术栈能够充分发挥这一优化的CPU性能。Kleidi可在任何AI 框架上解锁Arm Cortex和Neoverse CPU的AI功能和性能，无需应用程序开发者进行额外的集成工作。

通过最近的Kleidi与PyTorch集成以及正在推进的与ExecuTorch集成，Arm正在为基于ArmCPU的开发者提供从云端到边缘侧的无缝AI性能。得益于Kleidi与PyTorch的集成，在基于Arm架构的AWS Graviton处理器上运行Llama 3LLM的词元首次响应时间加快了2.5 倍。

同时，在端侧，与参考实现相比，在KleidiAI库的加持下，使用llama.cpp库在新的Arm Cortex-X925 CPU上运行Llama 3的词元首次响应时间加快了190%。

构建AI的未来

Arm与Meta的合作成为了行业合作的新标杆，汇聚了Arm计算平台的灵活性、普及性和AI功能，以及Meta等行业巨头的技术专长，共同解锁AI广泛应用的新机遇。无论是利用端侧LLM满足用户的个性化需求，如根据用户所处的位置、日程和偏好来执行任务，还是通过企业级应用来优化工作效率，让用户能够更专注于战略性任务，Arm技术的集成都为未来奠定了基础。未来，设备不再只是命令和控制工具，更是能在提升用户整体体验方面扮演积极的作用。

在Arm CPU上运行Meta最新Llama 3.2版本，其AI性能实现了显著提升。这类开放式合作是实现无处不在的AI 创新、促进AI可持续发展的最佳途径。通过新的LLM、开源社区和Arm的计算平台，Arm正在构建AI的未来，到2025年，将有1000多亿台基于Arm架构的设备支持AI。