中关村在线

热点资讯

Arm计算平台加持,全新Llama 3.2 LLM实现AI推理的全面加速和扩展

人工智能(AI)的迅猛发展意味着大语言模型(LLM)的新版本不断推陈出新。要充分发挥AI的潜力并抓住其带来的机遇,需要实现LLM从云端到边缘侧的广泛部署,而这也伴随着对计算和能源需求的大幅增长。整个生态系统正携手寻找应对这一挑战的解决方案,不断推出新的更加高效的开源LLM,以便大规模实现各种AI推理工作负载,加快为用户带来全新、快速的AI 体验。

为此,Arm与Meta展开紧密合作,在Arm CPU上启用新的Llama 3.2 LLM,集成开源创新与Arm计算平台的优势,显著推进了解决AI挑战的进程。得益于Arm的持续投资及与新型LLM的合作,Arm CPU运行AI的优势在生态系统中脱颖而出,使Arm成为AI推理开发者的首选平台。

加速云到边缘侧的AI性能

小型LLM(如Llama 3.2 1B和3B)能够支持基于文本的基础生成式AI工作负载,对于大规模AI推理的实现至关重要。通过Arm CPU优化内核在Arm技术驱动的移动设备上运行新的Llama 3.2 3B LLM,可让提示词处理速度提高五倍,词元(token)生成速度提高三倍,在生成阶段实现每秒19.92个词元。这将直接减少了在设备上处理AI工作负载的延迟,大大提升了用户整体体验。此外,当边缘侧能处理的AI工作负载越多,往返云端传输数据所节省的电量就越多,进而节省了能源和成本。

除了在边缘侧运行小型模型,Arm CPU同样支持在云端运行更大的模型(如Llama 3.2 11B和90B)。11B和90B的模型非常适合云端基于CPU的推理工作负载,可生成文本和图像,其中,在Arm Neoverse V2上的测试结果展现出了更大的性能提升。在基于Arm架构的AWS Graviton4上运行11B的图像和文本模型,可以在生成阶段实现每秒29.3个词元的表现,远远超出了人类大约每秒阅读五个词元的速度。

AI将通过开源创新和生态系统协作迅速扩展

能公开获取新的LLMs(如Llama 3.2)至关重要。开源创新正以迅猛速度发展,在之前的版本中,开源社区在不到24小时的时间内便能在Arm上部署并运行新的LLM。

Arm将通过Arm Kleidi进一步支持软件社区,让整个AI技术栈能够充分发挥这一优化的CPU性能。Kleidi可在任何AI 框架上解锁Arm Cortex和Neoverse CPU的AI功能和性能,无需应用程序开发者进行额外的集成工作。

通过最近的Kleidi与PyTorch集成以及正在推进的与ExecuTorch集成,Arm正在为基于ArmCPU的开发者提供从云端到边缘侧的无缝AI性能。得益于Kleidi与PyTorch的集成,在基于Arm架构的AWS Graviton处理器上运行Llama 3LLM的词元首次响应时间加快了2.5 倍。

同时,在端侧,与参考实现相比,在KleidiAI库的加持下,使用llama.cpp库在新的Arm Cortex-X925 CPU上运行Llama 3的词元首次响应时间加快了190%。

构建AI的未来

Arm与Meta的合作成为了行业合作的新标杆,汇聚了Arm计算平台的灵活性、普及性和AI功能,以及Meta等行业巨头的技术专长,共同解锁AI广泛应用的新机遇。无论是利用端侧LLM满足用户的个性化需求,如根据用户所处的位置、日程和偏好来执行任务,还是通过企业级应用来优化工作效率,让用户能够更专注于战略性任务,Arm技术的集成都为未来奠定了基础。未来,设备不再只是命令和控制工具,更是能在提升用户整体体验方面扮演积极的作用。

在Arm CPU上运行Meta最新Llama 3.2版本,其AI性能实现了显著提升。这类开放式合作是实现无处不在的AI 创新、促进AI可持续发展的最佳途径。通过新的LLM、开源社区和Arm的计算平台,Arm正在构建AI的未来,到2025年,将有1000多亿台基于Arm架构的设备支持AI。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具