Arm通过新的PyTorch和ExecuTorch集成加速从云到边的人工智能

Arm近期宣布通过将Arm Kleidi技术集成到PyTorch和ExecuTorch，赋能新一代应用在Arm CPU上运行大语言模型(LLM)。Kleidi汇集了最新的开发者赋能技术和关键资源，旨在推动机器学习(ML)技术栈中的技术协作和创新。通过这些重要进展，Arm致力于为任一ML技术栈的开发者提供更为顺畅的体验。

Arm战略与生态部开发者技术副总裁Alex Spinelli表示：“Arm正与领先的云服务提供商和框架设计者紧密合作，以打造便捷的开发环境，让软件开发者能够轻松地在基于Arm架构的硬件上加速人工智能(AI)和ML工作负载。自该技术推出的四个月以来，Kleidi已在Arm CPU上加速开发并显著提升主要的AI性能。Arm与PyTorch社区的紧密合作印证了该技术可以大大减少开发者利用高效AI所需的工作量。”

与领先框架集成，实现显著云端优势

在云端，Kleidi以利用Arm Compute Libraries (ACL) 增强PyTorch带来的成果为基础，为世界各地在Arm平台上优化AI的开发者打造蓝图。通过为开发者免去不必要的工程工作，以便开发者能将Arm视为运行其关键ML工作负载的首选平台。作为实现这一愿景的关键一步，Arm直接与PyTorch和TensorFlow进行Arm Kleidi Libraries的集成合作，这包括将基本的Arm软件库直接集成到上述的领先框架中。

重要的是，这意味着当新的框架版本发布时，应用开发者能够自动从其大幅的性能提升中受益，而无需额外在Arm平台上重新编译。这项投入已对合作伙伴关系产生了积极影响：

Arm聊天机器人演示由Meta Llama 3 LLM驱动，并运行在亚马逊云科技 (AWS) Graviton处理器上，首次在主线 PyTorch 中实现了实时聊天响应。

根据在AWS Graviton4上所测得的数据显示，通过将Kleidi技术集成到开源PyTorch代码库，词元 (token) 首次响应时间可提高 2.5 倍。

通过优化torch.compile以充分利用通过 ACL 提供的Kleidi技术，在基于AWS Graviton3上所测得的数据显示，各类Hugging Face模型推理工作负载上的性能可提升1.35至2倍。

这些仅是出色的云端示例之一，却代表了在Arm平台上普及ML工作负载时可实现的性能加速类型。Arm将持续投入，以确保开发者的AI应用可以在其技术上从云到边都能完美运行，其中包括实现新功能的向前兼容，进而使得开发者能够即刻从中受益。

合作助力开发者紧跟生成式AI发展步伐

随着新的语言模型版本快速地推陈出新，生成式AI掀起了一波AI创新热潮。Arm持续与ML技术栈的各个关键环节紧密合作，携手AWS和Google等云服务提供商以及Databricks等迅速壮大的ML独立软件开发商(ISV)社区，进而帮助开发者立于技术前沿。

GoogleCloud Compute产品管理高级总监NiravMehta 表示：“Arm和GoogleCloud 致力于为开发者提升AI的可访问性和敏捷性，而Kleidi代表了通过软硬件协同优化满足AI需求所取得的重要进展。随着我们的客户正积极采用基于Arm架构的定制CPU——Axion，我们期待在整个ML技术栈中为客户带来更加顺畅的集成体验。”

Databricks软件工程师Lin Yuan表示：“利用Databricks Data Intelligence Platform进行AI和ML工作流的企业，将受益于跨ML软件栈的Arm Kleidi集成所带来的性能优化。借助由DatabricksML Runtime集群提供支持的Arm架构AWS Graviton处理器，企业可以从各种ML软件库的加速中受益，同时降低云服务提供商的成本。”

协助开发者将Arm提供的资源应用到实际用例中至关重要，为此Arm创建示例软件栈和学习资源，向开发者展示如何在ArmCPU 上构建AI工作负载，进而迅速推动了Arm系统的广泛采用，并加快了开发者在Arm系统上的部署速度。第一个案例是通过Kleidi技术加速聊天机器人的实现，今年晚些时候MLOps和检索增强生成(RAG)也将添加至这些用例，并计划在2025年实现更多成果。

持续提升端侧性能

基于Kleidi在端侧的发展势头，Kleidi AI还将被集成到ExecuTorch（PyTorch新的端侧推理运行时）。这项集成预计将于2024年10月完成，并有望为目前正在ExecuTorch中进行生产测试或实现的端侧应用带来显著的性能提升。目前已完成的多项KleidiAI集成包括与Google XNNPACK和MediaPipe，以及腾讯的混元大模型，为其实际工作负载带来了显著提升。

Kleidi将继续与PyTorch和ExecuTorch的各版本以及其他主要AI框架进行集成。从云数据中心到端侧设备，开发者现在可以即刻在各类设备上基于Arm平台高效运行高性能AI工作负载。Arm将继续积极地面向PyTorch社区推出增强功能，并专注于针对各种整数格式提供量化优化，进一步提高性能，赋能Arm CPU大规模无缝运行新一代AI体验。

实现更多成果以赋能开发者

PyTorch正在推动ML开发领域的开拓创新。近日，Arm加入PyTorch基金会成为Premier成员，这对于Arm的AI之旅来说，无疑是一个重要时刻。Arm将持续致力于赋能全球各地的开发者在Arm平台上充分发挥端到端AI的潜力，进而塑造前沿的AI和应用功能。