MWC上海：高通分享如何赋能生成式AI在终端侧的规模化扩展

6月27日，高通公司AI产品技术中国区负责人万卫星出席上海MWC世界移动通信大会期间举办的中国移动终端合作峰会，并发表主题演讲“拥抱AI赋能终端创新的未来”，分享高通公司正在如何通过领先产品和解决方案赋能终端侧生成式AI发展。

通过强大的NPU性能和高通AI引擎的异构计算设计，高通公司在支持终端侧生成式AI用例处理方面独具优势，其最新的第三代骁龙8移动平台和骁龙XElite计算平台已经赋能市场推出了多款出色的AI手机、AIPC产品，正在引领终端侧生成式AI体验的飞速发展。此外，高通公司还在通过灵活可扩展的软件工具解决方案，赋能应用开发者和大模型厂商面向广泛的终端品类打造AI应用和进行模型优化，推动生成式AI在终端侧的规模化扩展。

以下为演讲全文：

大家好，我是高通公司万卫星，很荣幸能够代表高通公司参加中国移动终端合作峰会，今天我分享的主题是“拥抱AI赋能终端创新的未来”。同时，我也会与大家分享高通公司的AI产品和解决方案正在如何助力AI，尤其是生成式AI在终端侧的规模化扩展。

我们认为，终端侧生成式AI的时代已经到来。我们在智能手机领域的最新旗舰产品第三代骁龙8，以及我们面向PC市场推出的最新平台骁龙XElite，已经赋能了诸多的AI手机和AIPC，为消费者带来了非常丰富的生成式AI体验。

在今年2月份的MWC巴塞罗那期间，高通带来了全球首个在Android手机上运行的大型多模态语言模型（LMM）技术展示。我们在搭载第三代骁龙8的参考设计上运行了基于图像和文本输入、超过70亿参数的大语言和视觉助理大模型（LLaVa），能够与AI助手生成关于图像的多轮对话。具有语言理解和视觉理解能力的多模态大模型能够赋能诸多用例，例如识别和讨论复杂的视觉图案、物体和场景。多模态模型的能力将极大的提高我们的产品优势，也将为现实生活中的一些应用场景带来非常大的帮助，例如视觉障碍人士或将能够利用此类用例在城市中进行导航。

随着生成式AI模型的发展，我们发现一些生成式AI模型的体量正在不断缩小，而他们在特定垂直领域的能力却正在变得越来越强。举例来说，Llama3 80亿参数版本在解决某些垂类应用的能力上，已经超过了去年发布的高达1750亿参数的GPT-3.5 Turbo。

面向丰富的生成式AI和传统AI用例，高通将AI能力贯穿到整个SoC的设计中，打造了具备异构计算架构的高通AI引擎，不仅集成通用的硬件加速单元CPU、GPU，同时也集成了面向高算力和低功耗工作负载需求的专用神经网络处理器NPU。对于一些需要始终在线的应用，包括摄像头、传感器和语音唤醒等，高通AI引擎也有支持超低功耗的传感器中枢。

高通公司在去年10月骁龙峰会上发布的第三代骁龙8，其所搭载的高算力低功耗的高通Hexagon NPU带来了诸多提升，首先我们进行了微架构升级，以实现进一步的性能提升；第二，为了实现更好的功耗控制，我们为Hexagon NPU配备了加速器专用电源；我们还集成了升级的微切片推理技术，这一技术在第二代骁龙8上率先推出，我们在第三代骁龙8上做了进一步的升级，能够在垂直深度上对算子做融合，更加充分地利用骁龙平台的硬件算力。此外，我们还引入更大的带宽进入张量加速器，并实现了更高的主频。总体来讲，高通Hexagon NPU在设计上聚焦两点：极致峰值性能、以及针对生成式AI进行专门的软硬件优化。

接下来我想为大家介绍我们如何充分利用高通AI引擎的异构计算能力，实现虚拟化身AI助手这一用例。首先，高通AI引擎的传感器中枢能够运行ASR模块，负责将用户的语音信号转化成文本信号。然后，大语言模型再基于ASR的文本输入生成文本回复，这部分工作负载可以跑在具备高算力的NPU上。之后，大模型输出的文本回复可以对接到跑在CPU上的TTS模块，转化成语音信号。同时为了让虚拟化身实现实时交互，还需要同步在GPU上进行图形渲染等操作。这些复杂的工作负载充分释放了异构计算系统中各个处理器的能力，通过共同协作为消费者打造了出色的用户体验。

除了提供领先的AI硬件之外，高通还提供了跨操作系统、跨终端的灵活可扩展的高通AI软件栈（Qualcomm AI Stack）。高通AI软件栈目前支持所有主流的AI框架，同时提供对高通和第三方runtime的支持。此外，高通AI软件栈也为合作伙伴和开发者提供了非常丰富的加速工具库，其中包括编译器、分析器、调试器等，让他们能够在骁龙平台上更加高效和灵活地进行模型开发、优化和部署。

高通AI软件栈支持我们几乎所有产品线的丰富产品组合，这意味着在骁龙平台上的模型优化工作可以非常方便地扩展到其他类型的终端产品上。除了硬件软件之外，高通也搭建了强大的AI生态系统，目前已经支持广泛的海内外终端侧生成式AI模型，其中包括图像模型、语言模型、甚至多模态模型。

作为终端侧AI的引领者，骁龙平台已经成为终端侧AI的首选合作平台。高通公司有着超过15年的AI研发投入，我们为行业提供领先的软硬件解决方案，包括前面介绍的全面灵活的软件工具。凭借我们领先的解决方案，高通已经跨不同产品线，赋能数十亿台终端设备。我们也将能力开放给生态合作伙伴，让他们能够在骁龙平台上更加高效、便捷地打造AI应用和进行模型优化。

第三代骁龙8已经赋能了诸多的当前旗舰智能手机和用例。目前众多主流手机品牌的旗舰产品已经为消费者打造了丰富的生成式AI用例，以赋能娱乐、创作和生产力等体验，包括AI照片编辑、照片生成、以及实时翻译转译、写作助手等。同时，骁龙X系列PC平台也已经赋能了诸多的Windows 11 AI PC产品。就在今天，我们还正式宣布了中国移动终端公司、小米、当红齐天和高通四方携手，打造了国内首款基于Xiaomi 14 Pro、应用于XR领域的5G Advanced（5G-A）高频万兆测试平台，并率先将其应用于当红齐天的多并发、大空间XR竞技游戏业务。

最后，我想从SoC这个角度展望一下终端侧生成式AI的未来演进趋势。2023年，终端侧支持的生成式AI模型基本都是基于单一模态，比如文生文、文生图或者图生图。今年大家可以看到，我们已经支持多模态的生成式AI模型在终端侧离线运行。未来，多模态模型会更多地和用户的终端侧个人信息相结合，为用户提供更加情境化、实时化和个性化的服务。基于这些更加强大的多模态模型所演化出的具身智能，在未来也非常有可能完整的在终端侧运行。