LS30 2024:华为昇腾AI推理场景化解决方案加速行业智能化走“深”向“实”

ZAO 2024中关村在线年度观察推选年度领先解决方案Leading Solutions 30（以下简称LS30），为行业用户提供更好的选择，助力行业优质解决方案与技术方案。

华为昇腾AI推理场景化解决方案可以参与本次评选。如今，人工智能重塑产业发展模式的趋势已毋庸置疑。为充分释放其潜力，人工智能需更深入地融入经济社会的各个角落，因地制宜地引领各行业迈向数字化升级。在这一过程中，华为昇腾AI推理场景化解决方案凭借超强算力、高效能、开放易用等特性，为多个行业提供定制化AI推理服务，显著提升业务效率，引领AI推理场景化，助推数智化转型。

AI技术转化有哪些条件？

当前，人工智能在移动应用、智慧城市、智能制造等多个领域发挥着重要作用，成为提升生活品质、推动产业升级的关键力量。然而，在一些关键领域及行业垂直细分场景的应用仍需进一步深化，以激发新技术、新产品、新业态的涌现，这一过程便面临诸多挑战：

首要难题是数据量不足，由于生产封闭性和设备非信息化，导致高质量数据难以获取，数据零散且缺失严重。其次，算力要求高，工业生产中AI应用需高精度，但云端计算虽能满足需求，却会增加传输网络成本并影响生产效率，因此端侧算力需求增大。最后，算法模型迭代困难，传统行业缺乏AI算法开发人才，合作研发壁垒高。

鉴于人工智能落地行业存在诸多难点，需市场、应用场景、专业数据和人才的共同支持。为此，应加快开发开放高质量的人工智能数据集、训练资源库和测试数据集，引导企业基于场景化数据集进行增量训练，促进基础科研大模型与企业场景的融合，通过深化应用推动人工智能产业生态的繁荣发展。

昇腾AI推理有哪些硬核实力？

面对新的痛点与需求，昇腾AI推理场景化解决方案正式发布。为了更好地匹配大模型的推理需求，华为基于昇腾AI基础软硬件，向业界提供使能推理应用快速开发、高效部署的大模型推理解决方案。同时，华为正在以以系统级架构创新，通过昇腾基础软硬件、昇腾云服务及华为云三大核心枢纽中心，打造大模型时代的首选平台。

该解决方案通过启发式并行解码等系列化推理加速技术，实现应用吞吐最高6倍提升，让单位吞吐的成本更优。同时，既提供昇腾原生服务化能力，也支持对vLLM、TGI等三方服务框架的快速适配，让业务上线时间更短。除此之外，为多机推理提供了完整的弹性推理软件栈，在满足TCO要求的同时，支持灵活弹性扩容。

可以说，昇腾AI推理场景化解决方案凭借底层硬件、自主研发的硬件使能层、推理引擎以及推理服务化部署能力等四个核心架构层级，全面覆盖了从硬件选型、训推转换、模型压缩、推理执行直至应用部署的五大关键环节。这五大环节紧密衔接，贯穿了从业务规划到模型上线的全流程，确保了解决方案既全面又高效。

深入行业场景，携手伙伴构建繁荣的昇腾AI生态

除了硬核技术外，华为还携手业界伙伴和客户不断创新，加速大模型应用落地到场景。华为联合京东、科大讯飞、中国移动、等11家生态伙伴及客户发布了基于昇腾大模型推理解决方案的五大场景优秀实践，实现大模型在“文本生成、文生视图、辅助编程、终端应用、智能办公/客服”等五大场景落地应用。

事实上，五大场景优秀实践也昇腾大模型解决方案与业界伙伴、客户的模型应用在大模型落地行业场景道路上走出的坚实一步。也为更多场景下的大模型应用提供了有益参考。数据显示，目前，300多万开发者和1600多家行业伙伴相聚昇腾AI生态，共同孵化了2900多个行业AI解决方案。

面向未来，华为坚持“硬件开放、软件开源、使能伙伴、发展人才”战略，在全产业合作伙伴的共同努力下，加快构建繁荣的昇腾AI产业原生生态，联合伙伴深耕行业应用场景，让AI加速走入千行万业。

LS30年度领先解决方案具备强大的核心技术和引领产业发展的领导力。依托于技术研发实力、技术创新能力以及技术拓展潜力，不断为用户提供运行速度更快、效能更好且体验更佳的主流应用技术、优质企业商业产品和解决方案，并持续推动产业发展。