端侧人工智能、大模型、机器视觉和边缘计算等应用领域的高性能计算和大算力AI芯片市场主要由国外厂商占据,比如NVIDIAJetson平台、RyzenAIMAX等平台,但是对于工业、能源、交通、政府等关键行业而言,面对一些技术封锁、数据安全等问题,更需要建设完整国产化生态体系,满足自主可控以及供应链稳定性。
面向国产工业自动化、机器人多模态、大型AI边缘计算、多路AI智能安防等应用市场。定昌电子RK3588工业评估板DC_M588适配工业版银河麒麟V10SP12503国产操作系统,也完成RK1828算力棒扩展适配,形成了“国产ARM主控+国产操作系统+AI异构算力模组”的大算力AI硬件方案。该硬件方案支持扩展两块RK1828算力棒,为板卡提供40TOPS算力,加上RK3588原生NPU的6TOPS,能达到46TOPSAI算力,另外还已经完成Qwen3-ASR语音大模型部署,是国产硬件、国产系统以及AI加速能力的深度融合的方案,下面详细的方案介绍以及部分配置实现的过程DEMO。
RK3588+RK182X国产AI算力组合架构
多模态的AI应用以及更复杂的LLM、VLM、语言大模型等对算力、内存带宽以及模型部署能力有要求。比如7B~8B参数左右的大模型单独的RK3588主板跑起来就需要16GB大内存,而且TPS(tokens/s)也小,效果一般,另外多路高清摄像头AI分析、本地部署LLM大语言模型、机器人多模态感知、VLM推理等AI任务场景,RK3588的6TOPS算力nPU也很难满足。
因此瑞芯微推出了RK182X系列AI协处理器,为RK3588等主控平台提供外挂式AI算力扩展,用于大模型推理、深度学习计算以及多模态AI任务处理。而RK3588凭借4xCortex-A76+4xCortex-A55八核CPU、Mali-G610GPU以及6TOPSNPU旗舰性能,兼容国产麒麟、开源鸿蒙等操作系统,同时适配RK182X算力棒,目前定昌电子的RK3588评估板DC_M588完成RK1828和1820的适配,
通过RK3588+RK182X这一组合,能形成完整的国产AI边缘计算生态,并且具备强大的端侧AI能力,用于开发智能巡检、工业分析、机器人交互、本地离线大模型部署、边缘计算等复杂AI应用,是安全可靠、低成本的AI部署选择。
银河麒麟工业版V10国产系统
银河麒麟工业版V10SP1桌面系统是在银河麒麟操作系统基础上,针对工业控制和工业终端应用进行优化的主流国产操作系统。而且为满足工业场景日益增长的AI应用需求,工业版重点增强了对端侧AI的支持,适配TensorFlowLite、PyTorch及PaddleLite等主流框架及Qwen、DeepSeek等模型。
同时,银河麒麟工业版保持了与Linux生态的兼容性,开发人员仍可使用Qt、GTK、Python、C/C++、OpenCV等开发框架,有助于国产工业软件快速迁移和应用部署。
银河麒麟工业版V10SP12503针对工业场景进行了系统优化,具备高可靠性、长期运行稳定性以及丰富的软硬件兼容能力,结合RK3588强大性能和RK182X大算力,可以充分发挥国产AI芯片的平台性能优势。定昌电子是麒麟软件官方深度合作伙伴,RK3588系列主板取得银河麒麟操作系统V10的麒麟软件官方的NeoCertify认证,RK3588评估板DC_M588已适配银河麒麟工业版V10SP1 2503国产系统。
银河麒麟系统软件适配
除了RK3588开发板完成银河麒麟V10SP1 2503刷写激活(定昌提供激活教程)后,定昌DC_M588RK3588主板出厂可刷好固件或者提供系统固件,所有硬件功能都已经打通,大部分外设不需要调试,小部分外设驱动可以以KO形式加载。在DC_M588银河麒麟系统软件适配过程中,主要完成以下工作:
1、Linux内核DTS配置(仅供参考)
针对RK3588硬件资源配置,对设备树文件进行调整,包括GPIO、I2C、UART、PCIe、USB等硬件节点配置,使操作系统能够正确识别和调用底层硬件资源。
2、启动脚本及固件
系统固件已经内置RK182X算力棒启动机制,用户无需复杂配置,只需要烧录对应固件(定昌官方会提供)即可快速运行。同时,固件内部增加RK182X固件延时机制。
账号:kylin 密码:ztl123456
3、驱动加载
可以同步最新的SDK,或者编译成KO文件再加载
4、glmark2测试MaliGPU
端侧部署Qwen3-ASR模型开发AI语音识别
对于端侧AI设备而言,有部分实时语音识别、人机交互等应用需求。此次方案也测试验证了DC_M588+RK1828算力棒本地部署运行Qwen3-ASR语音识别模型的演示(篇幅问题,完整的部署流程不列出,欢迎咨询定昌官网在线客服了解获取),Qwen3-ASR是阿里通义千问团队推出的新一代开源语音识别模型系列,支持多语言、多方言语音识别,多应用于智能助手、会议记录、工业语音控制等场景。整个演示的案例的项目结构:
定昌的DC_M588+RK1828算力棒方案银河麒麟系统下运行Qwen3-ASR的效果:
可以看到Generate解码的结果,TPS为48tokens / 316.94 ms ≈ 151 tokens/s,单token约6.60ms。Generate是自回归,每生成 1个token都要跑一遍模型,比Prefill慢一个数量级,属正常。对RK182x类协处理器+7B级以内的量化模型来说,属于可用、中等偏上的水平(具体还取决于模型大小、量化W4A16、核数等)。在板子烧录定昌的对应固件后点桌面图标就可以看到效果。
多行业应用价值
RK3588主板(DC_CM588)+银河麒麟+RK1828算力棒方案不仅适用于语音识别的国产智能自助终端,也可以扩展到更多AI应用。可应用于:
l智能工业制造领域:实现工业设备语音控制、智能巡检、生产辅助。
l机器人领域:AGV、服务机器人、导购机器人等,能结合视觉、语音、多模态模型实现自动规划线路、智能避障、智能问答助手等
l智慧办公领域:ARMPC、高端会议机等,实现会议实时转录、智能摘要、语音助手。
l车载中控领域:作为主控板,实现车载语音交互和本地端的智能服务功能等。
l边缘计算领域:作为AI网关,实现本地数据分析和智能决策。
l智能安防领域:多路AI摄像头视频流处理带CV算法
完善软硬件开发生态
对于企业开发者而言,硬件平台不仅需要性能,更需要完整的软件工具链支持。RK3588评估板(DC_M588)可以提供规格说明书、pcb设计文件、原理图、BOM物料清单、datasheet等硬件开发资料,降低二次开发门槛。硬件接口示意如下:
还有丰富的软件开发资源,包括多系统固件、DockerNPUSDK、VMware虚拟机环境以及交叉编译工具链,还提供48+AI视觉与语音算法案例,以及DeepSeek、Qwen、Gemma、Phi等20多种主流语言大模型部署示例Demo和AISDK资源,帮助开发人员快速完成AI模型部署、系统开发以及应用移植。Docker环境,开发者可以更加方便地管理AI算法运行环境,实现模型快速部署。
评论
更多评论