中关村在线

热点资讯

昇腾开源软件极客营杭州站成功举办!首次集中众测100+任务全新上线!

7月9日至10日,由华为昇腾生态主办的“昇腾开源软件极客营”第一期在杭州成功举办。小红书、vLLM社区、天翼云等技术专家现场与会,活动以“技术分享+动手实践”的形式,围绕大模型训练与推理的前沿话题和技术演进展开深度探讨,超250+开发者现场参与,现场气氛热烈。

训推生态全面升级,加速前沿模型落地

华为昇腾技术专家团队从软件生态、新一代大模型训练、多模态系统到行业应用等维度,系统呈现了昇腾在大模型训练领域的最新进展。同时围绕MindSpeed、verl、DrivingSDK等在LLM、多模态、强化学习等场景的新特性与工程实践展开交流。

在昇腾开源训练软件生态上,昇腾正采用「自底向上、原生优先、插件增强」策略,积极拥抱第三方开源社区,并按分层、分场景的方式覆盖开发链路。针对新一代大模型训练,大语言模型套件MindSpeedLLM使能加速库MindSpeedCore通用训练加速能力,发布DeepSeekV4 昇腾训练方案,适配模型创新结构,实现开箱性能倍增,并覆盖预训练、微调等主流训练场景。

同时,面对多模态趋势,昇腾多模态训练套件MindSpeedMM已全新支持FSDP2训练后端,开启多模态训练敏捷开发新范式。同时与京东联创推出的FlowTrain分离式架构,有效解决了不同模态数据处理不均衡的系统瓶颈,提升了训练效率。在自动驾驶垂直场景,聚焦自动驾驶技术发展趋势,介绍昇腾DrivingSDK 在智驾模型训练与算子优化方面的能力布局。DrivingSDK支持了智驾场景主流模型,提供50+自动驾驶场景算子,并基于昇腾平台进行极致性能优化,并覆盖MMCV、Spconv、OpenPCDet、Pointsop等自动驾驶常用三方库。

马勇强华为昇腾技术专家 丁子霖 华为昇腾技术专家 吴炜强 华为昇腾技术专家

陈小龙华为昇腾技术专家 靖深进 华为昇腾技术专家 李雷 华为昇腾生态AI技术专家

在推理侧,昇腾通过在vLLM、SGLang等主流三方社区上的优化,实现了推理引擎在NPU上的多项关键特性突破。最新发布的vLLMAscend版本不仅完整支持DeepSeekV4、GLM5.2等模型,还引入了DSACP序列并行、IndexCache复用及HCAPre融合算子等技术,显著提升了长序列与混合负载下的推理效率。SGLang在昇腾上原生集成了多级PrefixCache、EPLB专家负载均衡及MoE大融合算子,以及通过ZBAL通信消除显存瓶颈并加速通信时延。长序列场景支持在DeepSeekV3系列、Qwen3系列模型开启CP序列并行,使64k长序列首字延迟降低超80%。

此外,MindIEMotor作为企业级生产服务化平台,支持大EP、混部等方案的一键式部署,新增了KVCache亲和性调度、容器快照秒级故障恢复及弹性扩缩容等高可用特性,为大规模生产环境提供了坚实保障。

毛琦华为昇腾推理技术专家 卢凯龙 华为昇腾推理技术专家

王君华为昇腾推理技术专家 许涛华为昇腾生态AI技术专家

产业实践与开源共建,激发技术创新火花

活动的另一大看点是来自产业界和开源社区的实战分享。

在训练侧,小红书AIInfra技术专家聚焦Relax训练引擎架构,重点介绍了其服务化架构与异步数据流设计,展示了AgenticRL 的低改造接入能力、SFT与RL联合训练方案,以及在昇腾NPU上实现的精度对齐与稳定训练能力,体现了产业级强化学习系统在国产算力上的工程化路径。

vLLM社区技术专家带来vLLM主导的RL框架Vime,主要介绍其训推解耦架构及AscendNPU的适配进展,内容涵盖权重同步、共卡显存管理与精度验证等关键技术点,为开发者在昇腾平台开展后训练提供了可参考的开源解决方案。这些来自一线的“干货”,让开发者看到了昇腾生态在实际生产环境中的广阔应用空间。

宁本哲小红书AIInfra技术专家 谢凯源 Vime社区核心开发者 王晓歆 Vime社区核心开发者

在推理侧,天翼云技术专家莫宇带来了《联创破局:MindIEMotor KV Cache亲和性调度打造极致推理体验》的主题分享,详细介绍了与昇腾联合共创的KVCache亲和性调度特性,并分享了在时下流行的Agent编程场景下,如何利用该特性提供更好的推理服务。

vLLMAscend Maintainer郑守建与核心开发者陈潇联合呈现了《DynamicCP:面向混合负载的自适应上下文并行》,该技术方案以请求粒度智能决策上下文并行度——为长上下文请求分配更高并行度,利用更多算力压缩TTFT与TPOT,而短请求则保持单DP配置以避免不必要通信,实现不同并行度请求在同一Batch中的高效共存。

莫宇天翼云技术专家 郑守建 vLLMAscend Maintainer 陈潇vLLMAscend 核心开发者

“众测”高潮引爆全场,百位开发者上手实操

本次活动,昇腾开源软件生态首次开展了为期2天的集中众测,近百位开发者参与了为期4小时的版本众测,在宋洋、杨兴龙、陈羽星、邹长江、彭慧阳等多位昇腾技术专家的现场指导下,17名开发者现场完成核心任务并取得结业证书。这种“边学边做、即时反馈”的模式,极大地降低了开发者的上手门槛。

截至目前,昇腾社区已上线超300+实战任务,总激励金额超500万元。任务覆盖训练、推理、推荐、工具链、Triton算子五大场景,未来,昇腾开源软件生态将持续展开极客营系列活动,通过多元化的社区交流与实战互动,构建“共建、共享、共成长”的开发者共同体。我们诚挚邀请更多开发者加入昇腾生态,一同推动昇腾生态的长期繁荣。

了解更多社区任务:https://www.hiascend.com/developer/activities/details/5dbf59b2dce14f91afb157f5a52f332d#tab0

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具