中关村在线

热点资讯

2026中国算力大会|翼华科技:端网协同,重构AI算力Token成本

911日至13日,以"算力网 智启新未来"2026中国算力大会在河北廊坊行。作国内算力格最高的国家级产业盛会,大会聚了全产业链数百家企与上万名专业观众,全力助推我国算力产业量、集化、普惠化展。

科技芯片架构师邹玥在本届算力大会上表了题为AI算力网的端网同,重构Token成本曲线》的主,分享了以端网同技提升GPU利用率、降低Token成本的路径与践。

大模型用加速落地,"算力"已成为产业发展关玥指出,行业评AI往往先看端口速率和带宽,但算力中心真正的核心指"每百万Token成本"——投入除以真正能交付的有效Token数量。网影响,而最大的降本杠杆,来自减少GPU等待。

问题AI景中尤突出:训练GPU同步作,一卡慢了全都得等;推理中"短期记忆"传输慢或波大,运方只能多GPU传统以太网的局部塞、业务感知不足等短板,在AI工作负载下被一步放大。"投入同数量的GPU,能不能出更多业务要求的Token才是算力中心真正需要回答的问题"

对这一痛点,翼科技提出了"端网"架构,核心思路是让应用端、网卡和网络设备不再各干各的,而是实时、互相配合。端侧软件了解业务优,知道哪些数据更急;智能网卡数据不经过CPU可直接在GPU、内存和网"";交掌握全局路况,把塞、故障信息实时馈给。三者形成闭环,网从被"管道"变为动态"智能度系"

科技将套架构命名ELink,由端运行ERT)、网卡ERNIC)与网络协ERSW)三大件构成,重点解决集群大展和跨数据中心同两大景,在机和跨域面提升传输效率,撬GPU利用率。"端口速率决定物理上限,端网同决定带宽有多少能够稳有效吞吐。"强调,后者才是降本的关

科技已形成覆盖智能网卡(SmartNIC)、超网卡(SuperNIC)与面向分布式推理的AI-DPU的完整品矩阵规划。其中,南一代国内首款P4程开源网卡,已实现模商用出南二代面向下一代智算网化了可程能力,支持更大模的集群展;AI-DPU则创新性实现KV Cache硬件卸、跨点共享上下文内存池、向量数据库检索全路卸补齐GPU与底储间缺失的高速层级,大幅减少模型重复算,降低集群推理合成本,同兼容vLLMSGLang等主流推理框架,存量集群可快速平滑接入。

实际应用中,端网同方案已在大模型训练MoE推理、PrefillDecode分离、多租与跨域度等景中逐步展降本价玥在演最后表示"统产出更多足用要求的Token,同减少被等待、塞和故障浪的算力。算、网度形成同,才能持降低每个Token的成本。"科技也将继续坚"双芯驱动、全"略,以端网同架构与南系列品助力算力中心降本,我国智能算基础设施高展提供有力支撑。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具