中关村在线

热点资讯

芯展速发布AI90推理加速方案:首创SSD入显存架构,推理延迟降为1/20

芯展速在2026年世界人工智能大会期间正式发布AI90软硬件协同AI推理加速方案。该方案创新性地将高性能固态硬盘纳入GPU显存架构,构建起由高带宽内存、动态随机存取存储器与固态硬盘组成的三级存储体系,显著提升AI推理任务的执行效率。

实测数据显示,该方案可将首个输出令牌的生成延迟降低至原有水平的二十分之一,整体吞吐量提升逾五倍,同时减少近四成显存占用。依托自主研发的智能点对点多卡互联技术,该方案在八卡NVIDIA GeForce RTX 5090集群环境下,推理速度提升达5.8倍,并原生支持超过128K长度的上下文处理能力。

针对KV缓存卸载所引发的高频率写入压力,芯展速同步推出PT200Z专用AI固态硬盘。该产品采用pSLC闪存介质,搭载PCIe Gen5接口,兼顾超高耐久性与极致响应性能:顺序读取速度达14.8GB每秒,随机读取性能为310万IOPS,读写延迟分别低至54微秒与10微秒。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具