芯展速在2026年世界人工智能大会期间正式发布AI90软硬件协同AI推理加速方案。该方案创新性地将高性能固态硬盘纳入GPU显存架构,构建起由高带宽内存、动态随机存取存储器与固态硬盘组成的三级存储体系,显著提升AI推理任务的执行效率。
实测数据显示,该方案可将首个输出令牌的生成延迟降低至原有水平的二十分之一,整体吞吐量提升逾五倍,同时减少近四成显存占用。依托自主研发的智能点对点多卡互联技术,该方案在八卡NVIDIA GeForce RTX 5090集群环境下,推理速度提升达5.8倍,并原生支持超过128K长度的上下文处理能力。
针对KV缓存卸载所引发的高频率写入压力,芯展速同步推出PT200Z专用AI固态硬盘。该产品采用pSLC闪存介质,搭载PCIe Gen5接口,兼顾超高耐久性与极致响应性能:顺序读取速度达14.8GB每秒,随机读取性能为310万IOPS,读写延迟分别低至54微秒与10微秒。

评论
更多评论