d-Matrix首款AI芯片出货：数字存算一体DIMC技术、速度提升10倍

近日，硅谷初创公司d-Matrix宣布其首款人工智能芯片Corsair已经开始发货。据d-Matrix表示，Corsair在每台服务器中可以提供每秒处理60000个tokens的性能，并且每个tokens的延迟仅为1毫秒。该公司声称，与GPU和其他替代方案相比，Corsair提供了更好的性能、能源效率和成本节省。

对于AI推理运算而言，数据传输往往是最大的瓶颈之一。它需要大量的内存，并且还需要非常快速的内存，但两者之间很难兼顾。目前主要有三种解决方案：第一种是通过采样和流水线来减少处理的数据量以加速深度学习，但这会限制准确性和精确性；第二种是在传统的处理器附近设置专用AI引擎的处理器，包括苹果、英伟达、Intel和AMD等厂商都采用这种方式，但这种做法仍然存在高能耗和低效率的问题；第三种则是将计算移动到内存附近，即d-Matrix所采用的方法——数字存算一体（DIMC）技术架构。

由于DIMC技术架构能够降低延迟并减少能量转移费用和数据移动的延迟，因此非常适合用于AI推理。因为推理过程中涉及一个相对静态（但大型）的权重数据集，该数据集被反复访问。DIMC消除了大部分的能量转移费用和数据移动延迟。借助DIMC技术，Corsair芯片可以提供高达150TB/s的超高内存带宽，并且交互速度提高了10倍，能效提高了3倍。

在其他方面，Corsair芯片采用行业标准的PCIe Gen5全高全长卡外形，并通过DMX Bridge卡连接成对的卡。每张Corsair卡由多个DIMC计算核心驱动，具有2400 TFLOP的8位峰值计算能力、2GB的集成性能内存和高达256GB的片外容量内存。