Intel、NVIDIA、ARM三家推FP8标准AI

芯研所9月19日消息， AI人工智能是近几年来的大热点，Intel、NVIDIA及ARM也首次联手，推出了FP8格式，这种全新的AI格式可以提高运算性能，当前最强加速卡H100性能就有4.5倍提升。

三家携手推出通用的AI格式跟当前的混乱有关，之前衡量GPU性能经常用FP32单精度、FP64双精度格式，然而在AI时代不需要这么高的精确度，再加上厂商往往会自定义计算格式，所以这几年也出现了INT8、BF16、TF32之类的AI标准。

厂商各自为战显然不利于AI技术发展，所以Intel、NVIDIA及ARM三大CPU/GPU巨头就联手推出了AI标准格式FP8，并发布了FP8 Formats for Deep Learning白皮书，还把标准提交给IEEE协会，不出意外的话接下来会成为AI领域的通用标准。FP8标准会有两个编码变体，分别为E5M2、E4M3，可以最大限度地减少与当前IEEE754标准的偏差，不仅可以为AI运算带来更高的灵活度，还能在软硬件中取得平衡，改善开发者的效率。

根据NVIDIA发布的结果，FP8在广泛使用的训练模型中都有类似16位浮点的效果，而且性能更好，NVIDIA的H100加速卡使用新的FP8格式，在BERT模型中实现了4.5倍的性能提升。三大厂商联合定义FP8标准，却没有看到AMD的身影，不知道AMD的态度如何，不过AMD最终应该也会接纳FP8标准，与三家统一。