AI时代已至，英特尔Gaudi2助力企业最大化释放人工智能价值

人工智能的时代已经到来。

作为一种渗透性强且具有颠覆性的通用技术，人工智能正在成为行业数智转型的核心，特别是生成式AI的普及，可以有效提高企业效率、完成创意工作，并最终改善整体业务表现。根据IDC的预计，全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元。

对企业而言，无论是基于提高工作效率的考量，还是加速创新的脚步，都有必要对AI这一关键业务进行部署，不过在过去很长一段时间里，水涨船高的GPU价格让大规模部署AI多少有点不切实际，两个月前，英特尔正式于中国市场推出第二代Gaudi深度学习加速器Habana Gaudi2，致力于以领先的性价比优势，加速AI训练及推理，从而成为大规模部署AI的更优解。

从规格上看，Gaudi2以第一代Gaudi高性能架构为基础，实现了多方位的性能与能效比提升，具体性能包括24个可编程Tensor处理器核心（TPCs）、21个100Gbps（RoCEv2）以太网接口，高达96GB的HBM2E内存容量，2.4TB/秒的总内存带宽，48MB的片上SRAM，同时集成了多媒体处理引擎。

当然，检验Gaudi2能力的最好方式还是看它的推理和训练性能。日前MLCommons公布了针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的MLPerf推理v3.1性能基准测试结果，Gaudi2的测试结果验证了其相当具有竞争力的性能，特别值得注意的一点是NVIDIA H100相比Gaudi2仅表现出1.09倍（服务器）和1.28 倍（离线）的轻微性能优势。

“在MLperf 3.1的推理测试中，Gaudi2和H100的表现十分接近，主要是基于Gaudi2架构和软件设计上的领先性以及资源的高效利用率。具体来说，Gaudi2的MME支持了BF16和FP8的加速，且结构设计合理，可以高效提升推理的能力。再加上Gaudi2的本身性能普遍高于A100，采用了FP8后与不支持FP8的A100相比，优势就更明显了。”Habana Labs中国区总经理于明扬表示。

从此前披露的MLPerf Training 3.0的结果来看，Gaudi2在性能、软件以及训练系统的成熟度上都达到了相当可观的水平，尤其是根据HuggingFace最近发布的AI训练性能结果，则进一步表明了Gaudi2在多模态Transformer模型BridgeTower上的优势。

总体来看，作为市场上为数不多的公开支持GPT训练的产品之一，Gaudi2已经充分展示了其替代H100和A100的能力，特别是在性价比和性能功耗比方面的优势十分明显，同时在软件生态上，也突破了传统CUDA的限制，做到了更好的兼容性。

这里特别要指出的是，在软件生态上，英特尔一直秉持着开放的主张，多年以来，英特尔一直通过开发者社区与开发者互动，并为开发者提供优化后的模型、开源驱动和工具库，同时支持PyTorch、Deepspeed等开源框架加入和维护开放生态。现如今，英特尔正在加快构建一个开放的AI软件生态系统，从而为客户、合作伙伴和开发人员提供早期访问和便捷、迅速的途径。此外，英特尔oneAPI也能提供更为开放的环境，并支持不同层面的定制化开发，英特尔和客户都可以在软件中添加新的加速算子，并更新到开源社区之中。

除了Gaudi2之外，英特尔的至强产品组合也同样能够有效降低AI的准入门槛，众所周知，第四代至强可扩展处理器内置了用于加速深度学习实时推理和训练性能提升的英特尔AMX加速器，在矩阵乘法运算性能上得到了大幅提升，与上一代相比，第四代英特尔至强可扩展处理器将PyTorch实时推理和训练性能提升了10倍，将广泛的AI工作负载的推理和训练性能提升到了新的高度。

从AI应用的角度来看，轻负载的应用实际上对GPU的需求并没有那么急迫，当前主流的方案有两种，一种是把所有AI应用加载到单独的AI加速卡上运算处理，另一种是用一种平台解决所有问题，现在英特尔的第四代至强可扩展处理器在AMX加速器的加持后，本身CPU的AI处理能力已经达到了一个很高的水平，部分应用就可以在不配置AI加速卡的服务器中完成运算，这其实对客户的价值是非常大的，客户可以只使用一种平台部署去解决中低负载的AI应用，并且取得很好的效果。

当然，如果是想要支持更大的模型规模和满足广泛的系统需求，异构计算的方案还是首选，无论是英特尔的GPUMax系列还是Gaudi深度学习加速器都能提供完整的硬件支持，其中英特尔至强CPUMax系列是唯一一款具有高带宽内存的x86处理器，无需更改代码即可加速多种HPC和AI工作负载。而Gaudi2专注于机器学习（Machine Learning）和深度学习（Deep Learning）的环境，以及未来针对大语言模型（LLMs）的市场需求。

正如英特尔公司首席执行官帕特·基辛格在近期的英特尔on技术创新大会上指出的那样，“AI代表着新时代的到来。AI正在催生全球增长的新时代，在新时代中，算力起着更为重要的作用，让所有人迎来更美好的未来。对开发者而言，这将带来巨大的社会和商业机遇，以创造更多可能，为世界上的重大挑战打造解决方案，并造福地球上每一个人。”于市场而言，无论是至强产品组合，还是Gaudi2加速器，都承载着英特尔“让AI无处不在”的愿景，从而加速构建人工智能的美好未来。