2023 LS30 | 为什么英特尔Habana Gaudi 2能够最大化释放企业AI价值？

ZAO 2023中关村在线年度观察推选年度领先解决方案Leading Solutions 30（以下简称LS30），为行业用户提供更好的选择，助力行业优质解决方案与技术方案。

中关村在线认为，2023年英特尔于中国市场推出的Habana Gaudi 2 AI加速器可以参与本次终极评选。Habana Gaudi 2处理器采用了7纳米制程工艺，以Habana的高能效架构为基础，面向数据中心的计算机视觉和自然语言应用，旨在为客户的模型训练和推理提供更高的性能。

为深度学习而生的全新Habana Gaudi 2 AI加速器

作为一种渗透性强且具有颠覆性的通用技术，人工智能正在成为行业数智转型的核心，特别是生成式AI的普及，可以有效提高企业效率、完成创意工作，并最终改善整体业务表现。根据IDC的预计，全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元。

对企业而言，无论是基于提高工作效率的考量，还是加速创新的脚步，都有必要对AI这一关键业务进行部署，而在Habana Gaudi 2 AI加速器的赋能之下，企业可以最大化释放自身的AI价值。

基准测试结果验证Habana Gaudi 2强劲性能

从规格上看，Gaudi2以第一代Gaudi高性能架构为基础，实现了多方位的性能与能效比提升，具体性能包括24个可编程Tensor处理器核心（TPCs）、21个100Gbps（RoCEv2）以太网接口，高达96GB的HBM2E内存容量，2.4TB/秒的总内存带宽，48MB的片上SRAM，同时集成了多媒体处理引擎。

此前MLCommons公布了针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的MLPerf推理v3.1性能基准测试结果，Gaudi2的测试结果验证了其相当具有竞争力的性能，特别值得注意的一点是NVIDIA H100相比Habana Gaudi 2仅表现出1.09倍（服务器）和1.28 倍（离线）的轻微性能优势。

特别是在MLperf 3.1的推理测试中，Habana Gaudi 2和H100的表现十分接近，主要是基于Gaudi2架构和软件设计上的领先性以及资源的高效利用率。具体来说，Habana Gaudi 2的MME支持了BF16和FP8的加速，且结构设计合理，可以高效提升推理的能力。再加上Gaudi2的本身性能普遍高于A100，采用了FP8后与不支持FP8的A100相比，优势就更加明显。

从更早之前披露的MLPerf Training 3.0的结果来看，Habana Gaudi 2在性能、软件以及训练系统的成熟度上都达到了相当可观的水平，尤其是根据HuggingFace最近发布的AI训练性能结果，则进一步表明了Habana Gaudi 2在多模态Transformer模型BridgeTower上的优势。

助力中国企业开启人工智能新篇章

多年来，借助强大的AI软硬件基础，英特尔一直致力于为AI领域的各类工作负载提供业界领先的卓越性能，并通过开放的生态、丰富多样的产品选择不断降低AI部署的门槛，并为中国的AI发展提供坚定支持。

通过将Habana Gaudi 2部署到数据中心，可针对计算机视觉与自然语言处理的模型训练与推理提供更高效能，并解决客户最关注的两个问题：降低服务器处理成本，还能减少训练模型所需时间。Habana Gaudi2和Greco AI加速器是基于Synapse AI软件栈开发的，能够通过支持多样化架构，让终端用户充分利用处理器的高性能和高能效。

结语

AI代表着新时代的到来。AI正在催生全球增长的新时代，在新时代中，算力起着更为重要的作用，让所有人迎来更美好的未来。对开发者而言，这将带来巨大的社会和商业机遇，以创造更多可能，为世界上的重大挑战打造解决方案，并造福地球上每一个人。英特尔于中国市场正式推出的Habana Gaudi2，在深度学习上实现了重点飞跃，能够通过支持多样化架构，让用户充分利用处理器的高性能和高能效，以更高的性价比训练数据中心负载，助力企业释放人工智能价值，创造更多可能。