中关村在线

服务器

NVIDIA推出Hopper架构 掀起新一代加速计算浪潮

为推动AI数据中心的新一轮发展,NVIDIA于今日宣布推出采用NVIDIA Hopper架构的新一代加速计算平台。与上一代产品相比,该平台实现了数量级的性能飞跃。

Hopper Arch-H100 SXM

这一全新架构以美国计算机领域的先驱科学家Grace Hopper的名字命名,将取代两年前推出的NVIDIA Ampere架构。

NVIDIA同时发布其首款基于Hopper架构的GPU——NVIDIA H100。该款GPU集成了800亿个晶体管。H100是全球范围内最大的性能出众的加速器,拥有革命性的Transformer引擎和高度可扩展的NVIDIA NVLink互连技术等突破性功能,可推动庞大的AI语言模型、深度推荐系统、基因组学和复杂数字孪生的发展。

NVIDIA创始人兼CEO黄仁勋表示: “数据中心正在转变成‘AI工厂’。它们处理大量数据,以实现智能。NVIDIA H100是全球AI基础设施的引擎,让企业能够利用其实现自身AI业务的加速。”

H100技术突破

H100 NVIDIA GPU为加速大规模AI和HPC设定了新的标准,带来了六项突破性创新:

· 先进的芯片——H100由800亿个晶体管构建而成,这些晶体管采用了专为NVIDIA加速计算需求设计的尖端的TSMC 4N工艺,因而能够显著提升AI、HPC、显存带宽、互连和通信的速度,并能够实现近5TB/s的外部互联带宽。H100是首款支持PCIe 5.0的GPU,也是首款采用HBM3的GPU,可实现3TB/s的显存带宽。20个H100 GPU便可承托相当于全球互联网的流量,使其能够帮助客户推出先进的推荐系统以及实时运行数据推理的大型语言模型。

· 新的Transformer引擎——Transformer现在已成为自然语言处理的标准模型方案,也是深度学习模型领域最重要的模型之一。H100加速器的Transformer引擎旨在不影响精度的情况下,将这些网络的速度提升至上一代的六倍。

· 第二代安全多实例GPU——MIG技术支持将单个GPU分为七个更小且完全独立的实例,以处理不同类型的作业。与上一代产品相比,在云环境中Hopper架构通过为每个GPU实例提供安全的多租户配置,将MIG的部分能力扩展了7倍。

· 机密计算——H100是全球首款具有机密计算功能的加速器,可保护AI模型和正在处理的客户数据。客户还可以将机密计算应用于医疗健康和金融服务等隐私敏感型行业的联邦学习,也可以应用于共享云基础设施。

· 第4代NVIDIA NVLink——为加速大型AI模型,NVLink结合全新的外接NVLink Switch,可将NVLink扩展为服务器间的互联网络,最多可以连接多达256个H100 GPU,相较于上一代采用NVIDIA HDR Quantum InfiniBand网络,带宽高出9倍。

· DPX指令——新的DPX指令可加速动态规划,适用于包括路径优化和基因组学在内的一系列算法,与CPU和上一代GPU相比,其速度提升分别可达40倍和7倍。Floyd-Warshall算法与Smith-Waterman算法也在其加速之列,前者可以在动态仓库环境中为自主机器人车队寻找最优线路,而后者可用于DNA和蛋白质分类与折叠的序列比对。

H100的多项技术创新相结合,进一步扩大了NVIDIA在AI推理和训练的领导地位,利用大规模AI模型实现了实时沉浸式应用。H100将支持聊天机器人使用功能超强大的monolithic Transformer语言模型Megatron 530B,吞吐量比上一代产品高出30倍,同时满足实时对话式AI所需的次秒级延迟。利用H100,研究人员和开发者能够训练庞大的模型,如包含3950亿个参数的混合专家模型,训练速度加速高达9倍,将训练时间从几周缩短到几天。

NVIDIA H100的广泛采用

NVIDIA H100可部署于各种数据中心,包括内部私有云、云、混合云和边缘数据中心。这款产品预计于今年晚些时候全面发售,届时企业可从全球各大云服务提供商和计算机制造商处购买,或者直接从NVIDIA官方渠道购买。

NVIDIA的第四代DGX系统DGX H100配备8块H100 GPU,以全新的FP8精度提供32 Petaflop的AI性能,并支持扩展,能够满足大型语言模型、推荐系统、医疗健康研究和气候科学的海量计算需求。

DGX H100系统中的每块GPU都通过第四代NVLink连接,可提供900GB/s的带宽,与上一代相比,速度提升了1.5倍。NVSwitch支持所有八块H100 GPU通过NVLink全互联。新一代NVIDIA DGX SuperPOD超级计算机可通过外部NVLink Switch互联,最多可连接32个DGX H100节点。

Hopper已在行业内获得各大云服务提供商的广泛支持,包括阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure、Oracle Cloud、腾讯云和火山引擎,这些云服务商均计划推出基于H100的实例。

全球领先的系统制造商,包括源讯、BOXX Technologies、思科、戴尔科技、富士通、技嘉、新华三、慧与 (HPE)、浪潮、联想、宁畅和超微预计推出各种采用H100加速器的服务器。

规模各异的NVIDIA H100

H100将提供SXM和PCIe两种规格,可满足各种服务器设计需求。此外,NVIDIA还会推出融合加速器,耦合H100 GPU与NVIDIA ConnectX-7 400Gb/s InfiniBand和以太网智能网卡。

NVIDIA H100 SXM提供4 GPU和8 GPU配置的 HGX H100服务器主板,可助力企业将应用扩展至一台服务器和多台服务器中的多个GPU。基于HGX H100的服务器可为AI训练和推理以及数据分析和HPC应用提供更高的应用性能。

H100 PCIe通过NVLink连接两块GPU,相较于PCIe 5.0,可提供7倍以上的带宽,为主流企业级服务器上运行的应用带来卓越的性能。PCIe规格便于集成到现有的数据中心基础设施中。

H100 CNX是一款全新的融合加速器。这款加速器将H100与ConnectX-7智能网卡相结合,可为I/O密集型应用(如企业级数据中心内的多节点AI训练和边缘5G信号处理)提供强劲性能。

NVIDIA Hopper架构GPU还可与NVIDIA Grace CPU通过NVLink-C2C互联,与PCIe 5.0相比,可将CPU和GPU之间的通信速度提高7倍以上。这一组合,即Grace Hopper超级芯片,可用于大规模HPC和AI应用。

NVIDIA软件支持

H100 NVIDIA GPU由功能强大的软件工具提供支持,可助力开发者和企业构建并加速 AI、HPC 等一系列应用。其中包括用于语音、推荐系统和超大规模推理等工作负载的NVIDIA AI软件套件的重大更新。

NVIDIA还发布了60多个针对CUDA-X的一系列库、工具和技术的更新,以加速量子计算和6G研究、网络安全、基因组学和药物研发等领域的研究进展。

供货信息

NVIDIA H100将自第三季度起开始供货。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多
说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具