NVIDIA Blackwell平台在MLPerf V5.0测试中创纪录成绩

4月3日，NVIDIA在其官方网站上宣布，在最新的MLPerf V5.0基准测试中，NVIDIA的Blackwell平台取得了显著的成绩。MLPerf是目前最具权威性和广泛影响力的国际AI性能基准测试平台，旨在衡量人工智能硬件、软件和服务的性能。该平台由图灵奖得主大卫·帕特森联合谷歌、斯坦福大学、哈佛大学等顶尖企业和学术机构共同创立。

在最新版本的MLPerf测试中，新增了Llama 3.1 405B这一模型，这是目前规模较大且运行难度较高的开放权重模型之一。NVIDIA表示，尽管许多公司通过MLPerf基准测试来评估其硬件性能，但在Llama 3.1 405B基准测试中，只有NVIDIA及其合作伙伴成功提交并公布了测试结果。

具体来看，NVIDIA的GB200 NVL72系统通过将72个Blackwell GPU连接起来，模拟成一个超大单一GPU进行运行。在Llama 3.1 405B基准测试中，与H200 NVL8相比，该系统实现了高达30倍的吞吐量提升。

在生产环境中，推理部署通常受到首次响应时间（TTFT）和每个输出令牌的时间（TPOT）这两个关键指标的限制。新的Llama 2 70B Interactive基准测试将TPOT缩短了5倍，TTFT降低了4.4倍，从而为用户提供了更快速的体验。

在这一测试中，NVIDIA使用配备8个Blackwell GPU的DGX B200系统，其性能比采用8个H200 GPU的系统高出三倍，为更具挑战性的Llama 2 70B基准测试设定了新的性能标准。