根据 AMD 官方说法,他们计划到 2025 年将 EPYC 处理器和 Instinct 加速器的能效提高 30 倍。虽然目前还没有达到这一目标,但 AMD 现在已经非常接近了。最近推出的 EPYC 9575F 和 Instinct MI300X 机器在能效方面相比 2020 年一台未公开的机器提高了 28.3 倍。
AMD 表示,在测试中使用了 Llama3.1-70B(vLLM 0.6.1.post2、TP8 Parallel、FP8、连续批处理)模型进行对比,并发现其推理性能差异很大。然而,该公司并未透露具体的硬件规格和测试方法。
除了硬件提升之外,AMD 这一成绩是通过架构改进和软件优化综合实现的。AMD 最近推出了基于 CDNA 3 架构的 Instinct MI325X 加速器,配备了 288 GB HBM3E 内存子系统。明年,AMD 还将推出基于 CDNA 4 架构的 Instinct MI355X 加速器,其性能与 MI325X 相比约提高了 80%。
AMD 高级副总裁 Sam Naffziger 表示,“我们对实现 30x25 目标很有信心,并对未来充满期待。”他认为实现大幅能效提升的有效途径已经看到了在未来几年内实现。
评论