中关村在线

笔记本

Zen 6架构解析:第六代EPYC以更高核心密度和带宽应对智能体AI多样化算力需求

【ZOL中关村在线原创技术解析】随着基于Zen 6/Zen 6c架构的第六代EPYC“Venice”系列处理器正式落地,对AMD而言,打造领先的计算性能、拥抱开放平台以及赋能无处不在的人工智能是当前的核心战略,而无论是此前的Zen 5,还是已经到来的Zen 6,AMD都在践行着三条公司级战略的推进,从而为数据中心、企业用户以及消费级用户不断带来性能更强、兼容性更加出色以及更具智能化的产品组合。

那么全新的Zen 6架构到底如何?旗下的产品生态、AI方面的最新进展以及面向高性能计算、垂直行业应用等方面有哪些新动向?咱们一起来看看。

·丰富的产品矩阵应对智能体AI时代更加复杂的计算需求

当前,AMD已经构建起了非常完善的、具有领先性的端到端AI计算产品组合。它们以AMD EPYC CPU、AMD INSTINCT GPU为核心,并拓展出AMD PENSANDO专业网卡、AMD VERSAL自适应SoC,以及面向消费级领域的AMD Ryzen AI、AMD Radeon AI等众多硬件产品,同时在软件端以ROCm软件栈为核心,助力AI开发者能够在AMD的CPU以及GPU计算平台上更好地进行AI开发、测试与应用。这些丰富的产品组合为每一种工作负载都能够匹配正确的计算支持,这使得AMD近年来在AI计算领域取得了诸多成就。

过去几年,AI领域发展迅速,不断迭代。以聊天式AI为核心的时代,GPU成为炙手可热的算力中心。但是随着智能体AI时代到来,CPU重回C位。智能体的调度、编排、执行等等环节深度依赖CPU的计算能力,而推理从曾经的核心应用变为智能体工作流中的一个环节。同时,IDC预测到2030年,AI行业的需求将推动数据中心CPU市场规模达从2025年的260亿美元增长到2200亿美元,这也使得AMD EPYC系列的前景更为广阔。

不过,AI的迅速发展也带来了AI基础设施层面的巨大挑战,电力供应、数据中心的规模、越来越高的计算需求、资本与运营支出限制、工作负载多样性是摆在当前的最直接挑战。

·第六代EPYC为解决AI基础设施痛点而生

因此,AMD第六代EPYC“Venice”的设计理念,就是围绕当前面临的这些严峻挑战而展开。

首先,随着2nm制程工艺的引入,每瓦性能的提升无疑成为第六代EPYC的核心,AMD官方给出的数据表明,第六代EPYC每瓦能耗可支持的智能体数量高出2.8倍,这意味着同等计算规模下,第六代EPYC能够为数据中心带来更低的能耗,从而缓解电力供应问题。

其次,更高的核心密度来帮助数据中心节省空间。例如当前落地的EPYC 9006 SP7处理器,借助Zen 6c架构实现了高达265核512线程的更高核心密度,这使得同等算力所需求的机架数量更少,缓解数据中心空间紧张的问题。

其三,第六代EPYC带来更快的吞吐速度,带宽最高达到1.6TB/s,支持64Gbps PCIe 6.0高速通道,可以满足日益增长的高性能计算需求。

其四,面对AI时代越来越显著的资本与运营支出限制,AMD通过收购MEXT,利用预测内存引擎这样的软件技术来降低内存支出,其整合比达到了12:1,在存储成本翻倍的当下,无疑可以帮助客户以更少的内存确保同等的需求。

最后,面对多样化的工作负载,前面我们也提到了,AMD当前已经构建起了非常丰富的产品组合,例如第六代EPYC不仅涵盖了刚刚发布的SP7,SP8,更有Verano、Venice-X这些面向企业级用户、HPC、AI主机节点等应用领域推出的产品,同时还有INSTINCT、网络等方面的硬件支持,满足多元化计算需求。

具体到刚刚发布的EPYC 9006系列Venice家族,其主要包含了EPYC 9006 SP7 Venice处理器,该系列主打超强的计算性能,最高256核512线程的独一档核心密度带来了相比前代Turin系列的2倍的性能提升,同时还有2.6倍的内存带宽升级。

EPYC 9006 SP8则是面向企业级用户的计算平台,将于2027年上市,强调系统成本优化与部署灵活性。其根据企业用户自身需求可提供从8核到128核心的极其丰富的可选规格。支持8通道+2DPC内存规格,拥有更加平衡的内存带宽与容量适配,同时提供了多达128条PCIe通道,而且部署灵活,支持单路与双路,支持高密度机架并且符合NEBS标准。

将于2027年下半年上市的EPYC 9006X SP7,也就是Venice-X平台,则主要聚焦于HPC与AI预处理,最高支持96核心,支持16通道12800MT/sDDR5 MRDIMM内存,支持3DV-Cache技术,总L3缓存扩充至1152MB,同时它拥有5.15GHz的高频计算能力。

同时,2027年下半年AMD还会推出EPYC 9006 LP "Verano"处理器,它主要是聚焦AI主机节点的专用处理器,最高为72核心,支持高能效的LPDDR5x内存,并且利用增强xGMI@112Gbps优化了CPU-GPU互联能力,同时其频率也达到了5GHz。

第六代EPYC在电源管理技术上有了三处新的变化,从而在能耗表现上更加符合当前以AI为核心的大规模计算需求下,对于节能的要求。

首先它采用了统一供电(UPP)技术:SoC和内存共享功耗空间,可以按需调度分配,从而在提升机架服务器部署密度的同时,将性能损耗控制在最低。

其次基于利用率的功耗缩放(UBPS):根据实际负载高低调度功耗,轻负载下降功耗,高负载下拉满功耗和性能。

其三是频率自适应频谱技术(FAST):一颗SoC就有两套性能策略,优先使用体质最好的核心,而在功耗受限场景下尽可能维持高性能。

此前,AMD收购了MEXT这家利用软件技术优化内存方案的科技公司,并利用AI驱动型预测内存技术,通过构建内存分层方案,将不常访问的数据从昂贵的DRAM转移至单位成本低得多的NAND闪存,使NAND对操作系统而言如同DRAM,从而在保持性能和效率的同时,扩展可用内存容量。第六代EPYC+AMD MEXT的硬件与软件组合,将使得客户以更少的内存就能够达到同等容量内存的性能表现,每“DRAM-Dollar”成本的性能提升高达3.5倍。

由此我们不难看出,第六代EPYC Venice带来了行业领先的性能、密度以及内存带宽表现,使其在智能体应用性能方面有着每瓦、每美元、每机架层面的全方位提升。

在客户合作方面,微软Azure已经公布了Venice平台的相关进展,包括提升AI推理能力的、基于MI455X v7 GPU平台的Helios服务器;面向芯片设计以及技术计算的、基于Venice-X的HXv2,以及面向AI数据处理、智能体AI和HPC的基Venice的HDv2三大平台。

同时,得益于第六代EPYC的加持,这些新平台的性能也得到显著提升。例如HDv2在面向边缘AI训练数据处理方面。

·强悍的代际性能提升满足智能体AI时代应用需求

智能体是第六代EPYC的核心应用场景之一。

当前,智能体已经成为驱动AI基础设施升级的头号因素,而推理则逐步取代训练,成为当下最高的AI工作负载,推理与训练的比例已经来到了6:4,同时从2026年1月到2026年8月之间,智能体应用暴增14倍。

不过,智能体应用当下也面临着诸多挑战。例如持续增长的token成本支出,智能体的增长速度正在超过其本身的承载能力,电力能源方面的限制也制约了AI的继续发展。同时对于CPU而言,智能体AI执行管线也不只有一种工作负载或CPU就能执行,从网关到上下文到规划与路线执行,再到验证、流式响应等等,每个阶段都对CPU有着特定的需求,这其实对于整个计算系统的要求更加复杂。

如果将上图所示的这些智能体管线分成AI基础设施的三个层级的话,首先对于推理(Reasoning)而言,无疑是GPU服务器主机节点为核心,第六代EPYC和INSTINCT的组合带来了更高的核心频率以及最大化的CPU-GPU带宽,为推理速度奠定基础。同时,ROCm软件栈也给予了软件侧的支持。

其次就是智能体CPU服务器非常重要的沙箱,其管线包含了上下文整合、临时工具条用、认证以及规划和路线的执行,这一层需要更强的CPU性能以及更高的每瓦核心性能。而且AMD ROCm提供了相关的智能体开发工具套件,以使开发者更加方便地在AMD EPYC平台上进行AI的开发和优化。

其三则是通用CPU服务器,其管线包含了网关、企业级工具、上下文检索和相似性搜索以及流式响应,它们需要更加平衡的性能、核心数量、功耗以及成本。而且AMD也有着强大的软件生态,比如Office、SAP、workday等等。

在过去两年里,上一代EPYC Turin作为最好的CPU产品组合,以Turin HF、Turin 192c、Turin 8-192c的不同产品组合满足了上述三种服务器的需求。而现在,接力棒交到了EPYC Venice手中,它成为了智能体时代最好的服务器CPU产品组合。

面向GPU服务器主机节点,它提供了RDIMM/MRDIMM的Venice HF,以及LPDDR的Verano CPU,有着高达5.3GHz频率以及最大的CPU-GPU带宽。

同时使得更多的智能体可以利用到全新的统一供电(UPP)技术,每瓦智能体数量从2.8倍提升到3.3倍。使用UPP时,每插槽智能体数是未使用时的1.2倍,能效极高。

因此可以看到,第六代EPYC Venice以5.3GHz高频带来了更好的token经济性,每瓦和每机架支持的智能体数量最大化,同时又有着极其出色的能效表现,实现了代际层面的巨大飞跃。

·Helion机架级解决方案为智能体AI打造高效、经济的算力底座

与第六代EPYC Venice一同推出的,还有全新的Helion机架级解决方案,它为AI基础设施进一步细分化打造了坚实的算力底座。此前,AMD已经推出了基于INSTICN GPU的Helios机架方案,它以CPU+GPU的硬件组合为核心,为AI推理打造算力基石。而Helion则能够进一步丰富智能体机架的选择。

比如面向超大规模客户的产品,其核心是CPU-only模式,也就是纯CPU的机架设备,48OU规格最高核心数量为36864,44OU规格最高搭载32768个处理器核心,承担智能体执行的专用算力池角色,并可以对接外部独立的模型推理设施实现超强的AI推理能力。同时叠加Helios GPU机架和液冷方案,实现超高性能的智能体执行和推理应用。

其二则是企业级场景,这里AMD又将其分为风冷散热为主的纯CPU智能体机架和CPU+GPU的all-in-one一体机智能体机架设备。后者通过AMD EPYC CPU节点与AMD Instinct GPU(AMD Instinct MI350P GPU)节点、通用计算节点同机部署,覆盖智能体执行与GPU推理的一体化需求。

同时,AMD也正式为三种机架方案定名:

首先是液冷Helion机架,48OU最高支持36864个Zen 6核心,44OU最高支持32768个Zen 6核心,120KW支持超过73000个智能体,Compute Trays规格为32x1OU,整机CPU功率400-600W。

其次是Helion Air风冷方案的纯CPU机架,最高支持16384个Zen 6c核心,总功率为400W,同时可支持最高8192个Zen 6核心,总功率为600W。在60KW下支持超过32000个智能体,Compute Trays规格为32x1OU(400W)或16x2OU(600W)两种选择,整机CPU功率为400W或600W。

其三是Helion Air Inference,也就是CPU+GPU的一体机方案,实现智能体执行和推理一体化,它搭载12288个Zen 6核心,16个MI350P GPU,FP4算力高达74PetaFlops,Compute Trays规格为24x1OU CPU和2x4OU GPU,整机功率400W或600W。

在软件端,AMD ROCm也打造了面向Helion的智能体AI软件栈,vmware、NUTANIX、RedHat等合作伙伴也提供了相应支持。

而在行业应用方面,Helion+Helios,以及丰富的产品组合可以在疾病诊断、药物研发、临床试验、规划和设计、代码生成、测试、优化等等方面给予最契合的硬件与软件解决方案。

此外,AMD多年以来一直注重拥抱开源平台、开源社区,在硬件层面打造标准化的机架与服务器解决方案;在软件层面坚持标准化的机架管理策略并打造开源工具;同时坚持以客户选择为中心,老向新迁移无需重新部署环境,大大简化迁移效率,降低迁移成本。

目前,已经有来自戴尔科技、HPE、联想等超过10家的Helion认证的机架设备准备上市。

此外,AMD还公布了Helion机架路线图,2028年将推出Helion Gen 2,也就是搭载第七代EPYC Florence的产品,2030年将推出Helion Gen 3,搭载第八代EPYC Ravenna的产品。

总体来说,AMD EPYC Venice系列产品将按计划出货,它带来了最强的性能表现,如高频、超多的核心线程数量以及内存带宽;为智能体AI领域打造的Helion机架方案,使得每机架、每瓦支持的智能体数量更多,更具经济性,同时也借助强悍的性能使得智能体唤醒速度更快;而且客户还可以选择3机架智能体集群方案,OEM和ODM对此已经全面支持。

·Zen 6架构解析核心、能效、带宽全面升级

前面我们聊了AMD第六代EPYC Venice的产品情况,但并未提及Zen 6架构的具体细节,所以接下来,我们一起看看第六代EPYC的灵魂——AMD Zen 6到底有怎样的变化?

2024年,AMD Zen 5架构开始采用Zen 5+Zen 5c的我们俗称的大小核方案,前者聚焦尖端性能,后者聚焦核心密度带来的高能效表现,可以说是获得了行业、市场和用户的广泛认可。接下来的Zen 6架构依旧以Zen 6+Zen 6c的“大小核”方案延续推进,同时AMD还公布了2028年的Zen 7/Zen 7c以及2023年的Zen 8家族路线图。从半导体芯片领域的惯例来看,目前AMD应该已经开始着手Zen 8的研发推进工作了,所以整体的更新节奏相当稳。

回到AMD EPYC,2018年第一代Zen架构产品的Naples到当下的为智能体AI量身打造的Zen 6架构Venice平台,8年时间EPYC成为数据中心领域最具影响力的品牌,同时也成为了行业的领军者。其核心原因就在于AMD Zen架构为EPYC打下的坚实的性能、能效基础,体验好了,用户认可度自然就会持续上升。

从第一代到第五代EPYC,服务器CPU营收份额的增长曲线陡峭度足以说明市场和用户对其的信赖程度。而从第一代到第六代EPYC,其吞吐速度增长了接近20倍!越来越强的性能进一步夯实了市场和用户基础。

在实际性能表现方面,相对第五代EPYC Turin处理器,第六代EPYC 9006 Venice处理器带来了2倍的SPECint 2026整数计算性能提升,2.4倍的SPECfp 2026浮点性能提升,2.7倍的内存带宽提升,1.4倍的高性能计算性能提升,以及1.3倍的矩阵计算性能提升。而这些性能提升数据,正是Zen 6架构升级的最佳佐证。

Zen 6架构的设计目标有五项重点:包括核心性能提升;充分利用高效设计实现最大吞吐量;为智能体计算负载提升芯片的AI能力;更低的延迟;延续出色的保密计算能力。

基于此,我们来看看Zen 6c和Zen 6微架构特性。

首先来看Zen 6c。它有着更大的操作缓存(Op-cache),更大的返回地址栈(return address stack),更大的浮点和整数调度器(FP/INT schedulers),更大的加载/存储队列(Load/Store Queues)以及更大的重排序缓冲区(ReorderBuffer),并且增加了算子融合优化技术(Op Fusion),降低了分支误预测延迟(Branch Misprediction Latency),支持4xVNNI INT8管道。

其架构包含2个基础块取指和管线,8宽度分发和重命名指令宽度,支持6个ALUs,4加载/2存储队列,512bit浮点数据路径,FADD(浮点加法指令)延迟为2个时钟周期,缓存fills/victim均为64B,同时支持48K 12-way L1D cache数据缓存,以及1MB 16-way L2缓存。

分支预测、取指以及分派方面的优化如下,这里就不做细致介绍了,大家只需要记住这些优化使得第六代EPYC处理器的流水线得到进一步优化,处理器在指令级并行度(ILP)和实际性能发挥层面会有更好的表现。体现到芯片端的就是,这些优化使得处理器每个时钟周期内能执行的指令更多,简单来说就是单个核心的性能得到增强。

处理器调度与执行方面,采用分布式整数调度器获得更多容量,包含96个共享ALU/AGU(算术逻辑单元/地址生成单元),以及48个专用ALU。这部分也大家只需要知道,处理器调度与执行层面的优化,可以提升指令吞吐量和多任务响应速度,使得多核负载表现更加出色。

数据带宽方面,Zen 6架构也做了全面升级,其最直接的好处就是让CPU在单位时间内能搬运更多数据,从而缓解内存墙带来的性能瓶颈 。

在浮点数据类型和管线方面,Zen 6/zen 6c相比Zen 5/Zen 5c的变化如下,主要亮点在于支持完整的AVX-512 FP16计算,而不再是只支持数据转换;同时新增支持BMM扩展指令集,它主要是用来加速矩阵的位掩码(bitmask)操作,对二进制神经网络这类AI任务收益相当可观。 此外,VNNI-INT8从2条升级到4条,FP加载/存储带宽也得到显著提升。

缓存方面,Zen 6c还支持128ML3,可同时共享给一个CCX中的所有32个核心(以32核心处理器为例),而且每个核心又拥有更快的独立1ML2缓存,整体缓存能力更加出色。

具体到Zen 6c SOC层面,相比Zen 5c来说,CCX核心数量从16增加到32核,每核心L3缓存从2M增加到4M,总的L3缓存从32M增加到128M,最大加速频率从3.7GHz增加到4.1GHz,最大核心数量从192核增加到256核。

而Zen 6相比Zen 5来说,CCX核心数量从8个增加到12个,最大加速频率从5GHz提升到5.3GHz,每核心L3缓存依旧为4M,不过因为核心数量增加,所以总的L3缓存从32M增加到48M,最大核心数量从64核增加到96核。

另外大家可以通过下图了解一下Zen 6处理器的指令集相关信息,这里就不再多做赘述了。

架构信息了解之后,咱们来看看AMD官方给出的Zen 6架构性能表现。首先是企业和云服务工作负载的IPC平均性能,16核双CCD对比16核单CCD,Zen 6c比Zen 5高出约20%;而AI工作负载方面,同样16核双CCD对比16核单CCD,Zen 6c比Zen 5高出约31%。

另外在AI计算相关的整数、浮点方面,Zen 6c相比Zen 5c而言是做了多个方面的升级的,具体可以参考下图。

从SOC的角度去看,Zen 6c这次每个CCD上支持32个核心,最高支持8CCD,也就是达到了前面所说的256核512线程的规格。Zen 6则是每个CCD上支持12个核心,最高同样支持8CCD,为96核192线程。

同时,第六代EPYC新增了3DV-Cache技术的支持,这将会在2027年的Venice-X上搭载,最高1152MB的L3 per socket。SP7的平台接口也将会更换为76x80mm规格,平台最大功率600W。

内存方面,全新支持16通道DDR5 8000MT/s内存(RDIMM),MRDIMM速度提升至12.8GT/s,并且支持1、4、8、12、16通道内存交错,带宽最高达到1.6TB/s,单DIMM内存容量每socket可以支持到8TB。

处理器的IOD上搭载了64Gbps速率的Gen 5 Infinity Fabric做核心上的连接,双路最高支持128条PCIe 6.0通道,单独最高支持96条,而且额外支持16条和8条PCIe 4.0通道。另外还支持最新的CXL 3.1。

AMD还给出了性能、能效、TCO方面的表现,具体可以参考下图。这张图其实主要体现了第六代EPYC相当丰富的产品应对策略,比如在智能体批量应用、云、HPC、头结点、桌面级等领域都有对应核心、功率的硬件去匹配,从而满足多样化的智能体时代计算需求,同时还能兼顾企业对TCO的要求。

安全特性方面主要是升级了RoT的RSA 4k和PQC支持,并且支持物理攻击和侧路攻击的缓解措施。下图是第六代EPYC Venice SP7的新特性汇总,感兴趣的朋友可以参考:

接下来我们简单看一下AMD EPYC SoC平台双路和单路的示意图,这里主要注意的就是2.6倍的高内存带宽升级,支持JEDEC标准的DIMM插槽;双倍的PCIe 6.0每通道IO带宽,支持CXL 3.1进行内存扩展,同时有着更好的性能以及能效表现。

另外大家也可以通过下图参考一下SP7和SP8平台的差异。总体来说SP8作为功耗更低的平台,socket来到了62.5x80mm规格,支持8-128核心的Zen 6c或96-16核的Zen 6处理器,内存通道为8条,2DPC(每通道支持2条内存插槽),RDIMM/MRDIMM峰值带宽分别为512GB/s和819GB/s,基本是SP7的一半。内存容量方面,1DPC最高支持1TB,2DPC最高支持2TB。IO方面,单路支持128条PCIe 6.0和8条PCIe 4.0x2,双路为192条PCIe 6.0和16条PCIe 4.0x4,每接口峰值IO带宽高达2TB/s,而且与SP7一样支持CXL 3.1。

除了Venice之外,第六代EPYC Verano服务器CPU也同样值得关注,其Compute Dies基于TSMC N2P制程工艺打造,最高支持6个CCD规格,每CCD支持32个Zen 6c核心或12个Zen 6核心,每核心L3均为4MB。CCD32加速频率升级到4.1GHz,CCD12加速频率升级到5.3GHz。CCD之间由两个IOD连接,同时支持4个MCD,每个die支持6通道LPDDR5x 8533MT/s,最高支持24通道的LPDDR5x内存。

下图是第六代EPYC服务器CPU家族,包含Venice SP7、Venice SP8、Venice-X以及Verano四大家族的特性汇总,前面我们已经介绍过了,这里就不再赘述。

·AMD MEXT,用软件优化显著降低内存成本开支

此外,我们接下来着重聊聊内存以及AMD MEXT。

当前,服务器成本开销主要就是集中在DRAM上,它占据了大约3/4的成本开支。

但同时,DRAM在实际应用过程中通常会有很多的浪费,比如过度配置导致虚拟机50%的DRAM浪费;占DRAM总量25%的滞留内存以及容易进入冷状态的50%-80%的内存页利用率不足问题。

因此这对于用户而言就产生了一个极其敏感的问题,DRAM价格高涨,需要更多成本支出去进行配置,但最终DRAM却很容易产生浪费,从而使得成本开支与实际应用效率之间无法取得平衡。

基于此,AMD MEXT软件方案可以很好地帮助用户解决DRAM浪费问题。它可以智能化地将冷数据卸载到成本更低的闪存上,将急需使用的热数据快速加载到DRAM上,从而避免DRAM浪费。

利用AMD MEXT技术,可以帮助用户大幅度降低DRAM开销成本,可以做到20-75%的DRAM削减,同时提升每DRAM-Dollar的性能比。同时,借助AMD MEXT+闪存方案,可以使内存容量最高扩展3倍,相比直接增加内存来说,整体成本支出要低得多。

此外,AMD MEXT是软件端的解决方案,因此在部署上既便捷又快速,数据中心、云端以及虚拟机、容器等环境都可以实现快速部署。

AMD也给到了相关行业应用AMD MEXT软件技术后的内存削减与性能表现,有兴趣的朋友可以参考下图:

另外,在智能体AI以及EDA领域使用AMD MEXT方案之后,每DRAM-Dollar性能收益可参考下面两张图片所示,相比直接增加内存来说,这样的方案在经济性方面显然更符合当下的行业现状。

·结语

第六代EPYC落地,Zen 6时代正式开启。

从一系列硬件、软件解决方案不难看出,AMD如今在数据中心、AI领域的“胳膊”变得是越来越粗,在打造领先的计算性能、拥抱开放平台以及赋能无处不在的人工智能三大战略的指引下,AMD通过丰富的产品、技术组合,解决了智能体AI时代面临的“算力匹配”问题。

计算多元化的时代里,仅靠一类芯片自然无法满足需求,因此第六代EPYC不仅可以搭配INSTINCT GPU、AMD PENSANDO网络方案来使用,自身更是细分出了Venice SP7/SP8,Venice-X以及Verano这种多样化的方案,同时在机架解决方案,内存优化等方面同样提供了丰富选择,为不同计算需求、不同算力需求、不同应用需求、不同场景需求的客户提供全方位的解决方案,实现了为“特定计算匹配正确算力”的承诺,让计算资源不被轻易浪费。

展开全文
人赞过该文 赞
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具