中关村在线

热点资讯

英伟达将推定制AI推理芯片平台,融合Groq技术优化解码性能

英伟达将于下月在圣何塞举行的GTC开发者大会上正式推出一款面向OpenAI等头部客户的定制化人工智能处理器平台。该平台深度融合了初创企业Groq所研发的芯片技术,旨在显著提升人工智能工具的运行速度与能效水平。

OpenAI已确认将作为该处理器首批核心客户之一。近年来,OpenAI持续探索英伟达现有GPU架构之外的高效替代方案,并与多家芯片设计企业展开协同研发。为加速新平台落地,英伟达不仅获得了Groq多项关键技术的授权,还吸纳了其核心工程管理团队加入项目。

当前,人工智能应用正加速由模型训练阶段向大规模推理部署过渡,市场对高吞吐、低延迟、高能效比的推理专用芯片需求迅速攀升。尽管英伟达在训练领域保持技术领先,但其通用GPU在推理任务中,尤其在响应实时交互、处理长上下文等典型场景下,已显现出能效与延迟方面的结构性瓶颈。

新处理器系统聚焦于优化推理流程中最关键的两个环节——预填充与解码,其中解码阶段因涉及逐词生成与反复迭代,往往构成整体延迟的主要来源。此次架构升级将重点强化该环节的计算效率。此外,英伟达正同步拓展产品边界,首次以规模化方式推进纯CPU架构在人工智能推理场景中的部署,进一步覆盖多样化算力需求,强化在细分AI市场的综合竞争力。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具