中关村在线

热点资讯

Cerebras 推出全球最快 AI 推理解决方案,速度是英伟达方案的 20 倍

Cerebras Systems近日推出了全球最快的AI推理解决方案——Cerebras Inference。该解决方案具备惊人的性能,其速度是基于英伟达GPU的云服务提供商(如微软Azure)提供的AI推理解决方案的20倍。

Cerebras Inference提供了三个层级:免费层、开发者层和企业层。其中,免费层为任何登录用户都提供免费的API访问和慷慨的使用限制。开发者层专为灵活无服务器部署而设计,具有成本效益优势。企业级服务包含了微调模型、定制服务级别协议以及专门支持等。

这款新型推理解决方案的价格比流行的GPU云服务低得多,起价仅为每百万个token10美分,并且为AI工作负载带来了100倍的成本效益提高。这意味着在没有影响速度或成本的情况下,AI应用程序开发者可以构建下一代AI应用程序。

随着对更快速度、更具成本效益的AI推理解决方案需求不断增加,Cerebras和其他公司(如Groq)等竞争对手正在颠覆着NVIDIA在AI市场主导地位的地位,尤其是针对推理领域。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多
说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具