中关村在线

显卡

用了这款软件 AI推理性能将大大提升

在之前,老黄在GTC 2018上讲述了会议的几大部分,而现在到了AI推理。NVIDIA新发布的TensorRT 推理软件对 Kaldi 的语音加速以及扩展对 ONNX 的支持;GPU 推理速度现在比 CPU 快可高达 190 倍。

除了推出新版的TensorRT 推理软件,更是将TensorRT 集成至谷歌的 TensorFlow 框架。NVIDIA还宣布,最受欢迎的语音识别框架 Kaldi 现已针对 GPU 进行了优化。NVIDIA 与亚马逊、Facebook及微软等合作伙伴的紧密协作,让开发者更易于使用 ONNX 与 WinML 充分发挥 GPU 加速的优势。

NVIDIA 加速计算副总裁表示:即便是最大规模的神经网络,面向量产型深度学习推理的 GPU 加速也能够让其以最低成本实时运行。随着对更多智能应用及框架支持的快速扩展,我们现在能够提高深度学习的质量,并帮助降低 3000 万台超大规模服务器的成本。

TensorRT 4 软件针对广泛的应用加速深度学习推理。TensorRT 提供高度精确的 INT8 与 FP16 网络执行,最高可减少 70% 的数据中心成本。可用于快速优化、验证及部署在超大规模数据中心、嵌入式与汽车 GPU 平台中经过训练的神经网络。相比 CPU,针对计算机视觉、神经网络机器翻译、自动语音识别、语音合成与推荐系统等常见应用,该软件最高可将深度学习推理的速度加快 190 倍。

为了进一步精简开发,NVIDIA 与谷歌的工程师已将 TensorRT 集成至 TensorFlow 1.7,使得在 GPU上运行深度学习推理应用更加容易。NVIDIA 优化了全球领先的语音框架 Kaldi,以实现运行于 GPU 的更快性能。GPU 语音加速意味着消费者将获得更加准确与实用的虚拟助手,并降低数据中心运营商的部署成本。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多
说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具