英伟达推出TensorRT 3人工智能推理软件
黄仁勋   新浪科技讯 9月26日下午消息,在GTC China大会上,英伟达CEO黄仁勋宣布推出全新的TensorRT 3人工智能推理软件。该软件可以大幅提升云端及包括机器人、无人驾驶汽车在内的终端设备的推理性能,并有效降低成本。   据介绍,TensorRT 3与英伟达GPU的结合能够基于所有的框架、为诸如图像和语音识别、自然语言处理、视觉搜索和个性化建议等人工智能服务提供快速且高效的推理。此
2017-09-26 17:23:31
来源:新浪科技  
黄仁勋黄仁勋

  新浪科技讯 9月26日下午消息,在GTC China大会上,英伟达CEO黄仁勋宣布推出全新的TensorRT 3人工智能推理软件。该软件可以大幅提升云端及包括机器人、无人驾驶汽车在内的终端设备的推理性能,并有效降低成本。

  据介绍,TensorRT 3与英伟达GPU的结合能够基于所有的框架、为诸如图像和语音识别、自然语言处理、视觉搜索和个性化建议等人工智能服务提供快速且高效的推理。此外,TensorRT和英伟达Tesla GPU加速器的速度可达到CPU的40倍,而相较于基于CPU的解决方案,成本仅为其十分之一。

  黄仁勋在现场表示,英伟达Tesla V100 GPU与TensorRT结合,在处理图像时可以实现7ms延时,处理语音时延时不超过200ms,是标准云服务的理想目标。

  而根据现场演示,由于GPU与TensorRT结合后的性能加速,一台8 GPU的服务器可以替换160台双CPU服务器,或者4个机架。而每台采用Tesla V100 GPU的服务器可以节省约50万美元。

  黄仁勋表示,英伟达的人工智能计算平台,已经被中国互联网和IT行业的领军企业采用。阿里巴巴、百度、腾讯均已在其云端人工智能基础设施上部署了英伟达的Tesla V100 GPU,而华为、浪潮、联想也已经作为OEM厂商,开始生产基于HGX的GPU服务器。

  但黄仁勋同时表示,以上成绩都只是关于建立深度学习网络,而网络一旦建成,人工智能推理将会成为下一个重大挑战。

  神经网络的应用会接连变革每个行业。人工智能将会注入到2000万台云服务器,以及上亿台汽车和制造机器人当中。最终,数以万计的物联网设备和传感器将能够监测从心率、血压到设备震动状态的一切数据。

  而这项变革的背后,是人工智能网络架构的爆炸式增长。黄仁勋在现场介绍表示,Inception计算要求是AlexNet的50倍,DeepSpeech3的计算要求是4年前第一代的30倍,而MoE语言翻译器的计算要求是2年前OpenNMT的10倍。这对使得人工智能深度学习网络基础建成之后,人工智能推理成为该领域的下一项重大挑战。

  据现场介绍,目前,阿里云、腾讯、百度云、京东、科大讯飞均已采用TensorRT 3,用以支持指数级增长的人工智能工作负载。(周峰)

最新文章
1
openEuler 汇聚开源力量,深化系统级创新,构筑 Agentic Infra 坚实底座
2
海信小墨E5S Pro成双11全网超级大单品,RGB-Mini LED引领大屏换代趋势
3
从全天候接待到智能挽单,快手电商智能客服助力商家做好双11售后服务
4
开售三周超25亿元,16位快手电商达人接连刷新单场销售纪录
5
存商跃迁、新商爆发,快手双11「全民任务」赋能腰尾商家生意增长
6
openEuler发布面向Agentic Infra的操作系统,全球协同共建AI生态
7
一套追光套系,全屋森林呼吸:长虹追光套系空调正式发布
8
双11全周期第一!TCL电视强势夺冠,SQD-MiniLED开启“狂飙”模式
9
这还是TIM和四维?影视飓风造型爆改 前后反差太大
10
13%跌幅背后 嵌入式微蒸烤卡在哪?
11
下一站,芯屏契合
12
预计双11家电大盘下滑14%,AI家电逆势领跑成最大驱动力
13
连续三年获中上协认可,四川长虹将ESG管理延伸至产业链
14
空调渠道为什么又涌现出撕裂型的变化
15
爆料称小米18标准版备案16GB+1TB顶配:2nm平台,整机重量约200g
16
中国电视平均尺寸涨到64.7英寸 75英寸仍是第一大尺寸
17
每卖10台就有近3台!Mini LED电视越来越吃香 RGB杀入2000元档
18
双11战报,家电消费电子企业不太需要?
19
快手电商亮相第九届进博会:以「展+播」新范式,助力商达破峰增长
20
快手电竞与杭州市智力运动管理中心、天猫校园达成战略合作,携手共建AEW产业生态
关于我们

微信扫一扫,加关注

商务合作
  • QQ:61149512