GPU的通用计算能力使得它的应用场景从单一的图形渲染大幅度扩大到需要计算的方方面面,能够让科学家和科研人员利用GPU强大的并行计算能力来解决复杂的计算难题。这其中,也包含了深度学习计算。
2010年,世界各地的人工智能研究员已经开始利用NVIDIA GPU的并行计算能力来进行神经网络训练。2012年是人工智能标志性的一年。多伦多大学Alex Krizhevsky创建了能够从100万样本中自动学习识别图像的深度神经网络。仅在两块NVIDIA GTX 580电脑显卡上训练几天,“AlexNet”就赢得了当年的ImageNet竞赛,击败了有着几十年算法经验的人类专家。
同年,在认识到网络规模越大,其学习能力越强的规律之后,当时还在斯坦福大学的吴恩达(Andrew Ng,后来加入百度,并于今年离开)与NVIDIA研究室合作开发了一种使用大规模GPU计算系统训练网络的方法。这引起了全球关注,世界各地的人工智能研究人员转向GPU深度学习。
百度、谷歌、Facebook、微软是首批将深度学习用于模式识别的公司。
GPU深度学习正改变着软件的开发与运行方式。过去,是软件工程师构思程序的算法并编写代码。现在,算法从真实世界的海量实例中自我学习,实现软件自我编写。深度神经网络被部署在数据中心和智能设备中以便推理和预测下一步行动。GPU深度学习为机器学习、认知、推理与解决问题奠定了基础。
NVIDIA GPU特别擅长处理并行工作负载,可让网络提速10~20倍,从而将各个数据训练迭代周期从几个星期缩短为几天。实际上,GPU在仅仅三年内便将深度神经网络 (DNN) 的训练速度提高了50倍(这一速度远远超过摩尔定律),预计未来几年还将再提高 10 倍。
谷歌AlphaGo大胜韩国围棋棋手李世石,其中就使用了NVIDIA的GPU产品。单机版的AlphaGo使用了40个线程、48个CPU和8个GPU。分布式版的AlphaGo使用了40个线程、1202个CPU和176个GPU。
为了进行深度学习的部署,NVIDIA的策略有三步:
第一步是建立深度学习生态圈,和科学家共同进行深度学习技术的研究;
第二步是在不同的平台上进行深度学习部署,包括汽车、电脑、智能机器人、服务器等;
第三步则是提供端对端的解决方案。这种方式的好处是,英伟达可以在不同平台上让这套算法去进行学习并共享知识,而且未来这套深度学习算法的应用,很有可能并不止于自动驾驶的汽车上,在物联网上也会提供解决方案。
除了提供GPU硬件产品,NVIDIA也一直致力于开发深度学习软件、库和工具。为训练诸如图像、笔迹和声音识别等应用程序并加快训练速度,目前的深度学习解决方案几乎完全依赖 NVIDIA GPU 加速计算。NVIDIA提供了一个端到端人工智能计算平台——从GPU到深度学习软件和算法。
各大公司的深度学习软件框架,都是基于NVIDIA GPU平台
NVIDIA提供了用于设计和部署GPU加速的深度学习软件TDK——cuDNN,它加速了大多数深度学习软件框架(如 Caffe、Caffe2、TensorFlow, Theano, Torch、CNTK),让工程师专注于训练神经网络和开发软件应用程序,而不用花时间进行底层的GPU性能调优。
NVIDIA GPU深度学习系统得到了迅速的扩展,突破性地在人工智能——搜索、识别、推荐、翻译等方式中应用。阿里巴巴、亚马逊、IBM、微软的全球最大的公司普遍使用NVIDIA的GPU深度学习平台提供服务。
人工智能超级计算机DGX-1
NVIDIA在2016年底,推出了首款人工智能超级计算机DGX-1,这是一款即插即用的计算设备。它的计算性能相当于一个含有250个节点的高性能计算集群,可将网络训练用时从数周缩短至几天。
这些设备已经成为阿里巴巴、亚马逊、谷歌、IBM、微软、SAP等企业的人工智能的大脑。同时,NVIDIA还开发了诸如DRIVE PX2、Jetson TX1等小型人工智能系统,使之成为无人驾驶汽车、智能机器人、智能物联网的大脑,使得机器人能够通过反复试验进行自我学习。
奥迪使用NVIDIA自动驾驶系统在极端天气下的测试
上一段我们提到,NVIDIA发挥自己在芯片和图形领域的处理能力,设计出适合于手机、平板电脑等移动设备的Tegra芯片,并使用在汽车导航、多媒体娱乐系统中。
2014年初,世界上采用NVIDIA处理器的汽车已经超过450万辆,涉及20多个品牌、100多款车型,其中包括奥迪、宝马、大众等车企巨头,也包括特斯拉这种车界新贵。
随后,NVIDIA开发出基于GPU设计的DRIVE PX汽车自动驾驶系统,并和特斯拉、奥迪等汽车品牌进行合作。医疗和自动驾驶成为NVIDIA人工智能应用最广泛的领域。
NVIDIA现有产品布局
GPU一开始是实现人类想象力的工具,打造出了3D游戏与好莱坞影片的虚拟世界。现在,NVIDIA的GPU通过运行深度学习算法,模拟人类智能,成为能够认知与理解世界的智能大脑。
2016年,NVIDIA密集发布了全线人工智能GPU芯片、系统、软件和服务。自此,NVIDIA从“游戏芯片公司”转型为“人工智能计算公司”。
在2017年5月的第八届GTC大会上,NVIDIA CEO黄仁勋发布了世界上最先进的人工智能计算架构Volta。
黄仁勋在会上说道:“性能的长足进展吸引了各个行业的创新者,过去一年,GPU驱动的人工智能服务创业公司数量增加了4倍多,达到1300家。深度学习是各大科技公司的战略重点。它越来越多地渗透到基础构架、工具、产品制造等各个方面。我们与各个架构制造商倾力合作,力求性能尽善尽美。通过优化GPU的每个架构,我们可以将训练一个模型所需的数百次迭代缩短至数小时或数天,从而提高工程师的工作效率。”