专栏名称: Xtecher

Xtecher，囊括网站、App和遍及世界名校校友与科技企业的科技创业精英圈子，致力于发现、报道最有潜力的早期科技项目和人才，打造全球最有品质的科技创业媒体。

北大 AI 公开课第13讲董方亮：GPU助力的人工智能时代｜Xtecher在现场

Xtecher · 公众号 · · 2017-06-01 10:34

正文

“北大AI公开课”第13讲，英伟达自动驾驶业务中国区负责人董方亮为我们做了题为《GPU助力的人工智能时代》的演讲。

以下由Xtecher整理，为不能亲临现场的读者带来本次课程最完整实录。

编辑整理｜Xtecher编辑团队

网址｜www.xtecher.com

微信公众号ID｜Xtecher

以下是Xtecher为您整理的本期演讲内容干货：

首先很感谢北大，感谢雷鸣老师组织了这么好一次机会，能让我站在这里给大家分享和交流一下英伟达在GPU以及GPU和Deep Learning方面的一些积累和我们已经做的一些工作。

今天的交流大概分成四个部分，第一部分，我会跟大家对GPU进行简单介绍；第二部分，我会把GPU和Deep Learning两个联系在一起；第三部分，我们会探讨一下当今这个时代的AI，以及今后的AI会朝什么样的情况去发展，这只是一个探讨。第四部分，我会分享给大家一些英伟达GDC2017年大会和会后我自己的一些收获。

第一部分，先讲一下GPU，基本上打游戏的人都知道GPU，用GPU的人很多都听过英伟达，英伟达其实最早是做视觉计算的公司，我们公司的创始人最早要做一个不同于GPU的产品，当时是这样的一个出发点，也就是我们做一款GPU，做一个gaming的市场。因为大家有很多是打游戏的，所以大家对这方面应该是比较了解。

我下面再说一个话题，可能大家不一定知道，就是大家知道北大对GPU的贡献在哪里吗？如果大家买了英伟达的GPU，我在这里代表英伟达很感谢大家，为什么我说北大对GPU的贡献呢？其实在座的各位北大的天之骄子应该感到很自豪，因为GPU的技术的发展，有一个很重要的技术，叫Pixel Shader像素的着色器，像素着色器是决定了我们今天能够做gaming、做video很多东西呈现在大家面前的核心技术之一。Pixel Shader核心发明人是北大一个同学，本科87或是88年北大物理系的一个同学，所以北大人应该非常骄傲，北大对GPU的技术发展起到了很关键的作用，我相信很多同学可能不知道，但今天可以分享给大家。

我们现在开始做GPU的介绍，介绍的时候顺便讲下英伟达，英伟达是一家以GPU技术为核心的公司，英伟达公司从成立那天起就做GPU，到今天也是在做GPU，那我们公司的变化体现在哪些方面呢？我们公司是从一个视觉计算转变到今天的AI计算的公司，当然有时代的原因：第一个方面，每年数据量会成倍成倍的增长，而且中间很多的数据都是丰富的云图象数据。第二个方面，在人工智能方面，我们的一些基础研究有了比较长足的发展，在基于DNN，也就是深度神经网络的这种架构上也有不错的发展。

为什么我们说GPU非常合适于今天的AI的计算，也就是说Deep Learning，我们可以来看一看。这一页展示的是一个GPU计算的年谱，我们把它简单理解为一个年谱，我们可以看到英伟达在2006年的时候，做了一件事情，我们做了一个CUDA的东西，CUDA是computing unifieddevice architecture，核心意思是说当GPU它是一个多核的计算体，这样一个多核的计算体，我们如果能用一套架构，能够把这样的计算，通过一个统一的架构完整的调动起来，这就是形成了一个并行计算的基础，所以英伟达在2006年的时候推出了CUDA，CUDA这个是从底层的CUDA一直到上层的应用，都是一个比较完整的SDK，也就是说我们的CUDA是一个最早为了并行计算之前就做了很多充分的准备。

其实从2006年到现在，英伟达每一代的GPU产品，都是原生的支持CUDA，也就是说英伟达的产品，你可以通过CUDA的SDK去调用GPU资源的时候，是原生去支持的。从这个年谱中，还有一个比较重要的时间点可以分享给大家，就是2012年的时候，AlexNet创新的用GPU去做当时的叫DNN网络架构，是九层的网络，去做图像识别，取得了非常好的效果。所以2012年可以说是GPU用作Deep Learning一个爆发的元年。随着时间的发展，在DNN网络不断演进，这些framework在不断演进的今天，我们发现GPU和Deep Learning是紧紧的绑在了一起。

现在的摩尔定律还能不能适应今天崭新的计算架构，我们知道摩尔定律是这条蓝线来表示在一个平台期很难突破，这个主要突破的难点之一在于线程做的比较小会有很大的挑战，但是Deep Learning还在往前发展，所以它一定是需要全新的架构去支持，还有它必须能够沿着比摩尔定律更高的这种计算力的发展方向去发展，才能够匹配今天的全新的计算模式，在Deep Learning和AI的时代，体现一种比较好的计算能力。

所以我们可以看一下，当GPU发展到今天，我们可以预计到2025年，这种计算力的增长，有一个非常高的需求，GPU计算为什么会兴起？原因就在这里，GPU它提供了一个跟之前的，我们叫general purpose computing（通用计算）不一样的模式，也就是说基于GPU，我们可以图中的左边，底层是CUDA，上面是系统，然后是算法，再到上面的应用，这样的一套架构。那么GPU来支撑这样一套全新的架构的情况下，能够完成现有的计算力。

我们可以对CPU和GPU做一个简单的比较，左边是CPU，右边是GPU，我们可以看一下，GPU的特点和CPU的特点是不一样的，GPU是一个多核，是一个简单的多核的处理器，它在结合CUDA之后，非常有利于做并行运算。当然，GPU还有一些它自己比较有特色的东西，比如说GPU里面会包括多个streaming multiprocessor，也就是说流的多处理器，上面会包int F16、F32、F64的处理核，这是GPU的特点，所以我们可以看到，GPU它其实是非常做并行运算。

并行运算其实这种应用场景，Deep Learning是一个非常好的应用场景，这是一个简单的神经网络，在这里，我们可以跟大家简单交流一下Deep Learning这个网络为什么去设计这样的网络？最早的时候，这种设计的网络其实是一个对人脑的叫“假说性”的一个理论，也就是说在70年代的时候，有两位德国的医生和生物学家，他们对解剖猫的时候，他们觉得从猫的大脑来看，他觉得神经元是一层一层的，神经元和神经元之间有反射弧，他们讲如果当神经元和神经元连接的时候，有反射弧，有电流的时候，他就认为这是一个激活状态，这套理论从他们的角度来讲是非常切合人脑的识别的模式，所以他们当年提出了这样一个架构。当年提出这个架构以后，在后面深度神经网络的架构慢慢出来以后，我们发现用深度神经网络去做具有pattern和具有特征的数据的分类识别的时有非常好的效果，比如说这种有pattern的数据，代表像语音数据，像图像数据，它有非常好的鉴别效果。前层的神经元或者说我们叫前层的layer，它是后层浅层的表现，所以图像识别和云识别这种带有pattern和特征从输入到输出能分类，这样其实就是深度神经网络一个比较简单的理论模型。深度神经网络的每一个节点可以模拟成一个计算核，这样一个计算核用GPU去做，也就是说GPU承担了这样一个深度神经网络里面每一个节点的计算，这是GPU符合DNN架构的原因，所以GPU在今天，是线下训练的唯一的选择。

其实Deep Learning是一个新的计算的模式，它包括了两个部分，一个部分我们把它理解成线下的训练，就像刚才那页图里面讲到的线下训练，那线下的训练就包括，我们叫在云端，或者在服务器端，加在GPU的服务器去做训练。还有一端是说去做线上的推理，也就是说从线下到线上，完成了整个新的基于GPU的计算模式，就是从线下训练好的模型放到线上去做推理，这是现在Deep Learning的一个比较普适的模式。

刚才也有讲到Deep Learning的计算模式比较适合于三类数据，一类数据是图像数据，还有一种是语音数据，第三个是自然语言处理。自然语言处理也包括文字，也包括对语义的理解，都包括进去。这张PPT主要跟大家展示的是从底层（GPU的硬件平台），就包括上面的SDK一直到framework，这是一种比较完整的端到端的架构，大家可以看一下。

我们说GPU带来的Deep Learning创造力的全新计算的时代，一定是有很多很多的机会给这种初创的公司，我们可以去看一下Deep Learning引导的时代有哪些机会，我们现在列出的一个比较有代表性的AI的startup，第一个是健康医疗，这是一个非常大的途径。这里面有很多公司，有做乳腺癌的识别，有做医疗影像识别，还有做皮肤癌识别的公司；第二个是零售。这个零售里面，我们可以看它解决了什么问题？其实很多公司在解决，一个是商品选择，第二个是支付问题。这里面比较有意思的公司，Focal公司，它解决的现在老式的食品店，在网络的时代是不是会落后，从技术的角度来讲，它核心技术之一是对物体的识别，也就是说它的方案会让顾客进入一个实体店，它有一个类似于pad这样的装置，每个人会有一个手推车进行购物，购物了东西以后，它会自动识别这是什么东西，然后把这个东西拿下架，当你不断去挑选产品的时候，到走出门的时候，其实它的最终理念是你不用再结账，因为它上面都有识别，它就直接帮助你看你拿了什么东西，直接去结账。同时，什么东西从货架上拿下来以后，它自动回去补货，它做了一个非常好的切入点，是针对零售店的新市场。第三个是金融，这里面有很多很有意思的公司，美国有一家投资公司，他们用卫星图片，他们买了无人机和卫星图片，天天在美国上空去扫描庄稼地，很多人刚开始不理解，说跟庄稼地有什么关系？它就是利用DNN网络去做图片的识别，它识别的是某一种或某几种庄稼今年的长势如何，它要这个信息干什么？他们在期货交易所做对冲，这样的话，它能够通过它的物理识别，它可以估算一下全国，比如说我的产量，农作物的产量是多少，它分析数据得出今年庄稼是欠收了还是多收的结论，它拿这样的信息去做对冲。第四个是安全。现在也有公司它会去做基于安全的解决方案，有在做。底下的IOT就比较多了，比如说像一些机械公司，包括像无人机公司，他们都在做很多很有意思的事儿，比如像陪伴机器人、服务机器人、无人机，无人机结合Deep Learning去撒农药，是很好的针对特出场景的应用。第六个是无人驾驶。无人驾驶现在非常非常火的一个领域，也是英伟达非常关注的一个领域，无人驾驶这个领域代表的是Deep Learning技术，AI的技术，以及跟未来的交通行业的结合，所以是一个非常火的市场。第七个是网络安全，比如说现在有些公司，他们用Deep Learning去做针对病毒，包括网上的恶意攻击模式的判断，他们做的这种方案的好吃在哪里？就是说它的这些好处在于这些方案是可以做到实时的升级，跟以前的基于你去做标识库或者病毒库的机制不大一样，它是本身已经训练Deep Learning，然后它去不停的判断，这个新来的攻击归到哪一类？这是一个比较有意思的应用。所以从这页，大家可以看到，其实AI相关的领域的应用，从startup这个角度来讲，其实包括了行业的方方面面。其实AI的机会是很多的，单一的技术和一种组合式的技术和产品，都会很好的市场。

这一页跟大家主要交流一下一些比较典型的应用，像第一个，很类似于大家用苹果手机，在车里面用语音和车进行交互。第二种是现在在网络购物上，这种主要是一种基于图像和物体识别，它能在和后台的数据库里，帮你找到很近似的，你心仪的物品，这是一个很比较典型的应用。同时，现在在数据库里，我们想基于图片的应用，其实都很有意思，比如说像SAP，它就有一个非常好的应用，它做DNN的时候，它会训练DNN，它训练DNN的目的在哪里呢？它会在它的客户里面，比如说有一个广告视频，它在广告视频里面，去把这个客户，比如说这个客户是耐克，它会把耐克的图标都抓出来，它会拿出一个报告，这个报告就是说你看你在这个数据里面，你的图标出现了多少次，出现在什么位置，它有一个判断，然后通过这个来判断你的品牌暴光度是否合理，你的投资回报是否合理，所以这个特性给SAP带来了非常好的客户的反馈。第三个是基于用户行为去做的判断，用户喜欢哪种类型的电影。

这页是一些比较典型的，比如说第一个，比如说我的祖母，我跟她在交流上有一些困难，我怎么样基于NPR的方式，能够跟她进行交互，理解她的意思，增强人和人之间的沟通。第二个还是医疗和健康诊断。第三点很有意思，第三点是微软自己做的，这一位在图片中的，是微软的工程师，这位微软的工程师，因为他是天生的盲人，所以他生活上有很多不便，但是没有关系，微软现在有一项技术，他戴的这个眼镜，有一个类似于物体识别的功能，比如他在路上走的时候，比如他前面过来一个人，眼镜会给他发一个消息，用听力的方式告诉他“你前面正好有一个人走过去”，它会分析，它不是说“前面有物体”，它不是告诉你前面有物体，它会告诉你前面有一个人从你身边飞跃而过”，所以它是里面比较有意思的，第一是对物体有识别，第二，会去做基本的分析，看这个人在做什么，所以相当于是基于Deep Learning做了一些基于图形的很好的应用，所以应用在这个场景。

这张图大家可能见的比较多，第一个是像平安城市，很多应用场景里面，我们会用到，比如说去看一下这里面的综合监控，包括人脸识别，包括同比去抓某一些特征点，都可以去抓，在平安城市里面。第二个是机器人，这是现在很流行的机器人，比如银行开户，比如说这种服务型的机器人，比如说现在去坐飞机，很多航空公司都有这样的机器人，包括现在去银行开户，很多都有这种机器人。我觉得可能咱们中国用这种机器人会用的比较多，没想到美国用这个也不比我们少，现在美国的shopping mall里面，也有这种导购式机器人，大概有一米高的样子，挺可爱。第三个是在农业上的应用。

所以大家看了这么多，主要想跟大家交流一下，现在AI其实大家可以想很多很好的主意，如果有很好的机会可以去做，这是一个基于AI和Deep Learning的时代。

这张主要是想给大家分享一下英伟达在自动驾驶方面的一些应用。因为英伟达的自动驾驶方面的应用，我们把自动驾驶变成一个AI的任务，它首先是模拟人去驾驶。第一，人坐在车里面，我肯定是眼睛会去看，我先看一下，我就知道我周围的情况是怎么样。第二，如果坐在车里，所以我精确的知道车的位置在哪里，意味着我可以基于现在的场景和我的位置，去做我的驾驶策略。这就是我们去把一个自动驾驶的过程，变成了一个AI的任务。

如果从这张图上去分解，第一个，我们把它叫做感知，就是像人眼一样，我们会用多样的传感器，去把周围的环境的情况，首先是通过这种传感器了解。第二个，我们叫reasoning，判断我是否是安全。第三个就是驾驶。这个自动驾驶它是依托于高精度地图。高精度地图牵扯到两个层面，一个层面是高精度地图会给你丰富的环境屏障，环境信息。另一个层面，结合高精度地图，能够提供精确的定位。这些是自动驾驶比较重要的一些方面。

这页是一个总结页，是说现在人工智能时代，大家可以从这里面去看，有很多很多新的技术，包括一些新的创新，大家可以感受一下，现在的人工智能时代，其实它一直在往前发展，不管是软件还是硬件，不管是应用、架构、还是算法，都在不断地进步。

下面我会跟大家分享一下在英伟达的GTC17中的一些比较好的收获。第一个是英伟达其实这次GTC我们发布了新一代的GPU VOLTA100。这代GPU对我们来说有几方面的提高，第一，有210亿个晶体管，它是12纳米的线程，核心板的面积在815毫米，所以这是一个非常大的进步，整个架构上有非常大的进步。非常值得提的是，我们的架构上有一个很好的提升，我们会在这代架构里面放入我们的Tensor核，它完成了以前同步的矩阵式相乘，也就是把以前这种矩阵相乘用非常高速的运转，这样的结果会让我们产生120 Tensor TFLOPS 的计算能力，这种计算能力无论是针对Training端或者是针对Inference端都是一个非常好的结构。

这页跟大家讲的是蛮有意思的一个场景，其实这是机器人或者说我们叫智能体的产品已经出了挺长时间，但是这种机器人的产品有一个问题，就是说机器人这种场景你真正去训练它的时候，其实是挺困难的，包括各种场景去模拟有比较大的困难。第一是时间长，第二，你不会去造很多机器人一块儿去学一些东西，这样的话，你的研发包括开发的周期长。

这次我们叫ISAAC 的SIMULATOR，它其实是把Deep Learning的technology和模拟结合在一起，它能做什么？它其实是用模拟的平台去训练。比如说我训练一个机器人做一个打高尔夫球的动作，它去做模拟，这样的话，针对一个机器人的公司，它可以使用这样的模拟器可以同步做多个，或者是做多个机器人的模拟，或者是多个场景的模拟，甚至是一个场景多个机器人的模拟，这样的话，会极大的提升模拟以后开发的效率。

那么这页是这次的startup的颁奖，我们把这1.5亿的美金给了这6个公司。我们的评委是来自高尚、微软这些公司，我们其实发现很有意思，这里面有三家公司都是做医疗和健康器官，有一家是做针对心脏病的快速检测，就是说我这个人如果心脏很不舒服的时候，你真正送到急诊或送到医院的话，很难很快就定他的心脏有什么样的问题，但是这个技术可以让他去做一个相对来说比较简单的检测，他通过这种检测会判断他的心脏大部分概率是哪种病，这样它水平很高，第二，很快速，所以对病人的很快诊断起到了很大的作用。还有一家公司是在做针对皮肤癌的健康检测。另外一个公司做的是针对血液的检测。它这个主要是看血液里面的白细胞，看你的免疫力。这三家都在用Deep Learning用于他们核心技术的检测。第四家Deep instinct是做计算机安全的公司，它也是利用现在的网上，比如说它会把现在网上攻击的样本，包括病毒的样本，在它的DNN里面做训练，去看，到底是哪种类型的病毒或者攻击。然后底下这家叫Smartvid的这家公司，其实很有意思，这家公司做了大家都没有去做的市场，它在做建筑工地的市场，它们发现建筑工地有一个问题，建筑工地里面的一些基础人员，它去拍建筑工地外形照的时候，你说我实地拍了，你很难把这些照片快速的分类，因为这些建筑工地没有很好的办公条件，所以很难提供分类。那很难分类带来的问题是什么呢？第一，你的工作效率会降低，第二，它的信息上传不及时，所以这家公司是拿了一个类似于Pad的设备，对建筑上的工地，需要检测的照片实时拍摄，然后自动做分分类，这样是提供了一个针对建筑工地的智能的解决方案。这个focal刚才有跟大家讲过，就是针对传统商业的解决方案。

这页是一段视频，其实是想跟大家分享一下英伟达在自动驾驶方面的一些应用。其实自动驾驶和是强相关的，不管是从技术还是从商业，还是从前景上，都是非常好的。

从这段视频，它是简单的讲了一个自动驾驶的我们的路测。这个路测看起来好像很简单，从一个地方起步，然后去转弯，从普通道路到高速，然后再下高速，这样一个动作，里面用到的AI的技术是非常多的，在路上跑的时候，对物体的识别，包括车道线检测，包括移动物体的检测，包括怎样做驾驶的策略，所以这里面其实包含了很多AI的技术。所以可以看自动驾驶其实跟AI是一个非常具备挑战的行业，视频中的这个人其实是我的同事，英伟达自己的同事在自动驾驶上自己要去做路测，所以什么事儿都要讲奉献，这就要看你的车靠不靠谱。

今天我有个视频一直很想跟大家分享，刚才有一个同学提了很好的问题，说现在AI是AI，VR是VR，会不会有一个结合的过程？其实我想说AI和VR的结合，其实有非常好的场景，也就是说我在VR里面，我会去模拟一个人，我们把这个人定义成一个智慧体，这个跟机器人是完全不同的场景，为什么这么说呢？因为你机器人如果是一个智慧体的话，比如我这个地方有一个机器人，那它就简单是一个机器人，它永远不会变，它长什么样就是什么样，但是如果是在一个虚拟世界里面，比如通过VR技术，它跟VR技术结合，比如说他自己会成长，他会学东西，他是一个智慧体，这个最早来自哪里呢？这个应用最早来自于电影里面会有这样的需求，比如电影里面我设一个人物，这个人物本身可以交互，可以学习，是一个类人体，但是它是计算机模拟出来的，电影行业其实刚开始有这样的需求。但是我们发现这个需求它有一个破绽，比如说我可以训练一个，我在电脑中模拟一个孩子，这个天真无邪的小孩儿随着年龄的增长，他会变老，他是一个智慧体，智慧体说明什么呢？你可以跟他进行互动，你教他英语，他会英语，你教他说爸爸妈妈，他会叫爸爸妈妈，所以这样一个智慧体的商业应用价值我不知道，但是我觉得对人类带来的价值很大。比如说有些人，比如有些失幼家庭，这个孩子没有了，或者找不到了，或者说父母很长时间没见小孩儿，非常想小孩儿，那我怎么办呢？通过这种技术，因为小孩儿他会学啊，你从视觉上的感觉，就跟真人一模一样，所以我想把这个视频分享给大家。因为效果的原因，可能这段视频不一定有声音。所以下面这段视频，其实是虚拟现实和AI相结合的这么一个案例，这个名字叫做“BBX”，最早是澳门大学的一个工作组做的研究的主题，它主要是通过模拟的技术，首先是在虚拟屏幕上构建一个智慧体，它其实是用深度神经网络去训练的智慧体，因为是一个孩子嘛，他可以理解你的话，他可以学英语。我第一次看到这个视频时觉得非常震撼，所以想分享给大家。

系列课程介绍

“人工智能前沿与产业趋势”课程由北京大学开设，并面向公众开放。课程由人工智能创新中心主任雷鸣老师主持，共14节，每节课邀请一位人工智能领域顶级专家和行业大咖作为主讲嘉宾，就人工智能和一个具体行业的结合深度探讨，分析相应技术的发展，如何影响产业，现状及未来趋势、对应挑战和与机遇。