2017全球人工智能技术大会
2017年5月21日
国家会议中心4层大会堂B
本文根据速记进行整理
PC^3 的ABCD
芮勇
联想集团首席技术官、高级副总裁
芮勇：谢谢少平。刚才李院士高瞻远瞩，从无人车到脑认知到图灵测试，我就讲几个具体的人工智能的重要的方向。
这个题目刚才少平也说PC3次方的ABCD，有点讲方程式的意思，但是我向大家保证，没有一个方程式。这什么意思呢，PC的3次方，PC到底是什么意思。如果我们回顾一下IT产业发展的40多年，可能有好几个PC，第一个在80年代，我们问任何一个人，首先想到的PC就是Personal Computer，个人计算机，当时80年代为什么会出个人计算机呢，首先它是一个更好的个人计算器，算的更快。其次可能是一个更好的个人打字机，当时打字机打错一个字非常痛苦，要重新打。80年代出现了PC，个人计算机。到了05年以后，你问什么是PC，更多人会说的是个人计算Personal Computing，不仅仅限于人计算机，其实你周围有很多的设备，比如有手机，比如说有汽车，汽车里也是一个个人计算设备，这个时候的PC不仅仅是个人计算机了，更多的是个人计算Personal Computing。更有意思的是，过去几年，我觉得第三个PC出现了，叫做Personalized Computing个性化的计算，个性化的计算和之前的几个PC很不一样，它也有不同的设备，个人电脑和手机也是连到互联网上，有云，很重要的一点是，这个时候是powered by AI，是由人工智能驱动的。这些设备，这些服务，其实它是在观察用户，观察它的主人，学习它的用户，学习它的主人，千人千面，所以它提供的服务是很个性化的。并且服务和之前两个PC阶段很不一样，不是由用户发出的我需要某一个服务，有的时候计算机的助手会观察到，你可能是需要这个服务，我主动给你推送一个服务，这是最重要的一个。
这个PC的第三次方，个性化计算最核心的技术，就是我们今天谈的人工智能。说到人工智能，其实有很多学派，我相信在座的朋友们很清楚，基本上有五个大的学派，包括符号学派，有决策树，专家系统。连接学派，今天上午都提到，深度学习，人工神经元网络，连接时代，这是从仿生学的角度发展的。有贝叶斯学派，做语音识别的都知道，HMM, GMM等等；有类推学派，最著名的代表就是十几年以前很热的，像今天深度学习一样热的，叫SVM，还有进化学派，这一派最近发展不是太好，另外几个都是一直在往前发展。这就是人工智能的几大学派。
上个月，在NATURE有一个书评，其实20年以前的5月份，就是深蓝打败卡斯帕罗夫，就是1997年的5月。卡斯帕罗夫写了一本书，叫deep thinking。Deepmind的Founder写了一个书评，发表在上个月的nature上，大家可以去看看，非常有意思的书评。这是当时的场景。Deepblue是1.4吨，32个并行处理器，但是它运算能力甚至不如现在的普通PC。这就是过去二十年产业界发生的非常非常大的变化。人工智能不仅仅是在国际象棋上战胜了人类，我们知道去年春天的时候，AlphaGo人机大战，在围棋上也战胜了人类，围棋其实是人类发明的最复杂的游戏，我们一直希望人类能多坚持几年，不让人工智能把我们打败。但是已经被打败了，即使它比国际象棋要复杂很多很多倍。下一周会在乌镇上演柯洁和 AlphaGo，其中有一场，应该是人类去群殴AlphaGo，好几个人一起打机器，看看最后结果怎么样，其实没有什么悬念。除了围棋，还有很多别的，比如德州扑克等等，特别是在有确定规则情况下，开放规则情况下人类还是很强大的。有详细规则的单一任务，人工智能还是非常强大的......
如果把人工智能做好的话，我总结了四个字母，把人工智能要做好，需要四个字母，ABCD。第一个就是A，算法，算法非常重要，B先跳过去，C就是计算力，D就是需要Data。回来再说B，因为我来自工业界，算法再厉害，再多的数据，有再好的模型，无论如何它是一个工具，我们怎么把人工智能的工具，把机器学习的工具和具体行业相结合，B就是一个具体的行业。我们要做智慧医疗，智慧城市，还是做某一件和垂直行业相结合的事情，这才是最重要的，这个时候人工智能才能落地，我和大家汇报和分享一下我对ABCD的一些粗浅想法。
把ABCD如果放在一个车上有这么几个部分，A是算法，相当于车的引擎，驱动车往前行驶，非常重要。B就是一个行业，就像车的方向盘一样，我们到底往哪个垂直行业走，很多垂直行业可以做，很多传统行业可以做，很多新兴行业可以做，但是和哪一个行业结合，怎么去落地。C就是算力，承载整个车。D，就是我们车里的油，就是我们的数据驱动，这就是车的ABCD。
先聊一下A，刚才说了五大学派，最早从1930年就开始了，之后每一个学派都有往前发展，从逻辑回归，大家非常熟，到1958年的Perceptron人工神经网络建立了，一直到90年代初的Kernel Trick，把SVM推到一个非常高的高度。再往下面，做语音的都用HMM，专家系统在八十年代末九十年代初昙花一现，看看今后还有没有希望再重新起来。深度学习在06年前后，从神经网络到深度学习有一个大的跨越，也是今天打败人类机器算法中的杰出的代表，这是算法。我们也想聊一下，从当年80年代人工神经网络到深度学习，有哪些大的的变化，我结合个人的经历，我最早接触人工神经网络是ANN，我还写过几篇文章，在80年代末90年代初。为什么那时候没有起来，那时候我在清华读研究生，大概90年91年，编了不少的算法，但是那时候没有起来。很多原因，一会结合我的ABCD和大家分享。首先这个算法本身当时不是很成熟，然后你做偏导的时候，到第二次的时候噪音非常大，当时算法不太成熟。一直进化到06年的时候，深度学习出来了，有很多不一样的地方，80年代末90年代初，就一层，一层隐含层，你当时自己要决定feature是什么，还有很多很多别的原因。过去十来年，很多深度学习的东西，像auto encoding，在80年代末的时候，怎么初始化人工神经网络非常重要，初始化错了就不行了。到最后，还有drop outs发展出来，它对overfitting非常有好处。前几年Residual network是把长期的很多层的学习记忆和跳过去的学习记忆相结合。一直到2014年的生成对抗网络，怎么生成非常逼真的数据，到近几年发生的Binary Network。我们今天可以在云上计算，可以在很强大的HPC上计算，如果用人工智能在手机或者IOT的小设备上做，怎么样把Model简化等等是一个方向，经过这二十多年的发展，确实有很多新方向出来，这是我讲的A这部分。人工智能做好，当然A是非常重要的，就像当年大家觉得SVM一统天下的时候，深度学习出来，又是上了一个新的台阶，不是一个线性的发展过程，而是一个台阶一个台阶的，所以算法是非常重要的。
当然计算力也非常重要。再回到90年91年在清华读研究生的具体项目，这都是真实的。当时做的是华东四省电网的最优调度，其中有一项是要求第二天四个省总电力负荷的预估，到底要发多少电，因为有水电站，有火电厂，能用水电的时候尽量用水电，水电无法满足我们需求的时候就用火电。当时也是写了人工神经网络，当时算力已经用了一台486的机器，当时已经是非常强大的，但是其实那个机器算力很小，甚至比我们现在一个手机还差很多。当时也不敢train很多很多次，只有一个隐含层，因为如果train时间长了，跑一年都跑不完。再看今天，今天的运算力完全不同，我们有不同的运算的底层架构，最通用的是GPU，也有用CPU控制参数同步，还有FPGA，在很多地方可以加速，更厉害的地方是在嵌入式的时候有一个非常大的前景。ASIC，大家也都在做，，暂时羽翼还没有丰满。这些就是目前主流的计算。更重要的一点，不管下面的硬件设备怎么样，上面的计算框架是什么？最早有并行处理的MapReduce，对这种Computation heavy的任务是很管的，但是对heavy data driven就没有那么管用，之后出现了Iterative MapReduce，这是其中的一个框架。它的优点是容错性比较高，问题是通讯和同步性不是很灵活，那怎么办，我们发明出来一个新的东西，新的学习就是今天在的Parameter Server。Parameter server在各个worker之间是松散的，有一个参数可以调，让它完全同步，但这个时候如果每个worker运算有快有慢可能出现问题，也可以让它完全的异步，有很多参数可以调。所以Parameter server提供一种非常灵活方式，使得我们在深度学习的大规模并行处理的时候有一个非常好的框架，右下角就是李沐做的，怎么把多少时间用于计算，多少时间用于通讯的最佳折中，这是可以进行调节的，这是第二个框架。第三个框架是什么呢，为什么会出现第三个框架呢？大家发现深度学习是可以并行处理，但是结构变得越来越不好，有时候是非规则的结构，非规则结构用Parameter server就不太好。这就用flow base 框架，这几年像谷歌做的tensor flow，它是一个更灵活的方式。其实这三个框架各有优点缺点，它们应用的场景也不完全一样，也不是说哪一个就一定取代另外一个，更有可能它们可能会长期并存，各自演化，这是整个并行的框架上有这么几个大的分类。我们从它并行的范式上看也有几个大的方式，我们认为问题规模很大，我们要并行处理，大家最容易想到一点，我们先把数据并行处理，这个大家很容易就能想到，模型是一个，把数据分成几批分布的来做，这是数据的并行。除了这个之外的，我们也可以把数据是同一批，把模型分在不同的地方在worker上运行，让模型来并行。这几年也出现了一个Hybrid混合型，数据和模型都可以并行，据我所知谷歌最近做的Translation，主要是采取这种方式，先把数据分开，模型在每个worker上分层算，既有数据并行也有模型并行，这是计算力。刚才说了A是算法，非常重要，它会有阶梯式的变化。C，运算力，变得越来越强，并行处理的方式越来越不一样。
说到D，D是油，今天做的很多人工智能的方面都是数据驱动，就像车里的油一样，当然新能源车里就像电一样。回到当时写的华东四省电力负荷，计算力是486，算法是一个隐含层的人工神经网络，数据呢，我当时是很自豪的搞了几个月的数据来训练我的模型，今天再看数据量来其实看非常小。今天经常是几百万的参数，几个月的数据根本无法处理。所以二十几年以前，确实我们算法也不强，算力也不强，数据量太小。今天我们是什么样呢，今天是一个数据爆发的时代。有人做过统计，全球现在所有的数据，90%的数据是过去两年生出来的，它是一个几何基数的增长。1.7个MB，全球每一个人，一秒钟产生这个数，这是一个让人无法想象的速度。到2020年全球会有500亿台设备都连在一起，这数据量非常非常大。数据还有什么价值，今天我们有很多的数据，但是不幸的是，我们是坐在金矿上啃窝头，因为我们只利用了0.5%的数据，很多数据没有用到。《Fortune财富》这个杂志做了一个全球的分析，针对财富排名前1000的企业做的一个分析。如果平均每提升10%的数据可获取性，其实这些公司每年就可以多获得6500万美元的纯利。在医疗产业也是一样，如果能更好的集成和利用大数据，节省3亿美元的开支，很多数据在那，怎么变成我们的知识，变成对我们的工作和生活更有意义的事情，这是非常重要的。
今天当时是比30年以前、我写的第一个人工神经网络的程序的时候，数据量大了很多。注意其实光大还不够，数据还有一个很重要的，特别是深度学习的网络，很重要的一点是说，它的distribution分布最好哪都有一点。如果整个的训练空间是大会场，所有的数据，我们有非常非常多的数据，但所有的数据都在那个角，没有用。我们还是需要它分布到整个空间。最近2014年一个新的结果，生成对抗网站是一个很有意思的工作，这个工作呢，Yann LeCun他个人认为是20年的深度学习领域最酷的想法。为什么是最酷的想法？生成对抗网络是两个网络，左边是生成器，右边是区分器，这两个网络像是在对抗。输入给生成器这个网络的是white noise白噪声，我们希望其输出的是一个很逼真的图像。右边的网络，输入的是真实的图像，还有生成的图像。右边的区分器希望输入如果是真实图像我认为你是1，如果是生成的图像认为是0，这样能区分开来。很有意思，这两个网络，一边对抗，一边相互学习。到最后，左边的网络拼命想骗右边的网络，右边的网络拼命想把生成的东西区分开来，希望真实的数据出来是1、生成出来是0。左边的网络，如果生成一个假的图像，纪如说计算机生成的图像，让你没有办法区分，把所有的预估值都转到0.5，你分不出来我是真的还是假的。右边的例子，打黄框的是真实的数据，没有打黄框的是对抗网络生成的数据，已经非常逼近真实数据了。有什么好处？我们在训练这些网络的时候，数据量不够的时候，我们有办法生陈一些很逼近于真实的数据，这是数据方面讲的D。
最后一下，我们再回到B，就是行业。刚才提到了，机器学习算法，各种人工智能算法也好都很重要，但是它其实是工具，我们怎么把这些工具和我们的具体的业务相结合，这个才能使人工智能真正的给我们整个社会带来一个新的发展。如果回忆一下过去三四十年整个IT产业的发展，有好几次浪潮。我们可以说有一次浪潮叫做搜索引擎，它本身其实是一种服务，既是一个浪潮也是一个服务。另外一个浪潮是线上的电子商务，它本身是浪潮也是服务，，还有这种social network社交网络，不管是国外的Facebook，还是中国的微信，它本身是一个浪潮，是对整个IT产业的浪潮，但是它本身也是一个服务。今天人工智能这个浪潮来的时候，它本身其实不是一个服务，它会和所有行业相结合，你要找到你合适的行业，用人工智能的工具把你这个行业升级。很多的例子，这是之前我在微软的团队，给前东家做个广告。当时想春暖花开了，到北京的香山和西山散散步，经常有这样的需求，我看到这片树那颗花的时候想知道这到底叫什么名字，从哪里来的，喜欢阴还是喜欢阳，种植需要多浇水还是少浇水？如果有这么一个APP随时一拍就告诉我就是很好的事情。当然这件事情需要两个方面的专家一起做，需要人工智能这些懂算法的专家去做，同时也需要中科院植物所的专家，你分辨植物的时候很多种方式，上面拍，下午拍？是拍一朵花还是一片花？是拍花还是包括叶子包括茎，等等。这个例子是想说，其实人工智能就是一个工具，你要把它垂直行业落地才能发挥它的效果，这是第一。第二个行业，我相信在座除了人工智能领域的朋友，肯定有一些做销售的CEO、Founder，每天早晨这些CEO们和销售负责人起来很头疼的事情，“我今天早晨起来了，今天20个客户我拜访哪一个？对卖出我公司的产品和服务是最有把握的？”这件事很多大公司和初创企业都在做，就是维护客户关系的CRM。之前这件事是很难做，每天早上醒来，到底去拜访哪一位客户？”，如果我们把它的历史数据，把social network社交网络上的一些信息输入给深度学习，其实也可以去训练出这么一个深度学习的网络，让它重新帮我排序，排序以后这时候就知道了，原来张先生过去在我们公司买了好几台服务器，公司最近情况不错，要开一个新公司，这人办事利索，我最该拜访的就是张先生，这是人工智能深度学习在客户关系维护上的案例。
再回到最后一张PPT，今天讲了很多东西，肯定大家也是有的清楚，有的不太清楚，但是没有关系，记这张图很好了，这张车的车图反映出的人工智能在科研领域和工业界的垂直行业相结合，取得成功的关键问题：算法是引擎，具体的行业是方向盘，运算力是车轮，数据就是它的油。也非常希望和在座的朋友们，我们一起跳上这辆驶向未来之车，在人工智能的高速公路上加速前进，谢谢。
CAAI原创 丨 作者芮勇
未经授权严禁转载及翻译
如需转载合作请向学会或本人申请
转发请注明转自中国人工智能学会
