来源：《中国计算机学会通讯》
2016年第11期《专栏》
近年来，人工智能的强势崛起，特别是刚刚过去的AlphaGo和韩国九段棋手李世石的人机大战，让我们领略到了人工智能技术的巨大潜力。
数据是载体，智能是目标，而机器学习是从数据通往智能的技术途径。因此，机器学习是数据科学的核心，是现代人工智能的本质。
通俗地说，
机器学习就是从数据中挖掘出有价值的信息
。数据本身是无意识的，它不能自动呈现出有用的信息。怎样才能找出有价值的东西呢？第一步要给数据一个抽象的表示；接着基于表示进行建模；然后估计模型的参数，也就是计算；为了应对大规模的数据所带来的问题，我们还需要设计一些高效的实现手段，包括硬件层面和算法层面。统计是建模的主要工具和途径，而模型求解大多被定义为一个优化问题，特别是，频率派方法其实就是一个优化问题。而贝叶斯模型的计算则往往牵涉蒙特卡洛(Monte Carlo)随机抽样方法。因此，机器学习是计算机科学和统计学的交叉学科。
借鉴计算机视觉理论创始人马尔(Marr)的关于计算机视觉的三级论定义，我把机器学习也分为三个层次：初级、中级和高级。
初级阶段是数据获取以及特征的提取。中级阶段是数据处理与分析
，它又包含三个方面：首先是应用问题导向，简单地说，它主要应用已有的模型和方法解决一些实际问题，我们可以理解为数据挖掘；其次，根据应用问题的需要，提出和发展模型、方法和算法以及研究支撑它们的数学原理或理论基础等，这是机器学习学科的核心内容；第三，
通过推理达到某种智能
。高级阶段是智能与认知，即实现智能的目标。数据挖掘和机器学习本质上是一样的，其区别是数据挖掘更接近于数据端，而机器学习则更接近于智能端。
今年刚被选为美国科学院院士的卡内基梅隆大学统计系教授沃塞曼(Larry Wasserman)写了一本名字非常霸道的书：《统计学完全教程》(All of Statistics)。这本书的引言部分有一个关于统计学与机器学习非常有趣的描述。沃塞曼认为，原来统计是在统计系，计算机是在计算机系，这两者是不相来往的，而且互相都不认同对方的价值。计算机学家认为那些统计理论没有用，不解决问题，而统计学家则认为计算机学家只是在“重新发明轮子”，没有新意。然而，他认为现在情况改变了，统计学家认识到计算机学家正在做出的贡献，而计算机学家也认识到统计的理论和方法论的普遍性意义。所以，沃塞曼写了这本书，可以说这是一本为统计学者写的计算机领域的书，为计算机学者写的统计领域的书。
现在大家达成了一个共识：
如果你在用一个机器学习方法，而不懂其基础原理，这是一件非常可怕的事情。
正是由于这个原因，目前学术界对深度学习还是心存疑虑的。尽管深度学习已经在实际应用中展示出其强大的能力，但其中的原理目前大家还不是太清楚。
计算机学家通常具有强大的计算能力和解决问题的直觉，而统计学家擅长于理论分析和问题建模，因此，两者具有很好的互补性。
Boosting、支持向量机(SVM)、集成学习和稀疏学习是机器学习界也是统计界在近十年或者是近二十年来最为活跃的方向，这些成果是统计界和计算机科学界共同努力成就的。例如，数学家瓦普尼克(Vapnik) 等人早在20世纪60年代就提出了支持向量机的理论，但直到计算机界于90年代末发明了非常有效的求解算法，并随着后续大量优秀实现代码的开源，支持向量机现在成为了分类算法的一个基准模型。再比如，核主成分分析(Kernel Principal Component Analysis, KPCA)是由计算机学家提出的一个非线性降维方法，其实它等价于经典多维尺度分析(Multi-Dimensional Scaling, MDS)。而后者在统计界是很早就存在的，但如果没有计算机界重新发现，有些好的东西可能就被埋没了。
世界上公认最好的两个统计系来自加州大学伯克利分校和斯坦福大学。加州大学伯克利分校是美国统计学的发源地之一，可以说是当今统计学和机器学习的中心，其机器学习领域的教授通常同时在计算机系和统计系都有正式职位。已故的布莱曼(Leo Breiman)教授是统计机器学习的主要奠基人，他是众多统计学习方法的主要贡献者，比如Bagging、分类回归树(CART)、随机森林以及非负garrote稀疏模型等。布莱曼是乔丹(Michael Jordan)教授的伯乐，当初是他力主把乔丹从麻省理工学院引进到伯克利分校的。可以说，伯克利分校的统计系成就了乔丹，反过来他也为伯克利分校的统计学发展创造了新的活力，为机器学习领域培养了一大批优秀的学者，建立了无可代替的功勋。
斯坦福大学统计系的一个主要方向就是统计学习，比如《统计学习基础》(Elements of statistical learning)一书就是统计系几位著名教授撰写的。斯坦福大学计算机科学系的人工智能方向一直在世界占主导地位，特别是在不确定推理、概率图模型、概率机器人等领域成就斐然。他们的网络公开课“机器学习”、“概率图模型”以及“人工智能”等让全世界学者受益。有意思的是，斯坦福大学和伯克利分校具有令人羡慕的合作竞争关系。一年一度的联合统计学日是两校统计系的交流平台。伯克利分校教授布莱曼和斯坦福大学教授弗莱德曼(Jerome Friedman)合作建立了许多重要统计学习模型。此外，两校教授罗素(Stuart Russell)和诺维格(Peter Norvig)合作的《人工智能：一种现代的方法》(Artificial Intelligence: A Modern Approach)一书是人工智能的集大成。
卡内基梅隆大学是一个非常独特的学校，它并不是美国传统的常春藤大学。可以说，它是以计算机科学为立校之本，是世界第一个建立机器学习系的学校。米歇尔(Tom Mitchell)教授是机器学习的早期建立者之一和守护者，他一直为该校本科生讲授“机器学习”课程。这个学校的统计学同样也是一流，是贝叶斯统计学的世界研究中心。
在机器学习领域，多伦多大学有着举足轻重的地位，它的机器学习研究组云集了一批世界级的学者，在《科学》(Science)和《自然》(Nature)发表多篇开创性的论文，实属罕见。辛顿(Geoffrey Hinton)教授是伟大的思想家，更是实践者。他是神经网络的建立者之一，是误差反向传播(BP)算法和深度学习的主要贡献者。正是由于他的不懈努力，神经网络迎来了大爆发。尼尔(Radford Neal)教授是辛顿的学生，他在贝叶斯统计领域，特别是在蒙特卡洛马尔科夫链模拟方法(MCMC)方面做出了一系列的重要工作,还开源了许多贝叶斯统计方法程序包，并一直致力于优化R语言。
对于20世纪90年代以前的发展历程，我认识不够，了解不深，觉得当时机器学习处于发展的相对平淡期。而20世纪90年代中期到21世纪00年代中期是机器学习发展的黄金时期，主要标志是学术界涌现出一批重要成果，比如，基于统计学习理论的支持向量机、随机森林和Boosting等集成分类方法，概率图模型，基于再生核理论的非线性数据分析与处理方法，非参数贝叶斯方法，基于正则化理论的稀疏学习模型及应用等等。这些成果奠定了统计学习的理论基础和框架。
然而，机器学习在21世纪00年代末也经历了一个短暂的徘徊期。那时我在加州大学伯克利分校的博士后工作结束，正面临找工作，导师乔丹教授和我进行了多次交流，他一方面认为机器学习正处于困难期，工作职位已趋于饱满，另一方面他向我一再强调，
把统计学引入到机器学习的思路是对的，因为以统计学为基础的机器学习作为一个学科其地位已经被奠定
。主要问题是机器学习是一门应用学科，它需要在工业界发挥作用，能为他们解决实际问题。幸运的是，这个时期很快就过去了。
现在我们可以理直气壮地说机器学习已经成为计算机科学和人工智能的主流学科。
这主要体现在下面三个标志性的事件。
第一，2010年2月，加州大学伯克利分校教授乔丹和卡内基梅隆大学教授米歇尔同时当选美国工程院院士，同年5月份，乔丹教授又当选为美国科学院院士
。随后几年，概率图模型专家科勒(Daphne Koller)当选为美国工程院院士，理论计算机学家和机器学习专家、Boosting的主要建立者之一夏皮尔(Robert Schapire)当选为美国工程院院士和科学院院士。期间，斯坦福大学的统计学家弗莱德曼和提布施瓦尼(Robert Tibshirani)、伯克利分校的华裔统计学家郁彬，以及卡内基梅隆大学统计学家沃塞曼也先后被选为美国科学院院士。这是一个非常有趣的现象，因为这些学者都在机器学习领域做出了非常重要的贡献，比如弗莱德曼的工作包括分类回归树、多元自适应回归(Multivariate Adaptive Regression Splines, MARS)和梯度推进机(Gradient Boosting Machines, GBM)等经典机器学习算法，而提布施瓦尼是最小绝对收缩和选择算子(Least Absolute Shrinkage and Selection Operator, LASSO)的提出者。此外，优化算法专家鲍德(Stephen Boyd)当选美国工程院院士，他和范登贝格(Lieven Vandenberghe)的合著《凸优化》(Convex Optimization)可以说风靡机器学习界。今年，机器学习专家、深度学习的领袖、多伦多大学教授辛顿以及该校统计学习专家瑞德(Nancy Reid)分别被选为美国工程院和科学院的外籍院士。
乔丹教授在当时我祝贺他当选为院士时的回信中说，如果以他当选院士这种方式来看待机器学习获得学术界的认同会更有意义。因此，我理解在美国一个学科能否被接纳为主流学科的一个重要标志是，其代表科学家能否被选为院士。我们知道米歇尔是机器学习早期建立者之一，而乔丹是统计机器学习的主要奠基者之一。
第二，2011年的图灵奖授予了加州大学洛杉矶分校教授珀尔(Judea Pearl)，他主要的研究领域是概率图模型和因果推理，这是机器学习的基础问题。
图灵奖通常颁给纯理论计算机学者，或者早期建立计算机架构或框架的学者。而把图灵奖授予珀尔教授具有方向标的意义。此外，去年《科学》和《自然》杂志连续发表了4篇关于机器学习的综述论文。而且，近几年在这两个杂志上发表的计算机学科论文几乎都来自机器学习领域。
第三，机器学习切实能被用来帮助工业界解决问题。
特别是当下的热点，比如说深度学习、AlphaGo、无人驾驶汽车、人工智能助理等对工业界的巨大影响。当今IT的发展已从传统的微软模式转变到谷歌模式。传统的微软模式可以理解为制造业，而谷歌模式则是服务业。谷歌搜索完全是免费的，服务社会，他们的搜索做得越来越极致，同时创造的财富也越来越丰厚。
财富蕴藏在数据中，而挖掘财富的核心技术则是机器学习，因此谷歌认为自己是一家机器学习公司。深度学习作为当今最有活力的机器学习方向，在计算机视觉、自然语言理解、语音识别、智力游戏等领域的颠覆性成就，造就了一批新兴的创业公司。工业界对机器学习领域的人才有大量的需求。不仅仅需要代码能力强的工程师，也需要有数学建模和解决问题的科学家。
最近有一本尚未出版的书《数据科学基础》(Foundation of Data Science)，作者之一霍普克洛夫特(John Hopcroft)是图灵奖得主。在这本书前沿部分，提到了计算机科学的发展可以分为三个阶段：早期、中期和当今。早期就是让计算机可以运行起来，其重点在于开发程序语言、编译技术、操作系统，以及研究支撑它们的数学理论。中期是让计算机变得有用，变得高效，重点在于研究算法和数据结构。第三个阶段是让计算机具有更广泛的应用，发展重点从离散类数学转到概率和统计。我曾经和霍普克洛夫特交谈过几次，他认为计算机科学发展到今天，机器学习是核心。他正在读机器学习和深度学习方面的书，并计划为本科生讲授机器学习课程。
现在计算机界戏称机器学习为“全能学科”，它无所不在。除了有其自身的学科体系外，机器学习还有两个重要的辐射功能。一是为应用学科提供解决问题的方法与途径。对于一个应用学科来说，机器学习的目的就是把一些难懂的数学翻译成让工程师能够写出程序的伪代码。二是为一些传统学科，比如统计、理论计算机科学、运筹优化等找到新的研究问题。因此，大多数世界著名大学的计算机学科把机器学习或人工智能列为核心方向，扩大机器学习领域的教师规模，而且至少要保持两三个机器学习研究方向具有一流竞争力。有些计算机专业有1/3甚至1/2的研究生选修机器学习或人工智能。
机器学习现在已成为统计学的一个主流方向，许多著名大学的统计系纷纷从机器学习领域招聘教授，比如斯坦福大学统计系新进的两位助理教授来自机器学习专业。计算在统计领域已经变得越来越重要，传统多元统计分析是以矩阵分解为计算工具，现代高维统计则是以优化为计算工具。
