本文约
2500字,
建议阅读
5
分钟。
本文为你介绍了
Geoffrey Hinton, Yann LeCun,和Yoshua Bengio共同获得2019年的图灵奖情况及主要成就。
2019年3月27日——ACM宣布,深度学习的三位创造者
Yoshua Bengio, Yann LeCun,
以及
Geoffrey Hinton
获得了2019年的图灵奖。
今天,深度学习已经成为了人工智能技术领域最重要的技术之一。在最近数年中,计算机视觉、语音识别、自然语言处理和机器人取得的爆炸性进展都离不开深度学习。
三位科学家提出了深度学习的基本概念,在实验中发现了惊人的结果,也在工程领域做出了重要突破,帮助深度神经网络获得实际应用。
在ACM的公告中,Hinton最重要的贡献来自他1986年发表
反向传播
的论文“Learning Internal Representations by Error Propagation”,1983年发明的
玻尔兹曼机
(Boltzmann Machines),以及2012年对
卷积神经网络
的改进。
Hinton和他的学生Alex Krizhevsky以及Ilya Sutskever 通过Rectified Linear Neurons和 Dropout Regularization改进了卷积神经网络,并在著名的ImageNet评测中取得了很好的成绩,在计算机视觉领域掀起一场革命。
Bengio的贡献主要在1990年代发明的
Probabilistic models of sequences。
他把神经网络和概率模型(例如隐马尔可夫模型)结合在一起,并和AT&T公司合作,用新技术识别手写的支票。现代深度学习技术中的语音识别也是这些概念的扩展。
此外Bengio在2000年还发表了划时代的论文“A Neural Probabilistic Language Model”,使用
高维词向量
来表征自然语言。他的团队还引入了
注意力机制
,让机器翻译获得突破,也成为了让深度学习处理序列的重要技术。
Yann LeCun的代表贡献之一是
卷积神经网络。
1980年代,LeCun发明了卷积神经网络,现在已经成为了机器学习领域的基础技术之一,也让深度学习效率更高。1980年代末期,Yan LeCun在多伦多大学和贝尔实验室工作期间,首次将卷积神经网络用于手写数字识别。今天,卷积神经网络已经成为了业界标准技术,广泛用于计算机视觉、语音识别、语音合成、图片合成,以及自然语言处理等学术方向,以及自动驾驶、医学图片识别、语音助手、信息过滤等工业应用方向。
LeCun的第二个重要贡献是
改进了反向传播算法。
他提出了一个早期的反向传播算法backprop,也根据变分原理给出了一个简洁的推导。他的工作让反向传播算法更快,比如描述了两个简单的方法可以减少学习时间。