这两天被吴恩达(Andrew NG)各种新闻刷屏，前两天的《Machine Learning Yearning》，这两天的吴恩达对话Yann LeCun。今天我们就回顾一下吴恩达与Geoffrey Hinton的集锦
吴恩达对话Geoffrey Hinton
Geoffrey Hinton是谁？
答：全球顶级深度学习专家，目前就职于Google Brain
吴恩达：
作为深度学习的前沿研究者，您提出了有关深度学习的许多新观点，许多人称您为“深度学习教父”，虽然我刚才跟您聊天的时候才知道是您自己首先自称“深度学习教父”的。那么我想问一下您的传奇背后的故事。您是如何开始涉足AI，机器学习，以及神经网络的呢？
Geoffery Hinton（以下简称
Hinton）：
我读高中时，遇到一位非常好的班主任。他是一名卓越的数学家，有一天上课时，他问，“你知道大脑全息图（hologram）吗？“那大概是在1966年，我当时问，“什么是全息图？”他解释说，在全息图中，你可以切掉一部分，但仍能看到整个画面，也就是说大脑中的记忆可能是分布在整个脑中。“我猜他读过 Lashley 的实验，就是切掉小鼠的部分脑皮层，发现很难找到大脑的哪个区域是存储特定记忆的地方。这是我第一次对大脑如何存储记忆感兴趣。于是我上大学时，就开始修读生理学和物理学。后来我放弃这两个学科，转修哲学，因为我认为哲学能给我更多对于大脑的理解。但是在我看来，哲学的理解方式也无法让我满意。所以我转向了心理学，心理学领域有非常简单的理论，在我看来这些理论完全不足以解释大脑的工作方式。于是我去当了1年的木匠。再后来我去爱丁堡大学研究生院，决定学习AI，师从 Longuet-Higgins。他曾在神经网络方面做过一些很好的工作，但却在那时放弃了神经网络，改为支持传统的人工智能论点。所以我去爱丁堡时，他认为我做的是过时的东西，叫我应该从符号学的角度去研究。我们有过很多争吵，但我只是一味坚持我所相信的工作。
我终于获得了一个AI的PhD，但没能在英国找到工作。我于是去了加利福尼亚州，那里一切都不一样。在英国，研究神经网络被认为是愚蠢的事情，但在加利福尼亚，Don Norman 和 David Rumelhart 等人对神经网络的观点非常开放。那是我第一次体会到，思考大脑如何工作，思考大脑的工作方式与心理学的联系是一件非常积极的事情，这是非常有趣的。特别是与 David Rumelhart 的合作经历非常好。
吴恩达：
那么，您是在UCSD（加州大学圣地亚哥分校）时，与 Rumelhart 合作写了那篇著名的反向传播（back-propagating）方面的论文，对吗？
Hinton：
实际上，这件事还要复杂一些。大概是在1982年初，David Rumelhart 和我，还有 Ronald Williams，一起开发了反向传播算法。这主要是 David Rumelhart 提出的idea。我们后来发现有其他许多人已经提出过这一算法了。David Parker 提出过，可能他是在我们之后提出的，但发表论文是在我们之前。Paul Werbos 也比我们早几年发表过论文，但没有得到很多重视。还有其他许多人也提出了类似的算法。
吴恩达：
为什么你认为是你们的研究论文让这个研究圈子接受了反向传播的算法？给我的感觉是你们的论文起了很大作用。
Hinton：
我们在1986年得以在 Nature 期刊上发表了一篇论文。为了让论文被接收，我做了很多工作。我得知其中一位审稿人可能是 Stuart Sutherland，他是英国的一位著名心理学家。我去和他谈了很久，向他解释反向传播是什么。这给他留下了非常深刻的印象，我猜这是论文被 Nature 接收的一个原因。
吴恩达：
最近有关GPU、超级计算机，这些超快的计算机如何加速深度学习的谈论很多，但在1986年，或者说90年代初，您和Bengio就已经开始做深度学习了。
Hinton：是的，这是一个巨大的进步。在1986年，我使用的计算机运算能力不足1/10 megaflops到大约1993年，达到10 megaflops，也就是说计算力增加了100倍。正是由于计算机变的越来越快，深度学习变得易于使用了。
吴恩达：
在过去几十年里，你发明了神经网络和深度学习的许多方法，在您发明的所有东西中，哪个是您现在仍然觉得是最令人兴奋的？
Hinton：
我认为最美的一个是我与Terry Sejnowski一起发明的玻尔兹曼机（Boltzmann machin）。我们发现有一个真正非常简单的学习算法，可以应用于很大很密集的网络，你只会看到几个节点，它会学习隐藏的表示。它真的是一个非常简单的算法。
吴恩达：
您已经在深度学习领域工作了几十年，我想问，这几十年间您对AI的理解有什么变化？
Hinton：
我的很多研究是围绕反向传播的，包括如何使用反向传播，如何利用它的能力。在20世纪80年代中期，我们在判别学习（Discriminative learning）中使用它，能表现得很好。到90年代初，我开始认为人类学习中的大部分都是无监督学习（unsupervised learning），我开始对无监督学习有了更多兴趣，提出了 Wake-Sleep 算法。
吴恩达：
您那时的思想也深深地影响了我。
Hinton：
是的，我也可能是误导了你。但长期来看，我认为无监督学习是关键的。但你也要面对现实，在过去十多年里，能起效的是监督学习，是区分性训练（Discriminative training），使用有标签的数据。但我仍然认为无监督学习将会变成关键，将能够变得比现在好很多，但我们目前仍未能做到。
吴恩达：
是的，我想研究深度学习的许多人都这样相信，包括我也是，都对无监督学习感到兴奋，只是现在没有人知道如何可以做得更好。
吴恩达：
您对想进入深度学习领域的新人有什么建议？我想您肯定已经一对一地给许多人提过建议，但对于很多人，对于正在观看这个视频的一大批人，请您对他们提一些建议。
Hinton：
我的建议是，要阅读文献，但不要读太多
。这也是我从我的老师那里得到的建议，可能与大部分人认为的不一样。大部分人认为应该花上好几年的时间，读很多很多的文献，然后再开始做自己的研究。可能对于一部分研究者来说这样很好，但对于创造性的研究者来说，我认为你应该读一些文献，了解其他人走了哪些弯路，就是某些研究给人感觉不对。然后你要找到如何做对的方法。就算有人跟你说那样做不好，你也要坚持做。关于如何坚持，我有一个好原则，就是不要管你的直觉是好是坏，如果直觉是好的，那你应该继续，结果会成功；如果你的直觉不对，那也没关系。你应该相信你的直觉，没有理由不相信它们。
我的第二个建议是，不要停止编程
。因为如果你让一个学生去做某个项目，如果进行不顺，这个学生可能会跑回来说它不work。要推导为什么它不work，需要做一些小决策，他们没能认识到这是关键的。但假如是优秀的学生，比如说你，你会回来说它是work的。
