2018-04-07 我们回顾了吴恩达与
Yoshua Ben
gio
对话
。今天我们就继续回顾一下吴恩达与
GAN之父Ian Goodfellow
对话的精彩片段
往期回顾
你的同龄人，正在抛弃你(科技版)
吴恩达对话Yoshua Bengio
吴恩达对话Geoffrey Hinton
吴恩达对话Ian Goodfellow
Ian Goodfellow是谁？
答：GAN的创造者！！！《Deep Leaning》（又名花书）的作者！！！
吴恩达：
你是怎样一步步进入这行呢？
Bengio：
我想我是遇到您之后才开始对机器学习感兴趣的。我最开始学的是神经科学。我本科时代导师斯坦福大学的Jerry Cain鼓励让我去上您（吴恩达）的 AI 课程。在上您的AI入门课程时，Goodfellow 看到了线性回归、variants decomposition……等等概念。后来，在朋友的影响下，他读了 Hinton 关于深度信念网络的论文，感到非常激动，自己和朋友在斯坦福建造了基于 CUDA 的 GPU 机器，专门来跑波尔兹曼机。
这让我意识到，深度学习是一门科学（real science），我可以把自己的研究生涯建立在这个基础上。
我当时意识到深度学习是未来的大方向。因为深度学习不像当时的其他方法，比如 SVM（SVM 数据增多训练就变慢，也不会改进效果），于是尽可能地专注于深度学习。起初是用自己和朋友出钱，在Ethan妈妈的家里弄，后来才开始用斯坦福实验室的资金做一些研究。
吴恩达：
GAN 是当前讨论最多的深度学习方法之一，你是如何想出来的呢？
Bengio：
我一直在研究
生成模型，所以GAN是其中的一种。当我在一个酒吧里跟朋友争论生成模型时，灵感来了，我开始告诉他们，你们应该这么做这么做这么做，我保证管用。但是朋友不信，于是我直接晚上回去开始做实验，只花了一晚上就调试成功第一个GAN了。
我很幸运第一次就 work 了，这样他不用去调参数。实际上当时我正在写《深度学习》这本书。
吴恩达：
听说你有一次
临死体验
？可以说说吗
Bengio：
我其实没有涉死啦，但有那么一瞬间我觉得要死了。
当时我头超级超级痛，可能是大脑出血，在等 MRI 检查结果的时候，我意识到。我的大部分想法是要确定有其它人继续尝试研究我当时的研究思路。虽然现在想来，都是些很稚嫩的概念，但是，我意识到从事AI研究是他人生的第一大事。
吴恩达：
可以告诉我，你怎么看GAN的未来吗？
Bengio：
GAN 属于生成模型的一种，虽然现在应用很多，但训练十分不稳定。我认为，实际上 GAN 能做的事情很多其他生成模型也能做，现在 GAN 正处于交叉路口，如果能稳定下来，甚至能像深度学习那么可靠，那么 GAN 就能真正发展起来。如果不能，那么 GAN 将会被其他方法取代，成为发展中的一个过程。现在，我有大约 40% 的时间用在稳定 GAN 上面。
GAN
什么是对抗生成网络（GANs）?
生成对抗网络是一种
生成模型（Generative Model）
，其背后最基本的思想就是从训练库里获取很多的
训练样本（Training Examples）
，从而学习这些训练案例生成的概率分布。
一些生成模型可以给出概率分布函数定义的估测，而另一些生成模型可以给你全新的样本，这些新样本来自于原有生成训练库的概率分布。
PPT最底下一排图片来自于ImageNet的数据库，左边是训练图片，右边我们可以看作是一个理想的生成模型所产生的照片（实际上右边的照片依然是从ImageNet库里选取的，我们的系统目前还没有成熟到可以生成这种真实感）。
