AI科技评论专访Yann LeCun: 关于深度学习未来的14个问题

“ICLR算是一个必须的选择吧，因为其实没有很多的选择。所以从1996或者1997年以后，我组织了一个工作室，学习工作室，每年大概只有八九十人参加。到了2006、2007年，深度学习的大潮来临的时候，这个工作室增长得很快，我们觉得需要有一个深度学习方面的会议，所以我们就在4年前的时候把这个邀请制的工作室变成了开放式的会议。我觉得这个决定非常棒，每年都吸引了很多参加者。今年1100人，去年500多人，前年两三百人，第一年的时候130人，所以本质上它发展得也很快。”

4月23-26日，ICLR在土伦举行了第五届国际学习表征会议，AI科技评论前线记者亲赴现场的同时，采访了ICLR会议创办人，深度学习三大巨头之一的 Yann LeCun教授，探讨了关于GAN的未来，本届ICLR的亮点，ICLR论文的争议，ICLR和Facebook相关工作的关联性问题，以下是采访原文。     由宗仁，晓桦联合采访；宗仁，晓桦，晓凡联合编辑。

关于ICLR 2017

1. 关于GAN，除了您自己参与投递的EBGAN论文，您从今年的论文反馈情况来看，预测会有什么可能的新的发展方向？

对，我以前就有说过，GAN是最近10年内机器学习领域最棒的一个点子。它是一个很有用的点子，能够让非监督学习发挥作用。有件事情我一直很相信，就是人工智能系统需要有一种预测模型，能够有预测未来的能力。预测未来当中的问题是，预测的结果是不确定的，未来会有很多种可能。所以当你训练一个能够预测未来的学习机器的时候，因为会有固定的一个合理的答案，就很难使用正常的算法。那么GAN就是解决这种问题的方法之一。这也是我对GAN很感兴趣的原因，我觉得它能够在解决人工智能发展之路的这个问题上发挥很大作用。

2. 今年的ICLR，您觉得有什么亮点？

我们现在只看见了一部分内容，会议才刚刚开了一半。我觉得GAN方面确实有一些有意思的论文，其它方面比如自然语言处理、自然语言理解、知识的表征学习，包括但不限于向量和神经网络，要更通用一些。神经网络的内在状态是用向量表示的，20年前就有人想到过可以用更复杂的数据结构来概括和表示神经网络的内在状态，比如图和张量。这方面的研究我们也看到了一些，有神经网络和结构预测的结合，而且在神经学习和增强学习之间的联系也有很多研究。但我觉得我们还没有见什么大的进步，在训练出一个正常的增强学习网络之外的真正的大进步，我们需要新的概念，或者把简单的增强学习作为一项商业来制造这种机器。其它的亮点我还没太多关注。

3. 有哪些可能被忽视的亮点？

我觉得应该没有什么被忽视的（亮点）东西。但是我觉得大家可以多花一点注意力在“基于模型的增强学习”或者“基于模型的规划”上，还有“阶梯式规划”，ICLR收到了好几篇这方面的论文，我觉得这可能是我们建立更智能的系统的路线，因为它其中能够用到这个世界的模型，能够让机器提前进行规划，而不是直接在环境里进行训练。人类和动物用很少很少的样本就可以进行学习，这其中的原因就是因为我们脑中就有很好的世界运行的模型，而我们还没有在AI上尝试过这些，因为目前还没有好的模型能够给AI建立世界运行的模型，尤其是预测性模型，比如拿个东西到空中，然后松手它就会掉下去，或者把盛水的玻璃杯倒过来，水会流出来把别的东西淋湿。我们人类对世界的很多背景知识都不是靠观察得来的，而是靠行动，现在还没有什么好方法能够让机器也这样做。所以GAN这样的方法是最有希望取得进步的方法，不过也还不能彻底解决。以及，现在也还没谁有很好的方法能够让GAN发挥出作用，GAN有很多种不同的类型，各自都有优点缺点，但是现在还没什么广泛接受的类型或者技巧能够保证GAN每次都起到作用。这也是未来一两年内这方面研究会遇到的主要问题。

4. 如果一个普通的论文作者，向ICLR提交论文以后，希望上台给大家做口头论文演讲，您有什么建议给他？

（笑）我也想知道。这个我还真不知道，没法回答。不过总体上说，人们喜欢的论文要包含三件事，一是新点子，新点子能让大家从不同角度进行思考；然后就是好的结果；以及规范的实验流程，让大家看到你的点子有效果。如果你的论文能包含这三件事情，那就是一篇有影响力的论文，很有可能会有上台给大家演讲介绍的机会。

第三点是说证明新方法是可行的？

对，但是需要通过规范的实验流程来证明。你需要说明你得到好的结果要归功与你的新点子，而不是因为其它一些原因，比如把模型调节得很好之类的。

5. GAN可以用来做对话生成吗？

没问题，可以的。现在这方面的研究还并不多，但是这件事肯定是可行的。

(您最近公布了wav2char，需要至少十分钟的语音数据。从语音生成是对目标声音的模仿这个角度来看，如果我们在语音生成中使用GAN，有什么测试方法吗？以及，能否先训练一个通用的语音模型，然后再用某个具体的人的声音去训练生成的声音。)

应该是wav2char吧。这方面有一些研究，有很多人用GAN研究语音生成，有的是直接用波形，有的是利用频谱。那么用GAN的时候的主要问题之一是，我们没有特别好的数字化方法可以对人工智能的水平进行测量。用GAN生成图片的时候，我们可以看那些图片，看看视觉效果如何；如果生成语音的话，我们就要听语音有没有问题。但是我们没有可量化、客观、固定的方法来估计GAN生成的语音数据的质量。这是个大问题，因为这会让调整和选择最好的方案变得很难。

6. 我们都知道，《理解深度学习需要重新思考泛化问题》这篇论文在ICLR开始前引发了不小的争议。大会是如何在争议性和权威性之间做出平衡的？

有争议是好事，争议推动着科学的发展。有人有不同意见，他就会去思考什么样才是最好的。科学发展的方向上就是会有争议，而权威性并不重要，真理有时候就是会来自于不怎么出名的人。所以，我觉得这里面没啥好平衡的。

7. 这届ICLR您一共参与提交了5篇论文。这些论文的研究内容跟您在Facebook的工作内容有关联吗？

FAIR是一个研究性的实验室，所以虽然有我们研发出的技术会用在Facebook产品中，我们多数的研究的目的还是为了在领域内做出新发现，而不是直接为了应用。不过我们做的许多东西确实还是用在了Facebook的服务中的，比如图像识别、翻译，都是直接应用在Facebook产品中的。

8. 在刚刚结束的F8大会中，Facebook似乎在VR&AR上有大的动作。您觉得人工智能会在Facebook规划的这张图景中扮演什么样的角色呢？

机器学习、计算机视觉等等，这些成果VR&AR中都是很实用的。比如你需要定位和分割物体、加视觉特效、做3D补全、特征追踪、目标识别等等，所以AI会对VR&AR起到很大的影响，其实现在就有很大影响了。

9.在您过去几十年的从事的研究事业中，您做过一些重要的选择。从您的角度，资助和组织ICLR是怎么样的一个选择呢？

哈哈，ICLR算是一个必须的选择吧，因为其实没有很多的选择。所以从1996或者1997年以后，我组织了一个工作室，学习工作室，每年大概只有八九十人参加。到了2006、2007年，深度学习的大潮来临的时候，这个工作室增长得很快，我们觉得需要有一个深度学习方面的会议，所以我们就在4年前的时候把这个邀请制的工作室变成了开放式的会议。我觉得这个决定非常棒，每年都吸引了很多参加者。今年1100人，去年500多人，前年两三百人，第一年的时候130人，所以本质上它发展得也很快。同时我也把这个会议作为了实现OpenReview的机会，ICLR使用着这种不常见的公开评审机制，ICLR也是对这种机制进行实验的机会。

关于其它

10. 对话式AI被公认为是一个重要的AI应用方向，但目前受限制于NLP的水平，效果并不让很多人满意，对目前对话式AI的发展您有什么看法？

对的，对话式AI现在还很难让人满意。如果要让虚拟助理变得有用，它们需要具备一定的常识水平。但现在的机器还太笨了，没办法具有常识。这也是我们在研究预测式模型的原因，这是让AI最终具有常识的方法之一。

11.听闻您的研究也在关注这方面，您现在主要攻克的难题是什么？

我正在研究的课题有好几个，用GAN研究预测模型，其实本质就是无监督学习；理解深度学习目标函数的几何结构，这是一个非常复杂的理论问题，我挺感兴趣的；还有就是可转移竞争，也是我感兴趣的。所以我正在研究的课题就是这三个。

12. 关于聊天机器人，现在您主要的研究方向是任务导向的还是开放式的？有什么难点？难点怎么解决的？

Facebook在研究聊天机器人方面花了很大努力，不过这项技术并不仅仅是为了造一个虚拟助理的。所以这个方面有很多研究都还在紧张的进行中。

13. 最近有传闻说Facebook在聊天机器人方面研发的投入减半，您是怎么看的？

这个传闻是假的。聊天机器人的商业化策略在不断演变，所以有些东西会关闭或者缩水，有一些其它的方面会得到提升。但是这方面的研究还是非常活跃的。

14. 五月的时候，DeepMind的AlphaGo和围棋世界冠军何洁会在中国进行一场比赛。您对比赛有什么期望吗？为什么谷歌还要再一次进行人机对战？我的意思是说，打败了李世石，还不够吗？

围棋中的竞争理论和竞争策略一直以来都很有意思，所以这个比赛对他们来说也很重要。其中Google也由于这个比赛的关系获得了很高的关注度，这也是他们继续比赛的原因。我觉得AlphaGo肯定是能打败柯洁的。

小结：

AI科技评论曾经在《论文被拒千百遍，团队不受待见，Yann LeCun为何仍待深度学习如初恋？》一文中介绍过，Yann LeCun是人工智能神经网络方面的大牛，现在是Facebook人工智能研发团队的领军人物。可是他的研究之路并不是一帆风顺，在神经网络变得今天这样火热之前，他也经历过非常悲催的岁月。如果从1980年代，Yann LeCun在巴黎读大学时候的算起，Yann LeCun已经深耕“神经网络”30多年了，曾经他的研究方向不被看好，论文被各种学术会议拒绝，贝尔实验室项目被叫停，与Hinton和Bengio结成了一个不怎么正式的同盟来复兴神经网络，不过现在在ICLR上，他的夙愿都达成了。

他亲眼目睹着自己曾经的心仪的一个学术活动从一个工作室的规模逐渐增加到300人，500人，1000人；他为了求变求新，不拘一格地启用了OpenReview这种不常见的公开评审机制；他料到大会上一些论文必有争议，但还是欣然鼓励和推动。甚至在被问到“大会是如何在争议性和权威性之间做出平衡”的问题上时，他毫不犹豫地表示：“科学发展的方向上就是会有争议，而权威性并不重要。”。

或许，只有经历过诋毁并坚持到底的人，才敢无惧争议并走向更大的成功。