学界 | Yann LeCun最新研究成果：可以帮助GAN使用离散数据的ARAE

AI 科技评论 消息，Facebook人工智能研究中心FAIR负责人、深度学习三驾马车之一的Yann LeCun昨天在Facebook上评论转发了一条动态。Yann LeCun转发的这条动态来自跟他合作的一位纽约大学在读博士生Jake Zhao，介绍了一篇已经上传arXiv的论文。论文介绍了一种可以帮助GAN使用离散数据的“对抗性正则化的自动编码器”（ARAE，Adversarially Regularized Autoencoders）。Yann LeCun作为这篇论文的合作作者之一，转发这条消息并且进行了解读和评价。

根据论文原文，AI 科技评论整理了这样一张图，可以对ARAE要解决的问题做一个大体的认识：

如图是原动态和Yann LeCun的转发评论，译文请见下文

Yann LeCun的转发评论

Adversarially Regularized Autoencoders（对抗性正则化的自动编码器，ARAE）是一种新的方法，它可以把编码的内容信息限制在一个自动编码器中，并且防止该自动编码器学习到身份函数。为了达到这样的目标，以前就有过一些sparse AE（稀疏自动编码器）、variational AE（变分自动编码器，在代码中加入噪声）、denoising AE（降噪自动编码器）这样的尝试，也有人用差异对比这样的对比方法和其它基于MCMC（Markov Chain Monte Carlo，随机模拟）的方法。这次，我们用一组对抗性的生成器和鉴别器来生成指定熵的样本，并且我们借助鉴别器让自动编码器中编码的分布跟这对生成器鉴别器的分布相匹配。

经过训练以后，这个自动编码器的生成器和编码器部分就可以用作一个生成性模型。

ARAE可以有一种厉害的用法，就是可以在对抗性的设定下生成离散性的结构（比如文本）。由于对抗的过程是发生在（连续）编码上的，而不是输出上，这就可以缓解对抗性鉴别器直接用在离散输出上时可能会遇到的问题。

这项研究中有纽约大学、哈佛大学、FAIR多方合作，几个参与者是，纽约大学数据科学硕士毕业生、博士在读Jake Zhao，哈佛大学校友、博士在读Yoon Kim，纽约大学本科生Kelly Zhang，哈佛大学学生Sasha Rush，以及我自己。

Jake Zhao的消息内容

刚刚发表了这篇"Adversarially Regularized Autoencoders for Generating Discrete Structures"（用于生成离散结构的对抗性正则化的自动编码器）论文，感觉非常激动，几个共同作者Yoon Kim, Kelly Zhang, Sasha Rush和Yann LeCun也都很厉害。

论文地址： https://arxiv.org/abs/1706.04223

代码地址（有Torch和PyTorch两个版本）： https://github.com/jakezhaojb/ARAE

对于在离散结构上进行对抗性训练，我们提出了一个简单的解决方案：通过重新构建的方式训练一个序列到序列的转换模型，然后让GAN在连续编码空间中工作。同时，从GAN传回到序列转换模型的梯度也对训练一个有意义的自动序列转换模型起到了很大帮助。通过努力，我们得到了一个图像GAN网络应当具有的一组理想属性：生成性，z空间插值，向量计算。我们也基于语言模型生成样本的质量对该方法进行了量化评估。

AI 科技评论还了解到，NVIDIA也为这项研究做了一点微小的贡献，给他们捐赠了一块Titan X Pascal GPU以便运行模型。其实NVIDIA还有更多福利等着大家，比如下面这个~

AI科技评论招人啦！

作为国内顶尖人工智能学术媒体，AI科技评论一直秉承“洞悉学术前沿，连结产业未来”的理念，为读者奉上来自国内外的深度报道。

AI科技评论期待你的加入，和我们一起见证未来！现诚招学术主编（外聘）、学术编辑、外翻编辑等岗位，详情请 点这里

欢迎投递简历到：[email protected]，AI 科技评论等你哦！