专栏名称: 机器学习研究会
机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织,旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外,协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。
目录
相关文章推荐
爱可可-爱生活  ·  今日推介(第1559期):环形Transfo ... ·  昨天  
爱可可-爱生活  ·  【PoolTool ... ·  2 天前  
爱可可-爱生活  ·  《爱可可微博热门分享(10.13)》 ... ·  2 天前  
爱可可-爱生活  ·  【Machina:结合了实时物体识别和标签的 ... ·  1 周前  
机器之心  ·  GR-2登场!ByteDance ... ·  1 周前  
51好读  ›  专栏  ›  机器学习研究会

【学习】浅析生成对抗网络

机器学习研究会  · 公众号  · AI  · 2017-02-19 18:56

正文


点击上方“机器学习研究会”可以订阅哦
摘要
 

转自:待字闺中

GAN是由Ian Goodfellow在2014年提出的,主要思想发表于这篇里程碑式的论文:Generative Adversarial Networks。2016年,GAN热潮席卷AI领域顶级会议,Yann LeCun更是评价GAN是“20年来机器学习领域最酷的想法”。究其原因,主要是因为GAN为无监督学习提供了一个崭新的方法,而无监督学习又是机器学习的发展方向。因此,GAN备受学术界和工业界的关注。

Ian的论文包含许多形式化的论证,初学者难以完全理解。而本文希望用最通俗易懂的语言,给大家带来对GAN的直观理解,为进一步深入学习GAN打下基础。


GAN的基本框架

任何生成模型的训练目标都是要使得生成出来的数据尽量接近真实数据。但是在实际应用中,我们完全无法知道真实数据的分布。我们所能够得到的只是真实数据的一些样本。传统的生成模型,一般都采用数据的似然性来作为优化的目标,但GAN创新性地引入了判别模型,从而提出了一种全新的优化目标。这个目标就是要寻找生成模型和判别模型之间的一个平衡。

GAN所建立的一个学习框架,实际上就是生成模型和判别模型之间的一个模仿游戏。我们可以把生成模型看作一个伪装者,而把判别模型看成一个警察。生成模型通过不断地学习来提高自己的伪装能力,从而使得生成出来的数据能够更好地欺骗判别模型。而判别模型则通过不断的训练来提高自己判别的能力,能够更准确地判断出数据的来源。GAN的架构如下图所示:

生成模型以隐随机变量作为输入,其输出是对真实数据分布的一个估计。生成数据和真实数据的采样都由判别模型进行甄别,并给出真假性的判断和当前的损失。利用反向传播,GAN对生成模型和判别模型进行交替优化。


GAN的优化目标

GAN的两个模型分别对应两个优化目标。


生成模型的优化目标

生成模型的优化目标是最小化下面这个表达式的值:

其中,是从隐随机变量分布中抽样的个样本,它是生成模型的输入。对机器学习不是很了解的读者可能无法理解这个优化目标是如何形成的,其实这其中的原理很简单。

是指生成模型以隐随机变量为输入,生成一个对真实数据分布的估计。理论上来说,通过不断地学习,生成的数据样本应该越来越接近真实的数据分布。然后,判别模型以生成模型的输出作为输入,并输出一个介于0和1之间的数字。这个输出值越接近0,表示判别模型越认为输入数据是生成的,而不是真实数据。相反,输出值越接近1,表示判别模型越认为输入数据是真实数据的抽样而不是生成的。因此,从生成模型的角度来讲,它希望判别模型的输出值越接近1越好。这样就意味着自己生成出来的数据越来越接近真实数据分布。由于0和1之间的差距很小,为了放大这种差异,加速网络训练的进程,我们对判别模型的输出值取对数。对数函数的图像如下图所示:

可以看到,越接近1,的函数值越小。相反,越接近0,的函数值快速增长,目标函数的这种特性可以给不恰当的网络参数巨大的惩罚,也就保证了生成模型的输出将迅速逼近真实数据分布。


原文链接:

http://mp.weixin.qq.com/s?__biz=MjM5ODIzNDQ3Mw==&mid=2649966745&idx=1&sn=99afb9ed0f436a3d81d44d643bc9db9b&chksm=beca389f89bdb1890e4798fabea473bc9750d4912ee5c053bc2c89fc57e65613426fced6efbf#rd

“完整内容”请点击【阅读原文】
↓↓↓