新智元推荐
来源:ermongroup.github.io
编辑:肖琴
【新智元导读】
本文是IJCAI 2018的
深度生成模型tutorial,
作者是斯坦福大学PH.D Aditya Grover,长达115页的slides非常详尽地介绍了主要的生成模型
和
代表性的应用,
希望对大家的学习有所帮助。
PPT下载地址:
https://drive.google.com/file/d/1uwvXkKfrOjYsRKLO7RK4KbvpWmu_YPN_/view
或在新智元公众号回复“
生成模型PPT”
,获取网盘下载链接。
生成模型是图模型和概率编程语言中概率推理的关键模型。最近,使用神经网络对这些模型进行参数化,以及使用基于梯度的技术进行随机优化的最新进展,使得可以跨多种模态和应用程序对高维数据进行可扩展建模。
本教程的前半部分将提供对深度生成模型的主要家庭成员的整体回顾,包括生成对抗网络、变分自编码器和自回归模型。对于每个模型,我们都将深入讨论概率公式、学习算法以及与其他模型的关系。
本教程的后半部分将演示如何在一组具有代表性的推理任务中使用深度生成模型:半监督学习、模仿学习、对抗样本防御,以及压缩感知。
最后,我们将讨论当前该领域面临的挑战,并展望未来的研究方向。
目录
第一部分:
-
生成建模的动机,以及与判别模型的对比
-
生成模型的定义和特征:估计密度、模拟数据、学习表示
-
传统的生成建模方法,以及深度神经网络在有效参数化中的作用
-
基于学习算法的生成模型的分类:likelihood-based的学习和likelihood-free的学习
-
Likelihood-based学习实例:
-
自回归模型(定向,完全观察)
-
变分自编码器(定向,潜变量)
第二部分:
生成模型应用领域:
-
计算机视觉
-
计算语音
-
自然语言处理
-
计算机视觉/机器人学
统计生成模型
判别 vs. 生成
生成模型中的学习
给定:来自数据分布和模型家族的样本
目标是:尽可能地接近数据分布
挑战:如何评价和优化数据分布和模型分布之间的接近性(closeness)?
最大似然估计
解决方案1: = KL 散度
最大似然估计
易处理似然性(Tractable likelihoods):有向模型,如自回归模型
难处理似然性:无向模型,如受限玻尔兹曼机(RBM);有向模型,如变分自编码器(VAE)
intractable likelihoods的替代选择:
- 使用MCMC或变分推理进行近似推理
- 利用对抗训练进行 Likelihood-free的推理
-
提供一个对数似然的解析表达式,即 log N
-
学习涉及(近似)评估模型对数似然相对于参数的梯度
关键设计选择
有向、完全观察的图模型
这里的关键想法是:将联合分布分解为易处理条件的乘积