“深度解读：GAN模型及其在2016年度的进展”［1］一文对过去一年GAN的进展做了详细介绍，十分推荐学习GAN的新手们读读。这篇文章主要介绍GAN在NLP里的应用（可以算是论文解读或者论文笔记），并未涉及GAN的基本知识 （没有GAN基础知识的小伙伴推荐先看[1]，由于本人比较懒，就不在这里赘述GAN的基本知识了J）。由于很长时间没有写中文文章了，请各位对文章中不准确的地方多多包涵、指教。
虽然GAN在图像生成上取得了很好的成绩，GAN并没有在自然语言处理（NLP）任务中取得让人惊喜的成果。 其原因大概可以总结为如下几点：
原始GAN主要应用实数空间（连续型数据）上，在生成离散数据（texts）这个问题上并不work。GAN 理论的提出者Ian Goodfellow 博士这样回答来这个问题问题：“GANs 目前并没有应用到自然语言处理（NLP）中，最初的 GANs 仅仅定义在实数领域，GANs 通过训练出的生成器来产生合成数据，然后在合成数据上运行判别器，判别器的输出梯度将会告诉你，如何通过略微改变合成数据而使其更加现实。一般来说只有在数据连续的情况下，你才可以略微改变合成的数据，而如果数据是离散的，则不能简单的通过改变合成数据。例如，如果你输出了一张图片，其像素值是1.0，那么接下来你可以将这个值改为1.0001。如果输出了一个单词“penguin”，那么接下来就不能将其改变为“penguin + .001”，因为没有“penguin +.001”这个单词。 因为所有的自然语言处理（NLP）的基础都是离散值，如“单词”、“字母”或者“音节”， NLP 中应用 GANs是非常困难的。一般而言，采用增强学习算法。目前据我所知，还没有人真正的开始研究利用增强算法解决 NLP 问题。”
在生成text时，GAN对整个文本序列进行建模打分。对于部分(partially)生成的序列，十分难判断其在之后生成整个 (fully) 序列时的分数。
另一个潜在的挑战涉及RNN的性质（生成文本大多采用RNN模型）。假设我们试图从latent codes生成文本，error就会随着句子的长度成指数级的累积。最开始的几个词可能是相对合理的，但是句子质量会随着句子长度的增加而不断变差。另外，句子的长度是从随机的latent representation生成的，所以句子长度也是难以控制。
下面我将主要介绍和分析最近阅读过的将GAN应用于NLP中的一些论文：
1. Generating Text via Adversarial Training
其中式 (6) 为标准GAN的优化函数，式 (7) 为feature matching的优化函数。
本文的初始化非常有意思，特别是在判别器的预训练方面，利用原始的句子和该句子中交换两个词的位置后得到的新句子进行判别训练。(在初始化的过程中，运用逐点分类损失函数对判别器进行优化)。这非常有意思，因为将两个单词互换位置，输入的数据信息实际上是基本相同的。比如，大多数卷积计算最终会得出完全相同的值。
本文生成器的更新频率是判别器的更新频率的5倍，这与原始GAN的设定恰好相反。这是因为LSTM比CNN的参数更多，更难训练。
然而，本文生成模型 (LSTM) decode阶段有exposure bias问题，即在训练过程中逐渐用预测输出替代实际输出作为下一个词的输入。
2. SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient
(a) 其中左图为GAN网络训练的步骤1，判别器D主要用来区分真实样本和伪造样本，这里的判别器D是用CNN来实现的。
(b) 右图为GAN网络训练的步骤2， 根据判别器D回传的判别概率回传给生成器G，通过增强学习的方法来更新生成器G，这里的的生成器G是用LSTM来实现的.
(c) 因为G网络的更新策略是增强学习，增强学习的四个要素state, action, policy, reward分别为：state 为现在已经生成的tokens (当前timestep之前LSTM decoder的结果), action是下一个即将生成的token (当前解码词), policy为GAN的生成器G网络，reward为GAN的判别器D网络所生成的判别概率。其中，reward采用以下方法来近似：
本过程特点：即当解码到t时，即对后面T-t个timestep采用蒙特卡洛搜索搜索出N条路径，将这N条路径分别和已经decode的结果组成N条完整输出，然后将D网络对应奖励的平均值作为reward. 因为当t=T时无法再向后探索路径，所以直接以完整decode结果的奖励作为reward。
(d) 对于RL部分，本文采用了policy gradient方法。 根据policy gradient理论，生成器G的目标函数可以表示如下：
求导结果为: (详细推导过程请看原论文附页)
(e) 每隔一段时间，当生成更多的更逼真的句子后，重新训判别器D，其中判别器的目标函数表示如下：
算法结构图可以表示为如下：
实验
实验部分主要分为合成数据实验和现实数据实验。
(a) 合成数据实验: 随机初始一个LSTM生成器A，随机生成一部分训练数据，来训练各种生成模型.
评判标准为：负对数似然(交叉熵) NLL. 详细实验设置可以参看原论文。
(b) 现实数据实验：主要展示中文诗句生成，奥巴马演讲生成，音乐生成的结果。实验数据分别为中文诗歌数据集 (16,394首绝句)，奥巴马演讲数据集 (11,092 段落)， Nottingham音乐数据集 (695首歌)。评测方法为BLEU score, 实验结果如下：
文中并未展示模型生成的诗歌等, 具体效果如何？
3. Adversarial Learning for Neural Dialogue Generation
论文链接：https://arxiv.org/pdf/1701.06547.pdf
论文源码：jiweil/Neural-Dialogue-Generation
这篇论文是2017年1月26号上传到arxiv上的，属于最新的GAN用于NLP的论文。文中主要用对抗性训练 (adversarial training) 方法来进行开放式对话生成 (open-domain dialogue generation)。文中把这项任务作为强化学习(RL)问题，联合训练生成器和判别器。和SeqGAN一样，本文也是使用判别器D的结果作为RL的reward部分，这个reward用来奖励生成器G，推动生成器G产生的对话类似人类对话。
总体来说，本文的思路和SeqGAN是大体一样的，但是有几处不同和改进的地方：
(a) 因为本文是用于开放式对话生成，所以文中的生成器采用seq2seq模型 (而非普通的LSTM模型)。 判别器则采用了hierarchical encoder (而非CNN)。
(b) 采取了两种方法为完全生成或者部分生成的序列计算reward。除了 Monte Carlo search (与SeqGAN相似) 方法，本文新提出了一个能对部分生成的序列进行reward计算的方法。使用所有完全 (fully) 和部分 (partially) 解码的序列来训练判别器会造成overfitting。早期产生的部分(partially)序列会出现在许多的训练数据中，比如生成的第一个token y_1将会出现在所有的部分生成 (partially generated) 的序列里。所以本文提出仅仅分别从正(positive)序列 y+ 和负(negative)序列y-的每个子序列中随机地选取一个 sample来训练判别器D。这个方法比Monte Carlo search更快速，但是也会使得判别器更弱，更不准确。
(c) 在SeqGAN中，生成器只能间接的通过判别器生成的reward来奖励或者惩罚自己所产生的序列。而不能直接从 gold-standard序列中直接获取信息。 这种训练方式是脆弱的，一旦生成器在某个训练batch中变坏，判别器将会很容易对生成的句子进行判断 (比如reward为0 )，此时生成器就会迷失。生成器只知道现在生成的句子是坏的，但是并不知道如何调整才能使得生成的句子变好。为了解决这个问题，在生成器的更新过程中，本文输入了human-generated responses。对于这些human-generated responses， 判别器可以将其reward设置为1。这样生成器可以在上述情况下仍能生成好的responses。
(d) 训练过程中，有些针对dialogue system的设置(trick)。这部分内容，读者可以参考Jiwei Li之前的关于dialogue system的论文。
4. GANs for sequence of discrete elements with the Gumbel-softmax distribution
论文链接：https://arxiv.org/pdf/1611.04051.pdf
相比前面两篇论文，本文在处理离散数据这个问题上则比较简单暴力。离散数据 (用one-hot方法表示)一般可以从多项式采样取得，例如由softmax函数的输出p = softmax(h)。 根据之前的概率分布，以p的概率进行采样y的过程等价于：y=one_hot(argmax_i(h_i+g_i)) , 其中g_i是服从Gumbel distribution (with zero location and unit scale)。然而one_hot(argmax(.)) 是不可微分的。与原始GAN不同，作者提出了一种方法来近似上面的式子： y = softmax(1/ r (h + g))。这个公式是可以微分的。算法结构如下：
5. Connecting generative adversarial network and actor-critic methods
论文链接：https://arxiv.org/pdf/1610.01945.pdf
Actor-critic methods [2]: 许多RL方法 (e.g., policy gradient) 只作用于policy 或者 value function。Actor-critic方法则结合了policy-only和value function-only 的方法。 其中critic用来近似或者估计value function，actor 被称为policy structure, 主要用来选择action。Actor-critic是一个on-policy的学习过程。Critic模型的结果用来帮助提高actor policy的性能。
GAN和actor-critic具有许多相似之处。Actor-critic模型中的actor功能类似于GAN中的generator， 他们都是用来take an action or generate a sample。Actor-critic模型中的critic则类似于GAN中的discriminator, 主要用来评估 actor or generator 的输出。具体的相同和不同点，感兴趣的朋友可以仔细阅读原文。
这篇论文主要贡献在于从不同的角度来说明了GAN和actor－critic模型的相同与不同点，从而鼓励研究GAN的学者和研究actor-critic模型的学者合作研发出通用、稳定、可扩展的算法，或者从各自的研究中获取灵感。
最近Bahdanau等大神提出了用actor-critic模型来进行sequence prediction [3]。虽然[3]中并没有用到GAN，或许对各位能有启发。 用类似的思想，GAN在sequence prediction上也许也能取得的比较好的效果？
[1] 深度解读：GAN模型及其在2016年度的进展
[2] Actor-Critic Algorithms
[3] An actor-critic algorithm for sequence prediction
作者
杨敏，香港大学计算机系博士， 从事自然语言和机器学习的研究，最近也在关注和从事non-goal-oriented dialogue system以及goal-oriented question answering的研究， please feel free to contact me if you have similar interests.
主页：http://minyang.me/
新浪微博：杨敏_HKU
微信： yangmin19911129
关于PaperWeekly
PaperWeekly是一个分享知识和交流学问的学术组织，关注的领域是NLP的各个方向。如果你也经常读paper，也喜欢分享知识，也喜欢和大家一起讨论和学习的话，请速速来加入我们吧。
