来源:arXiv
编译:文强
【新智元导读】
今日 arXiv 最火论文之一,作者包括著名的《深度学习》(Deep Learning)一书的作者 Aaron Courville。论文用 GAN 解决自然语言处理问题,“在中国诗词数据集上取得目前最好结果”。研究人员表示,他们为训练 GAN 生成自然语言提供了一种直接有效的方法。作者表示,接下来他们想探索 GAN 在 NLP 其他领域的应用,比如非目标导向的对话系统。
对抗生成网络(GAN)是眼下的热词,而使用 GAN 做自然语言处理(NLP)则一直是业界关注的问题。日前,包括“Deep Learning”一书作者、CIFAR Fellow Aaron Courville 在内的加拿大研究人员在 arXiv 上传论文《自然语言对抗生成》 “Adversarial Generation of Natural Language”,称
为训练 GAN 生成自然语言提供了一种直接而有效的方法
。
作者表示,而其简单之处在于,向判别器提供来自生成器的概率分布序列和对应于真实数据分布的 1-热矢量序列(a sequence of 1-hot vectors),
强制判别器对连续值进行运算
。
论文提出的模型架构。
此外,论文还提供了定量和定性的评估方法,展示了有可能对高级句子特征(如情绪和问题)进行文本的条件生成。
论文中给出的文本条件生成示例
:上面一行是使用亚马逊网站带有“积极”和“消极”属性的评论数据集作为训练数据生成的样本,下面一行则是有同样数据集中带有“问题”特征的条件生成样本。
作者表示,接下来他们想探索 GAN 在 NLP 其他领域的应用,比如非目标导向的对话系统。