预告 | NIPS 2017线上分享：用于序列生成的推敲网络

微软亚洲研究院 · 公众号 · AI · 2017-11-28 16:35

正文

编者按：上一期NIPS 2017优秀论文分享活动中，中国科学技术大学-微软联合培养博士生夏应策详细讲解了一篇关于神经机器翻译的NIPS入选论文。这次，应邀参加分享活动的是中山大学-微软亚洲研究院联合培养博士吴郦军，分享主题为“得句自斟酌：用于序列生成的推敲网络”。

活动日期：北京时间 11 月 30 日 20:00-21:00

演讲主题：得句自斟酌：用于序列生成的推敲网络

主讲人介绍

吴郦军，博士三年级，现就读于中山大学-微软亚洲研究院联合培养博士班，研究方向为机器学习、神经机器翻译、强化学习，目前在微软亚洲研究院机器学习组学习。

论文摘要

编码器-解码器框架在许多序列生成任务中都实现了非常好的性能，包括机器翻译、自动文本摘要、对话系统和图像描述等。这样的框架在解码和生成序列的过程中只采用一次（one-pass）正向传播过程，因此缺乏推敲（deliberation）的过程：即生成的序列直接作为最终的输出而没有进一步打磨的过程。然而推敲是人们在日常生活中的一种常见行为，正如我们在阅读新闻和写论文/文章/书籍一样。在该研究中，我们将推敲过程加入到了编码器-解码器框架中，并提出了用于序列生成的推敲网络（Deliberation networks）。推敲网络具有两阶段解码器，其中第一阶段解码器用于解码生成原始序列，第二阶段解码器通过推敲的过程打磨和润色原始语句。由于第二阶段推敲解码器具有应该生成什么样的语句这一全局信息，因此它能通过从第一阶段的原始语句中观察未来的单词而产生更好的序列。神经机器翻译和自动文本摘要的实验证明了我们所提出推敲网络的有效性。在 WMT 2014 英语到法语间的翻译任务中，我们的模型实现了 41.5 的 BLEU 分值，即当前最优的 BLEU 分值。