【学习】应用到文本领域的卷积方法

tl;dr

• RNNS对于文本非常有用，但是卷积网络拥有更快的效率

• 句子的任何部分都可能影响到一个单词的语义。 因此，我们希望我们的网络能够一次看到整个输入

• 获得这么大的接受能使梯度消失，我们的网络失败

• 我们可以解决DenseNets或扩张卷的消失梯度问题

• 有时我们需要生成文本。 我们可以使用“deconvolutions”来产生任意长的输出。

Intro

在过去三年中，由于深度学习的火热，NLP领域经历了巨大的革命。 这场革命的领导者是循环神经网络，特别是其LSTM模型的表现。 同时，计算机视觉领域也被卷积神经网络重塑。 这篇文章探讨了我们“研究文本的人”可以从我们做计算机视觉的朋友那里学到什么。

Common NLP Tasks

为了展示在词汇基础上的情景，我介绍了在NLP中介绍一些更常见的任务。 为了保持一致性，我假设我们所有的模型的输入是字符，我们的“观察单位”是一个句子。 这两个假设只是为了方便起见，如果您愿意，您可以用文字和句子替换字符。

Classification

这也许是这本书中最古老的技巧，我们经常想把句子分类。 例如，我们可能希望将电子邮件主题分类为是否是垃圾邮件的指示，猜测产品评论的意见或将主题分配给文档。

用RNN处理这种任务的直接方法是逐字输入整个句子，然后观察RNN的最终隐藏状态。

Sequence Labeling

序列标签任务是返回每个输入对应的输出的任务。 示例包括部分语音标签或实体识别任务。 单纯的LSTM虽然并不是当下最先进的技术，但易于实施并提供了令人信服的效果。 这篇文章 为Sequence Labeling任务提供了更加丰富的架构：