论文《TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency》来自微软研究院和哥伦比亚大学的学者共同完成。作者中的Chong Wang以及John Paisley都有长期从事Graphical Models以及Topic Models的研究工作。
这篇文章想要做的事情非常直观，那就是想把在深度学习中非常有效的序列模型——RNN和在文档分析领域非常有效的Topic Models结合起来。这里面的原因就是，RNN比较能够抓住文档的“局部信息”（Local Structure），而Topic Models对于文档的“全局信息”（Global Structure）则更能有效把握。之前也有一些这样的尝试了，不过这篇文章提出了一种简单直观的模型。
首先，每一个文档有一个基于高斯分布的Topic Vector。这一步就和传统的latent Dirichlet allocation (LDA）有了区别，因为传统上这个Vector常常是基于Dirichlet分布。然后对于文档里面的每一个字，都采用了类似RNN的产生构造方法。首先，要产生每个字的一个隐含状态。这个隐含状态的产生，都基于之前的一个字本身，以及前面一个字的隐含状态。产生了隐含状态以后，这篇文章这里做了这么一个假设，那就是有两个类型的语言模型来控制文档里具体字的产生。一种是一个类似Stop Word的语言模型（Language Model），一种是普通的Topical语言模型。那么，在一个字的隐含状态产生以后，作者们有设计了一个基于当前字的隐含状态的伯努利分布，来决定当前这个字，是不是Stop Word。如果这个字是Stop Word，那这个字就从Stop Word的语言模型产生，如果这个词不是Stop Word，那就从Stop Word以及Topical语言模型产生。也就是说，作者们认为，Stop Word的影响是肯定有的，但Topical的影响则不一定有。这就是这个TopicRNN模型的一个简单描述。
文章采用了Variational Auto-encoder的方式来做Inference。这里就不复述了。
值得注意的是，文章本身提出的模型可以适用不同的RNN，比如文章在试验里就展示了普通的RNN、LSTM以及GRU的实现以及他们的结果。总的来说，使用了TopicRNN的模型比单独的RNN或者简单使用LDA的结果作为Feature要好，而且GRU的实现要比其他RNN的类型要好。
这篇文章相对比较直观，建议对深度学习以及文本分析有兴趣的读者精度。
摘要：
In this paper, we propose TopicRNN, a recurrent neural network (RNN)-based language model designed to directly capture the global semantic meaning relating words in a document via latent topics. Because of their sequential nature, RNNs are good at capturing the local structure of a word sequence – both semantic and syntactic – but might face difficulty remembering long-range dependencies. Intuitively, these long-range dependencies are of semantic nature. In contrast, latent topic models are able to capture the global underlying semantic structure of a document but do not account for word ordering. The proposed TopicRNN model integrates the merits of RNNs and latent topic models: it captures local (syntactic) dependencies using an RNN and global (semantic) dependencies using latent topics. Unlike previous work on contextual RNN language modeling, our model is learned end-to-end. Empirical results on word prediction show that TopicRNN outperforms existing contextual RNN baselines. In addition, TopicRNN can be used as an unsupervised feature extractor for documents. We do this for sentiment analysis on the IMDB movie review dataset and report an error rate of 6.28%. This is comparable to the state-of-the-art 5.91% resulting from a semi-supervised approach. Finally, TopicRNN also yields sensible topics, making it a useful alternative to document models such as latent Dirichlet allocation.
链接：
https://openreview.net/forum?id=rJbbOLcex¬eId=rJbbOLcex
原文链接：
http://weibo.com/ttarticle/p/show?id=2309404086416278721142
