专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

独立循环神经网络（IndRNN）：打造更长更深的RNN

机器学习研究会 · 公众号 · AI · 2018-03-15 22:44

正文

来源：arXiv

编译：Bing

编者按：近日，中国电子科学技术大学和澳大利亚伍伦贡大学的研究者合作发表论文，介绍了他们创造的独立循环神经网络（IndRNN），这种新型RNN能有效解决网络收敛时的梯度爆炸和消失问题，并能够处理更长的序列。以下是论智对原文的大致编译，如有不足之处还请指正。

循环神经网络（RNN）已经被广泛用于序列数据的处理。然而，由于常见的梯度消失和爆炸问题以及很难学习长期模式，RNN通常难以训练。为了解决这些问题，研究人员提出了长短期记忆（LSTM）和门控循环单元（GRU），但使用双曲正切和Sigmoid函数又会使梯度随图层衰减。因此，构建高效可训练的深度网络是具有挑战性的任务。另外，RNN图层中的所有神经元都纠缠在一起，它们的行为很难解释。为了解决这些问题，本文提出了一种新型RNN模式，成为独立循环神经网络（IndRNN），其中每层中的神经元都相互独立，并且它们跨层连接。最终实验结果表明，IndRNN管理起来很容易，能防止梯度爆炸和消失，同时还能让网络长期学习。