机器学习|简单入门循环神经网络RNN

随着科学技术的发展以及硬件计算能力的大幅提升，人工智能已经从几十年的幕后工作一下子跃入人们眼帘。人工智能的背后源自于大数据、高性能的硬件与优秀的算法的支持。

2016年，深度学习已成为Google搜索的热词，随着最近一两年的围棋人机大战中，阿法狗完胜世界冠军后，人们感觉到再也无法抵挡住AI的车轮的快速驶来。在2017年这一年中，AI已经突破天际，相关产品也出现在人们的生活中，比如智能机器人、无人驾驶以及语音搜索等。最近，世界智能大会在天津举办成功，大会上许多业内行家及企业家发表自己对未来的看法，可以了解到，大多数的科技公司及研究机构都非常看好人工智能的前景，比如百度公司将自己的全部身家压在人工智能上，不管破釜沉舟后是一举成名还是一败涂地，只要不是一无所获就行。

为什么突然之间深度学习会有这么大的效应与热潮呢？这是因为科技改变生活，很多的职业可能在今后的时间里慢慢被人工智能所取代。全民都在热议人工智能与深度学习，就连Yann LeCun大牛都感受到了人工智能在中国的火热!

言归正传，人工智能的背后是大数据、优秀的算法以及强大运算能力的硬件支持。比如，英伟达公司凭借自己的强大的硬件研发能力以及对深度学习框架的支持夺得世全球最聪明的五十家公司榜首。另外优秀的深度学习算法有很多，时不时就会出现一个新的算法，真是令人眼花缭乱。但大多都是基于经典的算法改进而来，比如卷积神经网络（CNN）、深度信念网络（DBN）、循环神经网络（RNN）等等。

本文将介绍经典的网络之循环神经网络（RNN），这一网络也是时序数据的首选网络。当涉及某些顺序机器学习任务时，RNN可以达到很高的精度，没有其他算法可以与之一较高下。这是由于传统的神经网络只是具有一种短期记忆，而RNN具有有限的短期记忆的优势。然而，第一代RNNs网络并没有引起人们着重的注意，这是由于研究人员在利用反向传播和梯度下降算法过程中遭受到了严重的梯度消失问题，阻碍了RNN几十年的发展。

最后，于90年代后期出现了重大突破，导致更加准确的新一代RNN的问世。基于这一突破的近二十年，直到Google Voice Search和Apple Siri等应用程序开始抢夺其关键流程，开发人员完善和优化了新一代的RNN。现在，RNN网络遍布各个研究领域，并且正在帮助点燃人工智能的复兴之火。

与过去有关的神经网络（RNN）

大多数人造神经网络，如前馈神经网络，都没有记忆它们刚刚收到的输入。例如，如果提供前馈神经网络的字符“WISDOM”，当它到达字符“D”时，它已经忘记了它刚刚读过字符“S”，这是一个大问题。无论训练该网络是多么的辛苦，总是很难猜出下一个最有可能的字符“O”。这使得它成为某些任务的一个相当无用的候选人，例如在语音识别中，识别的好坏在很大程度上受益于预测下一个字符的能力。另一方面，RNN网络确实记住了之前的输入，但是处于一个非常复杂的水平。

我们再次输入“WISDOM”，并将其应用到一个复发性网络中。RNN网络中的单元或人造神经元在接收到“D”时也将其之前接收到的字符“S”作为其输入。换句话说，就是把刚刚过去的事情联合现在的事情作为输入，来预测接下来会发生的事情，这给了它有限的短期记忆的优势。当训练时，提供足够的背景下，可以猜测下一个字符最有可能是“O”。