【深度学习创作】用《权力的游戏》前五部训练RNN生成第六部（原理解析）

作者：弗格森

【新智元导读】 近日，一位名叫Zack Thoutt的工程师在开源社区Github上发起了这样一个项目：基于《冰与火之歌》前面五部作品，训练RNN（循环神经网络）模型，进而生成第六部作品。除了介绍这一深度学习的新“创作”，本文也将简单地介绍，为什么RNN有如此神威？

《权力的游戏》（英语：Game of Thrones）是一部中世纪史诗奇幻题材的美国电视连续剧。该剧以美国作家乔治·R·R·马丁的奇幻文学《冰与火之歌》系列作为基础改编创作。

按照作者计划， 《冰与火之歌》 系列将有7部，目前出版至第5部。

也就是说，从2011年开始，读者对第六部《凛冬的寒风》的等待已经超过了6年。

近日，一位名叫Zack Thoutt的工程师在开源社区Github上发起了这样一个项目：基于《冰与火之歌》前面五部作品，训练RNN（循环神经网络）模型，进而生成第六部作品。

Zack在Github页面上说：你是否已经受够了一直在等待下一本《权力的游戏》（GOT）图书的出版？至少我是这样的。所以我决定根据前五本《权力的游戏》图书训练一个RNN模型，使用该神经网络的预测生成第六部。

他也表示，如果大家想训练这一模型，你可能会需要一块GPU和TensorFlow1.0.

他使用的是FloydHub和以下命令：

用于训练的前5部作品的文字资料在网上都能找到。

在这部由深度学习模型完成的“新作”中，还有许多问题没有回答：琼恩真的是一个兰尼斯特-坦格利安人？那些狗如何统治7国？为什么瓦里斯要毒害丹妮莉丝？

作者在项目介绍的最后也欢迎大家都一起来参与制作，共同唱响“冰与火之歌”。开源地址：https://github.com/zackthoutt/got-book-6。

RNN无疑是深度学习的主要内容之一， 它允许神经网络处理序列数据，如文本、音频和视频 。 它们可以用于将序列编码至不同层级的理解（抽象层次不同的知识表示）、标注序列，甚至从头开始生成新序列。一个 RNN cell在处理序列数据时一直被重复使用，Share Weights。

RNN的核心特征是“循环”， 即系统的输出会保留在网络里， 和系统下一刻的输入一起共同决定下一刻的输出。

这一点符合著名的图灵机原理。 即此刻的状态包含上一刻的历史，又是下一刻变化的依据。 这其实包含了可编程神经网络的核心概念，即， 当你有一个未知的过程，但你可以测量到输入和输出， 你假设当这个过程通过RNN的时候，它是可以自己学会这样的输入输出规律的， 而且因此具有预测能力。