【学习】基于TensorFlow让机器生成赵雷曲风的歌词

1、原理回顾

机器作词是序列建模（以下简称seq2seq）的典型应用，其基本思想就是给定序列A，机器负责产生序列B，并且再将序列B作为输入，机器负责生成序列C...如此循环下去即可生成无限长度的序列。seq2seq模型图如下所示，左边是编码器，右边是解码器。

假设问题是从序列A到序列B之间的映射，那么seq2seq模型的工作流程如下：

• 序列A中的每一个单词通过word_embedding操作以后，作为input进入编码器，编码器可以是一个多层RNN结构，编码器输出一个向量；

• 训练的时候，解码器的输入跟编码器的输入是一样的，然后解码器的输出与序列B之间的交叉熵作为模型的目标函数；

• 生成的时候，首先给定一个种子序列作为编码器的输入，并且解码器的上一时刻的输出作为下一时刻的输入，如此循环往复，直到生成给定数量的序列。
  

本文建立的模型就是基于以上原理。

2、模型代码设计

要完成机器生成歌词的工作看上去是一个生成模型，而生成模型一般都是无监督问题，但是我们需要将它转化成有监督问题，原因是使用有监督学习可以发现数据内在的关联性，比如上下文的衔接，然后用预测学习来代替无监督学习。

就有监督学习而言，通常我们需要准备好具有映射关系的数据集：X和Y。这里我们事先只有周杰伦的歌词文本，它是一个整体，如何确定X和Y？虽然它是一个整体，但是这个整体是序列组成的，序列与序列之间会有一定的时序关系。比如对于

让我掉下眼泪的 不止昨夜的酒

我们是不是可以把“ 让我掉下眼泪的 ”看作X，把“ 不止昨夜的酒 ”看作Y，如果我们 将X输入进网络，而网络输出的是Y，那就说明我们构建的网络已经具备写歌词的能力了。这就是我们划分数据集为X和Y的原理。一般情况下，数据需要划分为训练集和测试集，由于时间的缘故，这里没有划分测试集了。

当我们把数据预处理做好了，接下来就是构建模型了，构建模型主要是围绕seq2seq模型，而在编码器和解码器部分，我们可以自由构造，如可以选择不同的rnn_cell，或者选择不同的层数、神经元个数，具体情况因数据量大小而定。构建有监督学习模型的最重要部分就是目标函数，并且要确保目标函数对于所有要训练的参数是可微的，这样我们就可以构建端对端的基于后向误差更新的深度学习系统。