「每周一起读」是由 PaperWeekly 发起的协同阅读小组。我们每周精选一篇优质好文，利用在线协同工具进行精读并发起讨论，在碎片化时代坚持深度阅读。目前已成立的专题小组有：Chatbot、机器翻译、知识图谱、GAN、推荐系统、QA、增强学习、多模态、自动文摘和统计学习。在这篇文章中，阅读小组讨论了MetaMind的一种用于
文本摘要提取的深度强化模型
（deep reinforced model）。
A Deep Reinforced Model for Abstractive Summarization
怎样训练能够产生长句、连贯和有意义的摘要的模型仍然是一个有待解决的研究问题。事实上，即使是最先进的深度学习算法，生成任何长文本也是很困难的。为了使模型能够成功地生成摘要，本文引入了两个独立的改进：一个更加语境化的词生成模型和一种通过强化学习（RL）训练摘要模型的新方法。
两种训练方法的结合使得系统能够创建相关且高可读性的多语句长文本（例如新闻文章）摘要，并在之前的基础上实现了显著的提升。本文的工作可以对各种不同类型的文本和摘要长度进行训练。此外，本文还介绍了相关模型的主要贡献，并概述了文本摘要特有的自然语言挑战。
论文链接：
https://arxiv.org/pdf/1705.04304.pdf
geminifox
本文瞄准的问题：现有的基于 RNN 的生成式摘要方法在处理长文档和摘要生成长度上具有相当的局限，且生成的摘要往往具有内容重复或不连贯等现象，导致质量不理想。
本文提出方法的新意：分别在 encoding 和 decoding 阶段引入了 intra-temporal attention 和 sequential intra-attention 机制，其目的在于当生成摘要的每个词时能充分考虑更多的显式或隐式状态信息或上下文信息，使得能尽可能避免之前的 step 已重点关注过或生成过的内容重复出现。此外，本文也提出一种新的基于 RL 的训练方法，并采用了一种混合目标函数来综合考虑摘要的信息覆盖度和连贯性。
Robin_CityU
处理的主要问题：
exposure bias，即传统 teacher forcing 训练方法容易产生的单词容复问题。
主要的解决方案：
1.
intra-temporal attention:
decoding 过程中计算当前 step 在 encoder 的 attention 分布时也考虑之前的 decoding steps 在 encoder 的 attention 分布。类似 coverage 的思想，避免 decoding 过程过分集中在 encoder 的某一部分。
2. intra-decoder attention:
decoding 过程加入当前 step 在之前 decoding steps 上的 attention 分布。也是为了避免重复，但是没有做两种 attention 的对比实验。
3. reinforcement learning:
训练过程中分别用 sampling 和 beam search width=1 的方式生成独立的两个序列，并计算其与 ground truth 之间的 rouge 值作为 reward function，用 policy gradient learning 优化目标函数。此处使用 rouge 一定程度上起到提升最终的 performance 功能，但是生成的句子可读性不高。
4. other tricks:
pointer & generator（近来常用的 copy 机制），sharing decoder weights（out projection 部分加入 embedding matrix），trigram repetion avoidance（粗暴的避免 trigram 重复的方法—遇见重复直接舍弃）。
亮点：
（
1）intra-temporal attention 计算对于避免 attention 过于集中有借鉴意义。（2）
RL 的使用虽然有不足，但扩展了解决此类问题的思路。
（3）tricks 在实验中占的作用不小，论文解释不清理由，但是我们做实验时是可以一试的。
不足：
（1）intra-decoder attention 的作用也许可以单独再验证一下。就个人经验而言，seq2seq 问题，decoder 部分训练的 language model 本身就很强大，如何提升 adequacy 比较重要。（2）RL 的 reward function 选取和设计有待深入分析。（3）summarization 及同类 NLP 问题，performance 的衡量标准不能仅仅以 rouge/bleu 等硬指标为主，也可以是 human readability/user study，或者结合更具体的任务（summarization 是否有助于其他任务）等。
fishthu
本文尝试解决自动摘要目前在生成长文本时会出现的重复和可读性差的问题。
采用的方法：
1. 采用了 Intra-temporal attention 和 intra-decoder attention，前者是避免多次重复 attend 到相同的 encoder hidden state 上，后者在 decoding 的过程中将之前已经 decoded 的信息也作为上下文向量输入，两者都是希望能够改善生成的序列中的单词重复的问题。
2. 将 RL 与 teaching force 结合作为训练目标，目的是减少 exposure bias 和增加可读性。RL 部分采用的是 self-critical policy gradient training 算法，使用 ROUGE-L 作为 Reward。对该算法不是很了解，还要再去看一下参考文献。
3. 其他的一些 tricks，比如 copy 机制，sharing decoder weights，beam search 时限制输出相同的 trigram 等。
darrenyaoyao
解决问题：
1. repeating phase，2. exposure bias
1. 创新点：
利用 intra-temporal attention 加在 encoder 跟 decoder 上，encoder 的部分，可以强化关注部分文章。decoder 的部分，可以避免出现重複的字。 除次之外，还利用现在很流行的的 pointer network 来解决 out of vocabulary 的问题。
2. 解决 exposure bias 的最大亮点
，在引入 RL 来帮助 general。 解决这个问题的方法，最知名的就是 schedule sampling。这边提出了另一种架构。
好奇，如果结合 schedule sampling 跟 RL，对整体的效能，会不会有更好的提升。
值得探讨的实验结果：
从结果的图表可以看到，许多表现最好的数据，并不是使用 ML 的 loss function. 而是只採用 RL，或许我们对于 seq2seq model 的 decoder 认知会有所改变。
yiqingyang
公式 12 对应的 copy 机制是用 hard switch 吗？另外他说如果 yt 是个 oov or ner 则 ut 设置为 1，使用 copy 机制，那如果源句子中也没有这个 oov 呢，怎么得到这个词的概率？
Sunnysmile:
感觉可以将词表分为三类，一类是高频词表，一类是只有一个频率的词表，即 oov，还有一类是 source。oov 中在 source 中找不到的话可以在第二个词表中找，但这样模型计算量会增大。
yiqingyang:
感觉 oov 分两类，一个是源句子中的 oov，一个是目标词表中的一个 oov。训练时。源句子中的 oov 使用 copy 机制来计算这个 oov 的概率，如果 oov 不在源句子中，则使用生成的方式来得到 oov 的概率。
Robin_CityU:
目前为止 copy mechanism 的 paper 能把 vocabulary 设计的比较全面的只看到过港大 Jiatao Gu 那篇。
Robin_CityU:
感觉 1704.04368 和 Jiatao Gu 那篇 CopyNet 比较类似。只是 1704.04368 中对 Copy 和 Pointer 的概率是分开计算再加权求和。而 CopyNet 是放在一起计算的（我学习的是 github 上 CopyNet Theano 那一版的源码）。但总体思路很类似。
Robin_CityU
这是一个新的变量吗？如果是，那如何能保证，与 Wout 和 Wemb 分离相比，训练时收敛得更快？
Hinse:
两个猜测：1. 他 embedding 有 pre-training。主要需要训练的只是 proj, 2. 增加了 embedding 的变化（多一个途径求导过来），可能也能加速收敛？。 这个可能要实测一下， 估计更多的是个实验结果。
lijun_wu:
这 paper 实在是把太多东西（trick）堆在一起了。也没告诉每个 trick 是否都是 work 的 compare。
jianzhengming
we force our decoder to never output the same trigram more than once during testing.
