「本周值得读」是 PaperWeekly 的优质文章集合地。在这里，来自 NLP、CV、DL 等方向的学习达人，各自用精炼妙语推荐当下最新的高质量文章。 ➊
#GAN#
The Numerics of GANs
本文讨论了 GAN 采用梯度下降训练时的收敛性问题。文章指出，若梯度向量的雅克比矩阵的特征值的实部的绝对值太小，或者特征值的虚部的绝对值太大，若要求算法收敛到局部纳什均衡解，则步长需趋于 0，这将导致算法无效。为此，文章提出了 consensus optimization，通过引入正则项（实际上就是对 G 和 D 的二次梯度进行惩罚）来解决局部收敛性要求小步长的问题。作者通过实验验证了 consensus optimization 的有效性。
存在问题：
1. Reddit 上的讨论表明，大家无法复现文章的结果，即使是合成的高斯数据上。
2. 文章中存在一些错误，比如：从证明来看，Lemma 6 提到的 v 的驻点（stationary point）实际上应该是 v 的根（root）。另外一个问题则是 Lemma 9 的证明最后一步放缩似乎不成立，如果确实不成立，consensus optimization 也将没有局部纳什均衡解的收敛性保证。欢迎一起讨论 Lemma 9 的成立性问题。
此外，近期出现了 GAN 的一些理论研究文章，除本文外，还有 Gradient descent GAN optimization is locally stable (arxiv id: 1706.04156)，Stabilizing Training of Generative Adversarial Networks through Regularization (arxiv id: 1705.09367) 等。GAN 存在的问题正被逐步深入研究和解决。
论文链接：https://arxiv.org/abs/1705.10461
推荐人：洪佳鹏，北京大学（PaperWeekly arXiv 打卡小组）
➋
#问题生成#
Neural Models for Key Phrase Detection and Question Generation
本文研究的是如何从 documents 中生成问题，首先通过 QA pairs dataset 训练出一个提取 key phrase 的模型，然后基于 key phrase 用 seq2seq 生成问题。本文可以用来生成大量不错的 QA pairs。
论文链接：http://cn.arxiv.org/abs/1706.04560
推荐人：大俊，PaperWeekly 首席客服
➌
#CVPR 2017#
Learning to Learn from NoisyWeb Videos
识别多样化（diverse）和细分类（fine-grained）的人类动作是计算视觉中一个重要的未解决问题。解决这个问题的第一步是准备海量的训练数据集。Web 搜索引擎是一个重要的数据源，但是搜索引擎输出的数据通常都很“脏”（Noisy）。这篇文章提出了一种基于强化学习的数据筛选方法。其想法是利用 Q-learning 的方法从少量的标号数据学习出一个数据标记策略来自动标记“脏”数据。
文中的模型有两个组成部分：
1. 一个分类器，用来区分“脏”数据和干净的数据。
2. 一个 Q-Learning 代理，用来迭代的从候选数据集合中选择干净的样本训练分类器。其中 Q-Learning 代理模型是关键。假设代理的动作集合为 A={1,…,K}，A 中每个动作 a 都对应一个候选数据集合中一个子集合 Da（即动作 a 认为干净的样本集）。文中将代理的状态 s 建模为（Hpos, Hneg, {HD1, HD2, …, HDK}, P）其中 Hxxx 是分类器在相应数据集合上的响应值分布的柱状图（文中选了 10 个 bin），P 为已经得到的干净的样本比率。利用 Q-Network 建模 Q-value，Q-Learning 的奖赏由分类器在一个独立的人工标记的数据集合上准确率给出。
本文最后做了三个数值实验来验证方法的有效性：一个基于 MNIST 的人造问题，Sports-1M 数据集合，和缺少人工标记的新动作识别。比较了 5 个 baseline 方法，这些 baseline 方法涵盖了目前主要的 Web 搜索引擎数据处理方法。通过实验，本文的方法取得优于 baseline 方法的效果。
论文链接：https://arxiv.org/abs/1706.02884
推荐人：吴沐，北京航空航天大学（PaperWeekly arXiv 打卡小组）
➍
#训练优化#
meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting
本文提出了一种加速训练的方法，在反向传播时仅仅对一小部分梯度用来更新模型参数，实验结果表明训练速度加快的同时准确率也不错。本文已被 ICML 2017 录用。
论文链接：https://arxiv.org/abs/1706.06197
推荐人：大俊，PaperWeekly 首席客服
➎
#推荐系统#
Getting deep recommenders fit: Bloom embeddings for sparse binary input/output networks
来自推荐领域的数据，通常具有很高维的输入输出特征，这样导致非常难以训练。本文提出使用 BE（Bloom Embedding）压缩输入输出的高维编码，在保证精度的条件下可以压缩至原有数据的 1/5，在一些情况下甚至提升结果精度。
本文核心在于提出一种从概率输出映射到原始输入的方法，假设输出为 u={u1, u2, …ui} 一组概率，按照 Bloom filters 的思想，设计映射回原始空间不同位置的值的 Likelihood 函数：L(q_{i}) = \prod _{j=1}^{k}\hat{v}_{H_{j}(q_{i})} i={1...d}，并基于此方法提出相应的训练方法。
对比HT（Hashing trick），ECOC（Error-correcting output codes）, PMI（Pairwise mutual information），CCA（Canonical correlation analysis）等 Embedding 方法，BE 主要拥用即时操作、常数时间复杂度、无监督等优点。在基于已有的算法框架之上，在一些推荐和预测数据集上进行实验，大多在 m/d=0.2（压缩到 1/5）时能得到较好的结果。
最后基于共现矩阵提出 CBE（co-occurrence-based Bloom embedding），其主要思想是通过重定向 Hash 值，把冲突的发生尽量聚合到有共现的 item 集合中，通过实验发现在低 d/m 下，相对 BE 能取得更好的效果。
Accepted for publication at ACM RecSys 2017
论文链接：https://arxiv.org/abs/1706.03993
推荐人：罗玄，北京邮电大学（PaperWeekly arXiv 打卡小组）
➏
#综述#
An Overview of Multi-Task Learning in Deep Neural Networks
一篇关于多任务学习的综述文章。
论文链接：https://arxiv.org/abs/1706.05098
推荐人：大俊，PaperWeekly 首席客服
✎✎✎
「本周值得读」栏目的内容来自 PaperWeekly arXiv 志愿者小组推荐，如果您也是 arXiv 爱好者，愿意一起来丰富 PaperWeekly 的推荐内容，并且培养良好的阅读习惯，就请加入我们吧。请添加下面的微信号，并注明「志愿者+学校+硕士生/博士生+研究方向」，一起来为 AI 领域学术的发展贡献自己的一份力量。
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。
