清明小长假如约而至
但很多像小助手一样爱学习的同学们
此刻的内心OS是......
我要学习！我要学习！我要学习！
谁也拦不住朕！
所以！
接下来就跟着小助手来看看
本周有哪些值得精读的文章吧
➊
#GAN & Semantic Segmentation#
Semantic Segmentation Using Adversarial Networks
文章出自 FAIR 实验室和 INRIA（法国国家信息与自动化研究所），本文是第一篇将 GAN 用于图像语义分割任务的文章，其核心在于：
巧妙的设计了 loss 函数，史无前例地将语义分割放到一个 GAN 的框架下去做。其中，原先的语义分割网络（由于可以生成 label）对应于传统 GAN 的生成器。loss 函数中，既包含了对于语义分割网络生成正确的 pixel label 的约束，又包含了使得语义分割网络所生成的 label 和 groudtruth 能够混淆判别器的约束（也就是判别器无法区分语义分割网络所生成的label和groundtruth到底谁是真正的 groundtruth）。这样做的好处是，用文中的话说，可以考虑到 higher-order label statistics，而且 performance 确有提升。不管怎样，本文将原先的一个监督问题（语义分割）放到了一个 GAN 的框架下，这种想法和处理技巧确实很值得学习！
论文链接：https://arxiv.org/abs/1611.08408
推荐人：黄河，中国科学院大学（PaperWeekly arXiv 组志愿者）
➋
#GAN#
Loss-Sensitive Generative Adversarial Networks on Lipschitz Densities
文章作者是齐国君，他写了两篇知乎专栏介绍LS-GAN：
1. https://zhuanlan.zhihu.com/p/25204020
2. https://zhuanlan.zhihu.com/p/25580027
文章从“按需分配”的角度提出了一种新的 GAN，称为 LS-GAN（损失敏感 GAN）。算法关注那些生成质量较差的点（生成点与真实点相似度较低），还引入了松弛变量，可以说，它将 SVM 的思想引入了 GAN。文章证明了，只要真实数据分布的支撑集为紧致集，并且是 Lipschitz 连续的，那么算法将收敛到纳什均衡解。作者还提出了基于条件版本的 LS-GAN 做半监督学习/监督学习的方法，并且在 SVHN 和 CIFAR 数据集上取得了很好的结果。此外，作者推广了 LS-GAN，得到广义模型 GLS-GAN，LS-GAN 和 WGAN 都是它的特例。
论文链接：https://arxiv.org/abs/1701.06264
相关代码：
https://github.com/guojunq/lsgan
https://github.com/guojunq/glsgan
推荐人：洪佳鹏，北京大学（PaperWeekly arXiv 组志愿者）
➌
#Learning-to-Learn#
Learning Gradient Descent: Better Generalization and Longer Horizons
本文探讨了如何利用 RNN 得到泛华能力好而且稳定优化器，进而根据当前的损失函数生成更优的梯度方向更新模型参数，这个思路可以理解成 Learning-to-learn 或者 meta-learning。
作者尝试提升最早利用 LSTM 学习目标函数梯度的模型 DMoptimizer (Andrychowicz et al., 2016)，该模型主要存在两个问题：（1）替换掉原先采用的 sigmoid 激活函数，采用 ReLU 激活函数的时候，效果大大降低，无法泛华到多种激活函数；（2）只在非常有限的迭代次数内很稳定，一旦迭代次数超过 200 左右的时候效果就非常差，换句话说就是还不够稳定。 本文吸收传统梯度优化的特点（尤其是 Adam），采用 random scaling 的方式让优化器（RNN）适应多种可能性的梯度方向避免过度学习固定步长的梯度方向。从实验分析的结果来看，好像并没有比传统的一些梯度类算法有太大的优势。
论文链接：https://arxiv.org/abs/1703.03633
相关代码：https://github.com/vfleaking/rnnprop
推荐人：余露，KAUST（PaperWeekly arXiv 组志愿者）
➍
#自然语言生成#
Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation
本文是一篇综述文章，详细地介绍了自然语言生成 NLG 的各种核心任务、各种模型（包括：rule-based、template-based、深度学习模型等）、应用场景（包括：image caption、个性化生成、诗词生成）、评价方法和未来的研究方向。
论文链接：https://arxiv.org/abs/1703.09902
推荐人：大俊，PaperWeekly 首席客服
✎✎✎
「本周值得读」栏目的内容来自 PaperWeekly arXiv 志愿者小组推荐，如果您也是 arXiv 爱好者，愿意一起来丰富 PaperWeekly 的推荐内容，并且培养良好的阅读习惯，就请加入我们吧。请添加下面的微信号，并注明「学校+硕士生/博士生+研究方向」，一起来为 AI 领域学术的发展贡献自己的一份力量。
关于PaperWeekly
PaperWeekly 是一个分享知识和交流学问的学术组织，关注的领域是 NLP 的各个方向。如果你也经常读 paper，喜欢分享知识，喜欢和大家一起讨论和学习的话，请速速来加入我们吧。
关注微博: @PaperWeekly
微信交流群: 后台回复“加群”
