本文长度为
3200字
，
建议阅读
6分钟
为你分享ICLR 2018大会评审得分排名前五的论文。
ICLR 2018
大会的论文评审已经于11月27日截止。在明年1月5日之前，人们将对目前提交的论文进行讨论。根据评审得分，我们整理了排名前五的论文。目前，斯坦福大学探究神经网络对抗样本的论文
Certifiable Distributional Robustness with Principled Adversarial Training名列第一。
今年的ICLR大会接收到了981篇有效论文。截至12月1日，有979篇论文至少经过了一次打分。近日，大会官方给出了论文双盲评审的评分结果。统计数据显示，平均分为5.24，中位数为5.33（满分 10 分）。
论文评分前一百名结果：
http://search.iclr2018.smerity.com/
根据Andrej Karpathy
的介绍，在今年4月的ICLR 2017大会上，提交论文的数量为491篇，而被接受的情况为：15 篇
oral（3%），183 篇 poster（37.3%）。
所以上图中我们给出了40%的接收线作为参考。
分数分布
下图显示了相同论文得到评分的最大差值。我们观察到，对于大多数（约 87%）论文来说，最大差值小于3。
论文得分 Top 10
在双盲评审打分过后，我们得到了十篇得分最高的论文。其中部分论文已在其他平台提交，因此我们可以得知其作者与研究机构了。
目前评审分数的提交尚未完全结束。现在评分最高的论文是斯坦福大学
Aman Sinha
等人的
Certifiable Distributional Robustness with Principled Adversarial Training
。另有一篇值得注意的论文，英伟达
Tero Karras
等人的
Progressive Growing of GANs for Improved Quality, Stability, and Variation
。收到了8,8,1的评分。此外，我们比较关注的第二篇
Capsule
论文：
Matrix capsules with EM routing
并没有太高的评分，该论文目前的评分大约在前40%左右。
下面，我们将简要介绍目前ICLR 2018大会评审中排名前五的论文。
论文 1：
Certifiable Distributional Robustness with Principled Adversarial Training
链接：
https://arxiv.org/pdf/1710.10571.pdf
摘要：
神经网络很容易受到对抗样本的干扰，因此研究人员提出了许多启发式的攻击与防御机制。我们采取了分布式鲁棒优化的原则，以保证模型在对抗性扰动输入的条件下保持性能。我们通过给予 Wasserstein ball 上的潜在数据分布一个扰动来构建 Lagrangian 罚项，并且提供一个训练过程以加强模型在最坏的训练数据扰动情况下能持续正确地更新参数。对于平滑的损失函数，我们的过程相对于经验风险最小化可以证明有适度的鲁棒性，且计算成本或统计成本也相对较小。此外，我们的统计保证允许我们高效地证明总体损失的鲁棒性。因此，该研究结果至少匹配或超越监督学习和强化学习任务中的启发式方法。
如下所示，鲁棒性的模型在原版的马尔科夫决策过程（MDP）中要比一般的模型学习更高效：
图 4：训练中 Episode 的长度，其中环境设置最大为 400 Episode 的长度。
论文 2：
ON THE CONVERGENCE OF ADAM AND BEYOND
链接：
https://openreview.net/pdf?id=ryQu7f-RZ
摘要：
近来提出的几种随机优化方法已经成功地应用于深度网络的训练，如RMSPROP、ADAM、ADADELTA和NADAM等方法，它们都是基于使用前面迭代所产生梯度平方的指数滑动平均值，在对该滑动平均值取平方根后用于缩放当前梯度以更新权重。根据经验观察，这些算法有时并不能收敛到最优解（或非凸条件下的临界点）。我们证明了导致这样问题的一个原因是这些算法中使用了指数滑动平均（exponential moving average）操作。
本论文提供了一个简单的凸优化案例，其中ADAM方法并不能收敛到最优解。此外，我们还描述了过去文献中分析ADAM算法所存在的精确问题。我们的分析表明，收敛问题可以通过赋予这些算法对前面梯度的「长期记忆」能力而得到解决。因此本论文提出了一种ADAM算法的新变体，其不仅解决了收敛问题，同时还提升了经验性能。
图 2：ADAM 和 AMSGRAD 算法在 Logistic 回归、前馈神经网络和 CIFARNET 上的性能对比。
论文 3：
Emergence of grid-like representations by training recurrent neural networks to perform spatial localization
链接：
https://openreview.net/pdf?id=B17JTOe0-
摘要：
几十年来关于空间导航的神经编码研究揭示了一系列不同的神经反应特性。哺乳动物大脑的内嗅皮层（Entorhinal Cortex/EC）含有丰富的空间关联性，包括网格细胞（grid cell）使用完全嵌入模式（tessellating patterns）编码空间。然而，这些空间表征的机制和功能仍然非常神秘。作为理解这些神经表征的新方法，我们训练一个循环神经网络（RNN），以在基于速率输入的二维环境下执行导航任务。
令人惊讶的是，我们发现类网格（grid-like）响应模式出现在训练后的网络中，它和其它空间相关的单元（包括边缘（border cell）和带状细胞）一同出现。所有这些不同的功能性神经元都已经在实验中观察到。网格状和边缘细胞出现的顺序也与发育性研究的观察一致。总之，我们的结果表明，在 EC 中观察到的网格细胞、边缘细胞等可能是用于高效表示空间的自然解决方案，它们在神经回路中给出了主要的循环连接。
图 1：其中 a）为样本神经数据表示 EC 空间导航任务中不同神经关联性。b）中的循环网络由 N = 100 个循环单元（或神经元）组成，它们接收两个外部输入，即代表动物的速度和方向。c）为训练后的典型轨迹，RNN 的输出可以精确地在导航期间追踪动物的位置。
论文 4：
MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION
链接：
