CVPR | 冠军胡杰带你看热点论文

冠军说，多读paper才能做好学术

Momenta公号现推出

CVPR 2017精彩看点系列总结

每日一篇推送，每天收获一点

炎炎夏日，Momenta Paper Reading依旧与你同在

在刚刚结束的CVPR 2017上，来自Momenta的十余位研发人员亲赴夏威夷，见证这场学术盛会。与会期间，高级研究员们与众多学术大牛面对面交流，收获良多。回国后纷纷将学术心得整理成文，以飨读者。这一期带来分享的是，胡杰解读Borrowing Treasures from the Wealthy: Deep Transfer Learning through Selective Joint Fine-Tuning。

众所周知，深度学习作为机器学习的一个重要分支，尤其在监督学习领域，较于传统机器学习方法有着巨大的性能优势。

通常训练一个深层的神经网络需要大量有标注的数据作为训练集，然而在很多实际情况下，获取充足的数据样本是非常困难的。在训练集不充足的条件下开展模型训练会有模型过拟合的风险，导致训练的模型泛化能力较差，在测试数据集上无法达到预期的精度。迁移学习是一种能够从其他相关任务中汲取知识来辅助当前任务学习的一系列方法。

本文中，作者提出了一种“有选择的联合微调”迁移学习方法，来有效减少训练集不足带来的过拟合的风险，并提升模型精度。其核心思想在于将一些训练集充足的任务（如ImageNet、Places365分类等）引入到当前任务中联合进行训练，其中引入的辅助任务并不使用其原有的全部训练集，而是挑选出那些底层特征和当前主要任务训练集相似的那部分图像。这样利用可直接获取的额外数据来辅助主要任务的训练，可使得模型获得较大的精度提升。下面我们来探讨一下算法的具体流程。

首先要解决的问题是，如何在辅助任务的数据集上挑选出和主要任务数据集相似的图像作为辅助任务的训练集。

通常来说，都是先进行特征提取，然后特征比较来选出相似的图像。本文作者给出了两种特征提取的方法：方法一，通过构造一系列Gabor滤波器来作为图像特征提取器，因为Gabor滤波器被广泛用于底层特征描述，尤其是纹理特征。方法二，可以将在标准数据集上预训练好的卷积神经网络模型的第一层和第二层激活作为图像的特征。原因在于卷积操作本身就是一种滤波操作，而且卷积网络越靠近输入的层提取到的图像的信息越底层（如颜色，边缘等）。

个人建议使用第二种方法更简单，不需要设置超参，可以直接拿公开的在ImageNet上预训练好的AlexNet抽特征即可。提取完特征后，对于当前任务训练集的每一张图像在辅助任务的数据集中逐一进行距离度量，即可找到相似的N张图像。这里的距离度量使用的KL散度，在概率论或者信息论中它通常被用来描述两个概率分布的相似程度。另外对于每张图像需要找到多少张相似的图像也没有定论，需要根据不同的任务来选定（通常选择50-100张最相似的）。利用在原来的数据集（如ImageNet）上预训练好的模型来初始化当前模型（不是随机初始化），并将上述挑选出的相似图像组成新的训练数据集来训练辅助任务，主要任务的训练集保持不变，辅助任务和主要任务共享前面的卷积层参数，只在最后的分类器层独立进行梯度反传，最终获得了非常大的性能提升。

另外，为了突出挑选出相似数据集的必要性，作者还比较了将全部辅助任务的训练集加入进行联合训练的策略，结果性能不如只用挑选后的部分数据集来辅助训练。原因在于，原有数据集里面掺杂了一些与主要任务无关的数据，而将这些数据和所属类别纳入网络进行训练势必要分摊一部分神经元来识别这些类别，实际上主要任务并不需要这部分的能力，造成了资源的浪费。而通过进一步筛选出只跟当前主要任务相似的图像来辅助网络训练，使得神经网络中绝大多数的神经元都在参与主要任务的识别，提升了模型的利用率。

综上，这篇论文通过巧妙地引入新的数据集降低了由于当前任务训练集不足带来的模型过拟合的风险，方法简洁有效，在实际应用中还是非常值得借鉴的。

Q&A：

Q: 在一些罕见的数据集上（比如ImageNet上没有出现过的类别），样本的分布可能和ImageNet数据集差异很大，是否仍然能用ImageNet作为辅助数据集取得好的效果？

A：本文是用底层特征做搜索，不是用图像内容做搜索，因此并不依赖图像内容的相似。比如作者曾在纹理数据库上做实验，用ImageNet作为辅助数据集，也获得了性能的提高。也许罕见的数据库，能获取的相似辅助图像比较少，性能提高的会没有那么显著。但在作者做过的实验中，全都取得了正向的效果提升。

Momenta CVPR干货系列：

第一篇 CVPR | ImageNet冠军模型SE-Net详解

第二篇 CVPR | Deep Layer Cascade论文解读

第三篇 CVPR | 主动卷积 论文评析

敬请期待，后续还有解读来袭

Momenta，打造自动驾驶大脑。

Momenta致力于打造自动驾驶大脑，核心技术是基于深度学习的环境感知、高精度地图、驾驶决策算法。产品包括不同级别的自动驾驶方案，以及衍生出的大数据服务。

Momenta有世界顶尖的深度学习专家，图像识别领域最先进的框架Faster R-CNN和ResNet的作者， ImageNet 2015、ImageNet 2017、MS COCO Challenge 2015等多项比赛冠军。团队来源于清华大学、麻省理工学院、微软亚洲研究院等，有深厚的技术积累和极强的技术原创力。

编辑标题：“GH+姓名+职位”

简历砸向：[email protected]

做你自己的伯乐，来实习，拿4096现金大奖！