专栏 | 卷积神经网络学习路线（十三）| CVPR2017 Deep Pyramidal Residual Networks

AI开发者 · 公众号 · AI · 2020-01-27 17:20

正文

点击上方“蓝字”关注“AI开发者”

本文来自 @BBuf 的社区专栏 GiantPandaCV ，文末扫码即可订阅专栏。

前言

深度残差金字塔网络是CVPR2017年的一篇文章，由韩国科学技术院的Dongyoon Han, Jiwhan Kim发表，改善了ResNet。其改用加法金字塔来逐步增加维度，还用了零填充直连的恒等映射，网络更宽，准确度更高，超过了DenseNet，泛化能力更强。论文原文见附录。

介绍

近年来，深度卷积神经网络在图像分类任务中表现出了卓越的性能。通常，深度神经网络结构是由大量的卷积层堆叠而成，并且使用池化不断的减小图片的分辨率。同时，特征映射维度在下采样的地方急剧增长，这对于确保性能是必要的，因为它增加了高级属性的多样性，这也适用于残差网络，并且与其性能密切相关。在这篇论文中，作者提出并不是网络在执行下采样的单元处急剧增加特征图的尺寸，而是逐渐的增加所有单元的特征尺寸，以尽可能多地涉及位置。我们对这种网络设计进行了深入讨论，证明了其是提高泛化能力的有效手段。此外，论文提供了一种新的残差单元，能够通过使用本文的新网络架构进一步提高分类精度。在CIFAR-10,CIFAR-100和ImageNet数据集的实验证明，和原始的ResNet相比，我们的网络具有更高的精度和泛化能力。

网络结构

金字塔(瓶颈)残差单元。 可以看到相对于传统的残差模块，金字塔残差单元的各个单元的维度逐渐增加，直到出现下采样的剩余单元。
深度残差金字塔网络结构。 深度残差金字塔网络结构如Table1所示：

其中代表扩展因子，代表一个group中有多少个 block ，下采样在 conv3_1 和 conv4_1 处进行，步长为 2 。

深度残差金字塔网络通道变化公式 金字塔网络每一层的通道数和网络深度有关，论文提到了2种通道增长方式：

其中，式子(2)为加法金字塔，式子(3)为乘法金字塔，是超参数扩展因子，是当前网络的层数，控制超参数可使金字塔更宽或更细，但高度不变。两者方式的比较如Figure2所示：

Figure2(a)为加法的PyramidNet，Figure2(b)为乘法的PyramidNet，Figure2(c)是加法金字塔网络和乘法金字塔网络的对比。加法金字塔网络的特征映射维数呈线性增长，而乘法网络的特征映射维数呈几何急剧增长。乘法金字塔网络中输入端层的维数缓慢增加，输出端层的维数急剧增加，这个过程类似于VGG和ResNet等原始的深度网络架构。