前言

传统的卷积神经网络在提高性能时都是加深和加宽网络，但随着超参数数量的增加(如通道数，卷积核大小等)网络变得非常难调，且网络的计算开销和网络结构设计也变得越来越难，这一点我在介绍ResNet和DenseNet大型模型的时候已经提到过了。此外这些大模型针对性比较强，即在特定数据集上表现好的网络放到新数据集上就需要修改很多的参数才能工作良好，因此可扩展性比较一般。针对上述问题，Saining Xie, Ross Girshick, Kaiming He在CVPR2017上提出了ResNeXt。论文原文地址见附录。

贡献

方法

网络结构

ResNeXt的网络结构如Table1所示：

Table 1的左边网络为ResNet-50，Table 1的右边网络为ResNeXt-50，括号代表残差块，括号外面的数字代表残差块的堆叠次数，而 代表的ResNeXt引入的卷积分组数，同时我们可以看到这两个网络的FLOPs基本一致，也即是说模型复杂度一致。那ResNeXt有什么优点呢？这要先从分组来说起。

ResNeXt残差模块

分组数在论文中又被称为基数(cardinality)，是对GoogleNet中分立合并思想和VGG/ResNet中堆叠思想的一种结合，ResNet的残差模块和ResNeXt的残差模块如Figure1所示。可以看到ResNeXt残差模块有32个基数(分组数)，并且每个被聚合的拓扑结构就完全一样，这里是 的组件，这也是和Inception结构的最大区别。

然后论文从理论角度来分析了一下这个ResNeXt残差模块，用全连接层举例来讲，全连接层的公式可以表示为：

然后Figure2就清晰的展示了全连接层分离变化合并( split-transform-merge )的处理过程：

而ResNeXt残差模块实际上就是将其中的 替换成了更一般的函数，用公式表示如下：

其中 就是上一节提到的分组数/基数，而 代表的是相同的拓扑结构，在Figure1中就是 1x1+3x3+1x1 卷积堆叠。