在卷积神经网络中，感受野的大小会影响到模型能够捕捉到的特征的尺度，从而影响模型的性能。因此我们在设计网络时，需要合理地控制感受野的大小。
那么问题来了：怎样才能合理控制？
到目前为止，已有很多学者设计出了各种各样的多尺度模型架构供我们学习参考。这其中，图像金字塔和特征金字塔是实现多尺度的两种常用方法。更具体点，可以分为多尺度输入网络、多尺度特征融合网络、多尺度特征预测融合网络、多尺度特征和预测融合4种网络结构。
为了让同学们更轻松地设计网络、找创新点，今天我就从以上4种网络结构中梳理了15个CV领域必学的多尺度模型架构。希望对想发顶会的各位有所帮助。
扫码添加小享，回复“多尺度”
免费获取全部论文+开源代码
多尺度输入网络
人脸检测MTCNN
Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
简述：论文提出了一种深度级联多任务框架，用于在不受约束的环境中进行人脸检测和对齐。该框架采用了一个级联结构，包含三个精心设计的深度卷积网络阶段，以粗到精的方式预测人脸和地标位置。该方法在具有挑战性的基准测试中实现了优于最新技术的人脸检测精度和人脸对齐精度，同时保持了实时性能。
多尺度特征融合网络
并行多分支结构
Rethinking atrous convolution for semantic image segmentation
简述：本文重新审视了空洞卷积在语义图像分割中的应用。为了解决多尺度对象分割的问题，作者设计了模块，采用级联或并行的方式使用不同扩张率的空洞卷积来捕捉多尺度上下文信息。此外，作者还提出了增强之前提出的Atrous Spatial Pyramid Pooling模块的方法，该模块可以在多个尺度上探索卷积特征，并结合全局上下文的图像级别特征进一步提升性能。
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
简述：论文提出了SPP-net网络结构，使用空间金字塔池化策略消除了深度卷积神经网络对固定尺寸输入图像的要求。该网络可以生成与图像大小/尺度无关的固定长度表示，并且对物体变形具有鲁棒性。在多个数据集上，SPP-net表现出良好的性能，并且在目标检测方面也具有优势。该方法被广泛应用于各种CNN架构中，并在ILSVRC竞赛中获得优异成绩。
串行多分支结构
Deep High-Resolution Representation Learning for Visual Recognition
简述：本文介绍了HRNet网络架构，用于解决需要高分辨率表示的位置敏感视觉问题。该网络在整个过程中保持高分辨率表示，通过将高到低分辨率卷积并行连接并重复交换信息来产生更丰富和精确的表示。作者在人体姿态估计、语义分割和目标检测等应用程序中展示了HRNet的优越性，表明它是一种更强大的计算机视觉骨干。
扫码添加小享，回复“多尺度”
免费获取全部论文+开源代码
EfficientDet: Scalable and Efficient Object Detection
简述：EfficientDet在设计上更加高效，能够在各种资源限制下实现更好的性能。它采用了加权的双向特征金字塔网络，可以进行快速的多尺度特征融合。同时，它还采用了复合缩放方法，统一了骨干网络、特征网络和预测网络的分辨率、深度和宽度。与之前的检测器相比，EfficientDet的参数更少，使用的浮点运算也更少。在COCO测试开发集上，EfficientDet-D7模型达到了55.1的AP，比之前的检测器小4-9倍，使用的浮点运算少13-42倍。
多尺度特征预测融合网络
目标检测SSD
SSD: Single Shot MultiBox Detector
简述：SSD是一个使用单个深度神经网络进行目标检测的方法。它通过在每个特征图位置上设置不同纵横比和尺度的默认框，实现了高效的物体检测。SSD消除了传统的提议生成步骤，简化了训练和推理过程。实验结果显示，SSD在各种数据集上均具有高准确性和高速度，可以轻松集成到其他需要目标检测的系统。与需要额外提议步骤的方法相比，SSD更加简单高效。
多尺度特征和预测融合
PANet路径聚合网络
Path Aggregation Network for Instance Segmentation
简述：PANet是一种用于实例分割的神经网络，旨在改进信息在神经网络中的传播。它通过自下而上的路径增强和自适应特征池化来提高信息流，从而提高了实例分割的准确性。此外，PANet还创建了一个互补分支，捕捉每个提议的不同视图，进一步改善了掩码预测。这些改进简单易实现，计算开销小，使PANet在COCO 2017挑战中排名第一，并在其他数据集上达到了最先进的性能。
扫码添加小享，回复“多尺度”
免费获取全部论文+开源代码
