公众号ID
｜
计算机视觉研究院
学习群
｜
扫码在主页获取加入方式
论文地址：
https://www.scitepress.org/Papers/2021/102344/102344.pdf
Column of Computer Vision Institute
深度学习模型在
目标检测
的性能上取得了重大突破。然而，在传统模型中，例如Faster R-CNN和YOLO，由于计算资源有限和功率预算紧张，这些网络的规模使其
难以部署在嵌入式移动设备上
。
深度学习模型在目标检测的性能上取得了重大突破。然而，在传统模型中，例如Faster R-CNN和YOLO，由于计算资源有限和功率预算紧张，这些网络的规模使其难以部署在嵌入式移动设备上。
深度学习领域的加速发展极大地促进了目标检测的发展，其在人脸检测、自动驾驶、机器人视觉和视频监控等方面的广泛应用。随着目标检测的蓬勃发展，近年来提出了几种深度卷积神经网络模型，例如R-CNN、SSD和YOLO等。然而，随着网络变得越来越复杂，这些模型的规模不断增加，这使得在现实生活中将这些模型部署到嵌入式设备上变得越来越困难。因此，开发一种高效快速的物体检测模型以在不影响目标检测质量的情况下减小参数大小至关重要。
二、背景
随着目标检测网络系列不断变得更加复杂，
减少权重参数和计算成本变得很重要
。模型压缩方法分为低秩分解、知识蒸馏、剪枝和量化，其中剪枝已被证明是通过去除冗余参数来降低网络复杂度的有效方法（
A survey of model compression and acceleration for deep neural networks
）。
为了解决目标检测网络问题，有几种最先进的工作技术可以减少YOLO架构中的参数数量。(
YOLO-LITE: a real-time object detection algorithm optimized for non-GPU computers
) 开发了YOLO-Lite网络，其中从YOLOv2-tiny中删除了批量归一化层以加速目标检测。该网络在PASCAL VOC 2007和COCO数据集上分别实现了
33.81%
和
12.26%
的mAP。(
Yolo nano: a highly compact you only look once convolutional neural network for object detection
) 创建了一个高度紧凑的网络YOLO-nano，它是一个基于YOLO网络的8位量化模型，并在PASCAL VOC 2007数据集上进行了优化。该网络在PASCAL VOC 2007数据集上实现了
3.18M模型大小
和
69.1%mAP
。
三、概要
因此，研究者就提出了一种新的基于轻量级CNN的目标检测模型，即基于YOLOv3-Tiny的
Micro-YOLO
，它在
保持检测性能的同时显着减少了参数数量和计算成本
。研究者建议将YOLOv3-tiny网络中的卷积层替换为深度分布偏移卷积(
DSConv
：
https://arxiv.org/abs/1901.01928v1
)和带有squeeze和excitation块的移动反向瓶颈卷积 (
MBConv
：主要源自于EfficientNet
)，并设计渐进式通道级剪枝算法以最小化数量参数并最大化检测性能。因此，与原始YOLOv3-tiny网络相比，所提出的Micro-YOLO网络将
参数数量减少了3.46倍
，乘法累加操作(MAC)减少了2.55倍，同时在COCO数据集上评估的mAP略微减少了0.7%。
四、新框架介绍
Micro-YOLO
为了减小网络的大小，研究者探索了可选择的轻量级卷积层来替代YOLO网络中的卷积层Conv。
MobileNet
网络采用两个轻量级卷积层（a）DSConv和（b）MBConv。
如上图(a) 所示，DSConv执行两种类型的卷积：(i) 深度卷积和 (ii) 逐点卷积，这可以显著降低网络的模型大小和计算成本。上图(b) 所示，MBConv的结构是一个1×1的channel expansion卷积，然后是深度卷积和一个1×1的
channel
reduction层。它利用
squeeze和excitation
块，这是一个分支，由
squeeze
阶段的全局平均池化操作和
excitation
阶段的两个小FC层组成在深度卷积和通道之间还原层。由于输出通道的数量不等于输入通道的数量，研究者在MBConv中移除了残差连接，MBConv层在输入和输出处提供紧凑的表示，同时在内部将输入扩展到更高维的特征空间以增加非线性变换的表达能力。因此，与DSconv层相比，MBconv层提供了更好的压缩网络，而不会降低检测精度。
这些层之间的计算成本，即Conv层（Cs）、DSConv层（Cds）和MBConv层（Cmb）可以分别用以下公式表示：
其中k表示内核大小，Cin表示输入通道数，Cout表示输出通道数，W和H表示特征图的宽度和高度，α和β分别表示MBConv中的扩展因子和缩减因子。
Progressive Channel Pruning
在确定新提出的Micro-YOLO网络的架构后，研究者可以通过使用剪枝技术进一步减少权重参数。在提出的工作中，研究者采用了粗粒度剪枝，因为DSConv和MBConv层主要由1×1内核大小组成，这为细粒度剪枝留下了最小的空间。(
Rethinking the value of network pruning
) 表明修剪后的架构本身，而不是一组继承的“重要”权重，对最终模型的效率更重要，这表明在某些情况下修剪可能是有用的一种架构搜索范式。因此，研究者提出了一种渐进式剪枝方法来在修改后的网络中搜索“更薄”的架构。具体伪代码流程如下：
五、实验
新提出的框架图
不同卷积类型和相同内核大小的不同输入通道所需的参数数量
不同卷积类型的参数量
内核大小探索结果。不同的条形表示内核大小的不同组合。为简单起见，仅以红色显示最佳内核大小组合，如下图：
最后看下检测效果：
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。
研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。
研究院主要着重”技术研究“和“实践落地”。
研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
计算机视觉研究院主要涉及
AI视觉领域
和
大模型研究
，致力于目标检测、目标分类、图像分割、OCR、模型量化、模型部署等方向。
研究院承接各种AI视觉类项目，还有更多领域业务可落地，欢迎来咨询！
