摘要： 针对复杂影像背景和密集建筑物堆叠导致建筑物提取效果不完整，存在误检、漏检等问题，提出了一种改进Mask-RCNN遥感影像建筑物提取方法。利用双通道注意力机制增强目标的有效特征，同时引入特征增强金字塔网络增强网络对遥感影像的上下文特征信息地提取能力，结合双通道下采样模块减少特征损失，提高模型提取的精度和效率。实验表明，提出的改进Mask-RCNN在建筑物数据集和RSOD数据集上，与多种方法进行实验对比验证，Precision和F1值均高于对比方法，且目标识别的结果更加完整，目标漏检率更低。

引言

随着遥感技术的快速发展以及城市化建设的需要，高效、精准地从遥感影像中提取建筑物目标早已成为一个重要的研究领域。准确的建筑物提取能够为城市规划和发展提供必要的基础数据，也可用于监测城市变化、预测城市增长、评估灾害风险等。由于遥感影像背景复杂、建筑物体积小或方向任意、建筑物密集，影像特征丰富繁多等原因[1-2],给建筑物的精确提取带来了巨大的挑战。近年来，许多学者针对遥感影像建筑物提取的难点问题，提出了一系列优秀的算法，这些方法主要分为两类：传统方法和深度学习方法。

传统的建筑物检测方法通常涉及人工分类和手动标注，利用遥感图像中建筑物的几何、光谱、地物纹理线条等特征提取建筑物或实现遥感影像中地物像素的分类。常见的方法主要有边缘检测法[3],人工解译方法[4]、基于语义模型分割的算法[5]和分离阈值法[6]等。上述方法通过检测建筑物的边界和纹理特征来提取建筑物的轮廓，利用从输入图像中提取的片段化线性特征生成二维屋顶，这种方法特别依赖图像的质量以及人的主观意识，不适合提取复杂背景和纹理的影像数据。不仅如此，传统方法需要人为选择提取规则，针对不同建筑物的轮廓提取需要目视解译以及手动选取建筑物边界，确定各种参数以及手动优化，这需要耗费大量的人力物力且检测的结果具有较强的主观性，因此传统方法只能适应某些特定数据的建筑物提取。此外，由于传统方法泛化性较弱，无法满足复杂影像背景和密集建筑物的遥感影像建筑物提取。

深度学习技术在遥感领域自然图像分类、目标检测和语义分割等任务中获得了很大突破，基于深度学习的遥感影像目标识别方法已经取得了显著成果[7-10],这些方法通过训练大型数据集，并利用卷积神经网络来自动提取图像的各种特征信息。文献[11]提出了一种基于深度反卷积神经网络的监督建筑提取方法，在反卷积层中增加了上采样和密集连接操作，增强网络的全局特征提取能力，使网络能够在特征传递过程中更好地保留图像的特征信息。文献[12]提出了一种基于深度学习的图像分割方法，使用CNN从生成的区域框中提取固定长度的特征向量，并使用SVM或全连接神经网络进行分类。它结合了卷积神经网络和区域提议的优点，能够适用于更加复杂的图像的特征提取，但区域框的选择计算量巨大，存在严重的耗时问题。Fast R-CNN[13]合并了卷积和池化层，能够在一次卷积运算中实现对多个区域的特征提取，通过共享特征图，将卷积计算和特征图合并到一起，减少了内存的使用，这些优化使得网络的速度明显提升。为减少Fast R-CNN网络存在的耗时问题，文献[14]提出了Faster R-CNN网络，其引入了锚框(anchor box)的概念，通过区域生成网络来生成候选的锚点框，并通过ROI Pooling将每个候选区域转换为固定大小的特征图，最后将这些特征输入到分类器中进行分类。针对多尺度特征信息的不充分提取，导致影像的边缘特征信息容易丢失的问题，文献[15]提出了一种改进的RFB Net模型，其在RFB Net模型的基础上构建特征金字塔网络，融合高层语义信息和低层特征信息，较大程度地保留了影像的多尺度特征信息。文献[16]以孪生神经网络为基础，引入Inception V2结构提取影像的全局特征，更好的还原建筑目标的细节信息。为了获得更加丰富的建筑物特征，文献[17]提出了一种融合双注意力机制和残差结构的网络模型，在U-Net的跳跃连接阶段融合了通道与空间双注意力机制，并在编码阶段使用残差模块代替普通卷积提升模型的学习能力。Mask-RCNN[18]网络在Faster R-CNN的基础上，增加了一个Mask分支来预测每个像素的所属类别，生成对象的二进制分割掩码。其结合了目标检测和语义分割，能够在检测出目标的同时，还能够将分类一致但处于重叠状态的目标进行区分。

上述基于传统方法和深度学习的方法在建筑物检测中取得了很好的效果，但是目前建筑物提取过程中仍然面临着一些难题：复杂背景下遥感影像建筑物提取精度低，不同尺度下的建筑物遥感影像对密集建筑物存在漏检现象。针对这些问题，受注意力机制、多尺度特征传递以及Mask-RCNN网络的启发，提出了一种融合注意力机制的改进Mask-RCNN目标识别网络，针对影像中复杂背景和多尺度特征信息提取不充分的难题，该网络结合注意力机制和多层级语义特征，实现了建筑物的精确提取。该方法在遥感图像处理中具有较高的效率和准确性，为遥感影像中的建筑物识别提供了一种优化和创新的方法。

1 改进Mask-RCNN网络

1.1 Mask-RCNN网络

本文的网络主要结构参考经典Mask-RCNN网络的结构。Mask-RCNN网络结构思路简单，可以用来完成多种任务，如目标检测、语义分割、实例分割、人体姿态识别等。其网络结构如图1所示。

Mask-RCNN网络模型是在Faster R-CNN原本两个分支的基础上，加入了全连接分割网络进行语义分割，有检测和提取两个功能。与Faster RCNN使用VGG作为主干图像特征提取网络不同，Mask-RCNN使用50层和101层的ResNet网络作为主干特征提取网络，同时还将特征金字塔FPN加入主干结构，不同的主干组合选择会产生不同尺寸的特征层。之后通过区域建议RPN网络中对有效特征层上的每一点设定一定数量的锚框，对目标进行粗略筛选得到局部特征层。随后在对这些局部特征层进行ROI Align操作传入分类回归模型和Mask模型进行分类和掩膜生成，最终输出分类和分割结果。

1.2 改进Mask-RCNN网络

本文所设计的改进Mask-RCNN深度学习网络如图2所示。该网络以Mask-RCNN网络为基础，在特征处理阶段引入CBAM双通道注意力模块对影像不同区域目标激活通道注意力和空间注意力的特征加权信息，充分学习和强化目标特征。特征增强金字塔模块相较于原网络增加自底而上的特征传递分支，将浅层特征信息向深层过渡并融合，将上层传递的双通道注意力特征图浅层强位置信息和深层强语义信息进行融合，特征在传递过程中通过双通道下采样卷积操作减少下采样过程中的细节特征损失，保留影像的细节特征，提高网络的特征提取能力和细节信息优化能力。

输入阶段，影像经过ResNet101主干特征层提取图像的主干特征，并将得到的特征传入CBAM注意力机制模块，注意力机制帮助模型专注于处理重要区域，通道注意力模块和空间注意力模块顺序连接，这种结构能够提高网络在复杂对象特征方面的学习，避免了复杂背景下目标的误检和漏检问题。网络引入多尺度特征融合金字塔模块，在不同尺度下进行特征传递，减少多尺度特征不足对目标检测带来的影响[19]。为进一步解决传统的下采样方式造成的信息损失问题，引入了双通道下采样模块，通过两个通道实现信息保留和特征提取，进一步提高模型的精度。

1.3 CBAM注意力机制模块

convolutional block attention module(CBAM)[20-21]是一种优化算法，它将通道注意力模块和空间注意力模块结合，影像经过backbone提取主干特征后送入CBAM模块，特征会先通过通道注意力模块，将通道注意力生成的特征与输入特征进行聚合，生成最终的通道注意力特征。生成的特征输入到空间特征图中，经过池化和卷积连接，得到最终的注意力特征。这种机制在处理影像多尺度特征提取任务时非常有效，能够突出目标的有效特征并削减冗余信息。本文利用特征的通道注意力之间的关系生成了一个通道注意图。特征的每一个通道都代表一个专门的特征检测器，不同的通道特征通道注意力会赋予其相应的权重系数，通道注意力会集中在有意义的特征，压缩了输入特征映射的空间维度来更加高效地计算通道注意力，这对特征丰富的区域可以很好地生成区域提议特征。如图3(a)所示，通道注意力模块利用共享网络的最大池化输出和平均池化输出。过程：①通过平均池化和最大池化操作对通道特征图的空间信息进行聚合生成两个不同的空间上下文描述子：F avg c 和F max c ,分别表示平均池化特征和最大池化特征；②将生成的特征传递到一个共享网络，从而生成1×1×C的通道注意力图Mc(F)。该共享网络由多层感知器MLP和一个隐藏层组成。为了减少参数的开销，将隐藏层激活大小设置为C/r, 其中C为神经元个数，r为衰减率，激活函数为ReLu。将共享网络应用于每个描述子后，通过特征元素求和合并并输出特征向量。简而言之，通道注意力的计算如式(1)所示。

式中：σ为sigmoid函数；W0和W1是针对输入特征的两个共享权重。

与通道注意力不同的是，空间注意力机制关注的是特征所在的位置，主要利用特征的空间间关系生成空间注意特征图。空间注意力与通道注意力是互补的，为了计算空间注意力，首先通过通道的平均池化和最大池化操作，并将他们连接起来生成有效的特征描述子。之后将特征描述子通过一个卷积层生成空间特征图Ms(F)。如

图3(b)所示，过程：①通过使用两个池化层聚合特征图的通道信息，从而生成两个二维特征Favg和Fmax,分别代表平均池化特征和最大池化特征；②将特征通过标准卷积层进行连接和卷积，输入到sigmoid函数，生成空间注意特征图。简而言之，空间注意力的计算如式(2)所示。

式中：σ为sigmoid函数；f7×7代表滤波器大小为7×7的卷积操作。

1.4 特征增强FPN模块

图4展示了FPN网络特征传递的整个流程，该过程分为两部分，一部分是自顶而下的下采样特征提取，另一部分是自底而上的上采样特征提取。下采样能够提取影像更加深层次的特征，得到语义特征更强的特征图，从而产生更高分辨率的特征。上采样浅层特征常常包含着目标丰富的空间信息，这对定位目标在影像中的空间位置有着十分重要的作用[22-23]。以输入图像特征为1 024×1 024×3为例，通过步长为2的卷积层对特征进行降维，由于卷积降维对特征会有一定的损失，因此为了更好的拟合影像特征，增强模型的非线性表达能力，使得更深层的网络可以学习到更加复杂的特征，在采样过程中通过IdentityBlock模块加深网络，得到特征Ci,i∈[2,3,4,5],将特征C5进行一次上采样并与上层特征C4融合，并将融合后的特征在进行一次卷积生成新的特征P4,在对特征完成自底而上的上采样过程后，对特征C5进行一次池化操作，来降低信息冗余，并防止特征的过拟合，从而得到包含更多语义信息和空间信息的新的特征层Pj,j∈[2,3,4,5,6]。

1.5 双通道下采样模块

下采样模块是一种用于降低图像或特征图分辨率的方法。但是目前常用的下采样方式通常会导致细节信息丢失。为了减少网络在下采样过程中的特征损失，本文对下采样模块进行改进。改进后的双通道下采样模块将两种过渡模块结合在一起，左边的分支采用2×2的最大池化操作后连接一个1×1的卷积层，而右边的分支则采用1×1的卷积层后连接一个卷积核大小为3×3、步长为2×2的卷积层。这两个分支将结果堆叠后输出。相比于传统方法，该模块能够更好地捕捉和处理输入图像的特征，提高物体检测性能，并在不改变特征图深度的情况下缩小特征图尺寸。这种改进的下采样模块能够有效减少信息损失，帮助网络更好地保留重要的细节信息，结构见图5。

1.6 损失函数

改进Mask RCNN的损失函数是一个多任务损失函数，它结合了分类、定位和分割掩膜的损失，见式(3)。

L=Lcls+Lbox+Lmask (3)

式中：Lcls表示目标分类损失，它用于判断每个ROI属于哪个类别；Lbox表示目标框偏移损失，它用来回归每个ROI的边界框；Lmask表示像素分割掩膜生成损失，用于生成每个ROI和每个类别的掩膜。

2 实验数据及结果分析

2.1 实验数据集

为了对改进的Mask-RCNN进行验证，本文构建了一个多类型建筑物数据集，实验前将所有图像大小进行统一处理，全部裁剪、压缩为64像素×64像素。受限于获取的影像数据不足，因此在本实验中，采用数据增强方式来增加数据量[24],包括将原始图像水平翻转、垂直翻转、90°旋转、180°旋转、270°旋转和添加噪声等。通过这些操作，数据量扩大到原来的7倍，最终共得到1 611张图像。最后将数据集按照6∶1∶3的比例分为训练集、验证集和测试集。图6(a)为数据的原始影像样例，图6(b)为对应的标签影像。

2.2 实验环境

实验环境采用Python3.8.10为编程语言，深度学习框架使用Tensorflow2.4.0,硬件环境配置包括处理器为Intel(R) Core(TM)i7-12700K*20,操作系统为Ubuntu 20.04.5 LTS 64位，显卡为NVIDIA GeForce RTX3090Ti, 显卡驱动程序使用Cuda10.1和Cudnn9.0。

2.3 评价指标

本文采用交并比IoU、精确度Precision、召回率Recall、F1值4种精度评价指标来衡量模型提取建筑物的表现。交并比IoU表示模型预测的区域与真实区域的重叠程度，通常使用它来表示检测出目标位置的准确性。精确度Precision表示模型预测为正例的样本中真正为正例的比值。召回率Recall表示模型正确检测到建筑物的数量与检测到的目标数量的比值。F1是精确度和召回率的加权平均值，如式(4)～式(7)所示。

ΙoU= Ιntersection Union (4)

Ρrecision= ΤΡ ΤΡ+FΡ (5)

Recall= ΤΡ ΤΡ+FΝ (6)

F1= 2×Ρrecision×Recall Ρrecision+Recall (7)

式中：Intersection表示模型预测区域与真实区域的交集面积；Union表示模型预测区域与真实区域的并集面积；TP指被正确分类为建筑物的像素；FP表示正样本被错误分类。

2.4 实验结果分析

为了验证改进Mask-RCNN网络提取建筑物的精度和效果，本文引入了3种经典网络进行对比分析，分别是Unet、DeepLabV3+、Mask-RCNN网络。其中Unet网络是一个经典的全卷积网络，其Encoder-Decoder的对称网络结构赋予该网络强大的特征提取能力。DeepLabV3+网络采用多尺度特征融合模块增强信息特征提取，融合不同层间的特征，大大提升了分割精度。Mask-RCNN网络在Faster RCNN的基础上添加了全连接分割网络进行语义分割，引入ROI Align模块，将像素精准对齐精确处理图像的语义分割问题。将本文提出的改进Mask-RCNN网络与这些经典网络进行对比，验证本文方法的有效性，为更加直观地展示本文改进网络的模型效果，将测试集数据分别输入到4种网络中，端到端地输出每一幅图像的建筑物检测结果，各模型识别结果对比见图7。

图7展示了建筑物数据集中3组影像的建筑物识别结果，本文提到的几种方法在建筑物识别的整体效果上均较好。但在遥感影像背景复杂和建筑物密集的情况下模型识别建筑物的能力存在差异。从整体的效果来看，本文提出的改进Mask-RCNN网络模型的识别效果达到最好，图7中黄色方框代表每种方法识别的结果与本文方法的对比中误检和漏检的目标。在第一行中，Unet网络在建筑物密集的情况下对单个建筑物的掩膜提取的精度略差，掩膜效果不够平滑，Unet网络对相似建筑物的细节特征优化较弱，因此存在建筑物实例分割粘连的问题。DeepLabV3+网络和Mask-RCNN网络在识别密集建筑物的实验中均存在漏检现象。

从图7第二行和第三行实验的效果来看，UNet和DeepLabv3+模型对于结构复杂和背景阴暗的建筑物提取效果较差。Unet网络、DeepLabV3+网络和Mask-RCNN网络均存在一定的漏检和误检现象，其中Mask-RCNN网络的漏检现象最为严重。从对建筑物识别的掩膜效果来看，Unet网络的掩膜平滑与分割效果要优于DeepLabV3+网络，但要弱于Mask-RCNN网络和本文提出的改进Mask-RCNN网络。

本文方法能更好地检测到遥感影像的建筑物密集区域并进行建筑物的提取，改进Mask-RCNN网络能够很好地过滤复杂背景，并对建筑物特征更加敏感。在不同遥感影像建筑物检测中，改进Mask-RCNN网络都有着良好的识别效果，且检测的精度更高、掩膜效果更加平滑。这是由于本文网络融合双通道注意力机制，对建筑物特征赋予更大的权重，弱化背景特征带来的影响，有效区分建筑物特征和背景特征，且特征增强FPN进一步融合了影像的浅层特征和深层特征，细节信息更加充分，极大提高了网络检测的精度和效率。

为了评价本文方法的有效性，对实验的结果进行定量分析，利用Unet、DeepLabV3+、Mask-RCNN、改进Mask-RCNN模型在建筑物数据集上进行测试，表1展示了不同方法在测试集中的结果。从表1中可以看出本文方法的Precision、MIoU和F1值上均优于其他3种方法，与Unet相比，Precision、MIoU和F1值分别提升0.75%、0.84%、0.13%;与DeepLabV3+网络相比，3项指标分别提升5.7%、2.16%、2.8%;与Mask-RCNN相比，各项指标分别提升1.1%、2.7%、1.5%。在Recall指标中，本文所提出的方法与DeepLabV3+网络和Mask-RCNN网络相比分别提升2.2%和1.3%,但要略低于Unet方法，可能的原因是数据量较小，学习效果不够。

表1 3种经典网络模型的评估指标对比

此外，如表1所示本文所提出网络的参数量为63.73 MB,与Mask-RCNN网络相比，参数量减少了1.39 MB。这是因为本文所改进双通道注意力模块和特征增强FPN模块在卷积过程中优化了一些参数，本文相较于原网络占用更少参数量的同时，更加精确地对建筑物进行提取和分割，检测效果更好，证明了本文所提出的改进方法更好的平衡了模型分割的精度和效率。

2.5 模型推广实验

为了验证本网络对于遥感影像目标识别具有一定的泛化能力，使用武汉大学公开的RSOD数据集进行实验验证。RSOD数据集主要用于遥感影像中物体的检测，该数据集主要包含有446幅图像的4 993架飞机数据，189幅图像的191个操场数据，176幅图像中的180座立交桥数据以及165幅图像中的1 568个油罐数据。

从图8显示的实验结果中可以看出，本文所提出的改进Mask-RCNN网络对公开数据集中的目标提取的整体效果较好，特别是针对影像中目标较多的情况，网络也可以很好的识别。但也存在由于影像背景、影像明暗问题造成的各类目标漏检和误检的现象。而本文方法并未对数据集中特定地物背景进行训练。本文所提出的改进Mask-RCNN网络在测试集上的定量评价指标Precision、Recall、F1的值分别为93.38%、92.62%、90.12%。通过进一步的对比分析，本文所提出的网络针对RSOD数据集中各类目标的识别精度与已有的几种方法进行对比：Faster R-CNN+VGG[25]、Faster R-CNN+ResNet50[26]、改进YOLOv5[27],Mask-RCNN。本文方法针对各类物体识别的精度最高。实验说明本文方法可以适用于遥感影像其他种类目标识别，网络具有一定的普适性和泛化性，如表2所示。

表2 方法对比

3 讨论

3.1 注意力机制模块消融对提取结果的影响

为了评估本文网络引入注意力机制模块对提取结果的影响，本文针对注意力机制模块进行消融实验，本文以改进Mask-RCNN网络为基础，并在该网络上进行消融实验，实验数据集为构建的建筑物数据集，验证注意力机制模块的消融对建筑物提取的有效性，消融实验的定量结果如表3所示。

表3 融合注意力机制模块前后的各项指标

表3显示注意力机制模块的加入使得网络的F1值提高了2%,小目标提取的准确率提升了3%。在注意力机制模块加入后，网络对重要特征信息的提取能力以及权重分配做了重新优化，网络对建筑物特征更加敏感，提取特征更加有效。此外，在加入注意力机制模块前后，网络的运行时间稍有变动，加入模块前比加入模块后网络的运行时间慢了1 s, 网络运行的效率相当，但是精度的提升是明显的。实验证明，注意力机制在网络中能够提升目标检测精度，改善目标提取效果，帮助模型更好地关注重要的特征，从而降低模型对噪声或无关信息的敏感度，减少模型的过拟合，加快收敛速度。

3.2 多尺度特征融合模块消融对提取结果的影响

FPN网络能够对特征信息进行增强，充分利用遥感影像的多尺度特征。本文在FPN网络的基础上进行改进，增加自顶向下的分支，充分发掘影像的细节特征。为了验证本文方法引入的特征增强金字塔模块的有效性，实验定量结果见表4,表中显示加入模块后，网络的的F1值提升了0.4%,AP值提升了3.3%,Area<322的small区域的召回率提升了6%。但是在实验中，网络的运行时间要高于模块加入前，这在数据量大的时候可能会在一定程度上影响模型的运行效率，但是模型识别的精度有显著提高。通过该消融实验，可以发现多尺度特征融合金字塔模块使得Mask-RCNN网络可以提高模型感受野，丰富特征层中的信息，更好地理解图像中的物体实例以及适应不同尺度的目标，提升了网络检测和分割准确性。

表4 融合多尺度特征融合金字塔模块前后的各项指标

3.3 双通道下采样模块消融对提取结果的影响

为了验证提出的双通道下采样模块的有效性，本文在网络中比较了最大池化下采样和双通道下采样两个模块的表现。双通道下采样模块使用步长为2×2的最大池化串联一个1×1的卷积的压缩模块，并结合1×1的卷积串联一个卷积核大小为3×3、步长为2×2的卷积模块，缩小特征传递过程中下采样的步长操作，并叠加卷积层降低通道数。实验结果如表5所示，双通道下采样模块使得整体网络的F1值、AP值、AR(small)值分别提升0.8%、3.1%、0.8%。实验证明，双通道下采样模块能够有效减少信息损失，进一步提高了网络在特征传递过程中保留特征信息的能力。

表5 融合双通道下采样模块前后的各项指标

%