SNCS'24 探索无人机CNN与ViT的融合！DiRecNetV2：提升灾害响应的智能化！

0.这篇文章干了啥？

这篇文章主要介绍了一种混合模型DiRecNetV2的开发，该模型结合了卷积神经网络（CNN）和视觉变换器（ViT）的优点，旨在提高无人机（UAV）在灾害检测中的准确性和处理速度。研究使用加权F1得分和每秒帧数（FPS）等指标评估模型性能，确保在准确性与速度之间的平衡。通过与其他轻量级CNN和ViT模型进行比较，DiRecNetV2在准确性和处理速度上均表现出色，证明其适合嵌入式系统的实时应用。此外，研究引入了一个新多标签数据集，包含300张具有重叠灾害的图像，展示了模型在复杂场景下的有效性。未来的工作计划扩展多标签数据集，并探索模型在不同场景中的解释性，特别关注CNN和ViT在特征识别上的差异。总的来说，文章旨在通过结合CNN与ViT的优势，提供一种高效、准确的解决方案，推动灾害检测领域的发展，提高人道主义救援的效率。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：DiRecNetV2: A Transformer-Enhanced Network for Aerial Disaster Recognition

作者：Demetris Shianios, Panayiotis S等

作者机构：KIOS Research and Innovation Center of Excellence 等

论文链接：https://arxiv.org/pdf/2410.13663

2. 摘要

将无人机（UAV）与人工智能（AI）模型相结合，用于处理灾害评估中的空中影像，需要模型具备卓越的准确性、计算效率和实时处理能力。传统的卷积神经网络（CNN）在局部特征提取方面表现出色，但在全局上下文理解能力上有所限制。相比之下，视觉Transformer（ViT）通过注意力机制展现出改善全局上下文理解的潜力，尽管在基于UAV的灾害响应应用中仍然研究不足。为填补这一研究空白，我们提出了DiRecNetV2，这是一种改进的混合模型，结合了卷积层和Transformer层。它融合了CNN的归纳偏置以实现稳健的特征提取，并利用Transformer的全局上下文理解，同时保持低计算负载，理想适用于UAV应用。此外，我们引入了一个新的紧凑型多标签灾害数据集，设定了未来研究的初步基准，探索训练于单标签数据的模型在多标签测试集上的表现。该研究基于FPS（每秒帧数）评估轻量级CNN和ViT在AIDERSv2数据集上的效率，并以加权F1分数评估分类性能。DiRecNetV2不仅在单标签测试集中达到了0.964的加权F1分数，还展示了其适应性，在复杂的多标签测试集中取得了0.614的分数，同时在Nvidia Orin Jetson设备上以176.13 FPS运行。

3. 效果展示

数据库中描述各种多标签灾难实例的图像示例。

这些例子表明，DireRecNetV2能够熟练地识别各种灾害情况。使用四个测试集图像的子集，这些图像显示了模型对地震，火灾，洪水和正常情况的鲁棒分类准确性。

来自多标签数据集的图像示例展示了针对多标签场景训练的DiRecNetV2的预测。这些预测说明了该模型对双重实例的准确识别，同一图像中两个类别的概率超过50%，强调了其在处理复杂多标签分类方面的能力。 推荐课程： 零基础入门四旋翼建模与控制(MATLAB仿真)[理论+实战] 。

4. 主要贡献

1. 提出了DiRecNetV2混合模型 ：本研究提出了一种结合卷积神经网络（CNN）和视觉变换器（ViTs）的混合模型，充分利用了ViTs的全局上下文感知能力和CNN的局部特征提取能力。该模型在无人机（UAV）应用场景中表现出卓越的灾害检测效果。

2. 优异的性能与高效性 ：DiRecNetV2不仅在精度上超过了其他所评估的模型，还在处理速度上名列前茅，证明其特别适合于资源受限的嵌入式系统。通过引入基于处理速度和精度的双重评分体系，我们验证了该模型在实际应用中的高效性。

3. 多标签数据集的创新应用 ：我们为多标签灾害检测任务引入了一个全新的多标签数据集，并提供了轻量级CNN和ViT在单标签和多标签数据集上的基准性能。这为未来多灾害场景的研究提供了重要参考。

4. 未充分探索领域的推进 ：本研究首次为ViTs在多灾害识别领域提供了详细的基准结果，拓展了这一技术在多标签识别任务中的应用，填补了现有文献中的空白。

5. 适用于多领域的广泛应用潜力 ：我们展示了DiRecNetV2模型在多标签任务中的潜力，表明其不仅适用于灾害检测，还可用于环境监测、农业和城市规划等领域，为解决实际问题提供了有效的工具。

5. 基本原理是啥？

本研究的基本原理是通过 卷积神经网络（CNN） 和 视觉变换器（ViT） 的结合，构建一个高效的混合模型，来提升无人机（UAV）在灾害检测中的性能：

1. 卷积神经网络（CNN）特征提取 ：

• CNNs擅长局部特征的提取，特别是在图像的空间层面上，它们能够很好地捕捉图像中的边缘、纹理等低层次特征。CNN通过一系列卷积层、池化层和非线性激活函数来处理图像，使其适合于视觉任务，如目标检测、分类等。

• ViTs通过自注意力机制处理图像，能够捕捉图像中的全局信息，特别是在识别大范围的复杂场景时表现优异。ViTs将图像分割成一系列小块（patches），并通过全局注意力机制在这些小块之间建立联系，使得它们可以更好地处理图像中远距离的依赖关系，捕捉全局上下文。

• 通过将CNN的局部特征提取能力与ViT的全局上下文感知能力结合，DiRecNetV2混合模型可以同时捕捉图像中的局部细节和全局关系，增强了对复杂场景的理解和识别能力。CNN负责提取图像的低级特征，ViT则在这些基础特征之上进一步建模全局依赖。

• 该模型在设计上注重轻量化，能够在资源受限的环境（如嵌入式系统、无人机平台等）中高效运行。通过优化模型结构，实现了在精度和处理速度之间的良好平衡，使其适合实时灾害检测应用。

• 本研究引入了一个全新的多标签数据集，模型能够同时识别图像中的多个灾害特征。通过CNN和ViT的结合，模型在处理多标签任务时表现出强大的分类能力。

6. 实验结果

本研究的DiRecNetV2模型在多个评估指标上表现出色，尤其是在 准确性 和 处理速度 之间的平衡上：

1. 准确性（Accuracy） ：

• DiRecNetV2模型 在所有评估的模型中达到了最高的准确率，表明其在灾害检测任务中的优越性。
• 相较于单独使用CNN或ViT的模型，DiRecNetV2结合了两者的优势，在多标签灾害识别任务中尤其突出，能够精确区分不同的灾害类型。
• 在处理新的多标签数据集时，该模型展示了强大的泛化能力，能够从训练的单标签数据集中有效应用于多标签分类任务。

• 尽管DiRecNetV2在准确性上表现最佳，它在处理速度上排名第二。这表明模型的轻量化设计和对资源使用的优化，使得它能够在保持高准确率的同时，也具备较快的处理速度。
• 实验中使用了两个不同的评分系统，分别评估模型的处理速度和准确性，DiRecNetV2在这两个方面的综合表现突出，尤其适合嵌入式系统中的实时应用。

• DiRecNetV2的设计特别考虑了资源受限的环境，如无人机和移动设备，实验结果证明该模型可以在这些场景中以高效的方式运行。
• 在嵌入式系统上的测试中，该模型通过了综合性能评估，证明其在实时灾害监测中的潜力。

• 引入的多标签数据集包含了300张具有重叠灾害的图像，实验结果显示，DiRecNetV2能够处理复杂的灾害场景，识别出图像中存在的多个灾害特征。
• 这是首次在多标签灾害识别任务中评估视觉变换器（ViT）的性能，结果显示ViT的全局特征建模能力在多灾害场景下极为有效，而CNN提供了强大的局部特征提取支持。

• 实验还对比了轻量级CNN模型和ViT模型在AIDERSv2数据集和新多标签数据集上的基准性能，DiRecNetV2的表现优于这些单一模型，特别是在多标签任务中具有显著优势。

7. 总结 & 未来工作

机器学习和计算机视觉的进步预示着技术赋能人道主义救援的新时代，通过提供工具来提高在灾难期间拯救生命措施的效率和速度。同时，无人机（UAV）与先进深度学习算法的结合，标志着增强灾难救援努力的重要一步。在本研究中，我们提出了一种混合模型，将卷积神经网络（CNN）和视觉变换器（ViTs）的优势结合起来，开发出一个适用于基于无人机的灾难检测应用的高精度、资源高效框架。我们介绍了DiRecNetV2模型，该模型通过融合ViTs的全局上下文感知能力和CNN的特征提取能力，展示了卓越的成果。该模型不仅在所评估的模型中获得了最高的精度，还在处理速度方面排名第二。

通过采用同时考虑处理速度和精度的评估标准，使用两种不同的评分系统，我们证明了该模型特别适合嵌入式系统。该结果强调了这种混合架构在实际应用中的有效性和高效性，突出了其在计算机视觉任务中的未来潜力。通过将CNN和ViT集成到一个轻量级框架中，该混合模型为资源受限的环境（如边缘计算和移动应用）提供了有前景的解决方案。

此外，我们为AIDERSv2数据集以及我们新引入的包含300张重叠灾害图像的多标签数据集提供了基准结果。这些基准涵盖了轻量级CNN和ViT的性能评估。为展示这些模型在单标签数据集上训练后，在多标签数据集上进行评估时的表现，我们提供了这些模型的基线表现。我们的研究一个重要方面是提供了ViT的基准结果，而这在现有文献中的多灾害识别领域仍未得到充分探索。DiRecNetV2在多标签任务中的出色表现凸显了该混合方法在处理此类场景中的有效性，表明其在诸多领域的潜在应用，如环境监测和工业安全。

例如，在农业监测中，多标签识别可以帮助从无人机或卫星图像中检测多种作物病害和营养缺陷。同样，在城市规划中，模型识别多个城市特征（如建筑物、道路和绿地）的能力简化了城市开发和基础设施管理的过程。

在未来的研究中，我们计划扩大多标签数据集的规模，并对所研究的轻量级模型进行微调，评估在这个扩展的多标签数据集上训练与单标签数据集训练对性能的影响。我们还计划探索这些算法的可解释性，研究CNN和ViT在特征识别中的差异，并理解混合模型如何在分类任务中区分不同的图像特征。这项研究将主要关注ViT和混合模型中的注意力机制，提供关于它们在决策过程中如何优先处理不同图像区域或特征的见解。

我们预计，结合AIDERSv2和多标签数据集上的DiRecNetV2模型与轻量级CNN和ViT的基准结果，将为未来的研究提供坚实的基础。我们希望这一努力能够鼓励开发新方法，以应用于灾害响应，最终为受此类情况影响的社区做出贡献。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等