0. 这篇文章干了啥？
自主无人驾驶飞行器（UAV）将成为各种工业应用的核心，从第一反应到基础设施通信，再到配送，以及无数其他基于UAV的物联网（IoT）服务。在每种情况下，UAV都需要具备在多变天气条件下安全导航的能力。尽管最近的研究很多都集中在自主导航复杂环境上，这些环境以存在障碍物和来自气流的动态扰动为特征，但很少有研究致力于理解其他动态环境因素的影响，特别是雨水的影响。利用深度相机的视觉里程计（VO）和视觉惯性里程计（VIO）是实现自主导航的最有前景的方法之一，然而，很少有人关注雨水条件对跟踪误差的影响，这些误差在相机镜头暴露于各种雨水条件下时可能会出现。
降雨可能会通过改变图像对比度、引入模糊效果以及由于相机镜头上的水滴而可能遮挡视觉地标或障碍物来破坏视觉场景。这些因素很可能导致VO性能的显著下降，从而导致UAV的位置和运动估计不准确。在最坏的情况下，由于雨水导致的不准确导航可能导致任务失败、碰撞和其他安全隐患。因此，开发识别和估计影响VO准确性的雨况严重程度的方法对于确保UAV在多变天气中的安全可靠导航至关重要。
关于这一问题或类似问题的文献中最相关的贡献来自自动驾驶的视角。在这些情况下，用于分析和估计环境条件的图像是从驾驶舱内部拍摄的，因此水滴在挡风玻璃上，而不是直接在相机镜头上。另一方面，这些贡献不能直接应用于开发可靠的自主UAV应用，因为在这种场景下，在雨天导航的UAV的相机镜头通常会直接暴露于环境中。因此，我们受到启发，研究和分析雨水对适合自主UAV且镜头直接暴露的VO系统的影响。鉴于缺乏合适的相关数据集，我们设计了一系列实验室实验，以模拟在低空（即包含物体的场景）下在各种雨况下的飞行，以收集和标记数据，以便实时识别和分类降水条件。
此外，许多作者已成功利用深度学习（DL）或深度神经网络（DNN）来预测和估计车辆中的降雨严重程度。这启发了我们利用这些算法来估计降雨条件，以提高我们系统的性能和可靠性。然而，自动驾驶汽车可以拥有相对较大的计算资源，而小型无人机（即通常携带高达2公斤的有效载荷）则由于尺寸和有效载荷能力的限制，必然具有有限的计算资源。因此，在设计基于DL的系统时，我们必须意识到可用的机载资源。
本文提出了开发轻量级模型的第一步，这些模型能够实时确定降水条件，并适用于未来自主飞行控制器设计。我们首先确定不同强度的降雨对基于视觉里程计（VO）的导航系统可能引入的跟踪误差程度。我们利用在受控实验室条件下收集的大型数据集来实现这一目标。我们开发了一个低空和固定高度的飞行场景，其中使用深度相机、处理单元和机械喷洒装置来模拟各种降雨条件。我们整理了一个包含不同降雨强度和方向拍摄图像的数据集，并以此为基础开发了一个基于DNN的系统，用于分类和估计每种情况下降雨的严重程度。
DNN训练的目的是确保算法的低复杂性，以便能够部署在边缘设备（如小型无人机）或物联网（IoT）类型设备上。通过准确估计降雨严重程度，该系统可以为在动态降雨条件下无人机操作期间保持可靠导航性能所需的适当应对措施（即控制策略）的开发和实施提供基础。
下面一起来阅读一下这项工作~
1. 论文信息
标题：Is That Rain? Understanding Effects on Visual Odometry Performance for Autonomous UAVs and Efficient DNN-based Rain Classification at the Edge
作者：Andrea Albanese, Yanran Wang, Davide Brunelli, David Boyle
机构：University of Trento、Imperial College London
原文链接：https://arxiv.org/abs/2407.12663v1
2. 摘要
安全可靠的自主无人驾驶飞行器的开发依赖于系统根据传感器输入识别并适应局部环境变化的能力。目前最先进的局部跟踪和轨迹规划通常使用相机传感器输入到飞行控制算法中，但诸如雨水等环境干扰对这些系统性能的影响程度在很大程度上尚不清楚。在本文中，我们首先描述了一个包含约335,000张图像的开放数据集的开发过程，以研究七种不同降水条件下这些影响，并表明对于最先进的视觉里程计系统（VINS-Fusion），在最坏情况下平均跟踪误差可能达到1.5米。然后，我们使用该数据集训练了一组适用于移动和受限部署场景的深度神经网络模型，以确定是否可能高效且准确地分类这些“雨天”条件。这些模型中最轻量级的（MobileNetV3 small）在仅占用1.28 MB内存和93 FPS帧率的情况下，可以达到90%的准确率，适合部署在资源受限且对延迟敏感的系统中。我们使用典型的飞行计算机硬件展示了毫秒级的分类延迟。因此，此类模型可以输入到自主飞行控制器的扰动估计组件中。此外，具有实时准确确定环境条件能力的无人机数据可能有助于开发更精细、更及时的本地化天气预报。
3. 效果展示
在第三节介绍的实验中，我们收集了原始彩色图像，以构建一个数据集，该数据集代表本研究分析的不同雨况。这些数据可用于开发分类系统，该系统能够理解外部环境条件并据此采取行动。该数据集包含7个类别，每个类别有48k张图像，分别是“晴朗”、“倾斜大雨”、“垂直大雨”、“倾斜中雨”、“垂直中雨”、“倾斜小雨”和“垂直小雨”。图2展示了数据集中图像的几个示例。总体而言，该数据集由大约336k张图像组成，总大小约为12GB（压缩后），其中80%用于训练，10%用于验证，剩余的10%用于测试。
4. 主要贡献
我们总结了本文的主要贡献如下：
• 我们收集并公开了一个新的数据集1，包含约335,000张真实图像，这些图像在7个类别中均匀分布，代表从晴朗到倾斜大雨的不同降雨强度等级。与其他从驾驶舱拍摄的类似数据集不同，在我们的情况下，相机镜头直接暴露于水滴中。
推荐学习：
基于PX4实现的四旋翼建模与控制[理论+实战]
• 我们提供了在不同降雨强度下VO系统的特性描述，以展示对跟踪精度的不同影响，路径估计的平均误差范围从0.07米到2.5米不等。这允许我们量化平均误差和恢复时间，并可作为在动态雨天条件下安全导航的合适策略设计的基础。
• 我们描述了三种最先进的DNN的训练、测试和比较，以探索该方法的可行性，并探讨性能与所需资源之间的权衡。我们的结果表明，为移动或受限处理器开发的各种现成的DNN架构在几乎所有条件下都提供了出色的低延迟分类精度。表现最好的模型是MobileNetV3小型模型，其准确率达到90%，帧率为93 FPS，内存占用为1.28 MB。
5. 实验结果
在第三节中开发的VO（视觉里程计）系统已在静态和移动条件下进行了测试。针对每种条件，我们评估了不同的降雨强度和模式，即倾斜大雨、垂直大雨、倾斜中雨、垂直中雨、倾斜小雨和垂直小雨（如表III所示）。
静态：在本实验中，VO系统在试验期间完全静止在同一位置。图3展示了在静态场景下不同降雨条件下进行的实验的轨迹估计和数据分布的比较。此外，表III总结了以标准偏差计算的误差，因为系统固定且所有轴上的真实位置为0米。通过这种方式，可以评估从最优条件（即晴天）到最坏情况（即倾斜大雨）的性能下降。图3a和3d揭示了倾斜大雨场景的严重性，这在表III中的显著漂移中得到了证实。另一方面，“垂直小雨”场景几乎与“晴天”场景相当，意味着降雨扰动可忽略不计。
移动：在本实验中，我们分析和比较了表III中不同降雨条件在移动场景（即VO系统跟随矩形轨迹）下的影响。图4展示了不同降雨条件下轨迹估计的比较，根据降雨强度（即大雨、中雨和小雨）进行了细分。此外，表IV总结了以晴天条件为参考计算的均方根误差（RMSE）。该分析证实了倾斜大雨场景的严重性，该场景在所有轴上引入了不可接受的漂移，尤其是在垂直轴上（图4a）。另一方面，垂直降雨场景几乎相当且不太令人担忧，因为它们显示的漂移在几十厘米的范围内。
6. 总结 & 未来工作
基于在可变或恶劣天气条件下运行的VO（视觉里程计）系统的自主无人机导航是文献中研究较少的一个话题。鉴于无人机在物联网（IoT）环境中的使用迅速增加，开发解决方案以减轻潜在危险情况（如雨中导航）并提高无人机的“可飞行性”至关重要。在本文中，我们研究了VO系统在不同降雨条件下的行为，这些条件可能在自主无人机导航过程中遇到。直观上，分析表明最坏的情况是倾斜大雨，它会在路径估计中引入不可接受的误差（即1米至2.5米），从而使导航变得危险且不可靠。另一方面，其他“倾斜降雨”场景（即倾斜中雨和倾斜小雨）与垂直降雨条件相比表现出更高的误差，这意味着必须根据应用需求进行评估。
我们为开发解决方案奠定了基础，以减轻降雨的影响并使自主无人机系统对动态现场环境条件具有更高的“感知”能力。我们基于三种候选深度神经网络（DNN）架构训练并比较了模型，并证明了在将VO系统使用的彩色图像分为7类（晴天、倾斜大雨、垂直大雨、倾斜中雨、垂直中雨、倾斜小雨和垂直小雨）时，可以实现约90%的分类准确率。表现最佳的架构达到了97帧每秒的帧率，实现了接近实时的处理。
因此，可以利用这些信息并将这些技术纳入扰动估计方法的开发中，为在线飞行控制器提供输入，使无人机能够根据环境条件采取特定的应对措施（例如，切换到备用导航系统、改变导航路径、着陆等）。这可能会提高在原本危险情况下的导航性能，例如通过避免碰撞并提高无人机的可靠性和可飞行性。
从“物联网”的角度来看，无人机实时确定当地环境条件的能力对于开发更准确、更及时的本地化天气预报方法也具有重要意义，因为这可以通过提供此类数据来实现。此外，将基于降水的扰动估计与自主无人机跟踪和轨迹控制系统相结合是未来工作的一部分。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
「
3D视觉从入门到精通
」
知识星球
「
3D视觉从入门到精通
