测试了18种场景和5个框架，我发现了LiDAR SLAM的通病！

3d tof · 公众号 · · 2024-09-24 18:15

正文

作者 | 计算机视觉工坊编辑 | 计算机视觉工坊

0. 论文信息

标题：Evaluating and Improving the Robustness of LiDAR-based Localization and Mapping

作者：Bo Yang, Tri Minh Triet Pham, Jinqiu Yang

机构：Concordia University

原文链接：https://arxiv.org/abs/2409.10824

代码链接：https://github.com/boyang9602/LiDARLocRobustness

1. 引言

近十年来，机器人和自动化系统变得越来越普及。其中，机器人、无人机和自动驾驶汽车因被广泛应用及相关的安全问题而备受关注。定位对于这些系统至关重要，因为它能够跟踪机器人在环境中的位置。在户外，全球导航卫星系统（GNSS）被广泛应用于定位。相比之下，在城市、隧道和室内环境中，由于卫星信号较弱，GNSS的应用受到限制，因此更倾向于使用同步定位与地图构建（SLAM）系统，因为它们不依赖于外部信号，并能可靠地在室内和室外进行导航。出于这些原因，SLAM在机器人和自动驾驶领域的定位和地图构建相关任务中被广泛使用。SLAM方法使用摄像头、激光雷达（LiDAR）或二者的组合，并可选择性地集成惯性测量单元（IMU）。与视觉SLAM相比，LiDAR SLAM具有更高的地图构建精度和更好的稳定性，受光照条件影响较小，且不会出现尺度漂移。这些优势使其在大规模用例中备受欢迎，并促进了该领域的研究和应用。

尽管LiDAR SLAM近年来取得了显著进展，但仍面临诸多挑战。在晴朗条件下，激光信号非常稳定，但在雨天和雾天，激光信号会显著衰减，导致LiDAR SLAM在恶劣天气条件下性能下降。由于硬件限制、运动、光照、灰尘或反射面等因素的影响，点云数据中常出现噪声。此外，机械式、固态和相控阵LiDAR传感器的构建方式各不相同，为其中一种设计的SLAM可能无法与其他类型的传感器互换使用。不稳定性会导致定位算法误算当前位置的偏差。根据偏差的大小，它可能导致自动驾驶汽车驶离道路或进入错误的车道。在机器人系统中，这会导致唤醒或“绑架”机器人问题，因为连续两帧位置之间的大差距可能使机器人无法恢复，即由于定位失败而停止工作，或重置并启动耗资巨大的恢复和重新定位过程，丢弃已学习的地图/知识。LiDAR传感器面临的这些挑战引发了人们对SLAM在不同环境中性能的担忧。为此，尚缺乏对这些问题在LiDAR SLAM中的表现和影响的全面评估。此外，随着基于学习的SLAM研究投入的增加，由于深度神经网络（DNNs）对噪声的敏感性，又引发了额外的鲁棒性问题。然而，在这方面缺乏比较评估。因此，在本文中，我们评估了这些应用在恶劣天气、嘈杂环境和数据丢失等常见LiDAR数据损坏情况下的鲁棒性。一旦发现问题，我们将探讨当前的防御策略（如重新训练和去噪）是否足以解决这些问题。

2. 摘要

激光雷达是同步定位和绘图(SLAM)以及基于地图的全球定位最常用的传感器之一。SLAM和基于地图的定位对于自主系统的独立运行至关重要，尤其是在GNSS等外部信号不可用或不可靠的情况下。虽然最先进的(SOTA)激光雷达SLAM系统可以实现0.5%的误差(即每100米0.5米)，并且基于地图的定位可以实现厘米级的全球定位，但仍不清楚它们在各种常见的激光雷达数据破坏下的鲁棒性如何。在这项工作中，我们在18种常见的场景级激光雷达点云数据(PCD)破坏下广泛评估了五种基于SOTA激光雷达的定位系统。我们发现，基于激光雷达的定位的鲁棒性因类别而异。对于SLAM，手工制作的方法通常对大多数类型的损坏都是健壮的，但是对于特定的损坏是极其脆弱的(高达+80%的错误)。基于学习的方法容易受到大多数类型的破坏。对于基于地图的全球定位，我们发现SOTA抵抗所有应用的讹误。最后，我们发现简单的双边滤波去噪有效地消除了基于噪声的破坏，但对基于密度的破坏没有帮助。再培训能更有效地保护基于学习的SLAM免受各种类型的腐败。

3. 主要贡献

我们的贡献可以概括如下：

• 我们提出了一种新的框架，用于评估当前最先进的基于LiDAR的定位技术在常见LiDAR数据损坏情况下的鲁棒性。据我们所知，这是首次研究该问题的工作。推荐课程：彻底剖析激光-视觉-IMU-GPS融合SLAM算法：理论推导、代码讲解和实战。

• 我们研究了常见防御策略（如去噪和重新训练）在应对常见LiDAR数据损坏方面的有效性。

• 我们公开分享了我们的代码和数据。

4. 执行细节

不同类型的LiDAR SLAM方案总结。

激光雷达SLAM系统部署在复杂多样的环境中，这些环境可能会影响激光雷达的灵敏度。因此，评估此类系统在不同环境中的鲁棒性和可靠性至关重要。我们的框架采用了总共18种云数据损坏扰动来模拟各种环境，如恶劣天气条件和设备故障。我们选择了一套全面的损坏类型，这些损坏类型反映了影响整个激光雷达扫描而非单个物体的常见现象。表I总结了扰动类型的列表。

天气扰动 。恶劣天气如雨雪会对激光雷达扫描的质量产生负面影响。空气中随机分布的雨滴、雪花和雾滴会散射光线并干扰激光雷达的测量，从而在生成的点云数据中注入噪声。此外，由于降水，湿地面总是与雨雪同时出现，其反射特性与干地面不同。我们的框架模拟了以下天气条件，既考虑了天气条件对激光雷达的直接影响（如液滴引起的散射），也考虑了湿地对激光雷达的影响（如反射）。

雨或雪 。我们利用现成的天气模拟器LISA来模拟在雨雪等恶劣天气下的点云数据。LISA利用基于物理的模型来模拟雨雪天气中激光脉冲的衰减返回，这一模型已被先前的工作[47]评估为现实可行。

雾。我们使用真实激光雷达点云上的雾模拟（FS）来模拟雾。虽然LISA已经包含了雾扰动，但它更为通用，而FS等工作提供了更好的雾模拟模型，且不需要如光通道信息等不可用的数据。因此，我们使用FS进行雾模拟。FS通过修改脉冲响应变化来模拟雾对现实世界激光雷达点云的影响，这些点云是在晴朗天气下记录的。FS通过模拟不同雾密度对环境和周围物体的影响来建模雾。

雨+湿地面（rain wg） 。我们将LISA与湿地面模型结合使用，以产生比单独模拟雨更真实的模拟效果。湿地面模型建立了一个光学模型，根据水的厚度模拟湿地面上的反射。图2展示了这种损坏的一个示例。

雪+湿地面（snow wg） 。与雨+湿地面类似，我们通过将LISA的雪模拟与湿地面模型结合应用于点云数据，来产生更真实的雪天模拟效果。

噪声扰动 。噪声在激光雷达测量过程中由于内部（如设备振动和测量误差）或外部（如灰尘和背景光）因素而产生。我们在点云数据上设计了扰动来模拟由这些内部和外部因素引起的误差。表II详细列出了噪声扰动的信息。

一帧点云数据被标记为P = pi i = 1, 2, ...N ，其中N是点云中的点数。我们在两种坐标系（笛卡尔坐标系和球坐标系，简称CCS和SCS）上应用三种噪声分布（高斯、均匀和脉冲）来模拟不同的噪声源。在CCS中，一个点由p = {x, y, z}表示，即每个平面上的欧几里得距离；而在SCS中，一个点由p = {r, ϕ, θ}表示，其中r是范围（即从原点到点的欧几里得距离），ϕ是方位角，θ是极角。CCS中的噪声代表由传感器振动或旋转引起的不准确性，而SCS能更好地表示飞行时间（ToF）测量的不准确性。

除了重新定位现有的点云点外，我们还通过应用于CCS的背景噪声和上采样来合成新点，以模拟环境噪声，如空气中的灰尘。背景噪声在整个空间中随机添加点，而上采样则在随机选择的点附近添加点。

密度扰动。点的密度可能由于内部（如设备故障）或外部（如物体之间的遮挡和物体表面的反射）因素而改变。我们模拟了五种与密度相关的损坏：局部密度增加、局部密度减少、裁剪、光束删除和层删除。这些损坏的定义列在表III中。