专栏名称: 点云PCL
公众号将会推送基于PCL库的点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维世界相关内容的干货分享。不仅组织技术交流群,而且组建github组群,有兴趣的小伙伴们可以自由的分享。欢迎关注参与交流或分享。
目录
相关文章推荐
昆明警方发布  ·  接待游客1464.37万人次 ·  22 小时前  
昆明警方发布  ·  接待游客1464.37万人次 ·  22 小时前  
界面新闻  ·  丰田独资公司落户上海 ·  昨天  
新世相  ·  忘了接财神的人,这是最后一次机会 ·  4 天前  
51好读  ›  专栏  ›  点云PCL

LiDAR里程计最新进展与挑战综述

点云PCL  · 公众号  ·  · 2024-10-15 08:00

正文


文章:LiDAR odometry survey: recent advancements and remaining challenges

作者:Dongjae Lee,Minwoo Jung,Wooseong Yang,Ayoung Kim

编辑:点云PCL


欢迎各位加入知识星球,获取PDF论文,欢迎转发朋友圈。 文章仅做学术分享,如有侵权联系删文。

公众号致力于点云处理,SLAM,三维视觉,高精地图等领域相关内容的干货分享,欢迎各位加入,有兴趣的可联系[email protected] 文章未申请原创 侵权或转载 联系微信cloudpoint9527。

摘要


里程计在机器人导航中至关重要,尤其是在无法使用全球定位系统(GPS)等全球定位方法的情况下。里程计的主要目标是预测机器人的运动并准确确定其当前位置。各种传感器,如轮式编码器、惯性测量单元(IMU)、相机、雷达以及光探测与测距(LiDAR)等,都被用于机器人的里程计中。特别是LiDAR因其能够提供丰富的三维(3D)数据并且不受光线变化的影响而备受关注。本综述旨在全面审视LiDAR里程计的进展,首先探讨了LiDAR技术,然后对LiDAR里程计的相关研究进行分析,并根据传感器集成方法对其进行分类,这些方法包括仅依赖LiDAR的方法、LiDAR与IMU结合的方法、涉及多个LiDAR的策略以及将LiDAR与其他传感器模式融合的方法。最后讨论了现存的挑战,并概述了LiDAR里程计未来可能的发展方向。此外还分析了LiDAR里程计的公共数据集和评估方法。据我们所知,这是首次对LiDAR里程计进行的全面探讨。

图1. LiDAR 里程计综述的结构

主要贡献


尽管之前的工作深入探讨了 LiDAR 里程计的特定方面,但没有完全涵盖所有方法。因此综述旨在提供全面的分析,不仅涵盖 LiDAR-only 里程计,还包括成功整合其他传感器以实现精确 LiDAR 里程计的方法。 本文的主要贡献如下:

  • 本文提供了 LiDAR 里程计的全面回顾,按照技术进展进行分类,内容包括:LiDAR 基础、LiDAR-only 里程计、LiDAR 惯性里程计、多 LiDAR 和与其他传感器的融合。

  • 本文探讨了 LiDAR 里程计中未解的挑战,提供了未来研究的见解和方向,通过解决这些挑战,希望推动提升 LiDAR 里程计的精度和鲁棒性。

  • 本文深入分析了现有的公共数据集,突出它们的独特特征。此外,我们还概述了相关研究中使用的评估指标,并呈现了基准测试结果。

介绍


仅使用 LiDAR 的里程计

仅使用 LiDAR 的里程计通过分析连续的 LiDAR 扫描来确定机器人的位置。这涉及使用扫描匹配技术,这是计算机视觉、模式识别和机器人学中广为人知的方法。根据扫描匹配的执行方式,LiDAR-only 里程计可分为三种类型:(1) 直接匹配,(2) 基于特征的匹配,(3) 基于深度学习的匹配。LiDAR-only 里程计文献的总结列于表 1 中。

直接匹配

直接匹配方法直接计算两次连续 LiDAR 扫描之间的变换,这是 LiDAR-only 里程计中最直接的实现方式。ICP(迭代最近点)算法是常用的技术,通过最小化误差度量(通常是匹配点对之间的平方距离和)来迭代估计变换。通过计算每对连续扫描之间的变换,得出机器人的里程计。然而ICP 算法存在一些缺点,包括易受局部最小值的影响,因此需要可靠的初始猜测。该算法对动态物体等噪声也很敏感。此外其迭代性质可能导致计算开销过大,有时会导致计算速度过慢。因此许多研究致力于提高 ICP 算法的性能以改善里程计精度。

TrimmedICP (TrICP) 通过使用最小修剪平方方法代替标准最小平方方法,改进了传统的 ICP 算法。此修改通过最小化一组具有最小平方残差的点的残差平方和,提高了计算速度和鲁棒性。Chen 和 Medioni提出的点到平面 ICP 通过结合现实场景中常见平面的信息,进一步优化了传统点到点 ICP 的性能。Generalized-ICP 在概率框架内整合了点到点 ICP 和点到平面 ICP,利用点的协方差在最小化步骤中进行优化。该方法保持了标准 ICP 的速度和简单性,同时对噪声和异常值表现出更强的鲁棒性。NICP在 Generalized-ICP 的基础上扩展,评估了 6D 空间中的距离,包括 3D 点坐标和测量向量中的相应表面法线。LiTAMIN和 LiTAMIN2通过点减少加速配准,并修改了传统 ICP 的代价函数,以实现更鲁棒的配准。

与 ICP 算法一起,Normal Distribution Transform (NDT) 算法提供了一种不需要建立点对应关系的替代方案。NDT 算法通过为点云创建正态分布来对齐两个点云,并基于空间概率函数内的似然性确定对齐点云的变换。Hong 和 Lee 通过引入概率 NDT 表示,改进了传统的 NDT 算法。他们为点样本分配概率,并结合计算的协方差来解决退化效应。研究表明,概率 NDT 在里程计估算中优于传统 NDT。尽管扫描到扫描的匹配算法取得了进展,但它们的精度本质上是有限的。因此,最近的 LiDAR 里程计工作主要通过扫描到地图匹配结合扫描到扫描匹配来估计机器人的姿态。IMLS-SLAM通过基于隐式移动最小二乘(IMLS)表示的扫描到地图匹配来估算里程计。DLO通过结合来自所选关键帧子集的点云,创建了用于扫描到地图匹配的子地图,这些关键帧包括形成凸包的点。传统的 LiDAR 里程计通常在接收到新的 LiDAR 点云时离散地计算里程计。相反,某些方法旨在模拟实际机器人的连续运动,建模连续轨迹。CT-ICP通过插值 LiDAR 扫描中各个点的位置,从起始姿态到结束姿态,并通过扫描到地图匹配来获得连续时间的里程计估算。

基于特征的匹配

LiDAR-only 里程计中的基于特征的方法提取 LiDAR 点云中的特征点,并利用它们来估算变换。仅使用特征点而不是整个点云可以提高计算速度和整体性能,并减少如噪声等异常值。基于特征的方法的主要挑战在于选择“良好”的特征点,以提高点云配准的性能。LOAM通过评估局部表面光滑度,识别出锋利的边缘点和平面表面片段点,并匹配它们以估算机器人的运动。在 LOAM 框架内的后续开发旨在通过优化特征点选择来提高性能。LeGO-LOAM利用点云分割技术将点分类为地面点或分割点,确保准确的特征提取。它利用地面点的平面特征和分割点的边缘特征来逐步确定六自由度(6DOF)的变换。

在日常环境中常见的平面特征引起了显著关注,因为它们可以很容易从 LiDAR 点云中提取。SuMa通过比较当前扫描的顶点和法线图与基于表面单元(surfel)的地图渲染出的图像来进行里程计估算。SuMa++ [24] 将来自 RangeNet++ 的语义信息整合到基于 surfel 的地图中,并使用语义 ICP,在 ICP 算法的目标函数中增加了语义约束。

基于深度学习的匹配

虽然直接和基于特征的方法在各种环境中表现出色,但它们在对应关系匹配方面经常遇到困难,保持特征的一致性并找到每次扫描之间的关系是解决这一挑战的关键。一些研究者正在探索深度学习方法,这些方法在有效解决这些问题上表现出潜力,LO-Net引入了一个扫描到扫描的 LiDAR 里程计网络,该网络预测法线,识别动态区域,并结合时空几何一致性约束来改进连续扫描之间的交互。LodoNet使用从 LiDAR 距离图像回投影匹配的关键点对(MKPs)到 3D 点云的过程。

激光雷达惯性里程计

激光雷达仅里程计具有高计算效率,不需要额外的传感器。然而,它无法完全解决第7节中详述的挑战。因此,近年来的激光雷达里程计通常会将激光雷达与IMU集成。IMU提供角速度和线性加速度测量,适合用于粗略的机器人运动估计,并在与激光雷达结合使用时提高位姿估计精度。

激光雷达惯性里程计根据激光雷达和IMU数据的融合方式分为两类:(1)松耦合和(2)紧耦合。

松耦合方法独立估计每个传感器的状态,随后结合这些状态并赋予权重,确定机器人的状态。这种方法具有高度的灵活性,因为它单独估计每个传感器的状态。这使得系统在面对传感器系统变化时,不需要对现有框架进行大规模修改,只需为新传感器模式创建合适的里程计模块。此外,它还允许为特定传感器分配权重,确保即使某个传感器表现不佳,里程计仍然可以利用其他传感器的数据。

另一方面,紧耦合方法则同时使用所有传感器的测量数据来估计机器人的状态。由于在里程计估计过程中引入了更多的约束,与松耦合方法相比,这种方法可能会产生更精确的里程计结果。然而,紧耦合方法的计算负荷较高,因为所有观测数据都必须一起处理。此外,如果某个传感器提供的观测数据质量较差,系统的鲁棒性可能会下降。

表2总结了激光雷达惯性里程计的相关文献。

松耦合和紧耦合方法在多传感器融合中有着不同的特点和应用场景。首先,松耦合方法通过独立估计每个传感器的状态,并根据权重将这些状态进行组合来确定机器人的位姿。其主要优势在于模块化和灵活性,由于各传感器的状态是独立估计的,因此当传感器系统发生变化时,只需对新传感器开发相应的里程计模块,而无需对现有框架进行大幅修改。此外,松耦合方法具有较高的鲁棒性,即使某个传感器表现不佳,系统仍然能够利用其他传感器的数据保持位姿估计的稳定性。典型的松耦合应用包括LOAM、LeGO-LOAM等,这些方法通过结合IMU校正激光雷达扫描畸变,增强了运动估计。然而,松耦合方法并未完全发挥多传感器间的协同作用,因此在复杂环境下其性能有限。

相比之下,紧耦合方法则在统一的框架内同时处理多个传感器的数据,充分利用各传感器之间的相互依赖性,从而大幅提升位姿估计的精度与鲁棒性。紧耦合方法通过引入更多约束条件,实现更高精度的位姿估计。与松耦合不同,紧耦合方法在数据处理时对所有传感器进行集成处理,能够更好地捕捉传感器之间的互补信息。比如,IMU预积分技术大大提升了融合效率和精度。典型应用包括Zebedee、LIO-SAM、IN2LAAMA等,它们通过图优化和高效的数据融合技术,增强了激光雷达与IMU的协同作用。然而,紧耦合方法尽管能提供更高的精度,却带来了更高的计算负荷,且对单一传感器的依赖性较大,若某传感器数据质量较差,可能影响整体性能。

总结而言,松耦合方法更具灵活性,适用于传感器系统变更或单一传感器性能下降的情况,且计算效率较高;而紧耦合方法则追求传感器之间的协同效果,提供更高的精度,但计算复杂度较大,并且对传感器质量的要求更高。两者的主要区别在于数据处理方式、灵活性和鲁棒性,以及在精度和计算负荷上的平衡。

多激光雷达惯性里程计

多激光雷达惯性里程计技术展示了极高的精度,然而某些激光雷达系统受限的视场(FOV)对状态估计带来了一定的挑战,阻碍了进一步的发展。此外,其他传感器的干扰可能会遮挡激光雷达视场内的区域,而某些固态激光雷达的不规则扫描模式由于点云稀疏性使得精确扫描注册更加困难。

为了应对单激光雷达系统带来的这些挑战,研究人员逐渐开始探索使用多激光雷达进行里程计估计。多激光雷达可以提供更广泛的扫描覆盖,减少其他传感器带来的干扰。此外,通过结合多个激光雷达的不同扫描模式,扫描注册的精度得到了提升,远超仅依赖于单个具有非重复扫描模式的激光雷达。

多激光雷达里程计的研究起步于M-LOAM(多激光雷达优化里程计)系统,该系统假设所有激光雷达同步运行,并从每个激光雷达中提取特征,进行数据汇总,进而估计机器人的状态。然而,使用PPS(每秒脉冲)进行激光雷达同步增加了复杂性,并且需要额外的硬件支持。而通过PTP(精确时间协议)实现时间同步,虽然可以统一时间标准,但仍然需要额外的工作以保证数据同步。另一种方法由Lin等人提出,他们采用去中心化扩展卡尔曼滤波器(EKF),为每个激光雷达单独运行多个EKF实例,该方法能够处理异步激光雷达,但并未完全利用来自所有激光雷达的联合测量,减少了多激光雷达的使用优势。

在使用每个激光雷达的独立测量结果进行状态估计时,单个激光雷达的遮挡可能会对后续的状态估计产生连锁反应。LOCUS系统假设所有激光雷达同步运行,但指出时间差异较大会导致状态估计失败。在后续研究中,他们通过丢弃延迟的扫描数据来提高系统的鲁棒性,虽然这种方法损失了一部分信息。M-LIO系统则通过信号关联处理激光雷达的异步性,但缺乏处理异步性导致的时间差异的补偿方法。

为了解决这些问题,研究人员引入了IMU(惯性测量单元)来校正异步激光雷达测量的时间差异,这与激光雷达惯性里程计中的IMU作用类似。Nguyen和Wang等人采用IMU传播来补偿多激光雷达之间的时间差异,他们从每个点云中提取边缘和平面特征,并将这些特征转换到与最新一次获取时间对齐的公共参考帧中。尽管这些方法成功地估计了机器人的轨迹,但它们也带来了额外的挑战。IMU传播是离散的,由于其频率问题,额外的线性插值可能会引入误差。此外,随着时间差异的增加,累积点云所需的时间也会增加,从而加重了对IMU状态传播的依赖。然而,随着时间的延长,IMU传播的精度会由于噪声而下降,进而影响里程计的精度。

为了应对离散IMU传播的挑战,MA-LIO系统采用了B样条插值代替线性插值,有效地补偿了时间差异。此外,Jung等人利用点云的不确定性,根据获取时间对点云施加惩罚,以解决IMU传播精度下降的问题。而SLICT系统则将每个激光雷达的点云视为连续流,只结合在指定时间间隔内捕获的点云,确保即使存在较大的时间差异,也能维持一致的累积时间。

通过使用多激光雷达进行里程计估计,可以解决单激光雷达配置的限制,提高系统性能。然而,诸如优化激光雷达的布置、增加计算负担,以及单激光雷达系统固有问题仍然存在。

与其他传感器的融合

激光雷达(LiDAR)在光照条件变化时表现出较强的鲁棒性,与视觉传感器不同;然而,它在恶劣环境中面临挑战。具体而言,激光雷达里程计在雨雪和灰尘等不良条件下获取准确测量时遇到困难。此外,激光雷达测量在几何特征有限或重复地形属性的区域(如长隧道或高速公路)中也很脆弱。这种易受影响性导致扫描匹配问题,负面影响状态估计的精度。为了解决这些限制,研究人员开始探索多传感器模态的集成,这成为当前研究的一个重要前沿。

RGB摄像头在捕捉细节方面相较于激光雷达传感器具有独特优势,特别是在几何特征稀缺的环境中,这种能力显得尤为重要。在这种情况下,将相机图像与激光雷达测量相结合可以显著增强状态估计的可靠性。Lin等人提出了R2live,这是一个紧密耦合的激光雷达-视觉-惯性里程计系统,它将基于高频率滤波的方法与低频率图优化相结合。高频率滤波器利用激光雷达、相机和IMU的测量,而因子图优化本地地图和视觉地标。LVI-SAM由两个协同工作的子系统组成:激光雷达-惯性系统(LIS)和视觉-惯性系统(VIS)。每个子系统估计的位姿作为另一个子系统的初始位姿。当VIS中的特征数量因激烈运动或光照变化而减少时,LIS才独立操作,这可能导致LIS失效。与R2live相似,R3live同样将激光雷达-惯性里程计(LIO)与视觉-惯性里程计(VIO)分开。LIO重建几何结构,而VIO重建纹理信息。所提出的VIO系统利用RGB彩色点云地图来估计状态,最小化光度误差,无需检测视觉特征,从而节省处理时间。Fast-LIVO通过直接注册点云而不提取特征来提高效率。此优化通过重用来自LIO和VIO子系统的点云实现,导致操作更快和系统整体效率提高。此外,LIC-fusion通过多状态约束卡尔曼滤波器(MSCKF)和在线多传感器校准,将稀疏的激光雷达特征与视觉特征融合。在连续时间SLAM的背景下,连续时间的激光雷达-视觉-惯性里程计也越来越受到关注。例如,Coco-LIC采用基于非均匀B样条的连续时间轨迹表示,紧密集成了激光雷达和相机数据。

RGB摄像头依赖于环境光照条件来捕捉图像,其性能在低光或恶劣天气条件下往往会下降。为应对这些挑战,红外波长范围内的热成像摄像头在光照变化的视觉退化环境中证明了其有效性。Rho等人在室内灾难场景中结合使用了立体热成像摄像头和激光雷达。此外,雷达和事件摄像头在恶劣环境条件下表现出强大的性能。热成像摄像头、雷达和事件摄像头与激光雷达结合使用,能够提供独特优势,为解决RGB摄像头的局限性提供了切实可行的替代方案。利用这些不同的传感器模态可以显著提高里程计的精度。

这些传感器模态不仅限于移动机器人或手持系统,还应用于腿部机器人。腿部机器人在应对颠簸地形和越过岩石或碎片等障碍物方面表现出色,利用其独特的跨越能力,使其非常适合执行搜索和救援任务、探索和灾后响应。VILENS系统结合了来自激光雷达、IMU、相机和基于关节运动学模型推导的腿部接触信息的测量。这种集成的传感器融合使系统能够在恶劣环境中实现准确的里程计。

将多传感器集成用于里程计为应对多样化环境条件提供了切实的解决方案。然而,这种方法也伴随计算需求,并引入了与每个传感器相关的特定问题。尽管传感器融合可以弥补单个传感器的局限性,但融合过程本身需要相当大的努力。这些局限性将在第7.5节中进一步探讨。随意的传感器融合可能不会导致最优的里程计解决方案。因此,在部署传感器融合之前,充分的规划和对每个传感器特定需求的准确理解是至关重要的。

迄今为止提出的激光雷达里程计分类可以组织成一个统一的流程,如图3所示。该图展示了如何将额外的传感器纳入激光雷达里程计系统,从而指导传感器使用和数据集成策略的确定。

图 3 激光雷达里程计流程。激光雷达里程计的通用框架可以大致分为三个阶段:预处理、初始估计和状态估计。在融入其他传感器时,它们的集成根据额外传感器数据的利用阶段分为松耦合或紧耦合。在状态估计阶段,经过优化的状态同时用于里程计和地图构建

挑战


激光雷达(LiDAR)里程计在移动机器人和自动驾驶汽车中的应用进展及存在的挑战。

1. 激光雷达里程计的进展

激光雷达里程计技术在高质量定位方面取得了显著进展,特别是在各种实际环境中得到验证。

2. 激光雷达固有问题

  • 大量数据:激光雷达生成的3D点云数据庞大,虽然提供了丰富的环境信息,但实时处理这些数据需要巨大的计算能力,给机器人领域带来挑战。

  • 运动失真:高速移动时,激光雷达的扫描可能会出现失真,影响数据的准确性。为了解决这一问题,通常需要使用补偿过程,如去倾斜(de-skewing),通过高频传感器(如IMU)对数据进行对齐。

  • 有限感知:激光雷达的视场相对较窄,且在特征稀缺或重复的环境中(如隧道)表现不佳。这导致在这些环境中,激光雷达扫描匹配中出现歧义,从而影响姿态估计的准确性。

3. 异构激光雷达

不同类型的激光雷达(如机械激光雷达和固态激光雷达)在特性上存在差异,可能需要不同的里程计方法。针对多种激光雷达的通用算法需求日益增长。

4. 退化环境

传统激光雷达依赖几何特征,缺乏足够的纹理和颜色信息,这在特征稀缺的环境中造成挑战。几项研究通过引入特征值和特征向量来定义退化因子,以改善状态估计。此外,利用激光雷达测量中的强度或反射率数据来增强状态估计,也被认为是克服退化环境的有效方法。

5. 模型与数据的不一致性

准确的定位依赖于对过程和观测模型的良好理解。激光雷达与IMU之间的运动模型假设差异可能导致不一致性,影响精度。因此,未来研究应集中于建立激光雷达和IMU之间的联系,以改进模型。


总结


这篇论文强调了激光雷达(LiDAR)里程计在机器人技术中的关键作用,突显了其对感知和导航的深远影响。我们的调查涵盖了几乎所有最近的LiDAR里程计进展, delineating其优缺点。LiDAR里程计的多功能性尤为明显,尤其是在GPS不可靠的环境中,使其在机器人导航和映射中至关重要。此外,本文还讨论了LiDAR里程计中仍然存在的挑战,探讨了该领域的潜在改进和未来方向,并介绍了各种数据集和评估指标。

尽管有大量的LiDAR里程计文献可供参考,但不幸的是,没有一种适合所有情况的解决方案。LiDAR里程计涉及资源与性能之间的权衡,用户需要根据特定应用需求和可用资源仔细考虑这些因素。对于计算能力较低的系统,尤其是低功耗单板计算机,在定义明确的环境中,使用仅LiDAR的方法可能是最佳选择。以松耦合方式整合惯性测量单元(IMU)可以在不显著增加计算需求的情况下提高结果。对于需要在各种环境中实现高精度的应用,建议采用紧耦合的多传感器方法。一般情况下,将LiDAR与IMU结合是一种平衡的选择。使用多个LiDAR系统可能有助于解决狭窄视场的问题。在纹理受限的场景中,结合摄像头可能是有利的。对于计算资源较丰富的用户,可以探索基于深度学习的LiDAR里程计所提供的高级功能。

资源

自动驾驶及定位相关分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

自动驾驶中基于光流的运动物体检测

基于语义分割的相机外参标定

综述:用于自动驾驶的全景鱼眼相机的理论模型和感知介绍

高速场景下自动驾驶车辆定位方法综述

Patchwork++:基于点云的快速、稳健的地面分割方法

PaGO-LOAM:基于地面优化的激光雷达里程计

多模态路沿检测与滤波方法

多个激光雷达同时校准、定位和建图的框架

动态的城市环境中杆状物的提取建图与长期定位

非重复型扫描激光雷达的运动畸变矫正

快速紧耦合的稀疏直接雷达-惯性-视觉里程计

基于相机和低分辨率激光雷达的三维车辆检测

用于三维点云语义分割的标注工具和城市数据集

ROS2入门之基本介绍

固态激光雷达和相机系统的自动标定







请到「今天看啥」查看全文


推荐文章
昆明警方发布  ·  接待游客1464.37万人次
22 小时前
昆明警方发布  ·  接待游客1464.37万人次
22 小时前
界面新闻  ·  丰田独资公司落户上海
昨天
奔波儿灞与灞波儿奔  ·  能这么做的,绝对是亲妈!
8 年前