专栏名称: 3DCV
关注工业3D视觉、SLAM、自动驾驶技术,更专注3D视觉产业的信息传播和产品价值的创造,深度聚焦于3D视觉传感器、SLAM产品,使行业产品快速连接消费者。
目录
相关文章推荐
Alisha全球出海日记  ·  他好棒 ·  昨天  
冯唐  ·  3个防止你上头的“人性潜规则” ·  4 天前  
洞见  ·  一个人最大的本事:熬 ·  5 天前  
光明日报  ·  大腕云集,只为这场盛典 ·  3 天前  
51好读  ›  专栏  ›  3DCV

革命性的开源LiDAR SLAM!兼容任何场景和地图格式!精度超越全部SOTA!

3DCV  · 公众号  ·  · 2024-08-09 11:00

正文

点击下方 卡片 ,关注 「3DCV」 公众号
选择 星标 ,干货第一时间送达

编辑:3DCV

添加小助理:dddvision,备注:方向+学校/公司+昵称,拉你入群。文末附3D视觉行业细分群。

扫描下方二维码,加入 3D视觉知识星球 ,星球内凝聚了众多3D视觉实战问题,以及各个模块的学习资料: 近20门视频课程(星球成员免费学习) 最新顶会论文 、计算机视觉书籍 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研,欢迎扫码加入!

0. 这篇文章干了啥?

三维激光雷达(LiDAR)是当代移动机器人、自动驾驶汽车和无人机(UAV)中最广泛使用的传感器之一。尽管视觉和雷达也是相关技术,并可能对许多任务至关重要,但由于一系列固有的优势,如直接且准确的宽视场三维感知、对不同阳光条件的鲁棒性、以及减少获取密集点云的计算需求等,LiDAR在未来几年内很可能仍然是核心传感器。在LiDAR传感的所有潜在应用中,本工作重点研究姿态跟踪和建图问题。我们将定位称为在保持不变的环境模型上进行姿态跟踪。在未知环境中的定位则成为众所周知的同时定位与建图(SLAM)问题。当仅保留最近观察到的环境部分时,则使用里程计一词,因此,我们将能够识别回环闭合的方法归为SLAM类别。也就是说,里程计方法提供了短期内相对运动的局部准确估计,而SLAM还必须确保轨迹和世界模型的全局一致性。

因此,当LiDAR是里程计系统中唯一的传感器时,它被称为LiDAR里程计(LO)。本工作提出的主要组件属于这一类。LO可以单独使用,也可以作为更大系统的一部分,从而实现完整的度量SLAM或多机器人SLAM系统。在文献中,我们可以看到如何将其他传感器成功集成到LO中,从而产生了LiDAR惯性里程计(LIO)、视觉惯性里程计(VIO);或视觉LiDAR惯性里程计(VLIO)。然而,我们将展示,对于实践中发现的大多数条件,我们的系统能够仅依靠LiDAR实现良好的性能和准确性,尽管通过多模态传感器融合可能会获得更好的结果。

本文提出,里程计(LO)和即时定位与地图构建(SLAM)系统可以构建成最大化其组件可重用性的方式,从而使系统更加灵活,更容易被终端用户修改,同时也允许构建的世界模型(“地图”)能够最大限度地减少相对于原始传感器数据的信息丢失。这些目标产生了两个核心思想:(i)里程计和SLAM管道及其相关数据结构应该被重构为最小的可重用组件,允许通过将它们连接在一起并设置参数来从头开始构建整个系统,这类似于通过堆叠预建元素来设计深度神经网络(DNN);(ii)不考虑特定LO或SLAM系统使用的特定地图类型或特征,最通用的地图数据结构是基于视图的地图(在我们的框架中称为simplemaps),其中保留了一组稀疏的关键帧及其基本信息,例如原始传感器观测值、车辆的运动状态等。基于视图的SLAM一词最早出现于2000年代;Konolige等人,尽管该思想可以追溯到具有开创性工作的Lu和Milios,该工作为极为成功的Graph-SLAM映射方法奠定了基础。在基于图的SLAM中保留原始传感器信息的这一思想的最新应用可见于谷歌的Cartographer开源实现中,尽管在原始出版物中并未提及。

因此,基于上述两个思想,我们为社区提供了一个开源的软件生态系统。请注意,所展示的算法均未基于学习方法,尽管该框架的模块化特性允许将其作为未来工作进行整合。

下面一起来阅读一下这项工作~

1. 论文信息

标题:A flexible framework for accurate LiDAR odometry, map manipulation, and localization

作者:José Luis Blanco-Claraco

机构:University of Almer´ıa

原文链接:https://arxiv.org/abs/2407.20465v1

代码链接:https://github.com/MOLAorg/mola

2. 摘要

基于光探测和测距(LiDAR)的同时定位与地图构建(SLAM)是自动驾驶汽车和机器人的核心技术。尽管该领域的研究活动非常密集,但每个提出的系统都采用了特定的传感器后处理流程和单一的地图表示格式。本工作的目标是引入一种革命性的三维LiDAR SLAM和定位观点:(1)使用基于视图的地图作为地图的基本表示(“简单地图”),然后可以将其用于生成针对特定任务(如避障、实时定位等)优化的任意度量地图;(2)引入一个新框架,其中可以在不编写代码的情况下定义映射流程,通过定义可重用块网络的连接来实现,这类似于通过连接标准化元素的层来设计深度学习网络。此外,还引入了将当前线性和角速度向量作为迭代最近点(ICP)循环中要优化的变量的想法,从而在无惯性测量单元(IMU)的情况下,对激进的运动轮廓具有更强的鲁棒性。本文发布的开源生态系统已集成到ROS 2中,其核心组件被命名为MOLA-LO(MOLA LiDAR里程计),包括从数据采集到地图编辑和可视化、实时定位、闭环检测或利用消费级全球导航卫星系统(GNSS)接收器进行地图地理参照的工具和预建流程。广泛的实验验证表明,该方案与先前的最先进(SOTA)LiDAR里程计系统相比,表现相当或更优,并成功绘制了一些其他系统无法处理的复杂序列。提出的自适应配置已用于所有16至128环传感器的三维LiDAR数据集,无需更改参数,并在超过250公里的自动驾驶、手持、空中和四足LiDAR数据集(包括室内和室外、单个或多个同时LiDAR扫描仪)的83个序列上进行了广泛测试。此外,还提供了针对二维LiDAR和无人机的额外专用流程,以展示该框架的灵活性。能够处理更多种类的机器人数据集本身也成为了一个有价值的工具,有助于对SLAM和感知解决方案进行基准测试。开源实现可在https://github.com/MOLAorg/mola上在线获取。

3. 效果展示

4. 主要贡献

综上所述,本工作的主要贡献包括:

• 提供了一个软件生态系统,该系统包含可重用的组件,用于构建无需编码的点云处理管道,包括体素地图的生成、占用率2D或3D网格地图的生成、特征检测等。

• 提供了一个针对3D激光雷达的里程计(LO)参考管道,该管道已在80多个公共数据集序列中经过充分测试。

• 提供了一种将车辆速度轻松集成到迭代最近点(ICP)循环中的方法,以实现最佳云去畸变(在每个传感器扫描期间遵循恒速假设)。

• 提供了一种简单方法,使ICP能够考虑先前的不确定性,包括来自恒速运动模型或其他里程计来源(如轮速编码器)的不确定性。

• 提供了一种闭环算法,用于从LO结果中生成全局一致的地图,并可选择性地包括地理参考。

• 提供了一个统一的API(应用程序编程接口),用于访问各种机器人数据集,从而简化和促进SLAM方法的基准测试。

5. 基本原理是啥?

为了实现引言中定义的目标,我们定义了如图2所示的基本模块。

其中,我们定义了三种基本的过程模块或算法。首先,我们有里程计和回环检测子系统。将SLAM分解为里程计(“局部建图”)和回环检测(“全局建图”)的思想可以追溯到使用PTAM的视觉SLAM社区,并且这一思想已被大多数后续成功的视觉SLAM解决方案(如RTAB-Map、ORB-SLAM)或激光雷达SLAM(如Cartographer)所采用。

其次,我们定义了通用度量建图管道作为我们框架中的核心元素之一,因为它们不仅被用作里程计和回环检测的构建块,还有其他额外应用。它们可以被视为在数据驱动网络中作为处理节点的算法的任意组合,其中数据是度量地图。它们的最终目标是将原始传感器数据(或先前的度量地图)作为输入,并对其进行处理以创建新的度量地图(或修改现有的度量地图)。

图2中定义的算法的输入和输出是数据相关元素:

原始传感器数据源:这代表传感器数据的来源,可以是实时设备或离线数据集。现实应用通常会使用前者,而基准测试和开发则主要为了方便使用后者。

度量地图:文献中现有的大多数方法使用单一的度量地图表示,而其他方法则维护两种(例如,LOAM)及其大多数衍生作品中的角点和平面点)。本文提出允许定义任意一组度量地图表示和数据结构实现。其中一些在实时映射中更为有用,另一些在地图后处理或闭环中更为有用,还有一些用于避障等。

基于视图的地图:在我们的实现中,它们被称为“simple-maps”,包含所有传入原始传感器数据的一个子集,这些数据根据里程计或SLAM方法估计的姿态进行同步和配对,以形成关键帧。

轨迹:轨迹t简单地是一组n个带有时间戳的SE(3)姿态的集合,对于时间步ti,其中i=1,...,n:t = {(t1, T1), ..., (tn, Tn)}其中,遵循用于姿态的RIGID表示法,wTi ≡ Ti表示车辆局部参考系相对于世界(w)的第i个SE(3)姿态,即全局坐标。

我们可以介绍所提议的LO模块的架构。请参见图4。在图中,q[k]表示车辆在离散时间步k时的运动状态,包括车辆本体(“b”)相对于局部地图的姿态Tb ∈ SE(3)、线性速度vb和角速度ωb。此外,请记住,对于2D或3D映射,无论是作为2D网格图还是3D点云等的局部地图,该架构都保持不变。

算法1中概述了所提议的ICP方法的逐步描述,接下来将进行解释,其中为了清晰起见,省略了许多低级细节。总体而言,原始ICP方法中的“I”(迭代)仍然是解决此类强非线性问题(如注册两个具有未知配对的度量图)所需的基本特征。循环会一直重复,直到达到以下两个条件之一:达到最大迭代次数Nmax(伪代码中的第9行)或收敛(伪代码中的第23行)。成功的注册最终大多以收敛结束,因此将Nmax设置为足够大的数(Nmax ≥ 300),以避免不必要的搜索中断。

6. 实验结果

这个多模态数据集包括Ouster OS1-64激光雷达数据、消费级全球导航卫星系统(GNSS)以及12个驾驶序列的精确真实值=。所有序列都包含多个闭环,除了最长的序列(Sejong{01,02,03})只包含一个闭环外,尽管在所有基准数据集中,这是最长的闭环(>20公里)。我们将我们的里程计(LO)系统与其默认配置进行了比较,并与另外两种最先进的LO方法进行了对比:使用默认设置的KISS-ICP=和使用针对该数据集优化的参数集的SiMpLE。为这两种方法提供了MOLA包装器,以便在相同的API方面提供公平的比较,以提供输入原始数据并收集估计轨迹。MulRan的MOLA数据集源负责移除每个序列开始或结束时没有关联真实值的激光雷达扫描。这样,除了绝对位置误差(APE)外,我们还可以使用KITTI评估指标(相对平移误差RTE和相对旋转误差RRE)。我们的LO系统不使用消费级GNSS观测值,但在应用闭环后处理阶段时会使用。

图13展示了我们的方法生成的样本轨迹,并与真实值(GT)进行了比较。可以看出,闭环输出的结果与真实值几乎无法区分。

表2提供了定量基准,其中列出了所有三个指标(RTE、RRE、APE)以及每个激光雷达扫描的平均运行时间(在Intel i7-8700 3.20GHz上测量)。所有LO方法的运行时间都远低于传感器速率(10 Hz),因此它们都能够实时地在车载设备上运行。一个有趣的观察结果是,对于给定的序列,并不总是存在表现最佳的方法,因为不同的方法可能只在给定的一个指标上具有最低值:LO方法的排名会根据感兴趣的指标而有所不同。话虽如此,对于此数据集,我们可以看到SiMpLE明显优于其他方法,而我们的系统则位居第二。因此,SiMpLE的特殊优化函数值得进一步研究,以探索其明显的优越鲁棒性。抛开排名不谈,这三种方法在此数据集上的表现都很好,微小的性能差异可能在实际机器人应用中并不相关,因为通常需要一个完整的SLAM解决方案。我们的SLAM版本(在表中反映为“MOLA LO+LC”)显然比纯LO方法取得了更好的结果,因此其值没有用粗体标记,因为该方法在性质上是不同的。

7. 总结 & 未来工作

本文介绍了一个整体框架,旨在填补机器人社区在利用3D激光雷达进行灵活地图构建和编辑方面的需求空白。已经证明,所提出的里程计(LO)和即时定位与地图构建(SLAM)系统在估计轨迹精度和防止发散的鲁棒性方面,能够与其他最先进的(SOTA)方法相媲美或优于它们。该框架的大部分内容都作为开源软件提供。目前的工作为未来留下了许多研究课题:(i) 对不同的度量地图数据结构进行基准测试,以找出最适合每个问题的结构(例如,实时LO与无地图定位);(ii) 设计新的管道模块,以实现点云的智能采样,从而同时实现更快、更准确的LO;(iii) 设计适合高效深度相机里程计的替代管道,这里仅列举其中几个。

对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

本文仅做学术分享,如有侵权,请联系删文。

3D视觉交流群,成立啦!

目前我们已经建立了3D视觉方向多个社群,包括 2D计算机视觉 最前沿 工业3D视觉 SLAM 自动驾驶 三维重建 无人机 等方向,细分群包括:

工业3D视觉 :相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM :视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶:深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 :3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 :四旋翼建模、无人机飞控等

2D计算机视觉 :图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 :具身智能、大模型、Mamba、扩散模型等

除了这些,还有 求职 硬件选型 视觉产品落地、产品、行业新闻 等交流群

添加小助理: dddvision,备注: 研究方向+学校/公司+昵称 (如 3D点云+清华+小草莓 ), 拉你入群。

▲长按扫码添加助理:cv3d008







请到「今天看啥」查看全文