点击下方
卡片
，关注“
3D视觉之心
”公众号
>>
点击进入→
3D视觉之心技术交流群
0. 论文信息
标题：LIR-LIVO: A Lightweight,Robust LiDAR/Vision/Inertial Odometry with Illumination-Resilient Deep Features
作者：Shujie Zhou, Zihao Wang, Xinye Dai, Weiwei Song, Shengfeng Gu
原文链接：https://arxiv.org/abs/2502.08676
代码链接：https://github.com/IF-A-CAT/LIR-LIVO
1. 导读
在这篇论文中，我们提出了LIR-LIVO，一种轻型和鲁棒的激光雷达-惯性-视觉里程计系统，专为具有挑战性的照明和退化环境而设计。所提出的方法利用了基于深度学习的光照弹性特征和激光雷达-惯性-视觉里程计(LIVO)。通过采用先进的技术，如通过与激光雷达点云的深度关联实现的特征的均匀深度分布，以及利用Superpoint和LightGlue的自适应特征匹配，LIVO利沃以低计算成本实现了最先进的(SOTA)精度和鲁棒性。实验在基准数据集上进行，包括NTU病毒、Hilti'22和R3LIVE数据集。相应的结果表明，我们提出的方法在标准数据集和挑战数据集上都优于其他SOTA方法。特别地，所提出的方法在Hilti’22数据集中在较差的环境光照条件下展示了稳健的姿态估计。这项工作的代码可以在GitHub上公开访问，以促进机器人社区的进步。
2. 效果展示
LIR-LIVO在Hilti'22序列“Exp16 Attic to Upper Gallery 2”上的3D点云建图结果。该序列被归类为“闲难”难度级别。
3. 主要贡献
-
提出了一种坚固、轻便、光复原的
LiDAR
惯性视觉里程测量系统，用于LiDAR和视觉挑战环境中的任务。LiDAR、视觉和惯性传感器使用迭代
卡尔曼滤波器
在测量层面紧密融合，其中LiDAR 扫描点云为视觉特征提供精确的深度信息
2)该系统利用基于深度学习的Super-Point算法进行自适应视觉特征提取，以及LightGlue算法进行高效特征匹配。它们在显著光照变化下的卓越鲁棒性极大地提高了VIO子系统的恢复能力，确保了在视觉退化环境下的可靠性能。
3)VIO子系统，设计为轻量级组件，在激光雷达深度关联的帮助下，消除了维护和更新视觉3D地标和子地图的必要性。它只在滑动窗口内维护有限数量的历史关键帧，以构建重投影误差进行优化。优化的特征点深度分布也被应用于增强姿态估计。
4)拟议系统的实施已在GitHub上开源，以鼓励社区参与并推进相关领域的研究。
4. 方法
图2显示了我们的系统的概述，它由两个主要组件组成:一个基于直接方法的激光雷达模块，具有与相机帧的时间同步，以及具有深度学习前端特征的轻量级视觉模块。使用Sweep重组来同步激光雷达帧和相机帧的时间戳.因此，ESIKF过程通过顺序更新执行，使激光雷达更新的姿态成为视觉处理的高精确度先验。超点和 LightGlue 用于构建视觉前端，特征点深度直接与LiDAR点云相关联。在此过程中，特征点的深度过滤以确保均匀的深度分布。对于激光雷达点云管理，我们采用与FAST-LIO 2相同的策略，利用ikd-Tree我们不是直接为视觉维护3D地标地图，而是将每个帧的特征点及其相应的深度存储在相应相机，帧的数据结构中，同时使用滑动窗口维护固定数量的相机帧。点-平面误差和重投影误差分别用于激光雷达和视觉中的姿态估计。
