替代Fast-LIO？全新开源LIR-LIVO：轻量、鲁棒的LiDAR-视觉-惯性里程计！

0. 论文信息

标题：LIR-LIVO: A Lightweight,Robust LiDAR/Vision/Inertial Odometry with Illumination-Resilient Deep Features

作者：Shujie Zhou, Zihao Wang, Xinye Dai, Weiwei Song, Shengfeng Gu

原文链接：https://arxiv.org/abs/2502.08676

代码链接：https://github.com/IF-A-CAT/LIR-LIVO

1. 导读

在这篇论文中，我们提出了LIR-LIVO，一种轻型和鲁棒的激光雷达-惯性-视觉里程计系统，专为具有挑战性的照明和退化环境而设计。所提出的方法利用了基于深度学习的光照弹性特征和激光雷达-惯性-视觉里程计(LIVO)。通过采用先进的技术，如通过与激光雷达点云的深度关联实现的特征的均匀深度分布，以及利用Superpoint和LightGlue的自适应特征匹配，LIVO利沃以低计算成本实现了最先进的(SOTA)精度和鲁棒性。实验在基准数据集上进行，包括NTU病毒、Hilti'22和R3LIVE数据集。相应的结果表明，我们提出的方法在标准数据集和挑战数据集上都优于其他SOTA方法。特别地，所提出的方法在Hilti’22数据集中在较差的环境光照条件下展示了稳健的姿态估计。这项工作的代码可以在GitHub上公开访问，以促进机器人社区的进步。

2. 效果展示

LIR-LIVO在Hilti'22序列“Exp16 Attic to Upper Gallery 2”上的3D点云建图结果。该序列被归类为“闲难”难度级别。

3. 主要贡献

1. 提出了一种坚固、轻便、光复原的LiDAR惯性视觉里程测量系统，用于LiDAR和视觉挑战环境中的任务。LiDAR、视觉和惯性传感器使用迭代卡尔曼滤波器在测量层面紧密融合，其中LiDAR 扫描点云为视觉特征提供精确的深度信息

2)该系统利用基于深度学习的Super-Point算法进行自适应视觉特征提取，以及LightGlue算法进行高效特征匹配。它们在显著光照变化下的卓越鲁棒性极大地提高了VIO子系统的恢复能力，确保了在视觉退化环境下的可靠性能。

3)VIO子系统，设计为轻量级组件，在激光雷达深度关联的帮助下，消除了维护和更新视觉3D地标和子地图的必要性。它只在滑动窗口内维护有限数量的历史关键帧，以构建重投影误差进行优化。优化的特征点深度分布也被应用于增强姿态估计。

4)拟议系统的实施已在GitHub上开源，以鼓励社区参与并推进相关领域的研究。

4. 方法

图2显示了我们的系统的概述，它由两个主要组件组成:一个基于直接方法的激光雷达模块，具有与相机帧的时间同步，以及具有深度学习前端特征的轻量级视觉模块。使用Sweep重组来同步激光雷达帧和相机帧的时间戳.因此，ESIKF过程通过顺序更新执行，使激光雷达更新的姿态成为视觉处理的高精确度先验。超点和 LightGlue 用于构建视觉前端，特征点深度直接与LiDAR点云相关联。在此过程中，特征点的深度过滤以确保均匀的深度分布。对于激光雷达点云管理，我们采用与FAST-LIO 2相同的策略，利用ikd-Tree我们不是直接为视觉维护3D地标地图，而是将每个帧的特征点及其相应的深度存储在相应相机，帧的数据结构中，同时使用滑动窗口维护固定数量的相机帧。点-平面误差和重投影误差分别用于激光雷达和视觉中的姿态估计。 推荐课程： 扩散模型入门教程：数学原理、方法与应用 。

5. 实验结果

6. 总结 & 未来工作

本文介绍了一种名为LIR-LIVO的新型激光雷达-惯性-视觉里程计系统，旨在解决激光雷达信号退化和环境照明条件复杂带来的挑战。所提出的系统结合了激光雷达深度关联与均匀深度分布、基于深度学习的视觉特征和轻量级视觉子系统，以实现高效和稳健的状态估计。对基准数据集的综合评估表明，LIR-LIVO在激光雷达退化环境中表现更佳。今后的工作将探索为资源受限的平台整合其他传感器模式和优化实时性能。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，已沉淀6年，星球内资料包括： 秘制视频课程近20门 （包括 结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云 等）、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码