0. 这篇文章干了啥？
对于自主机器人来说，准确且鲁棒的里程计估计是实现可靠导航的关键。基于激光雷达-惯性测量单元（LiDAR-IMU）的里程计算法由于紧密融合了LiDAR和IMU数据，能够准确地估计机器人姿态。基于IMU的约束可以使里程计估计在面对快速运动和短期点云退化时更加鲁棒。然而，对于特征缺失环境（如隧道和长走廊）中的长期点云退化问题，LiDAR-IMU里程计算法仍难以克服。在这种挑战性环境中，基于IMU的约束无法避免误差的累积，从而导致估计漂移和失真。
在LiDAR点云退化的环境中，轮式编码器可以提供可靠的约束，因为与IMU相比，轮式里程计估计可以通过积分误差提供更准确的运动预测。在基于IMU的里程计估计中，需要对加速度进行两次积分来计算平移位移，而轮式编码器则通过测量车轮角速度并仅进行一次积分来估算位移，这样累积的误差会更慢。因此，LiDAR-IMU-轮式里程计有潜力克服长期LiDAR点云退化的问题。
尽管差动驱动模型因其简单性常被用作轮式机器人的运动学模型，但该模型忽略了侧向运动和车轮打滑，因此无法准确表达此
向运动和车轮打滑对估计精度有很大影响，因为这种机器人模型通过左右车轮的不同角速度来使车轮打滑实现转向。此外，车轮打滑取决于地形条件，因此轮式里程计模型必须在线维护以适应各种环境。因此，对复杂运动学模型的在线校准对于创建可靠的基于轮式里程计的约束至关重要。
为了准确估计滑移转向机器人的运动学模型，我们之前的工作基于全线性模型进行了在线校准。具体而言，这项工作联合解决了在线校准问题和紧密耦合的激光雷达-惯性测量单元（IMU）-轮式里程计，使得基于校准模型的机器人运动、基于激光雷达的运动和基于IMU的运动保持一致。然而，由于将机器人运动模型视为线性，该线性模型无法表达机器人模型中的非线性（例如，在高速运行时的大车轮滑动）。为了克服非线性引起的误差，一个自然的方法是引入基于神经网络的机器人运动模型。但是，虽然严格的轮式里程计模型依赖于地形相关参数（如摩擦系数和滑动率），但离线训练的网络无法表达这些参数以适应地形条件的变化。
在本研究中，我们提出了一种紧密耦合的激光雷达-IMU-轮式里程计算法，该算法结合了在线训练神经网络来推断滑移转向机器人的运动学模型。通过在线训练，所提出的网络能够适应当前的地形条件，同时由于其非线性表达能力而实现准确的运动预测。我们在统一的因子图上以紧密耦合的方式联合解决了网络的在线训练和激光雷达-IMU-轮式里程计问题。
在本工作中，我们专注于将所提出的方法应用于滑移转向机器人，因为识别这种机器人类型的复杂模型既困难又有价值；然而，所提出的方法也可以应用于其他机器人平台，以准确捕捉每个运动学模型的非线性。
下面一起来阅读一下这项工作~
1. 论文信息
标题：Tightly-Coupled LiDAR-IMU-Wheel Odometry with an Online Neural Kinematic Model Learning via Factor Graph Optimization
作者：Taku Okawara, Kenji Koide, Shuji Oishi, Masashi Yokozuka, Atsuhiko Banno, Kentaro Uno, Kazuya Yoshida
机构：Tohoku University、AIST
原文链接：https://arxiv.org/abs/2407.08907v2
代码链接：https://paperswithcode.com/paper/tightly-coupled-lidar-imu-wheel-odometry-with-1
2. 摘要
在缺乏几何特征的环境（如隧道和长直走廊）中，基于激光雷达（LiDAR）的里程计算法面临挑战，因为这些环境中的LiDAR点云会退化。对于轮式机器人而言，轮式运动学模型（即轮式里程计）可以提高里程计估计的可靠性。然而，在滑移转向机器人（skid-steering robots）的情况下，该运动学模型会受到复杂运动（如车轮打滑、侧向移动）的影响，特别是因为这种机器人模型通过车轮打滑进行旋转。此外，当车轮打滑严重时（如漂移），这些误差会呈现非线性变化，并受到地形相关参数的影响。为了同时解决点云退化和运动学模型误差问题，我们开发了一种结合神经网络在线训练的LiDAR-IMU-wheel里程计算法，该神经网络学习具有非线性的轮式机器人运动学模型。我们提出在因子图上与机器人状态一起在线训练神经网络，使基于学习的运动学模型能够适应当前的地形条件。所提出的方法在统一的因子图上同时解决神经网络的在线训练和LiDAR-IMU-wheel里程计算法，以保持所有约束的一致性。通过实验，我们首先验证了所提出的神经网络能够适应不断变化的环境，从而在不同环境中实现准确的里程计估计。然后，我们确认了所提出的里程计估计算法对于点云退化和运动学模型的非线性（如漂移导致的大车轮打滑）具有鲁棒性。
3. 效果展示
4. 主要贡献
我们总结了本工作的贡献如下：
为了应对恶劣条件，如点云退化和滑移转向机器人的非线性运动学行为，我们提出了一种紧密耦合的激光雷达-IMU-轮式里程计算法，该算法结合了神经网络的在线训练来描述滑移转向机器人的运动学模型。神经网络可以隐式地表达运动学模型的非线性；因此，这种基于学习的运动约束可以灵活地适应当前的地形条件。
为了在在线训练速度和估计准确性之间取得平衡，我们设计了网络以结合在线学习模型和离线学习模型。离线学习模型表达固定特征（即与地形无关的项），而在线学习模型描述动态变化的特征（即与地形相关的项）。
推荐学习：
零基础入门ROS-SLAM小车仿真与实践[理论+仿真+实战]
我们提出了神经自适应里程计因子，以直接在因子图上优化网络的在线学习模型，从而使基于在线学习的运动约束和激光雷达-IMU-轮式里程计保持一致。
5. 基本原理是啥？
所提框架概述。我们基于紧密耦合的方式，在统一的因子图上同时解决了神经网络的在线训练以及激光雷达（LiDAR）、惯性测量单元（IMU）和轮式里程计的数据融合问题。为了在计算成本和推理精度之间取得平衡，我们设计了神经网络，将其分为离线学习模型和在线学习模型。此外，我们在之前工作的基础上进行了扩展，引入了神经自适应里程计因子，该因子通过基于学习的运动模型和在线学习模型的训练来提供运动约束。
6. 实验结果
表4展示了所有方法的绝对轨迹误差（ATE）和相对轨迹误差（RTE）。同时，我们在图1中展示了轨迹比较结果。根据这些结果，在ATE和RTE方面，由于神经自适应里程计因子的引入，该方法（Ours）在所有序列中均优于其他方法，该因子能够捕捉运动模型的非线性特性以适应当前的地形条件。当激光雷达在所有序列中仅指向墙壁时，由于点云退化，FAST-LIO2失败。LIWO/线性模型在线校准和FAST-LIO-Multi-Sensor-Fusion因存在如漂移（在图1-(a)走廊的每个角落发生）和在粗糙地形中连续左右转弯（在图1-(c)的草地中发生）等非线性问题而受到影响，因为这些方法都是基于滑移转向机器人的线性运动模型来创建约束的。与其他比较方法相比，我们的方法（无在线学习）大约捕捉到了非线性特性。然而，我们的方法（无在线学习）无法适应地形变化，因此与采用在线学习的所提方法相比，估计轨迹的比例不一致（尤其是图1-(b)、(c)）。在所有序列中，我们方法的ATE（序列1：1.07m；序列2：0.25m；序列3：0.41m）比基于固定网络（即批量学习而非在线学习）约束的方法的ATE（序列1：3.29m；序列2：0.59m；序列3：0.99m）高出两倍以上。
7. 总结 & 未来工作
我们提出了一种结合神经网络在线训练的LiDAR-IMU-轮式里程计算法，用于推断滑移转向机器人的运动模型。我们设计的网络包括离线学习模型和在线学习模型。离线学习模型使用八种地形类型的数据集进行离线训练，以学习与地形无关参数相关的特征。相比之下，在线学习模型则通过神经自适应里程计因子与统一因子图上的LiDAR-IMU-轮式里程计进行训练，以确保与所有约束条件的一致性。我们展示了由于网络设计，所提出的网络比未针对每种地形条件进行适当适应的其他网络更准确。我们将所提出的里程计估计算法与最先进的方法进行了比较。由于基于神经网络的约束能够表达滑移转向机器人运动模型的复杂非线性（例如，如漂移等严重车轮打滑），因此所提出的方法优于这些方法。
在未来的工作中，我们计划提高网络的通用性，使其能够适应除地形条件变化外的任何类型的轮式机器人模型（例如，与离线训练阶段使用的机器人具有不同尺寸和机制的机器人）。我们需要通过实现具有GPU加速的在线自适应里程计因子（即在线学习），来扩大网络规模以增强其表达能力。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
3D视觉知识星球
「
3D视觉从入门到精通
」知识星球，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
