在资源受限平台上运行FAST-LIVO2

本文提出了一种针对资源受限平台优化的轻量级激光雷达-惯性-视觉里程计系统。该系统将一个关注退化的自适应视觉帧选择器集成到误差状态迭代卡尔曼滤波器（ESIKF）中，并采用顺序更新方法，显著提高了计算效率，同时保持了类似的鲁棒性。此外结合局部统一的视觉-激光雷达地图和长期视觉地图的内存高效映射结构，在性能和内存使用之间实现了良好的折衷。在x86和ARM平台上的大量实验表明该系统的鲁棒性和效率。在Hilti数据集上，与FAST-LIVO2相比，我们的系统每帧运行时间减少了33%，内存使用降低了47%，RMSE仅增加了3厘米。尽管存在轻微的精度折衷，我们的系统仍具有竞争力，超越了如FAST-LIO2等最先进的LIO方法以及大多数现有的LIVO系统。这些结果验证了该系统在资源受限的边缘计算平台上可扩展部署的能力。

随着机器人应用扩展到轻量化和便携式平台（例如无人机、自动驾驶车辆和物联网设备），在边缘计算平台上部署里程计变得越来越重要。边缘平台，如ARM架构，具有能源效率高和广泛应用于嵌入式系统等优点，使其成为可扩展且具有成本效益的解决方案。然而由于计算能力、内存和能源效率的限制，传统的里程计框架在确保资源高效性能方面面临着重大挑战。尽管如此，边缘计算为实时里程计带来了独特的好处，如通过本地数据处理减少延迟和网络依赖。为了充分利用这些优势，我们改进了LIVO系统的现有状态，即FAST-LIVO2，通过减少其计算和内存开销，同时保持其鲁棒性和性能。与FAST-LIVO2相比，本文工作的主要贡献如下：

• 激光雷达退化感知的自适应视觉更新：我们没有直接使用所有可用的视觉测量数据，而是将一个激光雷达退化感知的自适应视觉帧选择器集成到FAST-LIVO2的ESIKF框架中，显著减少了计算负担，同时保持了类似的里程计精度。

• 内存高效的混合地图结构：我们提出了一种混合地图结构，结合了紧凑的局部视觉-激光雷达地图和长期视觉地图。后者存储稀疏的历史图像观测，以确保里程计的鲁棒性，而前者则保持在显著更小的规模，从而减少内存开销。此外，当激光雷达约束足够时，自适应视觉更新最小化了添加到地图中的视觉特征，进一步降低了内存使用。

• 广泛的实验验证和数据集开源：验证在公共和私人数据集上进行，其中私人数据集包含更具挑战性和激进的场景。这些私人数据集将被开源，惠及社区。实验在x86个人笔记本和成本效益高的ARM设备上进行，展示了优越的效率。

图1. 低功耗ARM平台上的实时实验概述。
(a) 用于测试的ARM平台RK3588，具有八核架构（4× Cortex-A76 + 4× Cortex-A55），最大频率为2.4GHz，价格约为100美元。
(b) 用于测试的夜间街道场景的点云，橙色轨迹表示收集的路径。
(c) 系统的每帧运行时间详细统计数据，数据输入来自激光雷达和相机，频率为10 Hz（每帧100毫秒）。

系统概述如图2所示。在观测层面，作为该系统的输入，高频原始激光雷达点云通过扫描重组被分割成不同的扫描。为了优化计算效率，自适应视觉帧选择器根据环境约束动态选择图像，使我们的退化感知里程计能够自适应地分配计算资源。对于状态估计，作者构建了特定的残差，包括激光雷达点到平面的残差和光度误差，并通过带有顺序更新的ESIKF紧密耦合所有传感器测量值。在建图层面，通过对新观测数据的高效集成、滑动操作和视觉特征重排，维持了一个以机器人为中心的紧凑统一局部地图和一个轻量级的长期视觉地图，从而确保了内存效率和鲁棒的性能。

图2. 系统概述。在右下方详细展示体素数据的图中，虚线椭圆圈定了被认为位于平面上的点，且这些点具有不同的尺度。

方法论

之前的工作 FAST-LIVO2建立了多传感器（激光雷达-惯性-视觉）集成的核心框架，包括状态定义、离散过渡模型、激光雷达-视觉地图管理和通过融合相机与激光雷达测量进行状态估计。在此基础上，本工作聚焦于构建一个在资源受限平台上部署的轻量级LIVO系统。因此，本文强调了在实现计算高效的状态估计和节省内存的地图方面的贡献。

首先介绍激光雷达退化评估方法，然后介绍自适应视觉帧选择器，使得基于ESIKF的状态估计更加高效，如图3所示。

图 3. 具有自适应视觉帧选择器的顺序更新 ESIKF 说明

激光雷达退化评估：首先采用了一种方法来评估激光雷达数据的退化情况。对于每一次激光雷达扫描，系统会将获得的点云数据进行处理，假设这些点位于某一平面上。然后通过计算这些点与其理想平面之间的差异，评估激光雷达数据是否出现退化。一般来说，激光雷达数据的退化通常表现为环境的平移自由度（例如位置）受限，而旋转自由度可能出现退化，这通常发生在特殊的环境中，如理想的球形结构或类似的场景。为了判断退化是否发生，我们关注的是平移约束的稳定性。如果平移的约束在连续的几帧中未能提供足够的稳定性，就会判断为激光雷达处于退化状态。这种评估机制帮助系统及时发现激光雷达数据的质量问题，从而调整后续的处理策略。

自适应视觉帧选择器：基于激光雷达的退化状态，我们设计了一个自适应的视觉帧选择器，用来优化视觉信息的利用。在激光雷达数据退化的情况下，例如当激光雷达视野受限时，系统会使用所有可用的视觉图像来尽可能地构建约束，避免定位失败。而在正常情况下，系统仅选择稀疏分布的关键帧，以较低的频率更新状态和地图中的视觉相关信息，从而减少计算开销。关键帧是指当传感器的位置或方向发生显著变化时捕获的图像，这些变化超过了预设的阈值。当系统检测到激光雷达退化时，阈值会进行动态调整，以确保选取的图像能够提供足够的定位约束。通过这种方式，系统能够根据当前的环境和传感器状态灵活地调整图像的选择策略，从而在保证精度的同时，降低计算和内存消耗。

地图结构

整个地图分为统一的局部地图和长期视觉地图。如图2右侧所示，地图由适应性体素组成，并由一个哈希表进行管理。具体来说，这里的哈希值是根体素中心的位置的全局坐标索引，便于快速检索。根体素的固定大小设置为 0.5 × 0.5 × 0.5 米。

统一局部地图 包含在不同尺度下的稠密点和平面特征（即平面中心、法向量及其相关不确定性），其采用三层八叉树结构进行组织。一些被选为视觉点的点附带了图像补丁的三层金字塔，用于视觉状态估计，而其余的点仅保留几何信息，用于激光雷达扫描与地图匹配以及后续的激光雷达状态估计。

长期视觉地图 是一个历史点的集合，包含用于视觉帧与地图匹配的视觉观测。这张地图在空间上相对稀疏，能够以相对较小的内存消耗存储长期的环境观测数据，同时为长期定位提供重要的历史数据。

地图更新与滑动

将新观测数据和估计的平面特征注册到统一局部地图的过程遵循[6, 26]中概述的方法。如图4所示，不同于FAST-LIVO2中仅当传感器的范围到达地图边界时才移动大尺寸局部地图，本方法采用了较小尺寸的统一局部地图，并采用了更频繁的地图滑动策略。

图4. 我们系统和FAST-LIVO2中地图结构与滑动过程的示意图

具体而言，当机器人的位移超过自上次地图滑动以来的预设阈值时，平面特征和超出局部地图边界的点云会被清除，以保持高效性。那些带有视觉观测的点，如果位于小尺寸统一局部地图的外部，将被转移到长期视觉地图。长期视觉地图采用类似的滑动机制，但作用于更大范围的地图，以处理更广泛的环境信息。

实验设置

公共数据集：使用Hilti数据集对该方法进行评估，该数据集包括在建筑工地、办公室和地下室等挑战性环境中捕获的室内和室外序列。这些数据集包括手持和机器人安装配置，配备激光雷达、摄像头和惯性测量单元（IMU），且它们的工作频率不同。

私有数据集：使用配备鱼眼镜头的B/W相机和Livox Mid-360激光雷达来验证系统的鲁棒性，通过STM32微控制器进行同步。在极暗的环境中，使用15W的机载照明设备来增强可见度。