基于ORB-SLAM3的多鱼眼摄像头MAVIS开源啦！

本文提出了一种新颖的基于优化的视觉惯性SLAM系统名为MAVIS，旨在支持多个部分重叠的摄像头系统。系统的框架充分利用了多摄像头系统的广阔视场以及惯性测量单元（IMU）提供的度量尺度测量。引入了一种基于SE2(3)自同构的指数函数的改进IMU预积分公式，该公式可以有效提升在快速旋转运动和较长积分时间下的跟踪性能。此外将传统的单目或双目配置的前端跟踪和后端优化模块扩展至多摄像头系统，并介绍了在挑战性场景中提升系统性能的实现细节，实验基于公共数据集，证明了方法的实际有效性，MAVIS在2023年Hilti SLAM挑战赛的所有视觉-IMU赛道（单次和多次SLAM）中获第一名，得分是第二名的1.7倍。

本文的方法更关注多摄像头系统，如图1所示，前向立体摄像头提供了比左、右和上方摄像头更广泛的共视区域，因为后者与前向立体摄像头的重叠有限。这类系统的优势在于更大的视场和全向观察环境，从而提高了运动估计的准确性，并增强了对纹理贫乏环境下故障的鲁棒性。然而这种配置的固有限制是，额外摄像头的引入会直接增加计算成本，妥善处理来自所有摄像头的测量数据对平衡准确性、鲁棒性和计算效率至关重要。

图 1：AlphaSense 多摄像头模块是本文分析的多摄像头系统的示例，具有前置双目摄像头和多个侧向单目摄像头。

此外，为了在不影响准确性的情况下提高基于优化的视觉惯性导航方法的计算效率，参考文章[1] 引入了一种IMU预积分方法，该方法通过在选定的关键帧之间预积分测量，将数百个惯性测量数据合并为一个单一的相对运动约束。这一公式对于增强跨摄像头的前端特征跟踪效果和整体性能至关重要。然而，现有方法依赖于对位置和速度的不精确积分，假设IMU在测量之间是静止的。这种近似可能对预积分姿态的准确性产生负面影响，尤其是在快速旋转运动和较长积分时间期间。本文的贡献如下：

* 提出了MAVIS，这是一种最先进的基于优化的视觉惯性SLAM框架，专门设计用于多个部分重叠的摄像头系统。

* 引入了一种基于SE2(3)自同构的指数函数的新IMU预积分公式。该方法确保了IMU数据的高度准确积分，直接有助于提高我们SLAM系统的跟踪性能。

* 通过广泛的实验评估，展示了MAVIS在鲁棒性和准确性方面的显著优势，该方法在2023年Hilti SLAM挑战赛的视觉单次和多次赛道中均获得第一名。

本工作展示了我们的多摄像头视觉惯性SLAM系统，该系统采用了一种基于SE2(3)自同构的指数函数的精确IMU预积分公式，并扩展了多摄像头配置的前端跟踪和后端优化模块，图2展示了系统的主要组成部分。

图 2：针对多摄像头系统提出的视觉惯性定位和建图方法概述。

A. IMU内参补偿程

在视觉惯性SLAM系统中，IMU（惯性测量单元）是关键的传感器，用于提供加速度和角速度的测量。为了提高这些测量的准确性，我们在IMU预积分阶段引入了IMU内部补偿。

通常，IMU的加速度计和陀螺仪的测量可以用以下公式表示：

这种建模方式适合工厂校准的高质量设备，但对于低成本的消费级IMU，由于轴对准误差和比例因子错误，可能导致较大的测量偏差。

为了改善这种情况，我们扩展了IMU模型，引入了IMU内部建模。新的模型包括：

对加速度计的测量引入了缩放效应（Sα）和小角度错位（Mα），即真实加速度经过这些修正后得出。

对于陀螺仪的测量，除了缩放和小角度错位外，还加入了加速度对角速度的影响（Aω），以及旋转矩阵（Cω），用于将加速度计和陀螺仪的数据结合。

这些补偿措施通过提高测量的准确性，进而改善了视觉惯性SLAM系统的跟踪性能，实现这些特性的方法可以通过使用Kalibr等工具进行校准。通过这种方式，我们可以在实际应用中获得更可靠的IMU数据，特别是在快速运动和变化环境下。

B. IMU预积分

补偿IMU轴的错位和比例因子，并使用符号ω¯t和a¯t表示有偏但无噪声/失真且经过比例修正的IMU测量值。本文的核心贡献：基于矩阵李群SE2(3)的自同构的指数函数，提出一种新颖的精确IMU预积分公式。具体公式查看原文推导。

C. 前端跟踪

本文的目标是为配备多个部分重叠摄像头的传感器系统设计一种SLAM（同步定位与地图构建）解决方案。受到文献的启发，我们采用了一种基于局部地图的定位策略，利用提取的2D特征和局部3D地图点进行精确的位姿估计。这种局部地图匹配机制可以显著提高当相机重新访问先前位置时的跟踪性能。首先使用从IMU预积分获得的预测相对位姿，将所有局部地图点投影到当前时间的多摄像头图像上，如图3所示，针对摄像头内和摄像头间的特征进行匹配，以增强共视关系。由于多摄像头系统经过精确标定，任意摄像头上的投影地标可以通过摄像头内参和外参进行转换和定位。对于那些未与地标关联的2D特征，在当前帧和关键帧之间进行特征匹配，并通过三角测量创建新的局部地图点，所有这些关系随后用于MAVIS的后端优化，以增强共视边并提高定位精度。此外利用描述子之间的距离进行进一步验证，并在后端优化中采用稳健的代价函数，以消除所有错误匹配的特征点。

图 3：跨多摄像机局部特征匹配的几何关系。

D. 后端优化

与许多基于优化方案的视觉惯性SLAM/VIO系统相似，MAVIS通过使用滑动窗口捆绑调整方案，基于所有相机的观测以及预积分IMU测量的误差项，最小化视觉重投影误差，从而更新所有状态向量。

我们的系统架构概览如图2所示。前面介绍了IMU预积分、前端跟踪和后端优化模块后，下面说明具体的实现细节，这些细节直接提升了SLAM系统的整体精度和鲁棒性。

A. 视觉测量预处理

为了应对真实世界应用场景中的挑战以及来自一些数据集中corner case的问题，例如黑暗场景、帧丢失和数据不连续，在特征提取步骤之前进行了数据预处理，具体是指应用直方图均衡来补偿黑暗帧，这种技术显著提升了提取的特征点的数量和分布，此外由于多相机设备需要更高的带宽来传输图像数据，它们更容易遇到帧丢失和同步问题。因此在特征跟踪中利用剩余的图像来避免长时间集成IMU数据，在相机-IMU外参标定过程中，我们获得了每个相机与IMU之间的时间延迟，并添加了一个中间曝光时间补偿参数，以进一步减少同步误差的影响。通过采用这些方法，我们的SLAM解决方案性能得到了显著改善。

B. 相机-IMU初始化

受一些论文的启发，在MAVIS中采用了一种鲁棒且准确的多相机IMU初始化方法，首先使用第一帧的立体信息生成初始地图，一旦在第一个关键帧中知道了特征深度，使用传播的运动模型将所有地标投影到相邻的关键帧中。值得注意的是，后续阶段的所有投影都在相机内和相机间场景中进行，随后在2秒内执行纯视觉MAP估计的捆集调整，同时计算相邻关键帧之间的IMU预积分和协方差，继纯IMU优化方法之后，我们通过多视觉惯性捆集调整共同优化地图点位置、IMU参数和相机姿态。为了避免实时输出中的轨迹跳跃，在优化过程中固定最后一帧的姿态。

C. 回环闭合

回环闭合模块使用DBoW2库进行候选帧检测，为了充分利用多相机系统的广阔视野，我们检测来自相机内和相机间的可能回环闭合，这使我们的MAVIS系统能够正确检测到常规单目或立体VIO系统无法检测到的回环—例如U形转弯运动（如图4所示），并执行几何验证以移除异常回环闭合，在检测到正确的闭环后，我们执行全局捆集调整，利用所有可用信息优化整个轨迹，从而显著减少大多数序列中的漂移。

图 4：Hilti SLAM Challenge 2023 中从 site1 手持设备 4 序列检测到的多个闭环，累积漂移显著减少，确保了更高的准确性和稳健性。

D. 多智能体SLAM

为了参加Hilti SLAM Challenges 2023的多会话挑战，通过回环闭合校正模块采用类似的方法合并地图（参见图5）。我们采用词袋（BoW）模型来识别潜在的重叠关键帧，并利用局部地图来辅助几何对齐，通过融合多个子地图并成功进行验证检查，最终生成了全局一致的地图，在多会话挑战背景下，将单个会话序列指定为全局地图的基础，在序列的SLAM处理完成后，地图会被本地保存，并在处理后续数据序列之前预加载，通过系统处理所有序列和地图融合，最终可以将所有子地图整合成一个全局地图。

图 5：重建场景的透视图。从左到右：地点 1、地点 2、地点 3。轨迹按红色、绿色、蓝色、洋红色的顺序着色。

本文在各种数据集上评估了我们方法的性能。首先使用EuRoC数据集在立体惯性配置下将其与大多数最先进的视觉惯性方法进行了比较。此外还在Hilti SLAM Challenge 2023数据集下的多相机设置中评估了我们的系统，该数据集包含来自手持设备和地面机器人的一些具有挑战性的序列，定性和定量结果均突显了我们系统的有效性。我们的框架使用C++实现，并在配备AMD Ryzen 9 5950X 16核处理器的Ubuntu 20.04桌面上进行评估。

EuRoC数据集上的性能

首次实验利用了广泛使用的EuRoC数据集，该数据集包含由无人机在室内飞行时捕捉的序列，无人机配备了同步的立体相机和IMU，将MAVIS与最先进的方法进行了基准测试，包括VINS-MONO、OKVIS、SVOGTSAM、EqVIO、OpenVINS、VINS-FUSION、Kimera、BASALT和ORBSLAM3，为了公平比较，采用了EuRoC数据集的标定结果并排除了IMU内在补偿。我们使用EVO定量评估绝对轨迹误差（RMSE，单位：米），并在表I中总结了结果。最佳结果以粗体显示，而“-”表示方法未能完成序列。MAVIS系统的立体惯性配置在精度和鲁棒性方面表现出最先进的性能，这可能归因于我们改进的IMU预积分公式，它提供了更精确的运动建模和处理快速旋转及延长积分时间的鲁棒性。

Hilti SLAM Challenge 2023上的性能

为了全面评估我们多相机VI-SLAM系统在具有挑战性条件下的鲁棒性和精度，我们在Hilti SLAM Challenge 2023数据集上进行了实验。该数据集涉及使用来自Sevensense Robotics AG的Alphasense多相机开发套件进行手持序列采集，该套件将IMU与四个灰度鱼眼相机同步进行数据采集。本文选择了每个序列中同步最佳的四个相机，数据集提供了用于ATE评估的多个控制点上的毫米级准确地面真值，将我们的方法与在单会话视觉/IMU轨道中排名第二的BAMF-SLAM和在多会话轨道中排名第二的Maplab2.0进行了比较。结果如表II所示，以下几点值得注意：

* 在表II中提供了每个序列的难度、时间和评分信息，数据集面临低光、无纹理环境、不同步相机、数据丢失和缺乏闭环探索场景等挑战，尽管如此所有方法都成功处理了整个数据集，没有任何严重错误。

* 我们的方法在单会话和多会话中都取得了优异的表现，相比第二名的得分接近两倍。

* 系统的运行时性能也展示了其实用潜力，它在标准桌面上仅使用CPU即可实时运行。然而BAMF-SLAM需要Nvidia GeForce RTX 4090 GPU进行处理，运行速度仍比MAVIS慢1.6倍。

本文介绍了MAVIS，一种基于优化的视觉惯性SLAM系统，适用于多相机系统，与其他方法相比，本文提出了一种基于SE2(3)指数的精确IMU预积分公式，显著提升了跟踪性能，尤其是在快速旋转和延长积分时间期间，还扩展了多相机系统的前端跟踪和后端优化模块，并引入了实现细节以增强系统在具有挑战性场景中的性能，通过在多个数据集上的广泛实验，我们验证了我们方法的优越性能。相信这种鲁棒且多功能的SLAM系统对社区具有重要的实际价值。