SlideSLAM：面向多机器人导航的稀疏、轻量、分布式尺度语义SLAM

这篇论文开发了一种实时的分散式度量-语义同时定位与地图构建（SLAM）方法，利用稀疏轻量的基于对象的表示，使异构机器人团队能够在不依赖GPS的情况下自主探索包括室内、城市和森林区域在内的三维环境。我们采用分层的度量-语义环境表示，包括对象模型的高级稀疏语义地图和低级体素地图。利用高级语义地图的信息量和视点不变性，我们开发了一种有效的基于语义的地点识别算法，用于跨航空和地面机器人、不同感知模式下的机器人之间的环闭合检测。设计了通信模块，用于跟踪每个机器人自身的观测数据以及其他机器人的观测数据，一旦通信链路可用，这些数据就被用来构建合并地图。我们的框架支持机器人板载的实时分散式操作，允许它们机会性地利用通信。在三种类型的航空和地面机器人上集成并部署了提出的框架。广泛的实验结果显示，位置间的机器人间定位误差平均约为20厘米，方向误差约为0.2度；对象建图的F1分数稳定在0.9以上；通信数据包大小仅为每公里轨迹2-3兆字节，涉及多达1000个地标。项目网站可访问https://xurobotics.github.io/slideslam/。

图1：在实验中使用的机器人平台。我们使用了三种类型的机器人进行实验。其中包括两种空中平台：Falcon 250 无人机（左侧）和 Falcon 4 无人机（中间），以及一种地面平台：Scarab UGV（右侧）。配备光探测与测距（LiDAR）的机器人（Falcon 4）主要用于室外操作，由于其尺寸和卓越的感知能力而显著优势。相比之下，基于RGB和深度（RGBD）摄像的机器人（Falcon 250 和 Scarab）更适合于拥挤的室内环境，因为它们的尺寸较小。所有三种平台都具有无需GPS的自主导航能力，使它们能够仅通过板载计算和传感探测安全地探索拥挤的环境。

本文提出的系统从高级别的对象级地图表示中获益良多，提供了诸多优势。首先，它避开了原始点云或图像的不切实际性，以及对大规模任务中具有尺寸、重量和功耗（SWaP）限制的机器人团队所需的高计算和内存需求。其次我们表示的轻量化特性确保即使在有限的通信带宽条件下，机器人之间的信息共享也是可行的。结合我们基于语义的地点识别和闭环检测算法，这使得有效检测机器人之间的闭环成为可能。第三，它为机器人提供了直接而直观的表示，可以完成高级语义任务，如积极探索并减少感兴趣对象的不确定性。最后，与通常需要频繁边缘化变量而不可避免导致信息丢失的基于密集几何特征的传统方法不同，我们的表示使我们能够在更大尺度上跟踪可操作信息。 贡献如下：

• 算法：我们开发了一个实时的分布式度量语义SLAM框架，支持配备LiDAR或RGBD传感器的各种类型的空中和地面机器人。该框架具有： (a) 一个基于语义的地点识别算法，利用稀疏和轻量级的对象级语义地图进行地图合并； (b) 一个分布式多机器人协作模块，促进信息共享，即使在间歇性通信条件下也是如此。

• 系统集成：我们在异构机器人团队上集成和部署了提出的框架，展示其在各种室内和室外环境中实现语义驱动的自主导航和探索的能力。该系统实时运行，利用有限的板载计算和内存资源。

• 实验：我们进行了广泛的现实世界实验，并提供了详尽的实证结果和分析，突出了我们系统的效率、准确性和稳健性。

图 2：异构机器人收集的七个数据序列的度量语义 SLAM 结果。不同颜色的轨迹对应于不同的数据序列。2a 展示了宾夕法尼亚大学 Pennovation 校园的 3D 重建，有助于可视化环境。室外物体（例如车辆、树干和灯杆）的映射如图 2e 所示。室内物体（例如椅子、桌子和显示器）的映射如图 2h 所示。2b 显示了相同的度量语义地图，叠加在我们的 Falcon 4 UAV 构建的累积点云之上。2c 显示了正射影像，描绘了由七个机器人构建的三个停车场和两栋建筑的合并度量语义地图。2g 和 2h 显示了其中一栋实验室建筑的放大视图，并说明了室内环境中的度量语义定性映射性能。

该系统接收来自每个机器人板载传感器的数据流，这些传感器可以是RGBD相机或LiDAR，并执行实例分割以提取语义对象特征。同时，低级里程计，可以是视觉惯性里程计（VIO）[17]或LiDAR惯性里程计（LIO）[18]，提供连续关键姿态之间的相对运动估计。接下来，度量语义SLAM算法接收这些语义观测和相对运动估计，并构建一个因子图，包含机器人姿态节点和语义对象地标节点。与此同时，我们的多机器人通信模块（见图4）以分布式方式机会主义地利用通信来共享轻量级语义观测。基于这些共享信息，我们的度量语义地点识别算法定期检查可能的机器人间闭环。一旦检测到闭环，每对机器人之间的变换结果被用来将所有观测转换到各自的参考框架中。然后将这些观测添加到它们自己的因子图中，形成一个合并的度量语义地图。度量语义SLAM模块的输出将作为规划模块的输入，规划高级探索和低级动态可行轨迹，引导机器人探索和导航环境。需要注意的是，整个感知-行动循环在每个机器人的板载系统上以分布式方式运行。除了控制算法的显而易见的差异之外，每个机器人平台上的规划模块和前端处理算法也不同。这是由于需要适应传感模式（RGBD和LiDAR）、操作环境（室内、城市和森林）和遍历模式（地面和空中）之间的差异。然而，核心的度量语义SLAM框架保持不变。

图3 ：系统框图

图4：多机器人通信模块用于分布式度量语义SLAM。机器人共享轻量级的度量语义观测数据，包括检测到的对象模型以及与每个关键姿态相关联的相对里程估计。一旦度量语义地点识别模块成功找到与另一个机器人的闭环，该机器人的共享观测数据将被合并并添加到当前机器人的因子图中。

图5：多机器人度量语义SLAM在室外实验中的结果。这是关于Falcon 4 UAV的三次连续运行实验结果，每次实验被视为一个独立的机器人。右上角的面板提供了正交视图。轨迹用红色、蓝色和黄色粗线标记，起始位置分别为红色、蓝色和黄色点，但最终汇聚到相同的结束位置（红色点）。我们的语义驱动地点识别算法能够检测到机器人之间的闭环，然后用于合并地图。在地图中，车辆模型由蓝色长方体表示，树干或灯杆的模型则用品红色圆柱体表示。

图6：可视化语义地点识别算法数据关联结果。每个长方体或圆柱体模型代表特定语义类别的一个对象。请注意，这里我们展示的对象模型是简化形式（即具有标识方向和统一尺寸），仅用于可视化目的。用于确定对象对是否有效匹配的信息包括度量（位置和尺寸）和语义（标签）信息。

图7：三台Scarab UGV上实时构建的度量语义地图。这些UGV自主探索环境，并相互通信。蓝色、橙色和红色轨迹对应于三台UGV的三条轨迹。我们的语义地点识别算法能够执行跨机器人的闭环检测，用于构建合并的度量语义地图。灰色累积点云不是由这些UGV生成的，而是由一台LiDAR机器人用于可视化目的。底部面板将轨迹与度量语义地图叠加，以定性评估结果的有效性。

图8：跨感知模态地点识别。橙色轨迹代表配备LiDAR的机器人，蓝色轨迹代表基于RGBD相机的机器人。其余面板展示了由机器人构建的合并度量语义地图，并叠加在累积LiDAR点云之上。右上面板展示了机器人在各自参考框架中的轨迹。这个比较显示了地点识别和闭环算法如何有效地将具有不同感知模态的两个机器人注册到一个共同的参考框架中，尽管原始传感器数据和初始姿态存在显著差异。

图9：森林实验。这幅图展示了环境的空中视图（左上方），带有点云的度量语义地图（右上方），以及由三次林下无人机飞行构建的基于对象的地图（底部行）。三台机器人的轨迹分别以红色、黄色和蓝色表示，它们可以将信息合并到起始位置，起始姿态之间的转换未知。图中展示了树干的度量语义地图（建模为圆柱体），叠加在显示森林环境的聚合点云之上。每台机器人的轨迹长度约为1公里，已绘制了860棵树。这些树木的绘制范围约为160,000平方米。

在这项工作中，我们介绍了一个实时的分布式度量语义SLAM框架，并将其集成到无人机和地面机器人的自主探索和导航系统中。这一集成系统使得异构机器人团队能够在各种室内外环境中自主探索并协作构建度量语义地图。每台机器人在实时操作中独立执行度量语义SLAM框架和自主探索堆栈，以分布式方式运行。机器人通过机会性地利用通信交换稀疏、轻量级的语义测量数据，用于机器人之间的定位和地图合并。通过一系列涵盖三种类型的空中和地面机器人的实地实验，我们展示了系统的能力、有效性和鲁棒性。我们还对各种系统模块进行了广泛的结果和分析，评估了诸如机器人间定位精度、物体映射精确度和召回率、通信和运行时效率等指标。实验结果显示，我们的系统在机器人间的定位误差平均为0.22米（位置）和-0.16度（方向），平均物体映射的F1分数为0.92。我们的运行时和通信分析提供了实验证据，突显了在具有挑战性和密集环境中进行大规模度量语义映射任务时使用稀疏语义地图表示的重要性。例如，覆盖1公里轨迹并包含1,000个物体地标的任务数据库仅占用2至3兆字节。我们预见，所提出的度量语义SLAM框架及其在自主空中和地面机器人上的集成和部署，将为未来基于语义的机器人感知和决策制定以及多机器人协作研究铺平道路。