SLAM回环检测，如何避免计算量随地图爆发式增长？

0. 这篇文章干了啥？

在现实环境中运行的自主机器人必须能够在大型、无结构、动态和未知的空间中进行导航。同时定位与地图构建（SLAM）是机器人构建和更新其运行环境地图并在其中定位自身所需的能力。SLAM的一个关键特性是能够识别先前访问过的位置。这个过程也被称为回环检测，指的是当机器人回到一个先前访问过的位置时，可以将这个位置与最近访问过的另一个位置相关联。

对于全局回环检测方法，检测回环的一种通用方法是将新位置与先前访问过的位置相关联的位置进行比较。如果没有找到匹配项，则添加一个新位置。这种方法的一个问题是，处理新观测数据所需的时间会随着地图中位置数量的增加而增加。如果这个时间超过了数据采集时间，就会引入延迟，从而导致地图过时。此外，在大面积区域长时间运行的机器人最终会构建一个非常大的地图，使得在实时更新和处理地图方面变得困难。

我们的解决方案是根据位置的出现频率来管理用于检测回环的位置。这个想法很简单（受心理学工作的启发）：它将最近和经常观测到的位置保留在机器人的工作记忆（WM）中，并将其他位置转移到长期记忆（LTM）中。当当前位置与WM中存储的一个位置匹配时，可以记住并更新LTM中存储的相关位置。

下面一起来阅读一下这项工作~

1. 论文信息

标题：Memory Management for Real-Time Appearance-Based Loop Closure Detection

作者：Mathieu Labbé, François Michaud

机构：Universit´e de Sherbrooke

原文链接：https://arxiv.org/abs/2407.15890v1

2. 摘要

回环检测是在SLAM中尝试在当前位置与先前访问过的位置之间找到匹配项的过程。随着时间的推移，处理新观测数据所需的时间会随着内部地图大小的增加而增加，这可能会影响实时处理。在本文中，我们提出了一种针对大规模和长期SLAM的新型实时回环检测方法。我们的方法基于一种内存管理方法，该方法将每个新观测数据的计算时间保持在固定限制内。实验结果通过使用四个标准数据集展示了该方法的适应性和可扩展性。推荐学习：当SLAM遇上3DGS！基于3D高斯的全新SLAM算法

3. 效果展示

4. 主要贡献

本文描述了我们的内存管理方法，以实现具有实时约束的长期SLAM中的基于外观的回环检测。处理时间是用于限制WM中保留位置数量的标准，从而满足实时约束。我们的内存管理机制确保了无论映射环境的规模如何，都能满足实时约束。因此，我们将我们的方法命名为实时基于外观的地图构建（RTAB-Map）。使用四个标准数据集进行的试验证明了我们的方法在各种条件下的实时能力。

5. 基本原理是啥？

我们的工作目标是提供一个不依赖于时间和规模的解决方案，以实现在大环境中长期运行的实时闭环检测。这一想法的核心在于仅使用一定数量的位置进行闭环检测，以满足实时性约束，同时在必要时仍能访问整个地图的位置。当地图中的位置数量导致匹配处理周期时间超过实时阈值时，我们的方法会将不太可能引起闭环检测的位置从机器人的工作记忆（WM）转移到长期记忆（LTM），使它们不参与闭环检测。然而，如果检测到闭环，则可以检索相邻位置并将其带回WM以考虑在闭环检测中使用。请注意，我们的方法可以看作是一种动态生成和动态维护WM中固定数量关键位置的方法，这与其他关键帧方法不同，后者的关键位置数量会随时间和空间增加而增加。

在LTM中转移的位置不会用于与当前位置进行匹配。因此，可能会漏检一些闭环，这使得仔细选择哪些位置转移到LTM变得尤为重要。一种简单的方法是使用先入先出（FIFO）策略，从地图中修剪最旧的位置。然而，这限制了探索环境时按顺序记忆的最大位置数：如果在检测到闭环之前已达到实时限制，则修剪较旧的位置将使最终找到匹配项变得不可能。另一种方法是随机选择位置进行转移，但最好是保留在WM中更有可能被重新访问的位置。因此，我们提出的方法通过评估位置被匹配或连续查看的次数（称为“复习”）来设置其权重，从而能够识别出比其他位置更频繁出现且更有可能引起闭环检测的位置。在发生转移时，选择权重最低的位置。如果有多个位置权重相同，则选择最旧的一个进行转移。

短期记忆（STM）中的位置不用于闭环检测，以避免对刚刚访问过的位置进行闭环检测（最后一个位置总是与最近的位置相似）。STM的大小根据机器人的速度和位置获取率来固定。当位置数量达到STM大小限制时，STM中最旧的位置将移动到WM。图1展示了闭环检测的整体过程。

6. 实验结果

表I总结了实验条件和结果。结果（以粗体显示）是在将Ttime设置为根据图像速率建议的值时获得的。对于NewCollege和CityCentre数据集，RTAB-Map在没有任何位置转移到长期记忆（LTM）（Ttime = ∞）时实现了相似的性能，但同时遵守了实时性约束。对于Lip6Indoor和Lip6Outdoor数据集，由于处理时间从未达到实时性约束，因此Ttime = ∞时的结果与Ttime = 0.7秒和Ttime = 1.4秒时的实验结果相同。使用更小的Ttime对召回性能的影响不大，尽管在某些情况下（如Lip6Outdoor数据集），由于一些可能错误地具有高可能性的噪声位置不在工作记忆（WM）中，从而导致对之前访问过的正确位置的假设更高，因此获得了更好的结果。

7. 总结 & 未来工作

本文中展示的结果表明，RTAB-Map这种基于内存管理机制的闭环检测方法能够满足长期在线地图构建所需的实时性约束。在保持WM中位置数量相对恒定的同时，实现了对新捕获图像的实时处理。检索是一个关键特性，它使我们的方法即使在转移了大量感知位置时也能达到足够的召回率。在未来的工作中，我们计划在一个更大的数据集上测试该方法，以更恰当地评估当某些位置比其他位置更频繁地被看到时的影响，这种情况可能会随着时间的推移影响召回率。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉知识星球

「3D视觉从入门到精通」知识星球，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

计算机视觉科技前沿进展日日相见 ~