0. 这篇文章干了啥？
随着RGB-D相机的使用，密集的同时定位与地图构建（SLAM）技术从传统的方法发展到神经隐式方法，再到最近采用3D高斯体（3DGS）作为场景表示的方法，取得了稳步进展。现有方法可分为解耦和耦合两类，其中解耦方法不利用密集地图进行跟踪任务，而耦合方法则使用密集地图进行帧到模型的跟踪。将映射和跟踪解耦通常会在系统中产生不必要的冗余，如信息共享效率低下和计算开销增加。另一方面，所有耦合的3DGS SLAM方法都缺乏在地图和姿态上实现全局一致性的策略，这会导致姿态误差的累积和地图的扭曲。
在最近通过回环闭合和/或全局捆绑调整（BA）来强制全局一致性的方法中，GO-SLAM需要昂贵的哈希网格特征重新训练来变形地图，而Photo-SLAM同样需要额外优化3D高斯参数以解决来自ORB-SLAM跟踪器的姿态更新。这些再集成技术需要保存所有映射的帧在内存中，这限制了它们的可扩展性。为避免保存所有映射的帧，Loopy-SLAM使用神经点云的子图，并在回环闭合后刚性更新它们。然而，为了计算回环边约束，Loopy-SLAM使用传统的全局到局部点云配准，这不仅速度慢，而且未能利用场景表示本身的特性。
为了解决当前系统的局限性，我们寻求一个耦合的SLAM系统，该系统能够避免保存所有映射的输入帧，并且能够直接从密集地图中提取回环约束，而无需冗余计算。作为研究问题，我们询问：是否可以在SLAM系统中使用地图表示（即3DGS）本身进行回环闭合？为此，我们提出了一个使用3D高斯体子图进行局部帧到模型跟踪和密集映射的密集RGB-D SLAM系统，该系统基于现有系统。与后者不同的是，我们通过在线回环闭合检测和姿态图优化来实现全局一致性。重要的是，我们证明了传统的点云配准技术不适合从3D高斯体中推导出回环边约束，并提出了一种新的配准方法，该方法直接在3DGS表示上操作，因此使用3DGS作为跟踪、映射和保持全局一致性的统一场景表示。
下面一起来阅读一下这项工作~
1. 论文信息
标题：LoopSplat: Loop Closure by Registering 3D Gaussian Splats
作者：Liyuan Zhu, Yue Li, Erik Sandström, Shengyu Huang, Konrad Schindler, Iro Armeni
机构：斯坦福大学、阿姆斯特丹大学、ETHZ
原文链接：https://arxiv.org/abs/2408.10154
代码链接：http://loopsplat.github.io/
2. 摘要
基于3D高斯样条（3DGS）的同时定位与地图构建（SLAM）技术最近显示出在构建更准确、更密集的3D场景地图方面的潜力。然而，现有的基于3DGS的方法未能通过回环闭合和/或全局光束平差法来解决场景的全局一致性问题。为此，我们提出了LoopSplat，它以RGB-D图像为输入，并使用3DGS子图和帧到模型的跟踪进行密集映射。LoopSplat能够在线触发回环闭合，并直接通过3DGS配准计算子图之间的相对回环边约束，从而在效率和准确性方面优于传统的全局到局部点云配准方法。它采用了一种鲁棒的位姿图优化公式，并刚性对齐子图以实现全局一致性。在合成的Replica数据集和真实世界的TUM-RGBD、ScanNet及ScanNet++数据集上的评估表明，与现有的密集RGB-D SLAM方法相比，LoopSplat在跟踪、映射和渲染方面表现出竞争力或更优的性能。代码可在loopsplat.github.io上获取。
3. 效果展示
4. 主要贡献
我们的主要贡献包括：
我们引入了LoopSplat，一个基于高斯溅射（Gaussian Splatting）的耦合RGB-D SLAM系统，该系统具有一个新颖的回环闭合模块。该模块直接在高斯溅射上操作，结合3D几何和视觉场景内容进行鲁棒的回环检测和闭合。
我们开发了一种有效的方法来注册两个3DGS表示，以便有效地提取姿态图优化的边约束。利用3DGS的快速光栅化，它无缝地集成到系统中，在速度和准确性方面都优于传统技术。
我们提高了基于3DGS的RGB-D SLAM系统的跟踪和重建性能，在各种真实世界数据集上展示了显著的改进和增强的鲁棒性。
5. 基本原理是啥？
LoopSplat 是一个 RGB-D SLAM 系统，它能够同时估计相机姿态并以全局一致的方式从输入帧中构建 3D 高斯地图。首先回顾了的高斯 SLAM 系统——这是 LoopSplat 的基础，随后介绍了所提出的 3DGS 配准模块。最后介绍了通过配准模块实现的回环闭合在高斯 SLAM 系统中的集成。请参阅图 2 以获取所提出系统的概览。
推荐学习：
当SLAM遇上3DGS！基于3D高斯的全新SLAM算法
6. 实验结果
7. 总结 & 未来工作
我们提出了LoopSplat，这是一种新颖的密集RGB-D SLAM系统，该系统仅使用3D高斯样条（3D Gaussian Splats）进行场景表示，并通过闭环检测实现全局一致性。LoopSplat以3DGS子图为核心，实现了密集建图、帧到模型的跟踪以及通过直接3DGS子图注册实现在线的闭环检测。在四个数据集上的综合评估表明，该系统在跟踪、建图和渲染方面表现优异或具有竞争力。我们在补充材料中讨论了其局限性以及未来的工作方向。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
「
3D视觉从入门到精通
」
知识星球
「3D视觉从入门到精通」知识星球
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
项目对接
、
