大连理工最新 | 首个基于神经子地图的渐进密集高斯溅射SLAM系统，高保真实时大规模场景重建与跟踪SOTA

1、导读

本文介绍了一种名为NGM-SLAM的高保真实时大规模场景重建与跟踪方法。该方法融合了NeRF和3D Gaussian Splatting的优点，通过基于NeRF的神经子图进行监督，实现了高保真映射。同时，NGM-SLAM采用了局部到全局的优化策略，在子图之间进行融合，实现了实时大规模场景的重建与跟踪。实验证明，该方法在多个数据集上达到了State-of-the-Art的性能，支持单目、双目和RGB-D输入，适用于大规模室内场景。NGM-SLAM在保持高质量细节的同时，也具备良好的实时性。

2、论文信息

标题：NGM-SLAM:Gaussian Splatting SLAM with Radiance Field Submap
作者：Mingrui Li等人
论文：https://arxiv.org/pdf/2405.05702

3、主要贡献

1. 首次提出了基于神经子图的高斯溅射SLAM系统，通过局部到全局的重建策略实现高保真映射。
2. 提出了全局循环校正策略，包括从粗到细的子图校正和全局束调整损失，实现了子图的实时调整和地图校正。
3. 提出了有效的高斯剪枝和多尺度高斯渲染策略，确保系统可以去除冗余的高斯，同时提高抗锯齿能力，改进渲染速度和准确性。
4. 支持单目、立体和RGB-D输入，在5个数据集上展示了具有竞争力的跟踪和映射性能，在大规模场景中支持5 FPS的实时推理。

4、方法

如图1所示NGM-SLAM系统，主要包括两个模块：tracking和mapping。

在系统开始时，tracking模块估计相机的位姿并检测循环，同时将子图的关键帧传递给mapping模块。Mapping模块首先构建一个基于神经辐射场的子图，该子图也作为多尺度高斯分层子图的先验，并在子图间进行并行渲染。在子图内部进行局部捆绑调整（BA），以校正位姿和映射错误。当检测到循环时，对所有的锚定帧执行全局BA。最后，将生成的GS地图拼接在一起。

简而言之，该系统流程首先通过tracking模块进行相机位姿估计和循环检测，然后利用神经辐射场构建子图，并将子图传递给mapping模块进行多尺度高斯分层渲染和校正。在检测到循环时进行全局优化，最终拼接所有子图以构建完整的全局地图。

Neural Submap Construction

构建基于神经辐射场的子图，利用稀疏关键帧进行神经隐式渲染，获得监督信息。子图达到一定关键帧数量时，使用全帧位姿进行高斯分层渲染，以优化映射过程。

Gaussian Submap

利用神经子图先验，用一组各向异性三维高斯分布表示场景。采用多尺度高斯分层渲染策略，聚合小高斯体成大高斯体，提高渲染质量。同时采用射线引导的高斯体剪枝策略，以提高渲染速度。

Submap Fusion

表示场景为多个局部场景之和，避免子图边缘的重叠。当子图连接帧缺乏共视关系时，将当前子图的连接帧作为新子图的第一帧，以确保地图融合稳定。

Loop Closure and BA

进行局部到全局的循环检测和捆绑调整。首先对锚定帧进行优化，然后进行全局捆绑调整和全局渲染损失，以校正位姿和局部子图关键帧，从而实现实时循环校正。这种策略可以避免全局重渲染带来的高计算成本。

总的来说，NGM-SLAM通过神经子图先验指导高斯分层渲染，实现了高效高质量的映射，并通过全局优化避免累积漂移。

5、实验

Datasets and Metrics ：使用多个数据集，包括Replica、ScanNet、TUM RGB-D和EuRoC。评估指标包括PSNR、SSIM、LPIPS、ATE RMSE和运行速度。
Evaluation on Replica ：在Replica数据集上评估，结果表明NGM-SLAM优于当前基于NeRF/GS的SLAM方法。
Evaluation on ScanNet ：在ScanNet数据集上评估，结果显示启用循环检测和全局优化后，NGM-SLAM的跟踪更加稳健。
Evaluation on TUM RGB-D and EuRoC ：在TUM RGB-D和EuRoC数据集上评估，结果表明NGM-SLAM的跟踪性能优于传统方法。

这些实验结果验证了 NGM-SLAM在跟踪和映射精度方面达到了State-of-the-Art的性能，且支持大规模场景，具有实时性 。

6、总结

Gaussian Splatting因其卓越的性能而受到广泛关注。因此，基于高斯飞溅的SLAM系统应运而生，利用其快速实时渲染和高保真映射的能力。然而，目前的高斯溅射SLAM系统通常难以实现大型场景表示，并且缺乏有效的环路闭合调整和场景泛化能力。为了解决这些问题， 本文提出了NGM-SLAM，这是第一个利用神经辐射场子图进行渐进式场景表达的GS-SLAM系统，有效地整合了神经辐射场和3D高斯溅射的优势 。本文开发了神经隐式子图作为监督，并通过融合子图的高斯渲染实现了高质量的场景表达和在线循环闭合调整。在多个真实场景和大规模场景数据集上的结果表明，本文的方法能够实现准确的间隙填充和高质量的场景表达，同时支持单眼、立体和RGB-D输入，并实现最先进的场景重建和跟踪性能。

本文仅做学术分享，如有侵权，请联系删文。

3DCV技术交流群

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 大模型 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

2D计算机视觉： 图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型： NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉： 相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ： 视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶： 深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。

三维重建： 3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机： 四旋翼建模、无人机飞控等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地 、 最新论文 、 3D视觉最新产品 、 3D视觉行业新闻 等交流群

添加小助理: dddvision，备注： 研究方向+学校/公司+昵称 （如3D点云+清华+小草莓） , 拉你入群。

3D视觉技术星球

3D视觉从入门到精通知识星球、国内成立最早的3D视觉学习交流社区。包括： 星球视频课程近20门（价值超6000） 、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、 3D视觉优质源码汇总 、 书籍推荐 、 编程基础&学习工具 、 实战项目 &作业 、 求职招聘&面经&面试题 等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。