点击下方
卡片
，关注
「计算机视觉工坊」
公众号
选择
星标
，干货第一时间送达
编辑：计算机视觉工坊
添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群
扫描下方二维码，加入
3D视觉知识星球
，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门视频课程（星球成员免费学习）
、
最新顶会论文
、
计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
1. 这篇文章干了啥？
最近，神经辐射场(NeRF)已被广泛用作密集同步定位和映射(SLAM)的 3D 表示。尽管他们在曲面建模方面取得了显着的成功 和新颖的视图合成，现有的基于 NeRF 的方法受到其计算密集型和耗时的体积渲染管道的阻碍。本文提出了一种高效的密集RGB-D SLAM系统， 即CG-SLAM，基于一种具有高一致性和几何稳定性的新型不确定性感知3D高斯场。通过对高斯 Splatting 的深入分析，我们提出了几种技术来构建 一致稳定的 3D 高斯场，适用于跟踪和映射。此外，该文还提出了一种新的深度不确定性模型，以确保在优化过程中选择有价值的高斯基元， 从而提高跟踪效率和准确性。在各种数据集上的实验表明，CG-SLAM实现了卓越的跟踪和映射性能，跟踪速度高达15 Hz。我们 将公开我们的源代码。
下面一起来阅读一下这项工作~
2. 论文信息
标题：CG-SLAM: Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field
作者：Jiarui Hu等人
原文链接：https://arxiv.org/pdf/2403.16095
代码链接：https://github.com/hjr37/CG-SLAM
3. 效果展示
CG-SLAM采用精心设计的3D高斯场，可以同时实现最先进的定位、重建和渲染性能。得益于3D高斯表示和新的GPU加速框架，该框架是通过对3D高斯Splatting中的摄像机姿态进行彻底的导数分析而开发的，CG-SLAM可以执行极快的渲染，并解决以前基于渲染的SLAM方法长期存在的效率瓶颈。
4. 方法
在由 RGB-D 序列构建的 3D 高斯场中，我们可以通过 GPU 加速的光栅器渲染颜色、深度、不透明度和不确定性贴图。此外，我们为每个高斯基元附加了一个新的不确定性属性，以过滤信息基元。在映射过程中，我们利用多个渲染结果来设计有效的损失函数，以实现一致且稳定的高斯场。随后，我们采用外观和几何提示来执行准确有效的跟踪。
5. 实验
重建评估
可以看出，我们的方法可以在保证效率的同时重建详细的网格图。与最先进的基于NeRF的PointSLAM相比，CG-slam在映射方面表现出了竞争力，远远超过了其他基于NeRF的方法。值得注意的是，基于高斯的方法既没有全局 MLP，也没有完全覆盖 特征网格，如 Co-SLAM 中。因此，这种系统在未观测到的区域表现出稍弱的填孔能力。
渲染评估
CG-SLAM可以产生比现有NeRF-SLAM和并发的高斯作品更逼真的渲染图像。与最逼真的基于 NeRF 的点 SLAM 和并发方法相比，我们需要更少的优化迭代，以实现更好的渲染性能。此外 依靠3D高斯光栅化，我们的方法在测试中可以以770 FPS的极高速度渲染。
效率评估
每次迭代时间消耗和优化迭代总数方面的跟踪和映射效率。GPU 加速的光栅化器和精心设计的管道使我们的系统能够扩展到轻量级版本，该版本可以处理半分辨率图像，并在 精度略有下降的成本。此外，我们的轻量级版本在保持精度的同时有效缓解了内存消耗，这是其他并发工作中的常见问题。
6. 总结
本文介绍了一种高效的基于三维高斯场的稠密RGB-D SLAM系统CG-SLAM。该系统通过分析相机位姿在三维高斯溅射中的导数，设计了一种适用于SLAM任务的CUDA框架。此外，CG-SLAM采用了多个损失函数来构建一致且稳定的适用于跟踪和映射的高斯场，并提出了一个新颖的深度不确定性模型，以提高系统的跟踪效率和精度。实验结果显示，CG-SLAM在多个数据集上实现了卓越的跟踪和映射性能，并且跟踪速度可达15Hz。
本文仅做学术分享，如有侵权，请联系删文。
计算机视觉工坊交流群
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
大模型
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
2D计算机视觉：
图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型：
NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉：
相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：
视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：
深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。
三维重建：
3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：
四旋翼建模、无人机飞控等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地
、
最新论文
、
3D视觉最新产品
、
3D视觉行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如3D点云+清华+小草莓）
, 拉你入群。
▲长按扫码添加助理
3D视觉学习知识星球
3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：
星球视频课程近20门（价值超6000）
、
项目对接
、
3D视觉学习路线总结
、
最新顶会论文&代码
、
3D视觉行业最新模组
、
3D视觉优质源码汇总
、
书籍推荐
、
编程基础&学习工具
、
实战项目
&作业
、
求职招聘&面经&面试题
等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。
▲长按扫码加入星球
3D视觉课程官网：
www.3dcver.com
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、
