0. 论文信息
标题：Neural Implicit Representation for Highly Dynamic LiDAR Mapping and Odometry
作者：Qi Zhang, He Wang, Ru Li, Wenbin Li
机构：University of Bath、ShanXi University
原文链接：https://arxiv.org/abs/2409.17729
1. 摘要
同步定位和测绘(SLAM)的最新进展日益凸显了激光雷达技术的稳健性。与此同时，神经辐射场(NeRF)为3D场景重建引入了新的可能性，以SLAM系统为例。其中，NeRF-LOAM在基于NeRF的SLAM应用中表现显著。然而，尽管这些系统有其优势，但由于其固有的静态假设，它们在动态室外环境中经常遇到困难。为了解决这些限制，本文提出了一种新的方法，旨在改善高动态户外场景重建。基于NeRF-LOAM，建议的方法包括两个主要部分。首先，我们将场景分为静态背景和动态前景。通过从映射过程中识别和排除动态元素，这种分割使得能够创建仅精确表示静态背景的密集3D映射。第二个组件扩展八叉树结构以支持多分辨率表示。这种扩展不仅提高了重建质量，而且有助于去除由第一模块识别的动态对象。此外，傅里叶特征编码应用于采样点，捕捉高频信息，并导致更完整的重建结果。在各种数据集上的评估表明，与当前最先进的方法相比，我们的方法获得了更具竞争力的结果。
2. 引言
近期，神经辐射场（NeRF）已成为3D场景重建和新颖视角合成方面的强大工具，这主要得益于其能够从稀疏观测中生成复杂场景的高度详细且逼真的表示。NeRF的优势在于其能够将场景建模为连续的体素场，从而能够从多个输入图像中合成高质量的新颖视角和准确的3D重建。这一能力使得NeRF在室内外的同时定位与地图构建（SLAM）应用中展现出巨大潜力。通过捕捉复杂的场景细节并提供密集的体素表示，NeRF增强了SLAM系统，提高了空间理解和物体识别的能力。
在室内环境中，已经开发了多个基于NeRF的SLAM系统，包括iMap、NICESLAM、NeRF-SLAM、Co-SLAM、GO-SLAM和NGEL-SLAM等。这些系统利用摄像头传感器提供精确的重建结果。对于室外场景，基于NeRF的SLAM已扩展到结合激光雷达（LiDAR）传感器，如NeRF-LOAM、LONER和PinSLAM所示。此外，一些系统还结合了视觉和LiDAR数据，如CLONeR和SiLVR。然而，大多数基于NeRF的SLAM系统都基于环境是静态或仅轻微动态的假设。这一假设在将这些方法应用于包含高度动态物体的室外真实场景时带来了重大挑战，因为场景重建的准确性会大幅下降。
在本文中，我们旨在构建高度动态场景下的室外场景的密集3D地图。为实现这一目标，我们增强了NeRF-LOAM，通过集成一个额外的线程来检测移动物体，并生成其3D边界框。这使我们能够将LiDAR点分为背景和前景部分，假设背景保持静态而前景是动态的。在NeRF-LOAM的基础上，我们专注于计算背景的符号距离函数（SDF）值，确保动态元素与静态环境准确分离。
推荐课程：
室内、室外激光SLAM关键算法、代码和实战剖析(cartographer+LOAM+ LIO-SAM)
。
此外，我们提出了一种混合特征表示方法，该方法对高度动态物体的生成具有显著益处。我们扩展了NGLOD中使用的NeRF-LOAM方法中的八叉树结构。通过考虑多个分辨率，我们的方法能够更好地捕捉不同尺度下动态物体的精细细节和运动。受Co-SLAM的启发，我们认识到尽管仅使用参数编码可以改善重建结果，但在填补空洞和确保平滑过渡方面存在局限性。为克服这些挑战，我们将多个可学习特征与傅里叶特征位置编码相结合。
我们的实验结果表明，我们的方法在处理高度动态场景时特别有效，因为它不仅去除了动态物体并填补了空洞，还增强了平滑性，这对于保持快速移动物体的完整性和连续性至关重要。
3. 效果展示
使用我们提出的方法和NeRF-LOAM对KITTI MOT 19进行三维重建
4. 主要贡献
主要贡献总结如下：
• 我们通过集成一种将场景分割为动态前景和静态背景的方法，增强了NeRF-LOAM，去除了动态LiDAR点并重建了地面点，从而促进了在高度动态的室外环境中进行准确的3D映射。
• 我们将NeRF-LOAM八叉树中的单层可学习特征扩展到多层，并对采样点应用傅里叶特征编码，从而实现了更好的重建结果。
• 为了提高高度动态场景中SDF值的准确性，我们在优化过程中加入了额外的损失函数。
5. 方法
图2是所提出系统的概述。它可以分为两个部分。图像的左侧部分显示了背景和前景的分离。在每一帧中，我们检测移动物体，然后将它们与前一帧中的移动物体相结合，形成前景。对于前景中的点，如果它们不是地面点，我们将全部移除，并在空间内生成地面点。图像的右侧部分说明了场景表示和SDF值的训练过程。对于相同的查询点，其对应节点的插值嵌入是从八叉树的不同层级中获得的。然后，将此嵌入与经过傅里叶编码后的采样点坐标进行拼接，并将组合后的数据输入到多层感知器（MLP）网络中，以预测SDF值。此外，对于前景中的非地面点，我们提出了一种基于动态区域的SDF损失函数，以最小化这些点的SDF值损失。
6. 实验结果
7. 总结 & 未来工作
在本文中，我们提出了一种针对动态户外环境的3D场景重建系统，该系统扩展了NeRF-LOAM。我们的方法在处理动态前景方面表现出色，它仅重建地面表面，同时准确地对静态背景进行建模。
我们采用动态前景遮罩和一种新颖的地面高度估计方法，以确保即使在存在移动物体的情况下也能实现逼真的重建。通过将多分辨率八叉树与傅里叶特征位置编码相结合，我们优化了内存使用并保持了场景质量。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
「
3D视觉从入门到精通
」
知识星球
「3D视觉从入门到精通」知识星球
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
