0. 论文信息
标题：Neural Surface Reconstruction and Rendering for LiDAR-Visual Systems
作者：Jianheng Liu, Chunran Zheng, Yunfei Wan, Bowen Wang, Yixi Cai, Fu Zhang
机构：香港大学（张富团队）
原文链接：https://arxiv.org/abs/2409.05310
代码链接：https://github.com/hku-mars/M2Mapping.git
官方主页：https://jianhengliu.github.io/Projects/M2Mapping/
1. 引言
三维重建和新颖视角合成（NVS）是计算机视觉和机器人技术中的基础任务。机器人上广泛可用的摄像头和低成本激光雷达传感器为三维重建和NVS提供了丰富的多模态数据。激光雷达-视觉SLAM技术在诸如LVI-SAM、R3LIVE和FAST-LIVO等三维重建任务中得到了广泛应用。然而，这些方法只能获得彩色原始点图，因此地图的分辨率、密度和准确性从根本上受到激光雷达传感器的限制。在实际的数字孪生应用中，高质量的水密表面重建以及逼真的渲染至关重要。在野外环境中恢复高质量表面重建或逼真渲染面临重大挑战。显式表面重建方法，如直接网格化，对于噪声或未对齐的激光雷达点云数据往往表现不佳，并导致伪影。相比之下，隐式表面重建方法通过估计隐式函数（如泊松函数或有符号距离场（SDFs））来定义其零水平集上的水密流形表面，为表面重建提供了一种更可靠的方法。通过神经网络增强的神经距离场（NDF）通过梯度正则化进一步提高了距离场的连续性，在表面重建中捕捉高粒度细节方面显示出巨大潜力。
对于具有准确几何形状的场景，表面渲染可以仅使用像素光线与表面的交点来高效地渲染固体对象。然而，在实践中获得高质量的几何形状往往具有挑战性，并且渲染质量在很大程度上受到基础几何形状准确性的影响。在几何形状不完整或不精确的情况下（例如，由于稀疏且嘈杂的激光雷达点测量），表面渲染方法可能会大大降低效果，使得体渲染方法更为合适。神经辐射场（NeRFs）已成为一种强大的三维表示方法，用于逼真的新颖视角合成和几何重建。NeRF将场景的体密度和外观编码为三维空间坐标和观察方向的函数，通过体渲染生成高质量图像。然而，当外推视图时，NeRF的模糊密度场可能会表现出不准确性和视觉伪影。最近的工作表明，通过将有符号距离场（SDF）转换为密度场，NeRF可以学习详细的隐式表面。然而，这种方法需要多视图图像，并且需要对构造中的每个位置进行大量训练，这使其不太适合自由视角轨迹，因为在轨迹周围的感兴趣区域往往受到多视图图像有限的限制。
本工作的目标是使用来自任何随意轨迹的带姿势的图像和低成本激光雷达数据来恢复无界场景的外观和结构信息，这是实际三维重建数据收集中的典型情况。我们为激光雷达-视觉系统提出了一种统一的表面重建和渲染框架，能够同时恢复NeRF和NDF。该方法结合了NDF和NeRF，为场景提供了更好的结构和外观。我们直接在三维空间中应用有符号射线距离来有效地近似NDF。通过将NDF的密度场与辐射场相结合来渲染逼真的图像。NDF在NeRF内部强制执行几何一致性，并使用球面追踪引导NeRF的样本集中在表面上。反过来，NeRF利用渲染中的光度误差来细化和完成NDF内部模糊或不完整的结构。
2. 摘要
提出了一种用于激光雷达-视觉系统的统一的表面重建和渲染框架，集成了神经辐射场(NeRF)和神经距离场(NDF ),以从姿态图像和点云中恢复外观和结构信息。我们通过利用可视感知占用图将空间分类为自由、占用、可视未知和背景区域，解决了NeRF和NDF之间的结构可视差距。这种分类有助于恢复场景的完整外观和结构。我们使用空间变化尺度SDF到密度的变换来统一NDF和NeRF的训练，用于结构和外观的细节层次。所提出的方法通过用于精确结构绘制的自适应球体跟踪采样策略，利用学习的NDF进行结构感知的NeRF训练。反过来，NeRF在恢复NDF中缺失或模糊的结构时进一步改进结构。大量的实验证明了所提出的方法在各种场景中的卓越质量和通用性。
3. 效果展示
一种低成本的激光雷达，它提供表面上的直接采样点，并能够实现自由视角轨迹，如图1所示。
4. 主要贡献
本文的主要贡献如下：
1）一个开源的神经渲染框架，用于激光雷达-视觉系统，通过神经有符号距离场和神经辐射场实现高粒度表面重建和逼真渲染。
2）从点云中构建的可见感知先验占用图，用于无界场景的高效且完整的渲染。
推荐课程：
基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]
。
3）具有空间变化尺度的神经有符号距离场，利用球面追踪实现神经辐射场的结构感知体渲染。
我们进行了大量实验来验证我们的见解，并展示了所提出的方法在各种轨迹场景下的一般类型中的优越性。
5. 方法
给定一系列带有姿态的图像和激光雷达点云，我们的目标是恢复场景的表面和外观。整体流程如图2所示。我们首先利用射线投射从激光雷达点云和图像中构建可见性感知占用图，以分类需要编码的空间。我们利用激光雷达点云来监督神经距离场（NDF），以恢复场景的结构。NDF作为NeRF渲染的结构场，而NeRF则通过多视图光度误差反向优化NDF。在本节中，我们将详细阐述我们的方法如何使NDF和NeRF都了解场景的结构，以及处理现实应用中常见问题的训练策略。
我们希望为通用的激光雷达-视觉系统启用NeRF训练。激光雷达点云提供了环境中强烈且准确的信息，如占用空间、自由空间和未知空间。通过射线投射可以轻松地获得占用图来表示这些信息，它可以作为体积渲染的辅助加速数据结构，以跳过自由空间。然而，由于激光雷达和相机之间的视场不同以及激光雷达点云的稀疏性，许多空间对相机可见但对激光雷达不可见。仅使用激光雷达的占用信息进行NeRF训练可能导致渲染结果不完整，因此，我们需要识别需要编码的空间以提高效率和实现完整渲染。为此，我们采用占用图，并将占用网格状态分类为自由、占用、可见未知和不可见未知，其中可见未知和不可见未知网格根据它们在输入图像中是否可见与未知网格区分开。如图3所示，我们在构建的占用图中投射图像像素的射线，并将第一个到达的占用网格或地图边界之前的遍历过的未知网格标记为可见未知网格。我们在一个可见性感知占用图内编码神经场，该图仅包含占用和可见未知网格，以减少训练工作量。
6. 实验结果
7. 总结 & 未来工作
本研究提出了一种基于神经辐射场（NeRF）的激光雷达-视觉系统的表面重建与渲染方法。该方法融合了神经距离场（NDF）与NeRF的优势，为场景提供了高质量的结构和外观。该框架利用激光雷达点云的结构信息，构建了一个可见性感知的占用图先验，以提高效率，并构建了一个可扩展的NDF以实现高粒度表面重建。NDF使得NeRF能够进行结构感知采样，从而实现精确的结构渲染。同时，NeRF还利用渲染过程中的光度误差来优化结构。大量实验验证了该方法在不同场景下的有效性，展示了其在计算机视觉和机器人领域的实际应用潜力。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
「
3D视觉从入门到精通
」
知识星球
「3D视觉从入门到精通」知识星球
