【泡泡图灵智库】神经隐式密集语义SLAM

标题：Neural Implicit Dense Semantic SLAM

作者：Yasaman Haghighi, Suryansh Kumar, Jean Philippe Thiran, Luc Van Gool

来源：Arxiv 4/28

编译：张海晗

审核：zhh

这是泡泡图灵智库推送的第779篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

大家好，今天介绍的文章是神经隐式密集语义SLAM。

摘要

本文提出了一种有效的在线框架，利用神经隐式场景表示的优势来解决著名的室内语义视觉同时定位与地图构建（V-SLAM）问题。类似于NICE-SLAM等现有方法在使用这种重要的室内场景理解问题时存在一些关键的实际限制。为此，我们提出了现代语义V-SLAM的以下命题，与假设RGB-D帧为输入的现有方法相反：（i）对于刚体场景，可以通过分离的跟踪和三维映射流水线计算出稳健准确的相机运动。（ii）使用神经场，提供了一种密集而多面向的场景表示，包括SDF、语义、RGB和深度，具有高效的存储。（iii）我们证明，使用关键帧集合就足以学习出优秀的场景表示，从而提高了流水线的训练时间。（iv）多个局部映射网络可用于扩展大型场景的流水线。我们通过对多个流行基准数据集进行广泛实验表明，即使使用嘈杂和高度稀疏的深度测量，我们的方法在测试时也能提供准确的跟踪、映射和语义标注。在本文后面，我们还展示了我们的流水线可以轻松扩展到RGB图像输入。总体而言，所提出的流水线提供了一个有利的解决方案，可以帮助多样化的机器人视觉感知和相关问题的重要场景理解任务。

主要贡献

• 我们提出了一种在线算法，利用动态的关键帧集合来优化映射网络。这些关键帧是基于ORB-SKAM3的标准选择的，只占整个数据集的一小部分。这导致了该方法的显著加速和计算复杂度的降低。

• 我们提出了一种新颖的方法，基于关键帧的2D语义色彩图，实现了密集的三维语义分割。通过这种方法，我们能够准确地在线学习场景的密集三维语义，同时学习几何。即使关键帧语义不一致和抖动，我们的方法也是鲁棒的。

• 我们的映射网络提供了一个多面向的场景表示，包括SDF、语义、RGB和深度图像，并具有高效的存储。对于一个25平方米的房间，我们使用少于25MB的内存存储所有信息。

• 我们通过将全局空间分成子空间，并为每个子空间的局部坐标系优化一个单独的地图，将我们的流水线扩展到大型场景。

• 最后，我们进行了全面的消融研究，以确认我们的算法在处理嘈杂或稀疏的深度输入以及仅有RGB模态可用时的鲁棒性。

主要方法

• Mapping Network：我们的mapping network是一个神经网络，用于将输入的RGB图像和深度图像转换为场景的3D表示。该网络由编码器和解码器组成，其中编码器将输入图像编码为低维特征向量，解码器则将这些特征向量解码为3D场景表示。我们使用了一种基于SDF（Signed Distance Function）的表示方法，可以同时表示场景的几何形状和语义信息。

• 关键帧选取：当以每秒15或30帧的速率扫描一个房间时，许多帧通常高度相关。由于神经场以精确的视图插值而闻名，我们认为在一组关键帧上优化网络就足够了。为了选择关键帧，我们依赖于ORB-SLAM3的标准。这种方法有两个优点：1）在一组关键帧上优化网络可以将帧数减少约10倍，从而显著加速算法。2）ORB-SLAM仅对关键帧进行姿势图优化和束调整，其他帧的姿势相对于关键帧更新。因此，在关键帧上优化网络可以得到更精确的映射。

• 语义分割：我们提出了一种新的分割算法，只使用关键帧的2D语义信息在线学习场景的密集三维语义。为了实现这一点，我们将分割解码器纳入我们的映射网络中，其中纹理和分割解码器利用一个共同的几何块。与使用类别概率估计场景语义标签的类似方法不同，我们首先将分割图转换为颜色编码，然后使用编码来优化我们的神经场。我们的语义分割方法的灵感来源于一个简单的例子。想象一个地板是绿色的房间，墙壁是蓝色的，家具是红色的。在这种情况下，我们可以通过对颜色进行阈值处理轻松分割房间。由于神经场在从多视角数据学习3D场景颜色方面非常表达力强，使用颜色映射进行分割利用了这种强大的先验知识，即使关键帧的2D语义在颤动和不一致时也能帮助我们预测出鲁棒的分割图。此外，由于我们仅依赖于每个帧的颜色映射，因此我们可以通过为每个预测实例分配不同的颜色来轻松扩展流程（pipeline）以进行全景分割。

• 在线RGBD流程：是一种在线的RGBD SLAM（Simultaneous     Localization and Mapping）流程，用于实时跟踪和建立环境地图。该管道包括以下主要阶段：使用RGBD ORB-SLAM 3进行跟踪和环路闭合，动态维护关键帧列表及其姿态，加权随机关键帧选择，映射网络以及活动/非活动网格。具体而言，每个新帧首先被输入到RGBD ORB-SLAM 3中进行跟踪，并确定它是否为关键帧。我们维护一个动态的关键帧集合，其中关键帧列表及其姿态由ORB-SLAM动态更新。为了优化网络，我们从动态关键帧集合中随机选择一个关键帧，并使用一组像素上的光度、几何和语义损失来优化网络。

• 扩展到大场景：利用类似于SlidingWindows的方式分割并更新大场景到小的subspace，再利用小的subspace进行计算来优化实时性。

主要结果