CVPR'24 开源 | NeRF-SLAM新SOTA：请任意选择你的高效神经表征和渲染方程！

3DCV · 公众号 · · 2024-05-12 00:00

正文

本次分享我们邀请到了香港科技大学(广州)的博士生华彤延，为大家详细介绍她们中稿CVPR 2024的工作：

Benchmarking Implicit Neural Representation and Geometric Rendering in Real-Time RGB-D SLAM

论文地址： https://arxiv.org/pdf/2403.19473

代码： https://github.com/thua919/NeRF-SLAM-Benchmark-CVPR24

隐式神经表示（INR）与几何渲染相结合，最近被用于实时密集 RGB-D SLAM。尽管进行了积极的研究工作，但缺乏统一的公平评估协议，阻碍了该领域的发展。在这项工作中，据我们所知，我们建立了第一个开源基准测试框架，用于评估各种常用的 INR 和用于映射和定位的渲染函数的性能。我们基准测试的目标是：1.直观地了解不同的 INR 和渲染函数如何影响映射和定位，以及2.建立统一的评估协议，了解可能影响映射和定位的设计选择。通过该框架，我们进行了大量的实验，在选择INR和几何渲染函数时提供了各种见解：例如，密集特征网格优于其他INR（例如三平面和哈希网格），即使几何和颜色特征被联合编码以提高内存效率。

为了将研究结果扩展到实际场景中，提出了一种混合编码策略，以从基于网格和基于分解的INR中获得最佳的准确性和完成度。我们进一步提出了用于高保真密集网格映射的显式混合编码，以符合以鲁棒性和计算效率为前提的RGB-D SLAM系统。