自动驾驶中的神经辐射场：综述

24年4月清华大学论文“Neural Radiance Field in Autonomous Driving: A Survey”。

神经辐射场（NeRF）由于其固有的优势，特别是其隐式表示和新视图合成能力，引起了学术界和工业界的广泛关注。随着深度学习的快速发展，出现了多种方法来探索 NeRF 在自动驾驶（AD）领域的潜在应用。然而，当前文献中存在明显的空白。为了弥补这一差距，本文对 NeRF 在 AD 背景下的应用进行了全面的调查。该综述旨在对 NeRF 在自动驾驶 (AD) 中的应用进行分类，具体包括感知、3D 重建、同步定位和建图 (SLAM) 以及模拟。深入分析并总结每个应用类别的研究结果，最后对该领域的未来方向提供见解和讨论。

如图是NeRF在自动驾驶的类别：

NeRF 在自动驾驶感知任务中展示了巨大的潜力，该任务分为两个分支：数据增强和模型训练，如图所示。数据增强需要利用 NeRF 的创新视图合成功能对训练数据集进行逼真的数据增强，而模型训练则涉及将神经渲染集成到训练过程中以捕获几何细节并提高性能。

最近出现了几种利用 NeRF 估计实时姿态的具体方法，可分为 3D 隐式表示和 3D 特征提取。与 NeRF 优化姿态估计相反，NeRF 在 SLAM 中的另一个应用是表示整个场景以优化建图性能。根据场景表示级别，相关研究分为MLP级、体素级、点级和3D高斯级表示。

自动驾驶仿真为传感器数据生成创建逼真的虚拟环境，为现实世界测试提供了一种更安全、更具成本效益的替代方案，有利于创建多样化的驾驶场景并降低安全风险。CARLA [93] 和 AirSim [94] 等传统模拟方法依赖于手动场景创建，并且由于手工制作的资产和简化的物理原理而存在显着的模拟与真实差距，因此面临着局限性。GeoSim [95] 试图通过结合图形和神经网络来生成视频场景来弥补这一差距，但未能模拟新视图的传感器数据。神经辐射场方法显着增强了真实感，并减少了场景创建和编辑中的手动工作，为缩小现实世界和虚拟世界之间的域差距提供了一种有前景的解决方案。