专栏名称: 计算机视觉工坊

专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习、AI芯片、产品落地等技术干货及前沿paper分享。这是一个由多个大厂算法研究人员和知名高校博士创立的平台，我们坚持工坊精神，做最有价值的事~

AAAI'25开源 | 北大新作Normal-NeRF：让NeRF无惧镜面和复杂几何结构

计算机视觉工坊 · 公众号 · · 2025-01-25 00:00

正文

点击下方卡片，关注 「3D视觉工坊」 公众号
选择星标，干货第一时间送达

来源：计算机视觉工坊

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入 「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 论文信息

标题：Normal-NeRF: Ambiguity-Robust Normal Estimation for Highly Reflective Scenes

作者：Ji Shi, Xianghua Ying, Ruohao Guo, Bowei Xing, Wenzhen Yue

机构：Peking University

原文链接：https://arxiv.org/abs/2501.09460

代码链接：https://github.com/sjj118/normal-nerf

1. 导读

神经辐射场(NeRF)通常难以重建和渲染高反射场景。最近的进展已经开发了各种反射感知外观模型，以增强NeRF渲染镜面反射的能力。然而，高反射场景的鲁棒重建仍然受到镜面反射表面固有的形状模糊性的阻碍。现有的方法通常依赖于附加的几何先验来正则化形状预测，但是这可能导致复杂场景中的过度光滑的几何。观察到表面法线在参数化反射中的关键作用，我们介绍了一种基于透射率梯度的法线估计技术，该技术即使在模糊的形状条件下也保持稳健。此外，我们提出了一个双重激活密度模块，有效地弥补了光滑表面法线和清晰物体边界之间的差距。结合反射感知的外观模型，我们提出的方法实现了具有高度镜面反射和复杂几何结构的场景的鲁棒重建和高保真渲染。大量实验表明，我们的方法在各种数据集上优于现有的最先进的方法。

2. 效果展示

和其他方法的对比：

法向量估计效果：

3. 主要贡献

通过整合一个考虑反射的外观模型，我们的模型在高反射场景中实现了稳健的重建和高保真渲染。我们的主要贡献可以概括如下：

• 据我们所知，我们是首个识别并分析传统上用于神经辐射场（NeRF）法线估计的密度梯度固有局限性的研究。

• 我们引入了透射率梯度，以解决神经辐射场内部法线估计中的不一致性和不规则性。

• 我们提出了一个双激活密度模块，以有效弥合平滑表面法线与锐利物体边界之间的差距。

4. 方法

我们的目标是增强神经辐射场在重建和渲染高反射场景时的鲁棒性和保真度。我们首先引入透射率梯度的概念，以解决在形状模糊条件下法线估计的不规则性问题。随后，我们采用双激活密度来满足表面法线和物体边界的不同需求。最后，我们详细介绍了我们的训练过程，包括用于预测法线损失的停止梯度预热策略，以及一个考虑反射的外观模型。推荐课程：实时400FPS！高精NeRF/Gaussian SLAM定位与建图。

5. 实验结果

6. 总结 & 未来工作

本文提出了一种管道，以增强NeRF在重建和渲染高反射场景方面的能力。我们的方法的核心是基于透射率梯度的法线估计技术，以提高在形状预测模糊条件下的表面法线估计的鲁棒性和准确性。我们还引入了双激活密度，以建模具有平滑表面和尖锐边界的目标，广泛的实验表明，我们的方法在定性和定量上优于现有方法。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉、最前沿、工业3D视觉、 SLAM 、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有求职、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如 3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，已沉淀6年，星球内资料包括： 秘制视频课程近20门 （包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、 项目对接 、