0. 论文信息
标题：DebSDF: Delving into the Details and Bias of Neural Indoor Scene Reconstruction
作者：Yuting Xiao, Jingwei Xu, Zehao Yu, Shenghua Gao
机构：ShanghaiTech University、University of Tubingen、e University of Hong Kong
原文链接：https://arxiv.org/abs/2308.15536
代码链接：https://davidxu-jj.github.io/pubs/DebSDF/
1. 导读
近年来，神经隐式曲面因其简单性和先进的性能而成为多视图曲面重建的有力工具。然而，从多视图图像中重建室内场景中平滑和细节的表面提出了独特的挑战。室内场景通常包含大的无纹理区域，使得光度损失对于优化隐式曲面不可靠。先前的工作利用单目几何先验来改善室内场景的重建。然而，当独立地从不同的视图导出时，由于域间隙和固有的不一致性，单目先验通常在薄结构区域中包含大量误差。本文旨在解决这些挑战，重点关注单目先验中不确定性的利用和基于SDF的体绘制中的偏差。我们提出了一种不确定性建模技术，将较大的不确定性与单目先验中的较大误差相关联。然后从优化中排除高不确定性先验以防止偏差。这种不确定性测量还通知了重要性引导的射线采样和自适应平滑正则化，增强了精细结构的学习。我们进一步引入了一个偏差感知的带符号距离函数来进行密度变换，该函数考虑了曲率以及视图方向和SDF法线之间的角度，以更好地重建精细细节。我们的方法已经通过在几个具有挑战性的数据集上的大量实验进行了验证，证明了在室内场景中重建薄结构的改进的定性和定量结果，从而优于先前的工作。
2. 效果展示
我们可以看到，我们的方法可以重建室内场景，具有更详细的结构，例如椅子的腿和台灯的支架。以前的工作，如MonoSDF，它基于VoSDF由于在这些区域不准确的几何先验，无法重建薄而详细的面。我们的方法可以准确地生成不确定性地图，这可以定位不准确的先验，并通过提出偏差感知的SDF到密度的转换方法来减少SDF渲染中的偏差，因此我们的方法可以显著地比先前的工作更好地重建室内场景。
渲染的不确定性图可以定位单目先验不准确的区域，这些区域通常对应于高度细节的薄结构。与NeuRIS相比，我们的模型能够产生更合理的结果。
3. 引言
从多张已校准的RGB图像中进行表面重建是计算机视觉和图形学领域一个长期存在的目标，其应用范围广泛，从机器人技术到虚拟现实均有涉及。传统方法通过多步骤流程来解决这一问题。它首先利用多视图立体视觉技术为每张RGB图像估计密集深度图，将深度图融合为无序点云，然后通过泊松表面重建算法]将其转换为三角网格。近期，由于神经隐式表面的简洁性，它已成为多视图表面重建的一种强大表示方法。神经隐式表面的核心理念是利用基于坐标的网络进行场景表示，该网络将3D坐标映射到不同的场景属性（如有符号距离），并使用可微体积渲染技术，将隐式表面投影到如RGB图像、深度和法线等2D观测值上。神经隐式表面可以通过多视图图像以端到端的方式进行优化，并且可以借助行进立方体算法轻松转换为任意分辨率的三角网格。
尽管隐式表面在以物体为中心的场景重建中展现出了令人印象深刻的性能，但从多视图图像中重建室内场景的平滑且精细表面仍然具有挑战性。首先，多视图重建本质上是一个欠约束问题，因为存在无限多个可能的隐式表面在渲染后与输入图像相匹配。其次，室内场景通常包含大片无纹理区域，而用于优化隐式表面的光度损失并不可靠。规避这些挑战的一种可能方法是利用室内场景的先验知识。例如，通过假设曼哈顿世界（其中墙面和地面区域相互垂直），Manhattan-SDF实现了比直接从多视图图像优化符号距离场（SDF）的方法更好的性能。MonoSDF和NeuRIS通过结合大型预训练模型从单个视图推断几何先验（如单目深度和法线图）来进一步提高重建质量。
虽然可以忠实地重建室内场景的整体结构（如墙壁和地面），但这些方法仍然难以恢复精细细节。这些失败源于多个因素：1）由于预训练模型所用训练数据与待重建场景之间存在域差距，这些区域的单目先验存在较大误差。2）由于每个输入图像的单目先验是独立预测的，因此它们不太可能具有多视图一致性，尤其是在薄且精细的结构区域。3）薄结构区域在输入图像中占比较小。现有方法在所有训练图像中均匀采样训练光线，导致这些区域与墙壁和地面相比采样概率较低。4）对整个空间统一应用平滑正则化，这抑制了薄结构表面的学习。这些因素共同作用，使得精细和详细的表面难以形成。
推荐课程：
彻底搞懂3D人脸重建原理，从基础知识、算法讲解、代码解读和落地应用
。
在本文中，我们从统一的角度解决了在利用单目几何先验时遇到的这些挑战。我们的关键见解基于以下假设：如果先验与其他先验一致（例如，与其他视图或其他模态一致，在我们的案例中为深度和法线一致性），则它是正确的。虽然手动检测这种一致性或不一致性可能具有挑战性，但我们观察到隐式表面的优化隐式地聚合了来自多视图和多模态（深度和法线）的信息/先验。与其他先验一致的几何先验将具有较低的误差，而与其他先验偏离的先验与学习的隐式表面相比将具有较大的误差。因此，我们通过不确定性建模来实现这一点，其中较大的不确定性反映了先验的较大误差。我们将不确定性引入单目先验引导的优化中，以避免错误先验对表面重建的影响。我们观察到，过滤掉的区域通常对应于薄结构区域，如图1中的重要性图所示。因此，我们提出了一种重要性引导的光线采样方法，从这些区域采样更多光线，并提出了一种自适应平滑正则化策略，在这些区域应用较小的正则化以促进精细结构的学习。
此外，我们发现当光线投射在表面附近且体积渲染权重中存在多个峰值时，常用的SDF到密度的转换存在不可忽视的偏差。使用这种模糊公式进行优化会抑制前景物体的重建，例如室内场景中的薄结构。我们提出使用曲率半径和视线方向与SDF法线之间的角度来将SDF转换为密度。由于计算Hessian矩阵以获得解析解在计算上很昂贵，我们用相邻点构成的三角形来近似曲率半径。借助所提出的考虑偏差的SDF到密度的转换，我们的方法能够忠实地重建室内场景的精细细节。
4. 主要贡献
我们做出了以下贡献：
• 我们确定了先前方法在室内场景中无法恢复薄且精细结构的关键原因。因此，我们引入了DebSDF，它利用不确定性建模来过滤具有较大误差的单目先验，指导光线采样，并自适应地应用平滑正则化以重建详细的室内场景。
• 我们提出了一种新颖的考虑偏差的SDF到密度的转换方法，用于体积渲染，从而能够重建薄且精细的结构。
• 在四个具有挑战性的数据集（即ScanNet、ICL-NUIM、Replica和Tanks and Temples）上进行了大量实验，从定量和定性两个方面验证了我们的方法的有效性。
5. 方法
先前的工作[6]、[7]、[8]表明，在隐式神经表面表示框架和基于符号距离函数（Signed Distance Function, SDF）的体积渲染中，利用几何先验对优化进行正则化可以显著提升墙面、地面等无纹理区域的重建质量。
然而，对于复杂且精细的表面，尤其是室内场景中观测较少的部分（如椅腿），仍然难以进行重建。我们分析认为，这一问题存在以下原因：（i）在这些区域获得的几何先验误差明显大于其他平面区域。（ii）精细细节区域在室内场景中占据的面积较小，因此不平衡的采样损害了重建质量。（iii）不加区分地应用平滑正则化会降低高频信号的重建质量。（iv）基于SDF的体积渲染由于SDF的曲率而具有几何偏差，这会导致精细且详细的薄几何结构被消除，尤其是在应用单目几何先验的正则化时。为解决这些问题，我们提出了DebSDF，它过滤掉不准确的单目先验，并使用从SDF到密度的偏置感知变换来减少密度表示的歧义，从而解决精细结构被消除的问题。
我们展示了两个玩具案例，通过应用LogisticCDF来模拟基于SDF的渲染，当光线擦过并相交于一个小物体时。沿光线的权重函数表明，如果与表面没有相交，我们的方法不会出现峰值。右列的子图显示了不同a值对应的渲染深度。我们的方法可以比TUVR等先前的工作实现更小的误差。
6. 实验结果
7. 总结 & 未来工作
我们引入了DebSDF，它通过定位不确定区域并引入偏置感知的SDF到密度的变换，用于SDF的体积渲染，从而提高了室内3D重建的细节和质量。基于以下观察：如果先验与其他先验一致，则它是正确的，我们提出了一种不确定性建模方法，该方法能有效识别单目几何先验中的大误差区域，这些区域通常对应于室内场景中的精细细节区域。因此，我们选择性地过滤掉这些区域的几何先验，以避免其可能产生的负面影响。我们还为这些区域分配了更高的采样概率，并应用了自适应平滑正则化，进一步提高了重建质量。此外，我们发现先前工作中使用的神经隐式表面的体积渲染技术在消除精细表面方面存在强烈的偏置。因此，我们提出了一种渐进式、偏置感知的SDF到密度的变换方法，以减少这些偏置的影响，从而增强室内环境中薄且精细结构的重建。与先前的工作相比，我们的DebSDF在五个具有挑战性的数据集上的实验证明了其重建质量的提升。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
