点击下方
卡片
，关注
「3DCV」
公众号
选择
星标
，干货第一时间送达
来源：3DCV
添加小助理：cv3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。
扫描下方二维码，加入「
3D视觉从入门到精通
」知识星球
，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门独家秘制视频课程
、
最新顶会论文
、计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0. 这篇文章干了啥？
近年来，仅从少量二维输入图像中重建三维表面一直是计算机视觉领域的一个重要目标。虽然我们已进入了一个时代，可以通过最近基于SDF（Signed Distance Field，有符号距离场）的神经场或二维高斯形式的surfels的进展，从大量精心捕获的图像中获得高质量的重构，但我们仍然缺乏从稀疏视角集合中执行这项任务的能力。这种设置中的关键挑战在于当前优化问题的约束不足：有太多潜在的几何和外观组合可以满足给定的稀疏图像观测集。
解决此类约束不足任务的常用方法是在公式中引入正则化或先验。典型方法包括特征一致性和来自单目深度、多视图立体或运动结构的线索。
最近，引入了学习到的先验，例如来自预训练的二维扩散模型。它们已被证明能够显著改善从少量观测中重建的质量，能够产生缺失的外观细节。然而，基于扩散的方法的一个明显限制是，为了推广到3D场景可能具有的各种外观领域，它们需要大量的训练数据。
在本文中，我们观察到局部表面几何的空间远不如表面外观的空间多样，并做出以下三个关键假设：(1) 我们认为学习一个有用的表面几何先验所需的训练数据远少于学习外观先验所需的数据，(2) 合成数据可以作为几何训练数据的良好替代品，因为真实数据和合成数据在几何方面的领域差距较小，(3) 一个几何先验已经可以作为从少量观测中进行外观重建的有用约束。为了验证这一点，我们设计了一种架构，该架构在重建过程中明确地将几何与外观建模分离，但同时又对两者进行联合优化。通过这种架构，我们能够在合成数据上预先训练我们网络的几何部分，并使其学习常见表面结构的空间。在测试时间优化过程中，预先训练的几何分支则为场景的联合SDF和外观重建提供正则化。
作为神经场表示，我们选择基于点的神经场，点由DUSt3R初始化，我们将其扩展到建模有符号距离函数（SDF）而不是密度。在神经点云上，我们为SDF和局部邻域中的外观存储单独的特征。该表示通过聚合和处理射线沿线上样本点的相邻特征，经由体渲染进行渲染。有符号距离和辐射度分别由预训练的几何和解码器以及每个场景的外观解码器预测。
下面一起来阅读一下这项工作~
1. 论文信息
标题：Spurfies: Sparse Surface Reconstruction using Local Geometry Priors
作者：Kevin Raj, Christopher Wewer, Raza Yunus, Eddy Ilg, Jan Eric Lenssen
机构：Saarland Informatics Campus
原文链接：https://arxiv.org/abs/2408.16544
2. 摘要
我们介绍了Spurfies，一种新的稀疏视图表面重建方法，该方法将外观和几何信息分开，以利用在合成数据上训练的局部几何先验。最近的研究主要集中在使用密集多视图设置的3D重建，通常需要数百张图像。然而，这些方法通常难以处理少视图场景。现有的稀疏视图重建技术通常依赖于多视图立体网络，该网络需要从大量数据中学习几何和外观的联合先验。相比之下，我们引入了一种神经点表示，该表示将几何形状和外观分开，以在仅使用合成ShapeNet数据集的子集之前训练局部几何形状。在推理过程中，我们利用该表面先验作为通过可微分体绘制从稀疏输入视图进行表面和外观重建的附加约束，从而限制可能解的空间。我们在DTU数据集上验证了我们的方法的有效性，并表明它在表面质量方面优于先前的技术水平35%,同时实现了具有竞争力的新视图合成质量。此外，与以前的工作相比，我们的方法可以应用于更大的无界场景，如Mip-NeRF 360。
3. 效果展示
4. 主要贡献
我们展示了Spurfies（本文提出的方法）
• 在稀疏视角表面重建质量上大幅优于先前方法，
• 达到最先进的新视角合成质量，并且
• 能够应用于更大、无边界的场景，这得益于最近在点重建方面的进展以及仅在合成数据上训练的局部表面先验。
5. 基本原理是啥？
由于上一段中介绍的将有符号距离场与体渲染相结合的方法已证明能够从多个观测值中提供高质量的表面重建，问题在于如何通过从训练数据集中获得的数据先验来表示 ˆs(x) 和 ˆr(x)，以实现稀疏视角重建。我们介绍了我们命名为“Spurfies”（图2）的技术。它通过两个关键组件扩展了体渲染：（1）神经点表示，其中每个点 pi 都与几何和外观潜在码 fi = (f_gi, f_ai) 相关联，这些码能够实现两种模态的局部处理和有效分离。（2）局部几何先验，用于缓解稀疏视角重建中固有的形状-辐射度模糊性。我们认为，几何形状的变化少于外观，因此分离与强大的几何先验相结合是关键。与之前在训练过程中依赖多视角立体数据的工作不同，仅从合成物体数据集（ShapeNet）中获得这样的局部先验就足够了。
6. 实验结果
7. 总结 & 未来工作
我们介绍了“Spurfies”，这是一种用于稀疏视角表面重建的新方法，它使用点云上的分布式神经表示，并完全分离了几何和外观。我们的工作表明，使用一小部分精确的合成ShapeNet数据就足以学习高质量的局部表面先验。我们在DTU和Mip-NeRF360数据集上评估了我们的方法，展示了在DTU数据集上从稀疏视角进行网格重建的最新性能，并且我们的方法可以推广到大场景。我们的结果表明，“Spurfies”有效地缓解了稀疏视角设置中固有的形状-辐射度模糊性，使用稀疏输入视图产生了高质量的表面重建。我们的工作为该领域的未来方向提供了重要见解，即几何先验最为重要，并且可以通过将其与外观分离并在合成数据上进行训练来有效建模。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
「
3D视觉从入门到精通
」
知识星球
「3D视觉从入门到精通」知识星球
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
