点击下方
卡片
，关注“
3D视觉之心
”公众号
>>
点击进入→
3D视觉之心技术交流群
论文：
https://arxiv.org/abs/2502.12545v2
IM360
是一种新型3D重建框架，专门针对大规模室内环境的纹理网格重建，使用360°全向相机进行数据采集。
IM360 通过整合全向图像的宽视场特性以及球面相机模型，解决了传统结构化运动（SfM）方法在纹理缺失和重复区域表现不佳的问题。该方法的核心在于将球面相机模型融入SfM流程的每个环节，包括特征匹配、两视图几何估计和捆绑调整，从而在稀疏视图和遮挡频繁的室内环境中实现高精度的相机姿态估计和3D重建。
此外，IM360 结合了经典纹理映射与神经纹理优化技术，通过可微渲染对纹理进行优化，显著提升了渲染质量，能够生成高质量的纹理网格并捕捉高频细节。
实验结果表明，该方法在Matterport3D和Stanford2D3D数据集上均表现出色，优于现有的多种SfM和神经渲染方法，尤其在稀疏扫描场景中展现了强大的鲁棒性和优越的渲染性能。
技术解读
本研究提出了一种名为IM360的3D重建框架，专门针对大规模室内环境的纹理网格重建，使用360°全向相机进行数据采集。IM360 通过整合全向图像的宽视场特性以及球面相机模型，解决了传统结构化运动（SfM）方法在纹理缺失和重复区域表现不佳的问题，并结合神经纹理优化技术，显著提升了重建精度和渲染质量。
在处理过程中，IM360 首先通过球面密集匹配算法在全向图像上直接寻找密集对应点，解决了稀疏视图和遮挡问题。接着，利用球面两视图几何估计和捆绑调整优化相机姿态，并通过神经隐式表面重建技术提取高质量的3D网格。最后，结合经典纹理映射与基于可微渲染的神经纹理优化，对纹理进行精细调整，捕捉高频细节并降低噪声。
该技术的特点在于：1) 首次将球面相机模型完整地融入SfM流程，显著提高了稀疏场景下的重建精度；2) 结合经典与神经渲染方法，优化纹理质量，提升渲染性能；3) 在大规模室内场景中表现出色，尤其在纹理缺失和稀疏视图条件下具有强大的鲁棒性。
IM360 技术为大规模室内环境的3D重建和纹理映射提供了一种高效且高质量的解决方案，显著提升了稀疏视图场景下的重建精度和渲染质量。其在增强现实、虚拟现实以及机器人导航等领域具有广阔的应用前景，能够为室内数字化建模提供更高效、更精准的工具。
论文速读
本文介绍了一种名为IM360的新型3D重建流程，专门针对大规模室内环境的纹理网格重建，使用360°相机进行数据采集。该方法通过整合全向图像的宽视场特性以及球面相机模型，解决了传统结构化运动（SfM）方法在大规模室内场景中因纹理缺失和重复区域而表现不佳的问题。
1. 研究背景与动机
-
室内3D建图与渲染的重要性
：高保真度的室内环境数字化对于增强现实（AR）、虚拟现实（VR）以及机器人技术等领域具有重要意义。
-
传统方法的局限性
：传统相机的视场有限，导致数据采集耗时且覆盖不足，而全向相机虽然采集速度快，但在稀疏视图和遮挡情况下存在挑战。
-
全向相机的挑战
：全向图像存在纹理缺失区域和频繁遮挡问题，导致特征检测和匹配困难，传统SfM方法在这种场景下表现不佳。
2. 研究方法
2.1 球面结构化运动（SfM）
-
球面密集匹配
：利用基于球面相机模型的密集匹配算法（如EDM），在全向图像上直接寻找密集对应点，提高特征匹配的准确性和鲁棒性。
-
球面两视图几何估计
：扩展传统的两视图几何约束，适用于球面图像的单位方向向量。
-
球面捆绑调整
：将特征轨迹观测表示为方向向量，优化相机姿态和3D点。
2.2 几何重建
