3D线段SFM建图

与稀疏关键点相比，少数线段建图可以简洁地表示环境结构信息，因为它们通常勾勒出主要的结构元素，除了提供强大的几何线索外，它们在城市景观和室内场景中也无处不在。尽管具有明显的优势，但当前基于线段的重建方法远远落后于基于点的方法。在本文中，我们旨在通过引入LIMAP（3D线地图库）来填补这一差距，该库能够从多视角图像中鲁棒高效地创建3D线地图。通过重新审视线段三角化的退化问题，精心设计的评分和跟踪构建，以及利用线段的重叠、平行和正交等结构先验知识，实现了这一目标。我们的代码与现有的基于点的运动结构方法无缝集成，并可以利用它们的3D点进一步改善线段重建。此外，该方法还能够恢复线段与点/消失点（VPs）之间的3D关联图。通过详尽的实验证明，LIMAP在3D线路地图方面明显优于现有方法。我们还展示了两个应用示例：视觉定位和捆集调整，在这些示例中，将线段与点结合起来可以获得最佳结果。代码可在https://github.com/cvg/limap 上获取。

图1. 本文提出了一个鲁棒的方案用于3D线段建图（b），相比广泛使用的点建图（a），它提供了更强的几何线索来描述场景布局。我们的方案的一部分成功归功于对结构先验的建模，例如重合（c），平行/正交（d）。与此同时，与线段和点/消失点（VPs）之间的相应3D关联图也是我们系统的特点。

本文旨在缩小基于点和基于线的地图解决方案之间的差距。提出了一种新的鲁棒地图方法LIMAP，能够与现有的开源基于点的SfM框架无缝集成。通过与研究社区共享代码，我们希望促进与线段相关的更多研究，包括低级任务（如改进线段检测和描述）和将线段整合到更高级任务（如视觉定位或密集重建）中。具体而言，本文在以下方面做出了贡献：

• 构建了一个新的线段建图系统，能够可靠地从多视角RGB图像中重建3D线段。与以前的方法相比，我们的线段地图更完整、更准确，并具有更强大的2D-3D轨迹关联。

• 通过自动识别和利用结构的先验知识（如重合点和平行线）来实现这一目标。该技术贡献涵盖了线段建图的所有阶段，包括三角化提取、评分、轨迹构建和联合优化，同时输出3D线段-点/消失点关联图。

• 该框架具有灵活性，研究人员可以轻松更改组件（例如检测器、匹配器、消失点估计器等）或集成其他传感器数据（例如深度图或其他3D信息）。

• 这是第一个在合成和实际数据集上进行定量评估的，以对性能进行基准测试，每个场景包含数百张图像，在这些评估中，LIMAP始终明显优于现有方法。

• 最后通过展示在SfM中的视觉定位和捆集调整等任务中，具有鲁棒线段地图的优势，证明了与纯粹基于点的方法相比的改进效果。

我们的方法以包含来自任何现有线段检测器的2D线段的图像集作为输入，假设每个图像的相机姿态可用（例如，来自SfM/SLAM），并且我们还可以选择利用3D点云（例如，从基于点的SfM获得）。该方案由三个主要步骤组成：

• 线段提取生成：对于每个2D线段生成一组3D线段。

• 评分和轨迹关联：考虑到多视角一致性，为每个线段进行评分，选择每个2D线段的最佳候选，并将它们关联成一组3D线段轨迹。

• 联合优化：最后对3D线段轨迹进行联合非线性优化，同时与3D点和VP方向集成额外的结构先验作为软约束。图2显示了整个方案的概述。

图2. 方案概述，给定一组具有姿态的图像和可选的3D点，将附近的点与线关联起来，匹配线段，使用4种不同的策略进行三角测量，对3D线段提出建议进行评分，构建线段轨迹，在获得最终重建之前对所有特征进行联合优化。

线段提取生成

线段三角测量：线三角测量是根据线段在多个图像中的对应的二维投影来估计场景中线段的三维位置的过程。它涉及到找到线段与从摄像机中心射出的射线的交点。线三角测量通常通过求解一个方程组来计算线段的二维图像坐标和摄像机参数与其在场景中的三维坐标之间的关系。

点线关联：点线关联是将三维点与其在图像中对应的二维线段进行关联的任务。这种关联对于建立二维线段与其在场景中对应的三维结构之间的对应关系至关重要。通过将点与线段关联起来，我们可以利用三维点提供的几何信息来提高线段重建的准确性和稳健性。

点引导线三角测量：点引导线三角测量是一种利用三维点信息来辅助线三角测量过程的方法。通过利用场景中已经三角化的三维点，可以对线段的三角测量进行引导或约束，从而得到更准确、可靠的结果。这可以通过将已知的三维点作为三角测量方程的附加约束，或将其用作线段匹配和三角测量的参考来实现。点引导线三角测量可以帮助克服线三角测量中固有的模糊性和退化性，并提高重建线段的整体质量。

评分和轨迹关联

评分和轨迹关联是3D线条建图过程中的两个关键步骤。在为每个2D线段生成一组3D线段之后，下一步是对这些线段进行评估和评分，以确定它们作为对应线条在场景中的准确3D表示的可能性。这个评分过程涉及考虑各种因素，如提案在多个视角下的一致性、提案与观察到的2D线段之间的几何拟合度，以及符合线条重合、平行和正交等结构先验。一旦对线段进行了评分，轨迹关联步骤旨在建立2D线段与其对应的3D线条轨迹之间的对应关系。这涉及根据其评分选择每个2D线段的最佳候选对，并将它们关联成连贯的轨迹。轨迹关联过程考虑提案的空间和时间一致性，旨在确保轨迹准确地表示场景中的底层3D线条结构。评分和轨迹关联的结合有助于改进和提高3D线条建图结果的准确性。通过评估和选择最可靠的提案，并在2D线段与3D轨迹之间建立一致的关联，建图流程可以生成更完整和准确的3D线条地图，捕捉场景的高级结构信息。这些步骤在线条建图过程的整体成功中起着关键作用，并为重建的线条段的鲁棒性和可靠性做出贡献。