AAAI'25 | 匹配精度暴涨94.5%！Cross-PCR：全新鲁棒3D点云配准框架

3D视觉工坊 · 公众号 · · 2025-01-07 07:00

正文

点击下方卡片，关注 「3D视觉工坊」 公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入 「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 论文信息

标题：Cross-PCR: A Robust Cross-Source Point Cloud Registration Framework

作者：Guiyu Zhao, Zhentao Guo, Zewen Du, Hongbin Ma

机构：School of Automation, Beijing Institute of Technology

原文链接：https://arxiv.org/abs/2412.18873

1. 导读

由于跨源点云之间的密度不一致和分布差异，以前的方法在跨源点云配准中失败。我们提出了一个密度鲁棒的特征提取和匹配方案，以实现鲁棒和准确的跨源注册。为了解决跨源数据之间的密度不一致，我们引入了一个密度鲁棒编码器来提取密度鲁棒特征。为了解决具有挑战性的特征匹配和很少正确对应的问题，我们采用了具有“宽松生成，严格选择”思想的宽松到严格的匹配管道。在此基础上，我们采用一对多策略来松散地生成初始对应。随后，严格选择高质量的对应点，通过稀疏匹配和密集匹配实现稳健配准。在跨源3DCSR数据集中具有挑战性的Kinect-LiDAR场景上，我们的方法将特征匹配召回率提高了63.5个百分点(pp)，将配准召回率提高了57.6个百分点。它还在3DMatch上实现了最佳性能，同时在不同的下采样密度下保持了鲁棒性。

2. 效果展示

现有的方法经常与密度差异和困难的匹配作斗争，导致有限的正确匹配。相比之下，我们的交叉PCR引入了密度鲁棒特征提取器来提取密度鲁棒特征。然后，由“宽松生成，严格选择”思想指导的宽松到严格的匹配策略生成可靠的匹配。

匹配结果对比：

3. 引言

跨源点云配准涉及将来自不同传感器的点云对齐到共享坐标系中。它是完成多传感器融合中不同传感器校准的关键。目前，捕获点云采用了各种传感器和方法，每种方法在数据采集过程中都具有独特的优势。因此，利用不同传感器的互补优势进行多传感器融合具有巨大潜力，并在测绘、机器人和遥感等领域找到了应用。在机器人领域，它是实现定位的一种经济且可行的解决方案。我们使用高精度激光雷达构建地图，然后用机器人上廉价的传感器扫描环境。遗憾的是，近年来跨源配准方面的进展有限。

跨源点云配准是一项极具挑战性的任务，因为它涉及将来自不同传感器的点云进行对齐。这些点云采集方法上的差异导致点云分布存在显著差异，从而为实现稳健配准引入了巨大障碍。因此，跨源点云配准面临着两大主要挑战。首先，如图1所示，来自不同传感器的两个点云在分布和密度上存在显著差异。例如，激光雷达生成的点云呈现为稀疏的线性结构，而深度相机采集的点云则密度较高。这种差异对在对应点上提取相似特征构成了很大阻碍，导致正确匹配失败。尽管DIF-PCR提出了密度鲁棒特征，但它主要解决的是一个点云内的密度不平等问题，而不是两个跨源点云之间的密度差异。其次，不同的传感机制在跨源点云数据中引入了大量不同的噪声和离群点。这些干扰进一步加剧了特征匹配的难度。因此，只能获得数量有限的准确对应点，这也阻碍了稳健配准的实现。

目前，大多数点云配准方法主要是为同源数据设计的。这些方法在解决两个问题上面临挑战。不幸的是，尽管一些方法具有良好的泛化能力，但在处理两个点云之间密度不同的跨源配准任务时表现不佳。SPEAL提出了一种室外跨源配准方法，但它面临解决室内场景中匹配困难问题的挑战，且无法实现稳健配准。由于上述两个问题，以往基于特征的方法难以实现跨源配准。因此，相当比例的跨源点云配准算法依赖于基于优化的方法。然而，这些方法在实现不同场景下的稳健配准时面临障碍。

我们介绍了一种名为Cross-PCR的基于特征的跨源配准方法。为解决上述挑战，我们提出了一种密度鲁棒特征提取方法和一种“宽松生成，严格筛选”的宽松到严格匹配流程。对于第一个挑战，我们提出了一种密度鲁棒特征提取网络，以解决跨源点云之间的密度不一致问题。具体而言，我们设计了一个多密度融合块，分别融合上采样、未采样和下采样的点云特征。然后，将其集成到编码器的每一层中，以实现密度的深度融合，捕获不同密度点云之间的共同结构特征。这极大地减少了跨源点云在密度上的特征差异。此外，这种简单且高效的设计避免了较大的计算开销和复杂的训练策略。对于第二个挑战，我们设计了一个宽松到严格的匹配框架，包括稀疏匹配和密集匹配。尽管提取了密度鲁棒特征，但在跨源配准的背景下，在对应点上获得最相似的特征仍然具有挑战性。我们的核心思想是“宽松生成，严格筛选”，即宽松地生成大量对应点，并严格筛选出正确的对应点。为实现这一目标，我们提出了一种一对多匹配策略，旨在捕获尽可能多的正确对应点。随后，系统地修剪这些对应点，通过基于鲁棒一致性的对应点精炼机制完成稀疏匹配。尽管做出了这些努力，但稀疏匹配后的结果仍可能包含虚假对应点。我们提出了一种先验引导的密集匹配方法，该方法在特征空间中全局过滤密集对应点。最终实现了更稳健的配准。推荐课程：聊一聊经典三维点云方法，包括：点云拼接、聚类、表面重建、QT+VTK等。

我们在跨源和同源数据集上对Cross-PCR进行了评估。在3DCSR数据集上，我们取得了最佳性能，并有显著提升。我们的方法成功实现了从深度相机到激光雷达的具有挑战性的配准，配准召回率（RR）提高了57.6个百分点（pp），特征匹配召回率（FMR）提高了63.5个百分点。值得注意的是，我们在3DMatch上也取得了最佳结果，获得了显著的94.5%的RR和88.7%的IR。我们的主要贡献总结如下：

我们引入了一种新颖的“宽松生成，严格筛选”宽松到严格匹配流程，解决了跨源配准中特征匹配困难的问题，即使在极低IR的情况下也能实现。

我们提出了一种密度鲁棒特征提取器来提取密度鲁棒特征，解决了跨源点云之间密度差异的问题。

我们的方法不仅实现了稳健的跨源配准，而且在同源配准中也表现出有效性。此外，它是首个在室内Kinect-LiDAR基准上实现稳健配准的方法。

4. 方法

我们的Cross-PCR由三部分组成：密度鲁棒特征提取、宽松到严格特征匹配和姿态估计。首先，在密度鲁棒特征提取中，一对跨源点云P和Q被输入到密度鲁棒编码器中，以获得密度鲁棒特征FeP和FeQ。之后，在宽松到严格特征匹配中，我们提出了一种两阶段匹配，遵循“宽松生成，严格筛选”策略，生成m组稳健且可靠的对应点Ge′i。最后，在姿态估计中，我们提出了一种新颖的假设选择方法来选择最佳变换T∗。