点击下方
卡片
，关注
「3D视觉工坊」
公众号
选择
星标
，干货第一时间送达
来源：3D视觉工坊
添加小助理：cv3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。
扫描下方二维码，加入「
3D视觉从入门到精通
」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门秘制视频课程
、
最新顶会论文
、计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0. 这篇文章干了啥？
点云配准是许多基于视觉的应用中的关键组成部分，如自动驾驶系统的感知。对刚体或场景的点云观测进行配准，相当于估计它们之间的刚性变换。然而，在实际场景中，由于观测点云来自不同的视角以及不同的采样模式，这些观测点云往往只存在部分重叠。
传统的点云配准方法依赖于三个基本组件：特征提取、关键点匹配以及基于对应关键点的刚性变换估计。最近的研究开始转向采用基于学习的特征提取方法，即使在观测之间存在显著差异的场景中也取得了令人鼓舞的结果。尽管基于学习的技术带来了显著进步，但配准流程的核心元素在很大程度上保持不变，仍然严重依赖于传统方法，如Horn算法来估计刚性变换。
在本研究中，我们采用通用流形嵌入（UME）框架来估计刚性变换，并对其进行扩展，以适应涉及大变换、部分重叠和不同采样点云的场景。UME是一种为将同一对象的相关观测（如图像、3D点云等）映射到单个低维线性子空间而设计的方法。此过程产生观测的变换不变表示，其矩阵形式表示与变换是协变的（即等变的）。这种双重性是有利的，因为不变表示有助于匹配对应的观测，而矩阵表示的协变性质则能够估计观测之间的变换关系。
为给定观测生成UME描述符的前提是定义观测上的变换不变函数，我们称之为观测着色函数。与仅依赖点对匹配点的坐标信息进行变换估计的配准方法不同，UME同时利用局部几何对应关系和匹配的邻域着色。这种方法导致了一个封闭形式的解，提供了更高的准确性和鲁棒性。
虽然UME配准方法在合成封闭对象展示了有效性，但由于缺乏对采样变化和部分重叠具有鲁棒性的不变着色函数，它在户外和室内扫描中遇到了困难。在本研究中，我们提出了一种新颖的与UME兼容的着色解决方案，该方案既对变换具有不变性，又对采样变化具有鲁棒性。我们引入了一个基于全卷积神经网络的着色模块，并使用一种新颖的UME对比学习方法对点云观测对进行训练，这些观测对通过旨在提高对采样变化鲁棒性的采样均衡器模块进行预处理。最后，我们基于UME框架引入了一个全面的配准流程。
我们在各种配准基准上展示了所提方法的性能，包括户外（KITTI、nuScenes）和室内（3DMatch）。对于许多感知任务，尤其是在自动驾驶中，高精度对于系统安全性和性能至关重要。因此，我们采用严格的精度标准（1°、10cm）在户外基准上评估并比较了我们的方法。我们还提出了RotKITTI——一个新的户外配准基准，专注于评估涉及大旋转的问题。这类问题在评估用于SLAM系统闭环的配准方法时非常重要。我们将所提方法的性能与大量基线方法进行了比较。
下面一起来阅读一下这项工作~
1. 论文信息
标题：UMERegRobust -- Universal Manifold Embedding Compatible Features for Robust Point Cloud Registration
作者：Yuval Haitman, Amit Efraim, Joseph M. Francos
机构：Ben-Gurion University
原文链接：https://arxiv.org/abs/2408.12380
代码链接：https://github.com/yuvalH9/UMERegRobust
2. 摘要
在本文中，我们采用通用流形嵌入（UME）框架来估计刚性变换，并对其进行扩展，使其能够适应部分重叠和不同采样点云的场景。UME是一种方法，旨在将通过刚性变换相关联的同一对象的观测值映射到单个低维线性子空间中。此过程生成观测值的变换不变表示，其矩阵形式表示与变换具有协变性（即等变性）。我们通过引入一种与UME兼容的特征提取方法，并辅以独特的UME对比损失和采样均衡器，来扩展UME框架。这些组件被集成到一个全面且鲁棒的注册流程中，命名为UMERegRobust。我们提出了RotKITTI注册基准，该基准特别适用于评估涉及大旋转场景的注册方法。在KITTI基准测试中，UMERegRobust的性能优于最先进的方法，尤其是在考虑（1◦，10cm）的严格精度时（平均增益为+9%），并且在RotKITTI基准测试中显著优于最先进的方法（与最新的最先进方法相比，增益为+45%）。我们的代码可在https://github.com/yuvalH9/UMERegRobust上获得。
3. 效果展示
上方图表：不同基线在常规KITTI（x轴）和RotKITTI（y轴）配准基准测试上的配准召回率（RR）性能。UMERegRobust在两个基准测试上均优于所比较的最优状态（SOTA）方法。
下方图表：RotKITTI基准测试中的配准问题，突显了测量值之间的显著旋转。源点云和目标点云以不同颜色显示，箭头方向代表车辆朝向，指示了一个120°的旋转问题。
4. 主要贡献
本文的主要贡献如下：
我们引入了一种新颖的与UME兼容的着色方法，该方法通过独特的UME对比损失和采样均衡器模块进行了增强。所提出的UME兼容着色为通用场景（如户外/室内扫描）中的高性能UME基配准提供了可能。此外，我们还提出了一个全面且鲁棒的无需RANSAC的3D点云配准流程，包括用于UME描述符生成的专用特征提取器、用于点云匹配的匹配流形检测器、基于UME的假设估计器和用于选择最佳估计器的假设选择模块。
我们提出了RotKITTI和RotnuScenes配准基准，这些基准专门用于评估涉及大旋转的场景中的配准方法。这些基准对于评估旨在集成到SLAM系统中的方法至关重要，特别是对于闭环任务。
我们在KITTI基准上实现了优于最先进方法的性能，特别是在考虑严格精度（1°、10cm）时（平均提升+9%），并且在RotKITTI基准上显著优于最先进方法（+45%的提升，与最近的SOTA方法相比）。
5. 基本原理是啥？
设P, Q ⊂ R³为两个通过刚性变换和采样变化相关联的部分重叠点云。我们通过估计刚性变换(R, t)（其中R ∈ SO(3)，t ∈ R³）来解决P和Q之间的配准问题。UMERegRobust流程如图2所示，它包含三个主要组件：（1）UME兼容特征提取器，该提取器为输入点云分配密集特征，旨在满足UME框架的要求；（2）关键点匹配和假设生成模块，该模块利用从点云密集特征中评估出的UME描述符，首先通过匹配流形检测器（MMD）建立假定的匹配，然后使用基于UME的估计器生成刚性变换的假设估计；（3）假设选择模块，该模块通过最大化点云特征相关性来选择最佳变换估计。
6. 实验结果
7. 总结 & 未来工作
在本文中，我们采用通用流形嵌入（Universal Manifold Embedding，UME）框架来估计刚性变换，并对其进行扩展，以使其能够适应部分重叠和不同采样点云的场景。我们通过引入一种与UME兼容的特征提取方法，并增加了独特的UME对比损失和采样均衡器，来扩展UME框架。这些组件被整合到一个全面且稳健的注册流程中，命名为UMERegRobust。UMERegRobust在KITTI基准测试中取得了优于最先进技术的性能，尤其是在考虑（1◦，10cm）的严格精度时，并且在考虑大旋转场景的RotKITTI基准测试中显著优于当前最优方法。尽管UMERegRobust的表现优于当前最优方法，但在缩小差距的同时，为了处理所考虑的困难场景，仍需要进一步改进UMERegRobust的性能指标，以满足自主机器人实际部署所需的严格性能指标。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d008
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
