0. 论文信息
标题：PSReg: Prior-guided Sparse Mixture of Experts for Point Cloud Registration
作者：Xiaoshui Huang, Zhou Huang, Yifan Zuo, Yongshun Gong, Chengdong Zhang, Deyang Liu, Yuming Fang
机构：Shanghai Jiao Tong University、Jiangxi University of Finance and Economics、Shandong University、Anqing Normal University、Huaihua University、Jiangxi Provincial Key Laboratory of Multimedia Intelligent Processing
原文链接：https://arxiv.org/abs/2501.07762
1. 导读
判别特征对点云配准至关重要。最近的方法通过区分非重叠和重叠区域点来提高特征区分度。然而，他们仍然面临着区分重叠区域中的模糊结构的挑战。因此，他们提取的模糊特征导致大量来自重叠区域的异常匹配。为了解决这个问题，我们提出了一种先验指导的基于SMoE的注册方法，通过将潜在的对应关系分派给相同的专家来提高特征的区分度。具体而言，我们提出了一个先验指导的SMoE模块，通过融合先验重叠和潜在对应嵌入来路由，将令牌分配给最合适的专家进行处理。此外，我们还提出了一个由变形层和先验引导的SMoE模块组合而成的注册框架。所提出的方法不仅注意到定位点云重叠区域的重要性，而且致力于在重叠区域找到更精确的对应点。我们的大量实验证明了我们方法的有效性，在3DMatch/3DLoMatch基准上实现了最先进的注册召回率(95.7%和79.3%)。此外，我们还在ModelNet40上测试了性能，展示了良好的性能。
2. 效果展示
原始some模型和PSMoe的对比。
值得注意的是，在3DLoMatch示例中，点云对只有部分重叠的墙壁。在这种有大量类似结构的情况下，我们的方法成功地实现了注册，而PEAL则失败。从定量和定性的结果来看，可以认为我们提出的PSReg显著提高了特征的可区分性，这有助于在低重叠点云注册中推断可靠的超级点对应关系，从而实现精确对齐。
3. 主要贡献
我们基于PSMoE模块设计了一个从粗到精的点云配准框架，命名为基于先验引导的稀疏混合专家模型配准（PSReg），以估计最终的变换矩阵。此外，我们在室内基准数据集和合成数据集上进行了大量实验，证明了我们的方法相较于以往方法的优越性。一系列全面的消融研究验证了我们所提方法中每个模块的有效性。我们的贡献可以概括为以下几点：
• 我们分析了直接在点云配准中应用标准稀疏混合专家模型（SMoE）性能不佳的原因，并提出了一种先验引导的SMoE（PSMoE）模块，以进一步提高重叠区域内的特征独特性。据我们所知，我们是探索将SMoE应用于点云配准任务的先驱。
推荐课程：
聊一聊经典三维点云方法，包括：点云拼接、聚类、表面重建、QT+VTK等
。
• 我们通过结合Transformer和我们的PSMoE模块，提出了一种配准方法PSReg。
• 我们进行了大量实验，验证了我们的方法的有效性，并探讨了将SMoE应用于点云配准任务的可行性。
4. 方法
为解决上述问题并进一步缓解重叠区域的匹配歧义，我们提出了先验引导的稀疏混合专家模型（PSMoE），如图3所示，该模型提供了明确的先验指导。图2（c）展示了我们的方法中的标记分布。由于引入了先验信息，路由网络可以区分重叠和非重叠的补丁。因此，提供明确的指导信号可以帮助路由网络更好地识别哪些专家更适合特定的输入。接下来，我们将从三个方面依次介绍我们的方法：先验超点对应预测、先验超点对应编码和先验引导路由。
为解决点云配准任务，我们提出了基于先验引导的稀疏混合专家模型配准算法（PSReg）。我们的流程如图5所示。该框架采用了从粗到精的范式。首先，我们使用KPConv-FPN主干网络对原始点云进行下采样，获得超点及其对应的特征。具有区分性的超点特征对于高质量的点云配准至关重要，因为精细阶段的对应关系的准确性取决于超点对应关系。因此，我们的方法主要关注粗阶段的特征提取。
我们将PSMoE与Transformer相结合，利用PSMoE的多专家网络提取具有高度区分性的超点特征，以实现精确的超点对应关系识别。随后，点匹配模块推导出精确的点对应关系，然后应用局部到全局配准（LGR）进行最终的变换估计。
5. 实验结果
6. 总结
在这篇论文中，我们提出了先验引导的SMOE(PSMOE)来区分重叠区域中的模糊结构。基于PSMOE，我们提出了第一个基于SMOE的注册框架通过广泛的实验，我们的方法在特征可区分性方面表现出显著的提升，从而显著提高了内点比率。我们的方法通过利用多专家神经网络来增强点云注册的特征可区分性，探索了新的方向。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
