主题词
三维点云; 刚性配准; 深度学习; 点云特征; 自动驾驶；文物保护；
测绘遥感
点云刚性配准作为三维点云数据处理的一项基础任务，在自动驾驶、机器人、测绘遥感、医疗、工业设计以及文物保护等领域具有广泛应用。
信息工程大学地理空间信息学院周汝琴
等人在《遥感学报》发表论文“
基于深度学习的成对点云刚性配准现状与进展
”从基于深度学习的局部特征提取方法、基于深度学习的配准方法相关研究进展和现有的可用于点云刚性配准的公开数据集三个方面对刚性配准相关技术研究进行了系统的综述与分析。
由于目标间的遮挡、设备扫描距离有限等因素影响，在数据获取时单个传感器单次扫描仅能完成对场景（或目标）部分表面数据的获取。为了获取场景（或目标）的完整数据，通常需要进行多站点、多角度地数据采集，以获得多个既相互独立、又局部相互重叠的子区域点云。点云刚性配准就是将每部分三维点云看作是一个刚体，根据一些预定义的规则，对不同站点、不同视角下采集到的三维点云进行旋转、平移，从而将多个点云拼接成一个完整的三维点云。点云刚性配准作为三维点云数据处理的基础任务，为后续三维建模、目标识别、场景理解奠定数据基础，有着重要的研究价值。
由于基于深度学习的点云配准在近几年发展迅速，本文将从深度学习方法出发，对成对点云刚性配准最新文献资料进行系统的分析与整理，从局部特征提取、3类点云配准策略和数据集3个方面依次展开进行详细介绍，并对该领域未来研究方向进行展望。
基于深度学习的点云配准方法最为关键的步骤之一是利用神经网络自动学习出具有高判别力和鲁棒性的特征描述。本文按照输入点云的表示形式，总体上将点云特征提取的网络分为6大类：基于体素的神经网络、基于点的神经网络、基于图的神经网络、基于混合的神经网络、注意力机制和Transformer模型和其他网络。基于特征描述符学习的点云配准网络时间发展脉络如图1所示。
图1 基于特征描述符学习的点云配准网络时间发展脉络
总的来说，通过神经网络学习点云深层次的信息得到的特征描述符，具有较强的描述性。然而，基于点的方法需要建模点之间的关系，存储过多权重矩阵可能会造成网络冗余；基于体素的方法难以平衡分辨率和精细特征之间的问题；基于图的方法在点云数据量大时效率较低；额外添加注意力机制会导致效率低、算力消耗大、占用空间多。如何能快速、高效的学习点云的丰富多样且紧凑的特征，以满足硬件设备的处理能力和不同应用的实时需求，是该类方法主要的研究方向之一。
基于对应关系解算的点云配准
利用神经网络学习逐点的特征表达，然后采用可微的优化方法或者神经网络来求解三维点的对应关系，最后利用可微的奇异值分解来估计最优变换。在该类方法中，最为关键的是局部特征表示与点对应关系求解。基于对应关系的点云配准基本流程如图2所示。总体上可以将对应关系的配准网络分为针对点云密度分布不均匀的网络、针对局部重叠和低重叠的网络、提高鲁棒性的网络和提高泛化性的网络和提高效率的网络共5大类。基于对应关系解算的点云配准时间发展脉络如图3所示。
基于对应关系解算的方法利用神经网络学习逐点特征并采用可微的优化方法或者神经网络来求解三维点的对应关系。该类方法对初始位置不敏感，且在数据质量较好的情况下能达到较高的精度。然而，该类方法在密度分布不均匀、重叠区域变化较大、遮挡或噪声等情况下表现较差。因此，如何提高基于对应关系解算的方法在局部重叠的真实复杂场景中的精度、效率、鲁棒性和泛化性，减少对训练样本的需求量，是需要重点解决的问题。
基于姿态回归的点云配准方法
将配准视为几何变换参数回归的问题。首先使用神经网络提取点云的全局特征，然后使用回归方法或神经网络来回归姿态参数。该类方法中间过程不涉及任何对应关系的解算，直接输出变换参数。该方法原理简单，流程较短，效率较高。基于姿态回归的点云配准基本流程如图4所示。
可以将姿态回归的配准网络分为5大类：提高鲁棒性的网络、针对局部重叠的网络、提高泛化性的网络、克服数据标记问题的半监督和无监督网络和提高效率的网络。基于姿态回归的点云配准时间发展脉络如图5所示。
总的来说，基于姿态回归的方法利用神经网络来学习全局特征并直接回归姿态参数，不需要计算点对应关系，在精度、鲁棒性和计算效率方面带来了巨大的优势。然而，该类方法目前大多聚焦于完全重叠的小目标点云配准，且采用迭代的方式来达到较高的精度。如何用尽可能紧凑的全局信息来表示复杂场景点云的特征，尤其是重叠区域的特征，在保证其配准精度的同时提高其运行效率、鲁棒性和泛化性，仍是该类算法后续需要进一步研究的重要内容。
基于场景流估计的点云配准将点云配
准看作是两个连续时刻的点云空间运动问题。通过关联不同时刻的局部特征和流估计网络输出源点云中每个点的平移运动参数估计两帧点云间的刚性运动和场景中动态物体运动的场景流。基于场景流的点云配准基本流程如图6所示。
可以将场景流的配准网络分为4大类：提高泛化性的网络、提高鲁棒性的网络、克服数据标记问题的半监督和无监督网络和提高效率的网络。基于场景流的点云配准时间发展脉络如图7所示。
图7 基于场景流的点云配准时间发展脉络
总的来说，基于场景流估计的方法通过关联2帧点云的局部特征来估计源点云中每个点的平移量。该类方法适合应用于场景中的目标有不同运动参数的情况。然而，该类方法大多忽略了每个目标内部间的运动一致性问题，且对遮挡和噪声敏感。面对复杂的自动驾驶场景，如何同时考虑非刚性运动的行人、刚性运动的车辆和传感器自身的运动情况，以及每个目标内在的运动约束，是该类方法需要研究的关键内容之一。
通过本文的总结分析可以看出，在三维点云配准领域，基于深度学习的点云配准方法近年来发展迅速，已成为当前的研究热点，并且在可预见的未来仍会成为主流的研究方向。展望未来，三维点云配准可以在以下3个方面进行探索：
（1）现有的基于深度学习的点云配准方法需要大量的标注数据，然而数据标注时间和人力成本高。小样本学习、自监督、弱监督以及无监督学习等方法在一定程度上可以缓解深度学习技术对样本标注量的需求。未来可考虑将这些方法应用于三维点云配准问题。
（2）现有的基于深度学习的点云配准方法中匹配基元仍然是以三维点为主。相比于三维线段、平面等几何结构元素，三维点的歧义性大，误匹配率高。目前，已有学者利用深度霍夫变换技术从二维图像中提取语义线段。未来也可考虑利用深度学习技术从三维点云数据中自动提取场景的几何结构元素，然后进一步基于几何结构元素解决真实场景下三维点云的配准问题。
（3）无论是传统方法还是基于深度学习的方法，主要利用的信息还是场景的空间几何结构特征，对场景语义信息的利用较少。近年来，基于深度学习的点云语义理解技术进展迅速，场景语义信息获取越来越方便，精度也越来越高。因此，未来可考虑利用结合空间几何结构信息和语义信息来解决复杂场景的三维点云配准问题。
网址链接：
https://www.ygxb.ac.cn/zh/article/doi/10.11834/jrs.20243396/
声明
欢迎转载、转发本号原创内容，转载信息请与本号联系授权，标注原作者和信息来源为《遥感学报》。
本号转载信息旨在传播交流，其内容由作者负责，不代表本号观点。文中部分图片来源于网络，如涉及作品内容、版权和其他问题，请在20日内与本号联系，我们将在第一时间处理。《遥感学报》拥有最终解释权。
期刊订阅
1.各地邮局订阅：邮发代号82-324；
2.科学出版社期刊发行部：联系电话010-64017032，64017539；
3.网上购买：搜淘宝店、微店店铺名称：中科期刊（订阅及销售过刊）；
《遥感学报》2月新刊热卖中
戳图片
或
阅读全文
立即购买
