最新！2023中科院3D点云Transformer

作者：HT  | 来源：3DCV

在公众号「 3DCV 」后台，回复「 原论文 」即可获取论文pdf和代码。

添加微信：dddvisiona，备注：目标检测，拉你入群。文末附行业细分群。

0. 笔者个人体会

文章的主要动机是解决点云数据处理中的挑战性问题。点云数据具有复杂的非欧几里德结构，包含了全局和局部的几何信息，而现有的方法在提取点云的复杂几何结构以进行分类任务时存在局限。因此，作者的动机是提出一种新的方法，可以更有效地捕捉点云数据的多尺度几何信息，从而提高点云分类的性能。

核心创新点是引入了多尺度几何感知 Transformer （ MGT ）模型。 MGT 模型通过以下方式创新：

• 多尺度贴片分割：将点云数据分成不同尺寸的多尺度小块，以便探索点云的多尺度结构。
• 几何感知的补丁内表示：引入了一个局部特征提取器（ SLFE ）模块，利用球面映射来提取每个补丁的几何信息。
• 几何感知的补丁间表示：使用基于测地线距离的自注意机制来捕捉补丁之间的全局特征。

该算法方法的好处：

• 提高了点云分类任务的性能，使其在主流基准测试中具有竞争力。
• 可以更好地捕捉点云的多尺度几何结构，从而提高了点云数据的表示能力。
• 具有较强的鲁棒性，对于点云数据的缺失也能保持较好的性能。
• 引入了更合理的几何感知方法，以适应点云数据的非欧几里德结构。
• 为点云数据处理领域带来了一种新的方法，可能有助于解决其他点云相关任务的挑战。

1. 贡献

• 多尺度贴片分割 Transformer 。 MGT 将点云数据分成不同尺寸的多尺度小块，即从小块到大块，并将其送入 Transformer 中，探索点云结构的多尺度。

• 几何感知的补丁内表示。本文提出了一个 SLFE 模块，该模块增强了补丁内的局部特征，并为每个补丁输出固定长度的向量。在 SLFE 模块中，提出了一种新的算子，称为球体映射，用于捕获斑块邻居的局部几何结构，即斑块中点之间的夹角。

• 几何感知的补丁间表示。采用了一种新的基于计算测地线距离的自注意机制来更好地捕捉斑块之间的全局特征。

2.总结

为了探索隐藏在点云中的复杂几何结构，本文提出了一种新颖的 Transformer 框架 MGT ，用于点云对象的分类。

首先，将数据划分为不同尺寸的多尺度斑块，即从小尺寸到大尺寸的斑块，以探索点云结构的多个尺度。然后，构建了一个几何感知 Transformer 模型，该模型利用两级几何结构，即每个块内的欧几里得几何结构和点云块间的非欧几里得几何结构。前者是通过与新颖的球体映射模块关联的本地共享特征提取器来实现的，而后者是使用基于流形的自注意力模块来实现的。

与主流方法相比，该方法在点云识别上的准确率表现出较强的竞争力，并且面对数据点丢失具有良好的鲁棒性。