ECCV'24 | 比NeuralPCI快600倍！FastPCI：超高效点云插值SOTA算法！

0.这篇文章干了啥？

本文提出了一个名为FastPCI的高效激光雷达点云插值方法，采用了金字塔卷积和变换器架构，通过结构感知的运动估计、双向估计、运动补偿和多尺度损失等技术，实现了精确且快速的点云插值。FastPCI在KITTI、Argoverse 2和Nuscenes等大型数据集上的实验结果显示出其在插值精度和推理速度上的显著优势，特别是在车辆轮廓、道路边界等细节保留方面表现突出，大大优于当前的SOTA方法，验证了其在自动驾驶等对实时性要求高的场景中的实用性。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：FastPCI: Motion-Structure Guided Fast Point Cloud Frame Interpolation

作者：Nankai University等

作者机构：Tsinghua University等

论文链接：https://arxiv.org/pdf/2410.19573

2. 摘要

点云帧插值是一项具有挑战性的任务，涉及到在帧之间准确估计场景流并保持几何结构。现有技术通常依赖于预训练的运动估计器或密集的测试时间优化，这导致插值准确性下降或推理时间延长。本文提出了FastPCI，采用金字塔卷积-变换器架构进行点云帧插值。我们的混合卷积-变换器改进了局部和长距离特征学习，而金字塔网络则提供多级特征并减少计算量。此外，FastPCI提出了一种独特的双向运动-结构块，以实现更准确的场景流估计。我们的设计基于两个事实：(1) 精确的场景流保持三维结构，(2) 先前时间步的点云应能通过未来时间步的逆运动进行重建。大量实验表明，FastPCI显著优于最新的PointINet和NeuralPCI，具有显著的提升（例如，在KITTI数据集中，Chamfer距离分别减少26.6%和18.3%），同时速度分别提高了10倍和600倍以上。代码可在 https://github.com/genuszty/FastPCI 获取。

3. 效果展示

我们的FastPCI每帧可执行精确的点云帧内插，时间为20.1秒，比最先进的NeuralPCI和PointINet更准确，速度分别快600倍和10倍。

与当前最先进方法在KITTI odometry、Argoverse 2 sensor和Nuscenes数据集上的定性对比。列(a)-(c)分别表示在这三个数据集上的结果。每一行表示一种不同的方法。与最先进的PointINet（第1行）和NeuralPCI（第2行）相比，我们的FastPCI（第3行）在定性结果上表现最佳。

4. 主要贡献

• 我们提出了双向运动-结构变换器块。该块通过来自正向和反向点特征的混合信息以结构感知的方式估计运动。
• 我们提出了FastPCI，采用金字塔卷积-变换器架构，旨在快速而精确地进行点云帧插值。
• 我们建议使用重建损失、额外的金字塔损失和双向损失来优化FastPCI。对多种自动驾驶数据集的全面评估证明了FastPCI相较于最新技术的优越性。

5. 基本原理是啥？

FastPCI的基本原理是利用卷积神经网络和变换器的结合，通过金字塔结构进行分层插值，生成高效且准确的中间点云帧：

1. 金字塔卷积-变换器架构 ：FastPCI采用金字塔卷积和变换器的混合结构，通过卷积来捕捉局部特征，并借助变换器来提取全局信息。金字塔结构通过逐层处理不同分辨率的特征，实现了细致的帧间信息填补，提高了模型对细节的捕捉能力。

2. 双向运动-结构估计 ：FastPCI在前后帧之间进行双向运动估计，通过前向和后向的交叉注意力机制，从两帧的不同方向对特征进行分析。这种双向的结构有助于在生成中间帧时保证前后帧结构的一致性，提升了插值结果的真实性。 推荐课程： 聊一聊经典三维点云方法，包括：点云拼接、聚类、表面重建、QT+VTK等 。

3. 运动补偿与RefineNet模块 ：运动补偿模块用于对初步估计的运动和结构信息进行细化，RefineNet进一步优化生成的中间点云帧的细节，使得最终的插值效果更清晰和准确。

4. 循环一致性和多尺度损失 ：为提升插值的稳定性和准确性，FastPCI引入了半途循环一致性损失和多尺度损失。循环一致性损失确保前后帧的运动估计保持一致，多尺度损失则通过在不同分辨率上施加监督，增强了模型对不同尺度特征的敏感度。

6. 实验结果

FastPCI的实验结果显示了其在三个大规模户外激光雷达数据集（KITTI odometry、Argoverse 2、Nuscenes）上的优异性能：

1. KITTI Odometry数据集 ：

• 在KITTI数据集中，FastPCI在所有帧和所有评价指标上都取得了最佳结果。
• 与最先进的NeuralPCI相比，FastPCI在帧2上将EMD误差减少了2.89，将CD误差减少了0.21，最终在整体的EMD和CD指标上分别减少了2.05和0.13。
• 图像可视化结果显示，FastPCI在车辆边缘的生成效果最清晰，噪声最少。

• FastPCI在几乎所有帧和评价指标上均表现出最佳性能。
• 定性实验结果表明，FastPCI生成的插值帧在道路边界和细节部分与真实值更为接近。

• FastPCI在Nuscenes数据集的整体指标上表现最佳。
• 尽管在帧1的CD指标和帧2的EMD指标上稍逊于NeuralPCI，但在整体EMD和CD指标上分别超过NeuralPCI 5.47和0.04。
• 定性结果中显示，FastPCI在插入帧中生成了更清晰的人物轮廓，具有更高的细节保留度。

• FastPCI的推理速度在所有插值方法中最快，相比于PointINet快10倍以上，比NeuralPCI快600倍。这得益于其采用的金字塔卷积-变换器架构，使其适用于自动驾驶等对实时性要求高的应用场景。

• 结构感知运动估计 ：移除结构感知设计导致CD和EMD距离显著增加，证明了运动-结构联合学习的重要性。
• 双向估计 ：移除双向估计后，性能显著下降，表明其在提升前后帧信息交互上的作用。
• 混合卷积-变换器架构 ：用纯卷积替代变换器后，模型性能明显下降，显示出变换器在全局特征提取中的关键作用。
• RefineNet和运动补偿模块 ：去除这些模块会略微降低性能，但其影响较小，主导作用在于运动补偿。
• 损失函数分析 ：循环一致性和多尺度损失在提升模型的帧间一致性和细节准确性方面起到了重要作用。

7. 总结 & 未来工作

本文介绍了 FastPCI，一种开创性的金字塔卷积-变换器混合架构，旨在实现快速而准确的点云帧插值。引入变换器和分层架构为我们的系统带来了长距离信息提取能力，同时保持了高效性。我们还观察到结构一致性和循环一致性对点云帧插值任务的重要性。为了兼顾这两者，我们的 FastPCI 提出了独特的双向运动-结构估计，以混合前向和后向估计之间的信息，以及运动和结构特征之间的信息。我们还提出了两个与架构设计密切相关的损失函数。第一个是半周期一致性损失，它鼓励网络学习一个循环一致的运动估计。第二个是多层重建损失，它利用我们分层架构设计的优势，通过较低分辨率的真实值进行中间阶段的监督。总体而言，FastPCI 在点云帧插值方面建立了新的基准，显著超越了现有的最先进方法 PointINet 和 NeuralPCI，并且效率更高。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。