CVPR'24 UG2 挑战技术报告： 通过聚类滤波从复杂背景中分离无人机点云！

0.这篇文章干了啥？

这篇文章提出了一种无监督的MAV点云检测方法，旨在应对复杂环境下的无人机检测问题。该方法通过时空全局-局部聚类技术，从稀疏且噪声较大的点云数据中提取有效的无人机轨迹。实验在MMAUD挑战数据集上进行，结合视觉、LIDAR、雷达和音频等多模态数据，评估了算法的检测精度和鲁棒性。结果显示，所提方法能够有效去除背景噪声，并准确预测无人机的轨迹，最终在CVPR 2024 UG2+挑战赛中获得第四名，证明了其在复杂背景中的优越性。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Separating Drone Point Clouds From Complex Backgrounds by Cluster Filter – Technical Report for CVPR 2024 UG2 Challenge

作者：Hanfang Liang, Jinming Hu

作者机构：Jianghan University等

论文链接：https://arxiv.org/pdf/2412.16947

2. 摘要

随着小型无人机作为冲突和干扰工具的广泛部署，其威胁不断增加，凸显了对有效反无人机措施的迫切需求。然而，大多数无人机的紧凑尺寸带来了显著挑战，因为传统的基于监督的点云或图像物体检测方法通常难以有效识别这些小物体。本文提出了一种基于无监督流程的简便无人机检测方法。该方法通过时空序列处理有效融合多个激光雷达数据集，跟踪并确定无人机的位置，从而在复杂环境中实现无人机的检测与跟踪。我们的方法通过全局-局部序列聚类器对点云进行前后背景分割，并从点云的时空密度和时空体素中解析点云数据。此外，本文还提出了一种点云运动目标的评分机制，利用时间序列检测提高精度和效率。我们使用了MMAUD数据集，并在CVPR 2024 UG2+挑战赛中获得了第四名，验证了我们方法在实际应用中的有效性。

3. 效果展示

具有挑战性的图像和点云检测的例子。在点云中，无人机的扫描点非常稀疏，在时间维度上不连续。在许多时间范围内，无人机太小而无法被探测到。在图片中，无人机非常小，只有12个像素。

4. 主要贡献

• 我们提供了一种简单快速的无监督检测方法，用于从点云数据中检测无人机轨迹和位置。我们的方法仅使用点云数据源进行无人机检测，并且仅使用MMAUD数据集中的激光雷达数据，不依赖于复杂的深度学习算法，可快速部署在边缘设备上。
• 我们提出了一种时空体素和时空密度分析方法，用于点云运动目标检测，并提出了评分机制评估点云的置信度，从而隔离正确的轨迹点集。
• 我们的方法在CVPR 2024 UG+挑战赛中获得第四名，验证了我们方法在跟踪无人机和确定无人机空间位置方面的有效性和可靠性。
• 我们比较并选择了一些深度学习算法，并进行了消融实验，量化了我们方法在无人机检测中的速度和实用性。

5. 基本原理是啥？

本文提出的基本原理是通过 无监督的时空全局-局部聚类方法 ，从稀疏且噪声较多的点云数据中提取有效的无人机（MAV）轨迹，具体原理包括以下几个方面：

1. 点云数据预处理与去噪

• 点云数据来源 ：本文使用来自不同传感器（如LIDAR、雷达、视觉、音频阵列传感器等）的多模态数据，其中LIDAR数据尤其被用来提取无人机的轨迹。由于LIDAR点云数据通常是稀疏且噪声较多，特别是DJI Livox Avia雷达的扫描数据常伴有噪声。
• 去噪过程 ：首先通过密度聚类和时间序列对点云进行去噪，去除噪声点以提高后续处理的精度。通过超级叠加连续的LIDAR序列数据，计算噪声点的密度，从而过滤掉噪声。

• 全局-局部聚类框架 ：采用全局聚类和局部聚类相结合的方法，利用DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法进行聚类。DBSCAN算法根据点的密度在给定半径内进行聚类，无需预先定义聚类形状，适合处理不规则形状的点云数据。
• 全局聚类 ：首先通过全局时间序列聚类（全局点云集）来提取初步的无人机轨迹。
• 局部聚类 ：通过对局部时间窗口内的数据进行聚类，进一步精细化识别出无人机的轨迹。局部聚类的密度和空间重叠度（IoU）被用来评估聚类质量，确保获得稳定的轨迹点集。

• 为了提高检测的准确性，本文引入了一个 评分机制 ，综合考虑点云的密度和局部与全局聚类的重叠度（IoU）。对于无人机轨迹的识别，采用了基于局部密度和全局密度相对比的评分方法。通过计算每个聚类的密度和IoU值，选择最佳的轨迹点集。
• 评分公式 ：密度评分和IoU评分通过对数函数和指数函数进行加权求和，从而获得每个轨迹点的置信度评分，最终选择得分最高的轨迹作为最终预测结果。

• 最终，根据时序数据通过 样条拟合（Spline fitting） 方法对无人机的轨迹进行拟合，得到对应时间帧下的无人机空间位置。
• 对于背景已分离的时间帧，所有相同时间戳的点云数据会被按时间顺序排序，然后通过样条插值，得到连续的无人机轨迹。

• 使用 均方误差（MSE） 和 序列检测准确率（SDA） 来评估算法的检测性能。SDA用于评估算法在检测无人机轨迹时的表现，特别是在复杂背景下的小型无人机的检测能力。

6. 实验结果

在实验结果部分，文章对所提方法在 MMAUD挑战数据集 上的表现进行了测试与验证。MMAUD数据集提供了一个多模态的数据集，集成了 视觉、LIDAR阵列、雷达、音频阵列传感器 和高精度地面真值数据。该数据集包含超过1700秒的多模态数据，分为50个不同的序列，每个序列包含足够的视觉、LIDAR、音频和雷达数据用于识别。 推荐课程： 如何快速上手全球最强开源飞控px4？

实验设计

1. 数据集 ：

• 使用 MMAUD数据集 ，该数据集包括来自多种传感器的多模态数据（视觉、LIDAR、雷达、音频等），并且包含高精度的地面真值数据。
• 数据集的每个序列都有足够的多模态数据（视觉、LIDAR、雷达等），可以用于无人机轨迹的识别和定位。

• 均方误差（MSE） ：用于评估算法预测的精度。
• 序列检测准确率（SDA） ：用于评估算法在复杂背景下对无人机轨迹的检测能力，尤其是在目标无法检测的情况下。SDA的计算公式为：[ \text{SDA} = \frac{\text{Detected Sequence Time}}{\text{All Sequence Time}} ] 由于对于图像序列，目标有时无法被检测到，SDA能反映算法在这种情况下的检测能力。

• 绿色轨迹 ：表示通过全局和局部聚类方法从背景中分割出的无人机轨迹点云。
• 红色轨迹 ：表示真实的无人机空间位置。
• 蓝色轨迹 ：表示通过我们的方法预测的无人机空间位置。
• 图4 展示了我们方法的检测结果。为了便于展示，图中叠加了整个序列的轨迹。
• 从图中可以看出，我们的方法在去除噪声、提取正确的无人机轨迹方面表现良好。绿色轨迹准确地跟踪了无人机的实际空间位置，并且成功过滤掉了背景噪声。

结果分析

• 在 MMAUD数据集 上的实验结果表明，所提方法能够有效地从多模态数据中提取无人机轨迹，并且在复杂背景和噪声条件下表现优异。
• 通过 全局-局部聚类 和 评分机制 ，我们的算法能够精确地分离出无人机的轨迹，并去除其他无关的点云。
• 相较于传统方法，我们的方法能够在噪声较大和背景复杂的场景下，较好地预测无人机的轨迹位置。

性能评估

• 在 CVPR 2024 UG2+ Challenge 中，我们的方法获得了 第四名 ，验证了其在实际挑战中的有效性。
• 结果表明，所提方法不仅具备较高的精度，而且在复杂背景和噪声环境中表现出了强大的鲁棒性。

7. 总结 & 未来工作

本文提出了一种无监督的MAV点云检测方法，用于在具有挑战性条件下进行地面到空间的MAV检测。我们的方法采用时空全局-局部点云序列聚类，从稀疏且噪声较多的点云中提取有效的无人机点云轨迹。我们的算法在CVPR 2024 UG2+挑战赛中获得了第四名，验证了该方法的有效性。此外，我们的方法具有可解释性。同时，我们使用了MMAUD数据集，评估了几种具有代表性的深度学习算法，并分析了实验结果。未来，为了检测环境中的不同无人机，应该基于无人机点云轨迹的分布和深度学习技术对无人机进行分类。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机