专栏名称: 3D视觉工坊

1、OpenCV的技术传播； 2、3D点云与重建技术； 3、Vslam技术； 4、深度学习； 5、技术干货分享。

CoRL'24 | 缺少LiDAR数据？DDFH让你的3D物体检测主动学习！

3D视觉工坊 · 公众号 · · 2024-09-15 00:00

正文

点击下方卡片，关注 「3D视觉工坊」 公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「 3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

这篇文章提出了一种名为 DDFH 的新颖主动学习框架，用于基于 LiDAR 的 3D 目标检测。该框架结合了模型特征和几何特征，通过分析点云数据中的实例级分布差异和帧级特征异质性，并引入置信度平衡来提高对不平衡类别的标注效率。实验结果表明，DDFH 在 KITTI 和 Waymo 数据集上均显著减少了标注成本（减少了56%），并提高了检测性能（提升了1.8%），展现出其在现有方法中的显著优势。这一框架有效地整合了多种技术，能够在降低标注成本的同时提取更加丰富的信息，从而提升了3D目标检测的整体效果。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Distribution Discrepancy and Feature Heterogeneity for Active 3D Object Detection

作者：Huang-Yu Chen, Jia-Fong Yeh等

作者机构：National Taiwan University等

论文链接：https://arxiv.org/pdf/2409.05425

2. 摘要

基于LiDAR的3D物体检测是自动驾驶和机器人技术发展的关键技术。然而，数据标注的高成本限制了其进步。我们提出了一种新颖且有效的主动学习（AL）方法，称为分布差异与特征异质性（DDFH），该方法同时考虑了几何特征和模型嵌入，从实例级和帧级视角评估信息。分布差异用于评估未标注和已标注分布中的实例差异和新颖性，从而使模型在有限数据下高效学习。特征异质性确保帧内实例特征的异质性，保持特征的多样性，同时避免冗余或相似的实例，从而最大限度地降低标注成本。最后，使用分位数变换高效聚合多个指标，提供统一的信息量度。大量实验证明，DDFH在KITTI和Waymo数据集上优于现有的最先进（SOTA）方法，成功减少了56.3%的边界框标注成本，并在单阶段和双阶段模型上表现出较强的鲁棒性。

3. 效果展示

4. 主要贡献

提出了DDFH主动学习框架 ：针对LiDAR点云3D目标检测，结合模型特征和几何特征，提出了一种新颖的主动学习框架DDFH，有效提高了标注效率和模型性能。
引入分布差异和特征异质性 ：通过实例级的分布差异和帧级的特征异质性探索点云数据，提高了对不平衡类别的标注质量。
引入置信度平衡机制 ：在标注过程中引入了置信度平衡机制，特别针对不平衡类别，提升了模型在这些类别上的表现。
显著减少标注成本 ：实验表明，DDFH框架相比于现有最先进方法减少了约56%的标注成本，显著提升了标注效率。推荐课程：工业视觉检测如何检测低对比度缺陷？
提升检测性能 ：与SOTA方法相比，DDFH在多个评估指标上提升了检测性能，特别是在复杂场景和不平衡类别中表现出色。

5. 基本原理是啥？

分布差异（Distribution Discrepancy, DD） ：通过评估不同类别在点云数据中的分布差异，DDFH框架优先选择那些在标注集中实例较少的类别。这种方式使模型能够更加关注小众类别（如行人和骑车人），从而减少类别不平衡问题对模型训练的影响。
特征异质性（Feature Heterogeneity, FH） ：通过分析帧级别的特征异质性，DDFH能够识别出在不同帧之间特征差异较大的样本。这样的样本往往包含更丰富的信息，通过对这些样本进行标注，可以提升模型对多样化场景的适应能力。
置信度平衡（Confidence Balance, CB） ：为了应对不同类别置信度不均衡的问题，DDFH引入了置信度平衡机制。在每一轮的标注选择中，框架会根据置信度分布动态调整标注策略，确保置信度较低的类别能够得到充分的标注，从而提高模型对这些类别的检测能力。
主动学习机制 ：DDFH通过主动学习的策略，逐步选择对模型最具信息价值的样本进行标注。与随机选择不同，主动学习的核心在于通过不确定性、差异性等因素找到能最大化提升模型性能的样本，从而减少总体的标注需求。

6. 实验结果

1. DDFH与两阶段检测模型的实验结果

KITTI 数据集 ：

实验设置 ：每种方法运行三次。
结果：DDFH方法在所有基准方法中表现最佳。与CRB和KECOR相比，DDFH在标注成本上分别减少了51.7%和33.2%，尤其在标注数量较少时，成本减少的速度特别快。
性能：在800个（1%）边界框标注的情况下，DDFH的平均性能超越了SOTA（最先进技术）2.23%，特别是在不平衡类（如骑车人）的性能提升达到4.17%。

Waymo 数据集 ：

结果：在Level-1和Level-2的表现上，DDFH相比KECOR和CRB分别提升了1.8%和3.8%的APH（带方向的平均精度），并且在标注成本上分别减少了56.3%和66.4%，展示了DDFH在更多样化和复杂场景中的有效性。

2. DDFH与单阶段检测模型的实验结果

性能提升 ：

3D mAP ：相比于SOTA，DDFH在3D mAP（平均精度）上提升了大约2.8%。
BEV mAP ：在BEV（鸟瞰视图）mAP上提升了2.28%。

分类表现 ：

车辆类别 ：DDFH在车辆类别上表现特别好，能够在最精简的标注成本下快速提升性能。
行人类别 ：基于不确定性的方法在少量标注的情况下表现优异，但由于缺乏对多样性的考虑，其性能受到限制。

3. 消融实验

置信度平衡的有效性 ：

结果：置信度平衡（CB）在处理不平衡类别（如骑车人）时，将3D mAP提升了4.3%。使用置信度平衡相较于未使用的情况，平均3D mAP下降了2.8%。

分布差异和特征异质性的有效性 ：

结果：分布差异（DD）显著提高了整体性能，尤其是在实例较少的类别（如行人和骑车人）上，DD能够更好地选择这些类别中的样本。仅使用特征异质性（FH）来估计信息量会过于限制，结合这两者可以有效提升所有类别的性能。

几何特征的有效性 ：

结果：考虑几何特征后，DDFH在3D mAP上平均提升了1.6%，表明多样的几何特征有助于模型捕捉更广泛的物体类型。

7. 总结 & 未来工作

我们提出了一种新颖的主动学习框架DDFH，用于基于LiDAR的3D目标检测，将模型特征与几何特征相结合。通过在实例级别探索点云数据的分布差异和帧级别的特征异质性，并引入置信度平衡，我们提升了对不平衡类别的标注效果。广泛的实验表明，与当前最先进的方法相比，DDFH将标注成本降低了56%，性能提高了1.8%，并且能够有效提取更丰富的信息，证明了其相较于现有方法的有效性。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉、最前沿、工业3D视觉、 SLAM 、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等