城市、农村、高速全都有！BSD：最新多模态自动驾驶数据集

0. 这篇文章干了啥？

激光雷达、摄像头和雷达传感器是高度自动驾驶（HAD）和高级驾驶辅助系统（ADAS）最重要的模态。每种传感器都有其独特的优势，其中雷达传感器在各种天气和照明条件下表现出色，同时具有成本效益，并能有效估计底层目标物体的速度。随着成像雷达传感器的发展，雷达传感技术取得了显著进步，推动了新型处理方法的开发。传统雷达传感器分辨率较低，限制了基于深度学习的感知方法的应用，导致传感器融合的性能提升有限。相比之下，现代成像雷达传感器能够捕获更精细的信息，如物体的形状或范围，使得雷达能够应用于最先进的传感器融合方法，甚至作为独立的模态。

近年来，已出现了多个高质量的自动驾驶多模态数据集，其中包含由高性能摄像头和激光雷达传感器捕获的大规模数据集合。然而，遗憾的是，这些数据集往往缺乏高分辨率雷达传感器，从而限制了涉及雷达的研究可能性。例如，广泛使用的“nuScenes”数据集仅使用低分辨率雷达传感器，而最近的多模态数据集如“Argoverse 2”和“ZOD”则完全不包含雷达数据。此外，现有的多模态数据集往往侧重于城市场景。虽然相关，但功能完备的HAD系统还必须考虑乡村和高速公路场景，在这些场景中，雷达在高速度和远距离方面表现出色。因此，雷达已成为当今驾驶辅助系统的关键组成部分，并且随着成像雷达分辨率的不断提高，其重要性将进一步增加。

雷达研究领域最近发布了几个以雷达为重点的数据集。然而，这些数据集在规模、场景多样性和多模态覆盖方面往往存在局限性，仅包含有限的相机和激光雷达数据。例如，“View of Delft”和“TJ4DRadSet”等数据集仅包含几十个序列，并且仅配备了一个雷达、激光雷达和相机传感器。

本文介绍了一种新颖的以高级驾驶辅助系统（ADAS）为重点的数据集，旨在解决其前身数据集的上述不足。具体而言，所介绍的数据集是一个完全多模态的数据集，使用最先进的成像雷达传感器、高分辨率激光雷达扫描仪和提供360度全视场（FoV）的相机传感器组成的传感器套件进行收集。该数据集是同类中规模最大的，具有远程边界框标签和高场景多样性，包括从不同地理位置记录的城市、乡村和高速公路条件。

下面一起来阅读一下这项工作~

1. 论文信息

标题：Bosch Street Dataset: A Multi-Modal Dataset with Imaging Radar for Automated Driving

作者：Karim Armanious, Maurice Quach, Michael Ulrich, Timo Winterling, Johannes Friesen, Sascha Braun, Daniel Jenet, Yuri Feldman, Eitan Kosman, Philipp Rapp, Volker Fischer, Marc Sons, Lukas Kohns, Daniel Eckstein, Daniela Egbert, Simone Letsch, Corinna Voege, Felix Huttner, Alexander Bartler, Robert Maiwald, Yancong Lin, Ulf Rüegg, Claudius Gläser, Bastian Bischoff, Jascha Freess, Karsten Haug, Kathrin Klee, Holger Caesar

机构：Robert Bosch GmbH、Bosch Corporate Research、Delft University of Technology

原文链接：https://arxiv.org/abs/2407.12803

2. 摘要

本文介绍了博世街道数据集（BSD），这是一个旨在推动高度自动驾驶（HAD）和高级驾驶辅助系统（ADAS）研究的新型多模态大规模数据集。与现有数据集不同，BSD独特地集成了高分辨率成像雷达、激光雷达和相机传感器，提供了前所未有的360度覆盖范围，填补了当前高分辨率雷达数据可用性的空白。BSD涵盖了城市、乡村和高速公路环境，使得能够深入探索基于雷达的目标检测和传感器融合技术。该数据集旨在促进博世与当前及未来合作伙伴之间的学术和研究合作，旨在共同推动前沿HAD和ADAS技术的开发。本文描述了数据集的关键属性，包括其可扩展性、雷达分辨率和标注方法。主要贡献还包括为传感器模式提供的初步基准，以及一个专为广泛数据分析和性能评估量身定制的开发工具包，这凸显了我们致力于为HAD和ADAS研究领域贡献宝贵资源的承诺。

3. 效果展示

BSD是第一个以雷达为中心的数据集，提供大量带注释的帧和高分辨率雷达传感器（表1）。我们追随nuScenes的脚步，但使用了现代雷达传感器，甚至规模更大。此外，我们相信，我们强大的设备，包括四个摄像头、四个64层激光雷达和九个雷达，是研究多模态感知的关键因素。

4. 主要贡献

本文的主要贡献概述如下：

• 我们介绍了博世街道数据集（BSD），这是一个多模态、大规模、远程和多样化的数据集，包括成像雷达。我们希望BSD将成为博世与感兴趣的潜在合作伙伴之间建立学术和研究合作关系的基石。

• 数据集是使用最先进的传感器套件收集的，该套件包括9个成像雷达、4个激光雷达和4个相机，提供360度全视场覆盖。

• 提供了3D边界框标签，使其成为同类中最大的带标签对象检测数据集。

• 我们为每个传感器模态提供了初步的对象检测基线，并证明在我们的数据集中，雷达与其他两种模态之间先前观察到的性能差距显著缩小。

• 我们提供了一个全面的开发工具包，使用户能够读取、聚合、可视化、执行对象检测基线并在数据集上进行评估。

• 我们对数据集进行了统计和消融研究。具体来说，本文的发现如下：

• 与之前的成像雷达数据集相比，使用100倍以上的数据进行训练显著提高了目标检测性能（即性能至少提升6倍）。

• 与之前的大规模多模态数据集相比，使用8至20倍更高的雷达分辨率显著提高了性能（即性能至少提升3倍）。

• 我们采用自动和手动标注相结合的方式，以确保标签的准确性和可靠性。实验表明，与仅在小范围的手动标注集上进行训练相比，同时包含两种标签类型的训练在目标检测性能上表现更佳。这表明我们包含的自动标注具有良好的标注质量，并强调自动标注是扩展以人类辅助驾驶（HAD）为重点的数据集的关键因素。

• 综上所述，本工作解决了对包含高分辨率成像雷达的大规模数据集的迫切需求。通过引入BSD，我们为研究人员提供了一个强大的工具，以推动人类辅助驾驶（HAD）和高级驾驶辅助系统（ADAS）领域的发展。目前重点关注目标检测，未来该数据集可扩展到更多的自动驾驶任务中。我们坚信，该数据集将为感知和安全领域的新突破铺平道路，最终推动我们走向自动驾驶成为常态的未来。

5. 总结 & 未来工作

综上所述，博世街道数据集（BSD）在自动驾驶数据集领域取得了显著进展。BSD通过提供大规模、多样化且多模态的数据集，其中包括高分辨率成像雷达数据以及激光雷达和相机数据，填补了当前可用数据集中的关键空白。我们的实验结果突出了雷达与其他传感器模态之间性能差异的减少，强调了成像雷达在增强目标检测和感知系统方面的潜力。BSD不仅为传感器数据质量和数据集规模树立了新的先例，还成为开发复杂人类辅助驾驶（HAD）技术的基础平台。

BSD被定位为促进与博世进行学术和研究合作的战略资产。这种合作模式旨在激发创新浪潮，并加速自动驾驶领域的进展。我们邀请基于BSD及其相关资产的学术合作伙伴，相信这些合作将对推动HAD研发的可能性边界至关重要。通过这些共同努力，我们坚信我们能够集体推进更可靠、更复杂的自动驾驶系统的创建，不断接近全自动驾驶汽车的愿景。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3DCV技术交流群

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 大模型 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

2D计算机视觉： 图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型： NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉： 相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ： 视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶： 深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。

三维重建： 3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机： 四旋翼建模、无人机飞控等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地 、 最新论文 、 3D视觉最新产品 、 3D视觉行业新闻 等交流群

添加小助理: dddvision，备注： 研究方向+学校/公司+昵称 （如3D点云+清华+小草莓） , 拉你入群。

3D视觉技术星球

3D视觉从入门到精通知识星球、国内成立最早的3D视觉学习交流社区。包括： 星球视频课程近20门（价值超6000） 、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、 3D视觉优质源码汇总 、 书籍推荐 、 编程基础&学习工具 、 实战项目 &作业 、 求职招聘&面经&面试题 等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、 BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、 无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划 、 LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、 MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等 。