0. 论文信息
标题:DOC-Depth: A novel approach for dense depth ground truth generation
作者:Simon de Moreau, Mathias Corsia, Hassan Bouchiba, Yasser Almehio, Andrei Bursuc, Hafid El-Idrissi, Fabien Moutarde
机构:Mines Paris - PSL University、Valeo、Exwayz Research
原文链接:https://arxiv.org/abs/2502.02144
代码链接:https://github.com/SimondeMoreau/DOC-Depth
数据集链接:https://simondemoreau.github.io/DOC-Depth/#Dataset
1. 导读
精确的深度信息对于许多计算机视觉应用是必不可少的。然而,没有可用的数据集记录方法允许在大规模动态环境中进行完全密集的精确深度估计。在本文中,我们介绍了DOC-Depth,这是一种新颖、高效且易于部署的方法,用于从任何激光雷达传感器生成密集深度。在使用激光雷达里程计重建一致的密集3D环境后,我们借助DOC(我们最先进的动态对象分类方法)自动解决动态对象遮挡问题。此外,DOC-Depth是快速和可扩展的,允许在大小和时间方面创建无限的数据集。我们在KITTI数据集上展示了我们的方法的有效性,将其密度从16.1%提高到71.2%,并发布了这一新的全密度深度注释,以促进该领域的未来研究。我们还展示了在多种环境中使用各种激光雷达传感器的结果。
2. 效果展示
DOC-Depth为训练基于相机的深度估计系统生成密集和准确的深度地面真相。首先,我们汇总激光雷达帧以获取场景的3D密集表示。然后,由于DOC,我们分类动态点以使用特定渲染处理它们。最后,我们考虑点的距离和动态对象的遮挡,将3D重建投影到相机视点。
3. 主要贡献
我们的方法产生高质量、全密集的深度。由于采用了一种无学习、基于几何和与LiDAR无关的方法,它在各种LiDAR和环境中都能很好地推广。
我们提出了DOC,一种新颖、快速且可扩展的动态对象分类方法,其性能优于最先进的方法。
我们为KITTI深度完成发布了新的全密集注释[7和航速数据集[81.我们的方法易于部署,甚至与低成本低分辨率LiDAR兼容。这为可扩展生成大型深度估计数据集开辟了道路。
我们公开提供所有软件组件。
4. 实验结果
.KITTI深度补全和DOC-Depth之间的定性比较。我们的方法保留了所有场景结构,而KITTI由于SGM验证而缺乏无纹理的墙壁和薄物体。KITTI的地面不平整,有较大的间隙,移动物体被扫描聚合重复。相比之下,DOC-epth确保了准确的动态物体重建和整个深度范围内一致的几何形状。
推荐课程:
聊一聊经典三维点云方法,包括:点云拼接、聚类、表面重建、QT+VTK等
。
5. 总结
我们引入了DOC-Depth,这是一种在无限动态环境中生成密集深度地面真值的新方法。由于DOC,我们提出的动态对象分类器,我们可以自动处理图像中的物体遮挡。我们在KITTI和内部捕获的4种不同激光雪达类型的数据集上展示了我们方法的有效性。通过使用各种传感器创建新数据集,我们展示了其泛化性和部署的便利性。我们发布了KITTI深度完成和测距数据集的完全密集注释,从而可以在深度估计和完成方面进行进一步探索。软件组件可供研究界使用。
对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~
本文仅做学术分享,如有侵权,请联系删文。
3D视觉交流群,成立啦!
目前我们已经建立了3D视觉方向多个社群,包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向,细分群包括:
工业3D视觉
:相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
:视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
:深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
:3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
:四旋翼建模、无人机飞控等
2D计算机视觉
:图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
:具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些,还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001,备注:
研究方向+学校/公司+昵称
(如
3D点云+清华+小草莓
), 拉你入群。
▲长按扫码添加助理:cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
,已沉淀6年,星球内资料包括:
秘制视频课程近20门
(包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等)、
项目对接
、
3D视觉学习路线总结
、
最新顶会论文&代码
、
3D视觉行业最新模组
、