专栏名称: 自动驾驶专栏

自动驾驶专栏，持续聚焦自动驾驶最新资讯，并且分享行业内相关技术研究。欢迎志同道合的伙伴关注，并参与交流或者分享。

目录

相关文章推荐

中油工程建设 · 远方 | 初入职场的奔跑与成长 · 19 小时前

营销案例精选 · 2024年十大创意KOL（投票） · 昨天

知识星球精选 · 2025年，最适合去哪里搞钱？ · 2 天前

格隆汇APP · 香港VS新加坡，高净值人群的投资热门地到底应 ... · 3 天前

知识星球精选 · 如何在37岁时，让工资翻20倍？ · 5 天前

51好读 › 专栏 › 自动驾驶专栏

基于跨模态信号的自监督鸟瞰图运动预测

自动驾驶专栏 · 公众号 · · 2024-02-18 09:10

正文

点击下方卡片，关注“自动驾驶专栏”公众号

自动驾驶干货，即可获取

论文链接：https://arxiv.org/pdf/2401.11499.pdf
代码链接：https://github.com/bshfang/self-supervised-motion

摘要

本文介绍了基于跨模态信号的自监督鸟瞰图运动预测。以自监督的方式学习密集鸟瞰图（BEV）运动流是机器人和自动驾驶的一项新兴研究。目前的自监督方法主要依赖于点云之间的点对应关系，这可能会引入假的运动流和不一致的问题，阻碍了模型学习准确且现实的运动的能力。在本文中，我们引入一种新型的跨模态自监督训练框架，该框架通过利用多模态数据来获得监督信号，有效地解决了这些问题。本文设计了三种创新的监督信号来保留场景运动的固有性质，包括masked倒角距离损失、分段刚性损失和时间一致性损失。通过大量的实验，我们证明了本文所提出的自监督框架在运动预测任务上优于先前所有的自监督方法。

主要贡献

本文的主要贡献如下：

1）本文提出了一种新型的用于BEV运动预测的跨模态自监督训练框架，其使用多模态数据来获得监督信号；

2）本文提出了三种新型的监督信号来保留场景运动的固有性质，包括masked倒角距离损失、分段刚性损失和时间一致性损失；

3）本文方法实现了最先进的性能。综合实验证明了本文所设计的框架的有效性。

论文图片和表格

总结

在本文中，我们提出了一种新型的用于BEV运动预测的跨模态自监督方法。具体而言，我们利用来自多视图图像的点云的静态/动态分类和刚性分段来促进运动学习，而无需任何手动标注。此外，我们在多帧之间施加时间一致性，确保预测运动的时间平滑性。在nuScenes数据集上进行的综合实验表明，本文所提出的方法实现了最先进的性能，并且所有设计的模块均是有效的。

点击下方卡片，关注“自动驾驶专栏”公众号

自动驾驶干货，即可获取

【自动驾驶专栏论文速递】是自动驾驶专栏推出的板块，争取每日更新！旨在引领自动驾驶领域相关人员快速了解行业最新技术，对于具有代表性的研究成果，也会进行详细解读！请大家多多支持！蟹蟹~

推荐文章

中油工程建设 · 远方 | 初入职场的奔跑与成长

19 小时前

营销案例精选 · 2024年十大创意KOL（投票）

昨天

知识星球精选 · 2025年，最适合去哪里搞钱？

2 天前

格隆汇APP · 香港VS新加坡，高净值人群的投资热门地到底应该怎么选？

3 天前

知识星球精选 · 如何在37岁时，让工资翻20倍？

5 天前

乐趣微生活 · 史上最搞笑女护士，笑岔气！【NO2】

7 年前

交大源源 · 上海交通大学“荣昶储才计划”第二期公开选拔报名通知

7 年前

暴走大事件 · 史上最有礼貌的劫匪，平易近人让人无法拒绝

7 年前

债券之星 · 债券之星每日晚报（5月8日）

7 年前

新智元 · Facebook对话AI发展出人类无法理解语言，肇因两个智能体参数跑偏

7 年前

Sov5搜索 · 小百科 · 移动版

51好读 - 好文章就要读起来!