专栏名称: 自动驾驶之心
自动驾驶开发者社区,关注计算机视觉、多维感知融合、部署落地、定位规控、领域方案等,坚持为领域输出最前沿的技术方向!
目录
相关文章推荐
深圳特区报  ·  一周美文!一起畅游深圳特区报南海潮(23) ·  7 小时前  
深圳大件事  ·  夜读 | 爱情里当对方给你这3种感觉时,就该放手了 ·  7 小时前  
深圳大件事  ·  广州市委原常委周亚伟,开除党籍 ·  14 小时前  
51好读  ›  专栏  ›  自动驾驶之心

从DriveDreamer v1&v2到4D,聊聊世界模型在驾驶场景重建中为何越来越重要?

自动驾驶之心  · 公众号  ·  · 2024-10-29 07:30

正文


点击下方 卡片 ,关注“ 自动驾驶之心 ”公众号

戳我-> 领取 自动驾驶近15个 方向 学习 路线

今天自动驾驶之心为大家分享极佳科技世界模型的系列工作!从DriveDreamer v1&v2到4D。如果您有相关工作需要分享,请在文末联系我们!

自动驾驶课程学习与技术交流群事宜,也欢迎添加小助理微信AIDriver004做进一步咨询

>> 点击进入→ 自动驾驶之心 世界模型 技术交流群

编辑 | 自动驾驶之心

闭环仿真技术是推动端到端自动驾驶系统发展的关键。目前的传感器仿真方法,如NeRF与3DGS,主要依赖于训练数据分布,若训练数据不足,则这些方法在复杂驾驶操作(例如变道、加速或减速)的重建效果不佳。近来,自动驾驶世界模型(World Model)证明其可以生成丰富驾驶数据。

近日,极佳科技联合中国科学院自动化研究所、理想汽车、北京大学、慕尼黑工业大学等单位提出DriveDreamer4D,是首个利用世界模型增强4D驾驶场景重建效果的工作。DriveDreamer4D可以为驾驶场景提供丰富多样的视角(包括变道、加速和减速等)数据,以增加动态驾驶场景下的闭环仿真能力。在user study实验中获得了超过80%的偏好投票,为走向空间智能和4D世界模型迈出了坚实的一步。

DriveDreamer4D利用世界模型作为数据引擎,基于真实世界的驾驶数据合成新轨迹视频(例如变道场景)。如下图所示,DriveDreamer4D不仅可以提升多种重建算法(PVG, Gaussian,Deformable-GS)的图像渲染质量,还可以提升驾驶前景(车辆)和背景(车道线)的时空一致性。

DriveDreamer4D 的总体结构框图如下所示,轨迹生成模块(NTGM)用于调整原始轨迹动作,如转向角度和速度,以生成新的轨迹。这些新轨迹为提取结构化信息(如车辆3D框和背景车道线细节)提供了全新的视角。随后,基于世界模型的视频生成能力,并利用更新轨迹后得到的结构化信息作为控制条件,可以合成新轨迹的视频。最后,原始轨迹视频与新轨迹视频相结合,进行4DGS模型的优化。

在实验中,如下第一列视频所示,可以看出多种传统算法(PVG, Gaussian,Deformable-GS)在变道场景下的车道线、天空、车辆都会模糊,甚至出现“鬼影”现象。而DriveDreamer4D可以提升多种重建算法在复杂变道场景下的视频渲染效果,不仅消除了“鬼影”,而且提升了交通元素的渲染质量,车辆和车道线都更加清晰。







请到「今天看啥」查看全文