南洋理工大学提出WiseAD：基于视觉语言模型的知识增强端到端自动驾驶

智能车情报局 · 公众号 · · 2025-01-17 20:11

正文

讲座预告

1月23日晚7点 ，#智猩猩新青年讲座自动驾驶专题第43讲开讲啦！上海人工智能实验室科研实习生卞恒玮和孔令东将以 《大规模4D自动驾驶场景生成》 为主题进行直播讲解，详解4D动态场景生成框架DynamicCity。欢迎扫码报名~

文章转载自公众号：自动驾驶专栏。本文只做学术/技术分享，如有侵权，联系删文。

论文链接：https://arxiv.org/pdf/2412.09951

摘要

本文介绍了WiseAD：基于视觉语言模型的知识增强端到端自动驾驶。在快速发展的视觉语言模型（VLMs）中通用人类知识和强大逻辑推理能力的出现促使人们越来越有兴趣将VLMs应用于高级自动驾驶任务，例如场景理解和决策。然而，对知识熟练度（特别是基本的驾驶专业知识）与闭环自动驾驶性能之间关系的深入研究需要进一步探索。本文研究了基础驾驶知识的深度和广度对闭环轨迹规划的影响，并且引入了WiseAD，这是一种专门为端到端自动驾驶而设计的特定VLM，它能够在各种场景下实现驾驶推理、行为判定、目标识别、风险分析、驾驶建议和轨迹规划。本文采用驾驶知识和规划数据集进行联合训练，使模型能够相应地执行知识对齐的轨迹规划。大量实验表明，随着驾驶知识多样化的扩展，严重事故显著减少，在Carla闭环评估中的驾驶得分和路线完成率分别提升了11.9%和12.4%，从而实现了最先进的性能。此外，WiseAD在域内和域外数据集上的知识评估中也展现出卓越的性能。