专栏名称: 智能车情报局
聚焦智能汽车关键技术与创新产品
目录
相关文章推荐
深圳大件事  ·  等车时间有变!深圳这2条地铁有调整 ·  昨天  
深圳大件事  ·  快讯!邝兵、黄伟当选深圳市政协副主席 ·  2 天前  
深圳图书馆  ·  微参考 │ ... ·  4 天前  
深圳特区报  ·  深圳市政协委员:“AI+教育”从娃娃抓起 ·  2 天前  
51好读  ›  专栏  ›  智能车情报局

华为192线激光雷达核心SPAD传感器分析与激光雷达发展方向

智能车情报局  · 公众号  ·  · 2024-05-27 13:58

正文


6月5日 ,在2024上海国际低碳智慧出行展览会期间,智猩猩联合车东西将举办 GTIC 2024中国智能汽车算力峰会


辉羲智能联合创始人章健勇,黑芝麻智能芯片和架构副总裁何铁军,为旌科技运营副总裁赵敏俊、安谋科技智能物联及汽车业务线负责人赵永超等15位嘉宾将带来演讲,欢迎报名参会。


有的激光雷达使用了SPAD(Single Photon Avalanche Diode单光子雪崩二极管)传感器,目前车规级量产的SPAD传感器全球只有一款,即索尼的IMX459。IMX459全分辨率189x600, 3x3binning(Binning是一种图像读出模式,将相邻的像元中感应的电荷被加在一起,以一个像素的模式读出),最终分辨率63x200,激活区域分辨率为63x192(笔者认为边缘8个应该是用于测环境光或单纯作为padding像素),恰巧对应192线,基本可以确定用的就是IMX459。注意这个192线是水平分辨率,垂直分辨率是63线。早期机械激光雷达的16线或32线则指的是垂直分辨率。禾赛也极有可能使用了IMX459,差别主要在VCSEL。
SPAD的理论门槛不高,实际量产门槛极高,特别是铜铜连接工艺一致性和良率控制,就像数码相机最初诞生时用的CCD图像传感器,理论上生产并不难,但实际量产只有日本厂家能做到,美国和欧洲不少厂家当时都能制造CCD图像传感器,但毫无成本竞争力。SPAD和CCD图像传感器类似,索尼是绝对霸主,佳能和松下也有潜力。
图片来源:网络
目前,SPAD性能最强的是佳能2021年的作品,高达321万像素,填充率接近100%,目前已经量产,用于MS-500相机中,价格极其昂贵,高达上万乃至数万美元,主要用在港口或陆地安防监控领域。未来如果大量出货,价格有望直线下降。有效像素210万像素,估计是1600*1300,如果做激光雷达的话,水平方向就是1600线,性能大幅度提升,和摄像头没有区别,但是有摄像头无法提供的深度信息,是基于物理测量的深度信息,准确度远远高于用深度学习算法推测的深度信息。此外有效距离也高达数公里。
MS-500 搭配 CJ45e×13.6B IASE-V H 拍摄 5 公里外的影像
图片来源:Canon
汽车行业对成本是高度敏感的,还是要回到现实,目前只能用索尼的IMX459,其参数如下。
索尼IMX459参数

图片来源:Sony

IMX459的点云图像

上半部分为点云图,下半部分为深度图,用颜色代表深度远近。

索尼做的基于MEMS振镜的SPAD 参考激光雷达

图片来源:Sony
索尼做的基于MEMS振镜的SPAD 参考激光雷达,采用的是早期纯机械激光雷达用的InGaAs/GaAs应变量子陷阱脉冲激光二极管,波长905纳米,功率密度比VCSEL要高不少,有效距离可达300米,25.2°×9.45°视场FOV,角度分辨率为0.15°,这个分辨率不错,一般激光雷达10Hz下角分辨率0.2°X 0.2°,禾赛AT128是0.1°X 0.2°。一般激光雷达默认频率也是10Hz,索尼的参考激光雷达是20Hz,也比较高。

IMX459内部框架图

图片来源:Sony
芯片使用堆叠式工艺(这个工艺相当困难,需要至少数年时间摸索),顶部芯片使用90nm的背照式工艺实现,完成基于CMOS的SPAD。底部芯片使用40nm 1AI-10cu工艺,负责完成SPAD的信号逻辑处理。
图片来源:Sony

IMX459读出架构

图片来源:Sony
信号处理流程从CDCs到直方图采集(ACQ)、回波分析(EA)和峰值检测(PD),每个检测相位包括两组电路。每个电路在500MHz时钟的相反相位上处理信号,即时钟上升以及下降沿均处理信号,从而在每次测量中实现1GHz的有效采样率每隔一个阶段发生一次。ACQ之后,对两相的数据进行交替地积分,然后以250MHz单相的处理数据。
索尼SPAD激光雷达参考设计方案使用AMD的Zynq™ UltraScale+™ MPSoC adaptive SoCs 和Artix™-7 FPGAs后段处理。
图片来源:Sony

芯片共有三种输出模式:

直方图模式:可以测量距离范围内的直方图数据;

回波模式:最多5个回波的直方图数据;

测距模式:最多5个回波的多回波分析信息数据。加上FPGA处理后,可以输出多种信息,包括强度和无源图像(可等效于灰度图像),传统摄像头图像,2D深度图像,3D点云。
激光雷达包括激光发射、光学扩散、激光反射接收与数据处理,其中关键的激光发射和激光反射接受的光电二极管都是由光电系统的大厂供应的。
图片来源:网络
激光雷达厂家更像是系统集成厂家,采购激光发射器和接收的光电二极管,激光发射或者说光源主要有EEL、VCSEL和光纤三类,而接收主要是APD、SiPM和SPAD。激光雷达的发展方向是低价,在低价的同时尽可能提高性能,但主要是低价,这是因为目前人类对稀疏点云数据的处理方法主要还是基于稠密摄像头领域发展起来的算法,实际应用中的激光雷达点云数据结构化程度远不如稠密摄像头来得好,二者很难真正融合,单独激光雷达的感知性能反而比融合来得好,单独激光雷达较纯视觉性能要好得多。
上面nuScenes感知任务摄像头加激光雷达感知榜单,最高得分0.788,当然这是在不考虑算力和存储带宽的情况下获得的。
上面是nuScenes 感知任务单独激光雷达感知榜单,与融合算法相比差距极小。此外,这些算法里用的激光雷达一般都是最强性能的纯机械旋转360度激光雷达,实际上车的都是窄FOV半固态激光雷达,性能要差不少。如果考虑算力和存储带宽的因素,这个差距会更小,换句话说,传感器融合没有什么性能提升。
上面是nuScenes感知任务纯视觉感知榜单,与纯激光雷达比差距不小,不应用外接扩展数据的情况下NDS是0.694,远低于纯激光雷达的0.744。换句话说,目前的算法没有发挥激光雷达的潜力,因为马斯克被信奉,连带消费者也误认为特斯拉的纯视觉技术水平更高,为了迎合消费者心理,同时也为了降低成本,不少厂家高调宣传纯视觉。激光雷达要找到生存空间,在融合算法难以有进展的情况下,只能不断降低成本来获得市场。

GTIC 2024中国智能汽车算力峰会 预告







请到「今天看啥」查看全文