日前,谷歌母公司Alphabet旗下自动驾驶公司Waymo起诉Uber旗下的自驾卡车新创Otto窃取其自动驾驶商业机密。尤其是Uber使用的LiDAR技术,更是Waymo关注的侵权重中之重。
最近几年,自动驾驶成为了各大互联公司和传统车厂关注的重点,由此也掀起了一些专利的纠纷。我们来看一下谷歌这次起诉时间的前因后果还有谷歌重点关注的LiDAR技术细节,以及这个技术对自动驾驶的重要性。
谷歌为什么起诉Uber
按照Waymo团队在Medium发表的声明,我们可以看到整件事的前因后果,半导体行业观察现在将他们的团队声明翻译如下。
以下为Waymo的声明一文:
在自动驾驶领域,有竞争力是非常好的事情。因为这样的话就能促使大家去开发出更好、更安全和能承担得起的技术。但我们认为,这些竞争是应该通过在实验室或者在路上的创新来推动的,而不是一些非法的行为。
最近,我们揭露了Uber和Otto的一些不道德行为。从相关的资料里我们可以看到,他们无疑窃取了Waymo的自动驾驶技术。今天(美国时间2月24),因为被侵犯了Waymo的商业秘密和专利,我们正式向Otto和其母公司Uber提出诉讼。在此,我们想在这里披露更多的细节。
我们在自动驾驶汽车和LiDAR的投资
为了让人们出行更安全和便利,我们在2009年成立了自动驾驶团队。得益于团队人员的群策群力,我们在过去几年取得了巨大的成果和突破。开发出了特别定制的软件和硬件,显著提高了自动驾驶系统的性能,同时也积累了数百万公里的行驶数据。我们还是全球第一个执行无人驾驶路测的公司。
在我们的自动驾驶系统中,最重要的组成部分就是我们特别定制的LiDAR,也就是“Light Detection and Ranging”。通过向物体发射数百万束光线,然后通过测量接收的反射光的时间先后,然后绘制出一个真实的3D 图形,可以说LiDAR在确定和测量类似自行车、汽车和行人等物体的形状、速度有着极其重要的作用。
数以百计的Waymo工程师花了数千小时的时间投入开发,而公司在其中也耗费了数百万美金,才最终打造出了我们现在所使用的LiDAR系统。在这几年,我们也致力于提高LiDAR的性能和可靠性,并明显拉低了其成本。可以说,Waymo LiDAR传感器的配置和规格是独一无二的。侵犯这个专利无异于从饮料公司盗取配方。
为什么我们要表明立场
在2016年,Uber收购了一个成立才六个月的初创公司Otto,并任命其创始人(我们自动驾驶汽车项目的前工程师)为自动驾驶技术的领导人。在宣布收购的时候,Uber方面表示,Otto的LiDAR传感器技术是他们收购这家公司的主要原因。
最近,我们意外地收到一个邮件,我们的一个LiDAR元件供应商发给我们一个传说中的Uber LiDAR电路版工程图(应该是非故意的)。我们惊讶地发现,除了钻孔外,这个电路板和Waymo的独一无二设计竟然惊人地相似。
之后我们发现,我们的前员工,也就是Otto的联合创始人Anthony Levandowski在离职前的六个礼拜下载超过14000份高度保密的Waymo硬件系统设计文件,当中包括了Waymo LiDAR的设计和电路板文件。为了获得进入Waymo设计服务器的权限,Levandowski先生在公司配备的笔记本上安装了专业的软件。在进入了服务器之后,他下载了超过9.7G的高度保密和商业机密文件,当中包括了蓝图、设计文件和测试文档。然后他用一个硬盘将其拷走。之后Levandowski先生格式化了那台电脑,想抹去其中的痕迹。
除了Levandowski先生以外,我们发现有些Waymo前员工,现在Uber和Otto的员工,在离职的时候也下载了我们的一些高度保密文件,当中包括了供应商名单、制造细节和工作说明书等技术信息。
我们有利于相信,这是一个有组织、有预谋的行动,旨在窃取Waymo的商业机密和知识产权。而在离职前几个月,Levandowski先生曾经向人提过,将在竞争对手上“replicate”Waymo的技术。
关于更多的侵权相关细节,大家可以在附件中看到(在半导体行业公众号回复“谷歌起诉Uber”则可以获得详细文档)。我们希望可以终止这种行为,终结这些不正当竞争。
我们的母公司Alphabet和Uber在很多方面有紧密的合作,如果不是因为迫于无奈,我们也不会轻易提起诉讼。但有鉴于我们的技术被明显侵犯,我们不得不做出这种行动来保护我们的投资和技术。
从上面的描述我们可以得知,这桩诉讼的出发点就是谷歌的前员工们,尤其是Anthony Levandowski的盗窃行为。至于那个意想不到的邮件,我们可以看做是冥冥之中的天注定。
Waymo的定制自动驾驶硬件强在哪里?
为回答这个问题,我们先要了解一下谷歌的自动驾驶方案。
我们知道,谷歌自动驾驶汽车使用了传感器融合和软件结合的方案,然后借助高精度的数字地图来确认其位置。在其自动驾驶汽车原型中,还搭载了一个GPS,其作用和大多数汽车使用的卫星导航是一样的,其存在是为了确认汽车的大概位置。另外,汽车还带有激光、雷达和摄像头,这些零件主要是用来识别汽车周边360度的物体。
总结起来谷歌无人驾驶汽车的方案就包括了激光测距仪、前置摄像头、碰撞检测雷达、天线、超声波传感器、传感器融合等软硬件。
通过这么一套方案,谷歌的自动驾驶汽车能够识别周围的人、物、汽车、路标、信号和交通灯。在遵守交通规则的前提下,这个车还能针对不同的路况做出改变。
从Waymo的官方说明,我们也可以看到。在他们自动驾驶项目早期,其系统是由多个供应商提供的传感器和计算系统组成,这些元器件组成的成本非常昂贵。例如,位于车顶部的一个LiDAR的价格甚至比整部车的售价都高。为了达到美国汽车工程师学会的Level 4标准,Waymo就需要提供从价格到性能各方面都能让人接受的定制化方案。因此除了提供便捷的解决方案外,Waymo致力于降低LiDAR成本。因此我们在Waymo的最初版本自动驾驶汽车中,看到其使用的LiDAR是Velodyne的激光雷达。
但在今年一月,Waymo方面宣布,其无人驾驶汽车已经集成了所有无人驾驶技术所需的套件,包括摄像头、雷达和激光雷达,且也是史上首次,Waymo以全部自研的方式开发上述传感器。这个方案在成本上有了很大的优势,尤其是在LiDAR方面,更是下降了90%。这就是Waymo所努力的方向。
Waymo表示,在开发无人驾驶汽车的时候,使用他们的软硬件组合是一个很好的选择,因为他们开发的传感器是与AI等软件专家所做的软件是高度匹配的。需要提一下,Waymo用到的,包括LiDAR、视觉系统和Radar在内的众多传感器都是深度集成到自动驾驶汽车中,与软件进行深入的配合。可以说这些软硬件系统能够无缝连接。下面进行逐一介绍:
LiDAR
LiDAR是自动驾驶汽车的重要组成部分。它能够区分出一个行人和一个行人照片。它同样能够从三个方向看物体,并能够测试静止的物质,还能够准确的测量距离。Waymo的自动驾驶Pacifica minivan有一个完整的系统,当中包含了三个由Waymo定制的LiDAR。
因为自动驾驶汽车需要在复杂的成立环境中形势,因此需要对各种各样的物体和环境进行判断。因为这些汽车需要一个更强大的LiDAR,因此Waymo改良了LiDAR,让其更灵敏,且更有效地解决汽车在行驶中碰到的意外。
不过老实说,这个系统当中只有两个LiDAR是全新的系列。
首先,其短距离LiDAR持续不断地提供周边环境(包括下、后和附近汽车车身)的信息。这样我们就能更容易看见小人和小物件。
其次,我们研究了一个长距离的LiDAR。能够快速获得行驶过程中的相关信息。
其实老实说,我们提供的系统还是不够完美。但这也能够帮我们明显降低LiDAR的成本。几年前,车顶上一个LiDAR价格高达75000美金。而谷歌现在披露,其新做产品的成本降幅超过了90%。为了能将其普及,谷歌有望将这个成本压得更低。
视觉系统
应用在汽车的驾驶辅助摄像头系统即将流行。但他们也面临很重要的挑战。但他们面临关键的限制。
和人眼一样,这个系统在光线差的时候,也不能看清楚。但一个安全的自动驾驶汽车是不应该因为环境改变而变的。因此我们打造出了一个视觉系统:它是由八个视觉模块组成,当中的每个模块都使用了多传感器。其中包含了一个前向摄像头、超高分辨率的传感器和360度视觉。有了这种分辨率,我们就能很轻而易举的确认问题。
RADAR
据我们观察,Waymo定制的RADAR能够实现连续的、360度的摄像。因此他能够检测到一些人眼无法看到的物体和汽车。这些RADAR能够在汽车在后面追赶的时候及时监控,并在他超车之后持续监控,更厉害的是在这个过程中,监视并不会中段。
根据谷歌介绍,这套硬件和软件配合后,能够促进销售,
Anthony Levandowski、Google、Otto和Uber
从Anthony Levandowski的领英我们可以看到,在1998年到2003年间,他在加州大学伯克利分校学习,并获得了工业工程和运筹学硕士学位。在其标记的技能中,包括了机器学习、Python、软件开发、分布式系统、算法和C++等。
还是从其领英中我们得知,2001年,Anthony Levandowski还在学校读书的时候,他就联合Andrew Schultz 和 Pierre-Yves Droz共同创立了一家叫做510 Systems的公司。2010年,谷歌收购了这家公司及其姐妹公司Anthony’s Robots。虽然谷歌在其无人驾驶汽车的发展历史中并没有提到这次收购,但是根据IEEE 在2014年的一个报道,这笔收购对成就今天的谷歌无人驾驶汽车起着重要的作用。
回到当年毕业的时候,Anthony Levandowski参与设计的无人驾驶摩托车参加了DARPA 的挑战赛。在挑战赛中,他设计的摩托车使用的是GPS 以及三维摄影机进行导航。
510 Systems 团队和无人驾驶摩托车
在那次竞赛中,有一件事我们需要提一下的,那就是后来的谷歌无人驾驶团队领军人、AI专家Sebastian Thrun同样参加了那场比赛。他设计的是采用3D 雷达装置的SUV,与Levandowski的不应。那场比赛Levandowski 没能赢过Thrun,但是也打败了许多对手,并因此与无人驾驶结缘。
之后,Levandowski与伯克利的几个伙伴一起建立了510 Systems公司。根据510 Systems当初的一个雇员所说,当时他们在研发一个智能机器控制摄像头,这最终逐渐演变成初版的街景系统。他还披露,510 Systems那时候还设计一个处理板,能够接收来自数字相机、高端GPS单元和惯性传感器的数据。然后就把这些数据整合,之后图像数据和位置数据就能够执行相关的处理。这个由510 Systems开发的摄像头在经过Topcon Positioning Systems的制造后,就转卖给了Google。
再之后,510 System将LiDAR引进了LiDAR引进了其系统。简单提一下,LiDAR就是Radar的光版本。他利用光线去测量产品的距离和形状。现在回看,510 Systems才是第一个将LiDAR应用到移动绘图的公司。这个公司的系统最后被世界最大的地图绘图公司采用。
那段时间,他们测出了伯克利分校最精细的地图,甚至引来了好莱坞的注意,乐队电台司令的 House of Cards MV 便是用雷达图像制作的,该 MV 还被格莱美提名。
驱动这一切的是 Levandowski 想做一个更好的无人驾驶摩托车,而机会则来源于 2008 年,美国 Discovery 频道邀请 Levandowski 做一个无人驾驶披萨外卖车,Levandowski 欣然答应。基于地图测距的经验,这些积累全都应用到无人驾驶车上面,技术上可实现厘米级别的定位。最后他们改装了一辆丰田普锐斯,并设计了一套自动驾驶系统。
车子只花了几个星期就设计好了,这辆车名叫 Pribot,沿着精心策划好的路线,穿过旧金山海滨大桥,总共 25 分钟的路程,为了安全,警察清理了道路并全程护送,最后的结果堪称完美。
安全可控的无人驾驶初试成功,给了他们无穷的幻想,无人驾驶无疑会是一项改变世界的项目。而他们明白,真正要做起来,非得强力的资源不可,这个角色 Google 再合适不过,事实上 Google 在几个月内便跟进,资助 510 Systems 研发无人驾驶汽车。
510 Systems 专注于硬件,Google 专注于软件,几年间,他们已经有了 5 辆无人驾驶普锐斯汽车。最终收购的棋子也落下,Google 发出收购要约,成功在 2011 年 10 月实施秘密收购。
仅为商业目的传播,不代表本刊观点
收购加速了项目的进程,根据 510 Systems 前员工 Bryon Majusiak 介绍,收购后他们的项目不再只是一个大学科研项目,在硬件和生产方式上都有极大的改观。到如今,他们已经在内达华周完成数年的测试,跑完了 70 万公里,车子也升级到了雷克萨斯越野车。
在2014年 5 月,Google 公布了独立设计的无人驾驶汽车,一款酝酿 4 年多的产品,而它的鼻主则是那辆送披萨的 Pribot。据说 Pribot 仍然在 Google X 工作室服役,如果有一天我们谈论无人驾驶的历史,Pribot 将是无法忽视的开端。
之后就发生了Levandowski离职,Otto成立,Uber收购Otto、Google起诉Uber等种种事件。当中我们着重谈一下Otto。这家公司频繁出现在媒体面前,应该是在Uber斥资6.8 亿美元收购其之后。
根据描述,Otto希望通过软件、传感器及激光镜头等装备,使货车可以自动导航,行驶超过35万公里的高速公路,让车上司机可以小睡或处理其他要务。为了将将自动驾驶系统从汽车转移到货车上,成立了一支由40名拥有相关经验人员的队伍,当中有来自谷歌、苹果及特斯拉汽车公司等的前雇员。
而在《麻省理工科技评论》的2017全球十大突破性技术榜单中,Otto也在列。根据评论描述,Otto的关键技术是一种激光雷达系统,该系统使用脉冲激光器记录下货车周围环境的详细数据。Otto从第三方买激光雷达的成本在10万美元左右,但该公司已经成立了一个团队,旨在制造Otto自己的激光雷达,并将成本控制在1万美元以内。
Otto 驾驶室内有一个液冷式的定制微型超级计算机,大小跟面包箱差不多。这台计算机将会处理来自传感器海量的数据,然后通过制导算法,根据货车的载货量调整刹车和转向指令。该硬件系统的最后一环是利用电子线控技术,将计算机输出的指令转化为货车的机械动作。这一环的执行借助了机电作动器,它们被安装在货车的转向、节流和刹车设备上。
驾驶室内还有两个红色按钮——Otto将它们称为“大红钮”——只要一按,自动驾驶功能就会被关闭。不过,即使没有这个关闭功能,只要司机在驾驶席稍微转一下方向盘,或者重重地踩一下刹车,货车就会“乖乖照做”。
另外,Otto的最新一代的传感器和处理器阵列被安装在沃尔沃车内,很自然地和驾驶室融为了一体。全套设备包括四个面向前方的摄像机、雷达和一盒加速度传感器。
LiDAR是如此的重要
无论是Waymo本身的官方声明,还是Uber收购Otto时候发表的评论,我们都看到LiDAR是起诉的最重要根源。而从过往的一些媒体报道中我们也看到,LiDAR在无人驾驶中的功用是独一无二的。Tesla在其无人驾驶方案中摒弃这个昂贵的物体,导致自动驾驶精度不高,这还引致了评论家的质疑。那么我们就来开一下这个零件神奇在哪里。在介绍LiDAR之前,我们先要了解一下通用的无人驾驶方案,知晓一下LiDAR在当中的作用,才能更直观的了解这个技术。
在CSDN发布的一篇文章中提到:
无人驾驶技术是多个技术的集成,包括了传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等等。虽然现有的多种无人车在做到上有许多不同,但是在系统架构上都大同小异。下图显示了无人车的通用系统架构,系统的感知端(下图左)由不同的传感器组成,其中GPS用于定位,光学雷达(Light Detection And Ranging,简称LiDAR)用于定位以及障碍物检测,照相机用于基于深度学习的物体识别以及定位辅助。
通用的无人驾驶方案
在传感器信息采集后,我们进入了感知阶段,主要是定位与物体识别(上图中)。在这个阶段,我们可以用数学的方法,比如Kalman Filter与Particle Filter等算法,对各种传感器信息进行融合,得出当前最大几率的位置。如果使用LiDAR为主要的定位传感器,我们可以通过LiDAR扫描回来的信息跟已知的高精地图做对比,得出当前的车辆位置。如果没有地图,我们甚至可以把当前的LiDAR扫描信息与之前的扫描信息用ICP算法做对比,推算出当前的车辆位置。在得出基于LiDAR的位置预测后,可以用数学方法与其它传感器信息进行融合,推算出更精准的位置信息。
最后,我们进入了计划与控制阶段(上图右)。在这个阶段,我们根据位置信息以及识别出的图像信息(如红绿灯)实时调节车辆的行车计划,并把行车计划转化成控制信号操控车辆。全局的路径规划可以用类似A-Star的算法做到,本地的路径规划可以用DWA等算法做到。
(1)LiDAR的原理
光学雷达是一种光学遥感技术,它通过首先向目标物体发射一束雷射,再根据接收-反射的时间间隔来确定目标物体的实际距离。然后根据距离及雷射发射的角度,通过简单的几何变化可以推导出物体的位置信息。由于雷射的传播受外界影响小,LiDAR能够检测的距离一般可达100m以上。与传统雷达使用无线电波相比较,LiDAR使用雷射射线,商用LiDAR使用的雷射射线波长一般在600nm到1000nm之间,远远低于传统雷达所使用的波长。因此LiDAR在测量物体距离和表面形状上可达到更高的精准度,一般可以达到公分级。
LiDAR系统一般分为三个部分:第一是雷射发射器,发射出波长为600nm到1000nm之间的雷射射线;第二部分是扫描与光学部件,主要用于收集反射点距离与该点发生的时间和水平角度(Azimuth);第三个部分是感光部件,主要检测返回光的强度。因此我们检测到的每一个点都包括了空间坐标信息(x, y, z)以及光强度信息(i)。光强度与物体的光反射度(reflectivity)直接相关,所以根据检测到的光强度也可以对检测到的物体有初步判断。
(2)什么是点云
无人车所使用的LiDAR并不是静止不动的。在无人车行驶的过程中,LiDAR同时以一定的角速度匀速转动,在这个过程中不断地发出雷射并收集反射点的信息,以便得到全方位的环境信息。LiDAR在收集反射点距离的过程中也会同时记录下该点发生的时间和水平角度(Azimuth),并且每个雷射发射器都有编号和固定的垂直角度,根据这些数据我们就可以计算出所有反射点的坐标。LiDAR每旋转一周收集到的所有反射点坐标的集合就形成了点云(point cloud)。
点云的产生
如上图所示,LiDAR通过雷射反射可以测出和物体的距离distance,因为雷射的垂直角度是固定的,记做a,这里我们可以直接求出z轴坐标为sin(a)*distance 。由cos(a)*distance我们可以得到distance在xy平面的投影,记做xy_dist。LiDAR在记录反射点距离的同时也会记录下当前LiDAR转动的水平角度b,根据简单的集合转换,可以得到该点的x轴坐标和y轴坐标分别为cos(b)*xy_dist和sin(b )*xy_dist。
利用LiDAR,我们可以实现高清地图的测绘,定位和障碍物检测。这就让其成为无人驾驶的首选。而在这个火热的市场中,也有着众多玩家。当中包括了美国的Velodyne、Quanergy、TriLumina、Princeton Lightwave,德国的IBEO和Osram,以色列的Innoviz,荷兰的Innoluce以及加拿大的Leddartech等一干公司,当中要数Velodyne和Quanergy最为知名。
资料显示,Velodyne成立于1983年,是一家位于加州硅谷的技术公司。Velodyne最早以音响业务起家,随后业务拓展至激光雷达等领域。今年Velodyne将核心业务激光雷达部门剥离,成立新公司Velodyne LiDAR。该公司开发的LiDAR传感器被谷歌等涉及自动驾驶的公司广泛使用。
目前的激光雷达价格非常昂贵,谷歌目前使用的激光传感器单个定制成本在8万美元左右。过高的门槛成为了无人车大规模量产和商业化的拦路虎。
Velodyne LiDAR创始人及CEO David Hall认为,未来这一局面将得以改善。百度和福特的投资将会加速降低生产成本,实现LiDAR传感器的大规模生产,使其能够广泛应用在全自动驾驶汽车上。需要提一下,Velodyne做的是机械式雷达,由于其在生产的过程中需要生产和调试,尤其适合在多线的LiDAR上,这个工作量尤其巨大,这就造成了其成本高居不下。因此为了将LiDAR成本拉低,就需要探讨其他方案,固态雷达就是其中一个方向。
在2016年的CES上,硅谷初创公司Quanergy发布了“世界第一款面向自动驾驶汽车的固态激光雷达”,其售价只有250美金左右。据深科技报道,与使用机械结构进行旋转不同,Quanergy使用的是另一条思路:用可以调节激光相位的发射器阵列来改变激光的角度,用电磁的方法实现扫描。那就是就是军迷们耳熟能详的相控阵雷达的思路。他们认为固化是降低LiDAR成本的关键。
在Waymo加入了LiDAR这个战局以后,考虑谷歌本身出色的软件能力,还有他们Deepmind部门在深度学习方面的优势,加上Waymo转向了提供自动驾驶方案,而不是提供整车的策略。和这些单纯的LiDAR提供商相比,相信Waymo的方案更容易获得开发者的青睐,并更简便地推动全球自动驾驶产业的发展。
和很多其他技术领域一样,LiDAR同样是国外公司把持的领域,上面罗列的这些公司都是在业内赫赫有名的。至于国内研究LiDAR的公司,据小编不完全统计,其中包括了上海思岚科技有限公司、深圳镭神智能科技有限公司、北醒光子科技有限公司、保定天河电子技术有限公司、EAI 深圳玩智商科技有限公司、北京北科天绘科技有限公司、深圳速腾聚创科技有限公司、上海禾赛光电科技有限公司、北京雷动云和智能技术有限公司和湖南普英电子科技等公司。其中北科天绘和速腾聚创(RoboSense)的16线、禾赛科技的32线产品是国内最新的产品。
不仅是LiDAR,还有关保密和离职员工的职业操守
回到Waymo起诉Otto这件事上,可以说,这是一场关于LiDAR的竞争,也是一场关于自动驾驶专利的竞争。现在各大流派都在推自动驾驶汽车或方案,谁最先能够推出被开发商广泛采用的方案,谁就有可能成为其中的胜利者。谷歌作为一个自动驾驶的先驱,应该也不想出现起个大早,赶个晚集的遗憾。
除了关于技术的控诉以外,我觉得对于离职员工的操守,也是产业界关注的问题。
犹记得当年,梁孟松从TSMC离职投奔三星,加速了三星14nm工艺的量产,缩短了韩国巨头和TSMC的差距。这种“叛变”让TSMC用一纸诉讼将三星和梁孟松送上了法庭。
所以对于公司来说,如何做好关键技术的保密,防止关键技术泄露,这是一个重要的问题。对于员工来说,也是一个考验。
其实这在最近的国内半导体产业大举挖掘台湾和日韩人才上面,更是明显。很想听听大家关于这方面的评价。
【关于转载】:转载仅限全文转载并完整保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“半导体行业观察icbank”微信公众号。谢谢合作!
【关于投稿】:欢迎半导体精英投稿,一经录用将署名刊登,红包重谢!来稿邮件请在标题标明“投稿”,并在稿件中注明姓名、电话、单位和职务。欢迎添加我的个人微信号MooreRen001或发邮件到 [email protected]
点击阅读原文加入摩尔精英