专栏名称: 新材料在线
新材料在线® 是专注于新材料的行业门户+媒体+智库+创业服务+科技服务平台,致力于打造中国最有影响力的新材料行业第一门户、新材料研究咨询第一品牌、新材料创业第一服务平台及新材料创新解决方案专家顾问机构。
目录
相关文章推荐
环球人物  ·  “银行家”当总理,硬刚美国总统 ·  19 小时前  
每日人物  ·  又一批抄底大理民宿的人,后悔了 ·  昨天  
药渡  ·  研讨会直播 | ... ·  3 天前  
宁夏药安早知道  ·  宁夏药品不良反应监测能力建设再上新台阶——全 ... ·  2 天前  
宁夏药安早知道  ·  宁夏药品不良反应监测能力建设再上新台阶——全 ... ·  2 天前  
山东药品监管  ·  “安全用械,良法护航”—— ... ·  3 天前  
51好读  ›  专栏  ›  新材料在线

【深度解析】3D摄像头技术与应用报告

新材料在线  · 公众号  ·  · 2017-08-29 08:30

正文


近几年,国外的巨头公司都在3D摄像头产业链上布局:意法半导体、滨松、欧司朗、艾迈斯、博通等元器件及模组生产厂商,苹果、微软、英特尔、三星、谷歌、索尼等综合系统方案商,都在抢食这块“肥肉”。


你的双眼,你了解吗?


在自然界中,同样的景物,在不同的动物眼里却是有所差异的的。


某些哺乳动物如牛、马、羊等,它们的两眼长在头的两侧,因此两眼的视野完全不重叠,左眼和右眼各自感受不同侧面的光刺激,这些动物仅有单眼视觉(monocular vision)。人和灵长类动物的双眼都在头部的前方,两眼的鼻侧视野相互重叠,因此落在此范围内的任何物体都能同时被两眼所见,两眼同时看某一物体时产生的视觉称为双眼视觉(binocular vision)。双眼看物体时,主观上可产生被视物体的厚度以及空间的深度或距离等感觉。当两只眼睛分别形成的物体被转化成神经信号传输到大脑以后,大脑就会对它们进行综合加工处理,两个物体相同的地方合二为一,不同的地方就代表物体不同维度上的特征。这样一来,两个物体就合成为一个具有很强立体感的物体了。因此双眼视觉也称为立体视觉(stereopsis)。


立体视觉


3D摄像头是什么炫酷的装备?


我们通常接触的普通摄像头只是二维的,没有深度的,也就是每一个景象都是平面的连续播放。这样的摄像头是无法人们提供身临其境的感受的!而3D摄像头在二维图像的基础上增加了对拍摄对象的深度测量,即三维的位置及尺寸信息,从而形成三维图像,其“看到”的景象和眼睛所看到的景深是类似的。


业界认为2D向3D摄像头的转变将成为继黑白到彩色、低分辨率到高分辨率、静态图像到动态影像后的第四次革命。如果说触摸屏实现了交互方式从一维到平面,那么3D摄像头将让交互方式从平面变成立体。3D摄像头为许多“痛点型应用场景”打开了局面,当前科技界炙手可热的领域如人机交互、人脸识别、AR/VR、辅助驾驶等等,都离不开3D摄像头,3D摄像头是未来人工智能“开眼看世界”的提供者!


人脸识别以前主要应用在门禁考勤系统、防盗门等,后续电子护照及身份证也大量采用该项技术。公安、司法和刑侦利用人脸识别系统和网络,在全国范围内搜捕逃犯。在金融业务上,电子商务、智慧银行采用人脸识别,也成了企业增强市场竞争力的手段。人脸识别在消费市场的机会越来越多,比如移动端的身份认证、支付交易确认、权限登录,手机自拍的快速对焦、自拍美颜等……人脸识别带来的便利性将带来人类生活消费方式的变革!


2015年马云在德国汉诺威消费电子、信息及通信博览会上“刷脸”


图像采集则是人脸识别的入口,摄像头采集的图像信息质量直接决定了最终判断的准确性。但是,目前所有的人脸识别摄像头采集的都是二维图像/视频信息,缺失了深度的图像使得各种欺骗人脸识别应用的合成图像或视频有了可趁之机:PS换脸、屏幕翻拍、戴面具、建模驱动等。而如果利用3D摄像头实现三维人脸活体识别,那么不管合成的图像或视频多么逼真,它只能在屏幕上呈现二维图像,注定是无法通过三维人脸活体检测的!


摄像头是人脸识别系统的入口


手势识别的应用场景非常广泛,无论是消费级市场的游戏、娱乐,还是汽车市场等,都需要丰富的手部动作来参与。这块的市场爆发力将非常强大!目前的二维手势识别只能做到一些比较简单的操作,比如控制视频播放开始和暂停、浏览照片等。但是对于更加复杂的体育类游戏或者AR/VR来说,二维手势识别还不够完美。未来集成3D摄像头的智能硬件将极大地促进三维手势识别的普及和应用,这也将带来比触摸屏交互更加接近人类方式的交互式体验。


手势识别应用


在汽车辅助驾驶系统,3D摄像头的引入更是赋予了汽车的“第六感”。3D摄像头可以时刻追踪司机的眼皮动作,当检测驾驶员有困倦或注意力不集中式能立即做出响应甚至气动紧急制动系统。配合雷达,还可以提供精准的路面状况信息,避免车祸的发生。


3D摄像头呈现的三维路面图像


在消费电子领域,3D摄像头也即将引爆市场。2016年,全球首款搭载Tango技术的智能手机:联想和谷歌凭借PMD独家3D技术重新定义了移动设备的新类别。而智能手机的“风向标”苹果公司中将在新一代iPhone 8中将配置3D摄像头的传言已经闹得纷纷扬扬。


联想PHAB2 Pro手机搭载Tango AR技术,具备3D测绘功能


3D摄像头——国外争相布局的产业


近几年,国外的巨头公司都在3D摄像头产业链上布局:意法半导体、滨松、欧司朗、艾迈斯、博通等元器件及模组生产厂商,苹果、微软、英特尔、三星、谷歌、索尼等综合系统方案商,都在抢食这块“肥肉”。


微软是最早涉足3D视觉的公司之一,在2010年与PrimeSense合作,推出了XBOX360体感周边外设——Kinect1代。颠覆了游戏的单一操作,使人机互动的理念彻底地展现出来。在Kinect上市后的头60天内,微软总计卖出了800万台,成功拿下了“吉尼斯世界纪录中销售速度最快消费者设备”的头衔。


2012年微软先后收购了ToF(飞行时间光)相机公司canesta和3dv,自行开发了Kinect2代,采用ToF原理,在精度、分辨率和响应时间都有很大的提升。


2015年,微软研究院的发明Handpose,,目的是让计算机精确地识别手势动作,并应用在2016年问世的AR头戴式显示器HoloLense。


微软Kinect 1代


谷歌,作为人工智能的专家之一,早已敏锐地嗅到了3D视觉市场的机会。其明星项目Project Tango在2016年成功植入联想手机PHAB2 Pro,提前在移动端运动追踪、深度感知和区域学习方面实现布局。2015年的谷歌开发者大会上提出了的60GHz毫米波手势识别技术Project Soli更是让人耳目一新,采用的60GHz毫米波弥补了红外光无法穿过被遮挡物的缺点。


Tango采集三维信息输出“点云”数据


2013年11月,苹果收购以色列3D传感器生产商PrimeSense,便暴露了其将3D体感控制器小型化并配置在PC、电视并最终到智能手机等消费电子产品的野心。乐观估计,苹果公司十周年推出的iPhone 8有望见证这一黑科技。


2016年苹果发布的3D手势识别专利示意图


而微软在2012年也开始涉及实感技术,2015年推出全新的RealSense。作为一款智能3D摄像头,主要有三部分组成:(1)传统的2D摄像头;(2)近红外图像传感器;(3)红外激光发射器。英特尔RealSense 3D摄像头有两种类型:一种是用于远距离、精度稍低的后置3D摄像头;另一种是用于近距离、精度较高的前置3D摄像头。目前,RealSense 3D 摄像头已经集成到戴尔、联想、华硕、惠普、宏碁等厂商的产品。


RealSense 3D摄像头组成——远距离使用(左图)&近距离使用(右图)


中国——3D摄像头产业链雏形已形成


麦姆斯咨询整理出中国3D视觉产业链,整个产业链生态圈已初步形成。


麦姆斯咨询用一张图展示中国3D视觉产业链


在核心元器件领域:红外LED设计企业有三安光电、乾照光电,晶圆制造商有三安光电,封装测试有聚飞光电、联创光电;


VCSEL(垂直腔面发射激光器,Vertical Cavity Surface Emitting Laser)提供商有华芯半导体、光迅科技、昂纳科技集团;


MEMS微镜提供商有微奥科技、励德微系统、创微电子;


图像传感器设计企业有北京君正(收购豪威科技)、思比科、格科微、比亚迪微电子,芯片制造商有中芯国际,封装测试商有晶方科技和华天科技;


滤光片和镜头提供商有水晶光电、舜宇光学、联创电子和歌尔股份;图像处理芯片提供商有北京君正、全志科技和瑞芯微。


在摄像头模组领域:欧菲光、舜宇光学、丘钛科技、歌尔股份(但是近期歌尔股份退出了摄像头模组领域的竞争)。


在应用方案领域按原理可分为三类:结构光法提供商(图漾科技、奥比中光和华捷艾米),飞行时间法提供商(海康威视、舜宇光学和乐行天下),多目(双目)立体视觉法提供商(图漾科技、纵目科技、凌云光技术、西纬科技和弼智仿生)。


3D视觉测量原理知多少


要谈3D视觉应用方案,就必须先弄清楚光学测量分类以及其原理。光学测量分为主动测距法和被动测距法。


主动测距方法的基本思想是利用特定的、人为控制光源和声源对物体目标进行照射,根据物体表面的反射特性及光学、声学特性来获取目标的三维信息。其特点是具有较高的测距精度、抗干扰能力和实时性,具有代表性的主动测距方法有结构光法、飞行时间法、和三角测距法。


光学测距法的分类



1. 主动测距法


(1)结构光法

根据投影光束形态的不同,结构光法又可分为光点式结构光法、光条式结构光法和光面式结构光法等。


三种结构光法测量的原理图


目前应用中较广,且在深度测量中具有明显优势的方法是面结构光测量法。


面结构光测量将各种模式的面结构投影到被测物体上,例如将分布较密集的均匀光栅投影到被测物体上面,由于被测物体表面凹凸不平,具有不同的深度,所以表面反射回来的光栅条纹会随着表面不同的深度发生畸变,这个过程可以看作是由物体表面的深度信息对光栅的条纹进行调制。所以被测物体的表面信息也就被调制在反射回来的光栅之中。通过被测物体反射回来的光栅与参考光栅之间的几何关系,分析得到每一个被测点之间的高度差和深度信息。


结构光的优点是计算简单,测量精度较高,对于平坦的、无明显纹理和形状变化的表面区域都可进行精密的测量。其缺点是对设备和外界光线要求高,造价昂贵。目前,结构光法主要应用在条件良好的室内。


(2)飞行时间法(ToF)

飞行时间(Time of Flight,简称ToF)法,又叫做激光雷达(LiDAR)测距法。它将脉冲激光信号投射到物体表面,反射信号沿几乎相同路径反向传至接收器,利用发射和接收脉冲激光信号的时间差可实现被测量表面每个像素的距离测量。


飞行时间(ToF)深度测量法的原理示意图


ToF直接利用光传播特性,不需要进行灰度图像的获取与分析,因此距离的获取不受物体表面性质的影响,可快速准确地获取景物表面完整的三维信息。缺点则是需要较复杂的光电设备,价格偏贵。


(3)三角测距法

三角测距法又称主动三角法,是基于光学三角原理,根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标。在实际测量过程中,它常用激光作为光源,用CCD相机作为检测器。这种方式主要用于工业勘探、工件表面粗糙度检测、轮胎检测、飞机检测等工业、航空、军事领域,在消费电子类产品还不曾涉及。


基于激光三角法测量系统简图


2. 被动测距法


被动测距技术不需要人为地设置辐射源,只利用场景在自然光照下的二维图像来重建景物的三维信息,具有适应性强、实现手段灵活、造价低的优点。但是这种方法是用低维信号来计算高维信号的,所以其使用的算法复杂。被动测距按照使用的视觉传感器数量可分为单目视觉、双目立体视觉和多目视觉三大类。


(1)单目视觉

单目视觉是指仅利用一台照相机拍摄一张相片来进行测量。因仅需要一台相机,所以该方法的优点是结构简单、相机标定容易,同时还避免了立体视觉的小视场问题和匹配困难问题。

单目视觉测量示意图


单目视觉方法又可分聚焦法和离焦法两类。


聚焦法是指首先使相机相对于被测点处于聚焦位置,然后根据透镜成像公式求得被测点相对于相机的距离。相机偏离聚焦位置会带来测量误差,因此寻求精确的聚焦位置是关键所在。


而离焦法不要求相机相对于被测点处于聚焦位置,而是根据标定出的离焦模型计算被测点相对于相机的距离,这样就避免了由于寻求精确的聚焦位置而降低测量效率的问题,但离焦模型的准确标定是该方法的主要难点。


(2)双目立体视觉

双目立体视觉的基本原理是从两个视点观察同一景物,以获取在不同视角下的感知图像,然后通过三角测量原理计算图像像素间的位置偏差(视差)来获取景物的三维信息。这一过程与人类视觉感知过程是类似的。


双目立体视觉测量示意图


在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。


(3)多目立体视觉

多目立体视觉系统是对双目视觉系统的一种拓展。所谓多目立体视觉系统,就是采用多个摄像机设置于多个视点,或者由一个摄像机从多个视点观测三维景物的视觉系统。

多目视觉测量示意图


对多目系统所采集到的景物图像进行感知、识别和理解的技术被称为多目立体视觉系统技术。在双目立体视觉中,对于给定的物体距离,视差与基线长度成正比,基线越长,对距离的计算越精确。但是当基线过长时,需要在相对较大的视觉范围内进行搜索,从而增加计算量。利用多基线立体匹配是消除误匹配、提高视差测量准确性的有效方法之。基线数目的增加可以通过增加相机来实现。


一张表看懂3D视觉应用案列


目前市场上的3D视觉采用的应用方案原理主要有三种:结构光法、ToF法和多目(双目)立体视觉法。就其优缺点,应用领域和实际案例,下面一张图则做了总体的概括。


一张表看懂3D视觉应用方案优缺点及案例








请到「今天看啥」查看全文