宋总,光学专家,具备多年光学系统经验。先后就职于舜宇光学科技、豪威等。
宋总的演讲主要分为三个部分:
手机摄像头的发展
3D成像在手机上的运用
虹膜识别在手机上的应用
手机摄像头伴随手机这个行业发展已经有七八年了,从前期简单的参数叠加,包括像素、超薄、大广角这些概念,发展到目前更注重应用和品质的过程。从目前的情况,可以从五个角度去看手机摄像头的发展。
第一个是双摄。双摄毋庸置疑是近两年最热的话题,从国内第一款双摄手机荣耀6 Plus的发布,到后续苹果变焦双摄的发布,从这一系列的事件来看,双摄的趋势在不断加强。双摄从目前来看的话,主要有三种模式。第一种模式是光学变焦,比如OPPO发布的前置三倍光学变焦潜望式,就是非常典型的光学变焦。第二种模式是色彩增强,华为的P9就是色彩增强的典型案例。第三种模式是景深虚化,比如vivo的前摄背景虚化是其非常重要的卖点。
第二个是感光度。其实评价一个摄像头最重要的就是对光线的感光能力,目前芯片端是提升感光能力最重要的环节,另外一个重要环节就是镜头,由此诞生了目前三种提升感光度的方式。第一种是大孔径,从1.7的孔径发布,到后续苹果、华为都会有大孔径方案发布,这是提升感光能力很重要的一点。第二种是大像素点,这也是为什么在国内厂商拼像素量时,苹果始终坚持大像素点的原因。第三种是芯片的制程,制程在于提升光电转换效率,包括目前从FSI转换到BSI,都是为了提升光电转换效率。
第三个是4-Cell。这会是未来中高端手机的标配,包括OPPO、vivo的手机都会使用4-Cell 的前摄。4-Cell可以提升影像效果,以及在暗光下的信噪比。
第四个是镜头小型化,这个主要是为了实现高屏占比。很多文章都已经可以看到苹果、华为等厂商都在开发大屏占比的方案。
最后是3D技术。3D技术是一个非常新的应用,精确测距是它非常基本的功能,只有达到这个功能才能时候后续的高端的3D效果。然后是人脸识别的功能,3D技术增加了一个维度去识别人脸,那么它的精度会更高。最后还可以有VR/AR的一些应用。
双摄有几种主流的应用方式。第一种是效果增强型的双摄,这是华为在使用的,通过一颗彩色一颗黑白的镜头加强在暗光下的效果。第二种是变焦,OPPO已经在用的是潜望式,下一代技术会是16+20的变焦,是华为和OPPO都准备使用的。第三种是背景虚化,已经在vivo手机上成功运用了。它的算法入门其实比较简单的,核心是如何提取照片中的人物。因为在不同情况下,要识别的人物和背景是非常复杂的,在极限条件下,甚至会出现错误识别。评价一款背景虚化软件,最重要的一个是人物的提取,第二个是层次感的优化。第四种是3D深度识别,包括手势的识别、人脸的识别等。
双摄的未来需求趋势。双摄其实经过两年的发展,在16年实现了起步,像华为已经在中高端都配备了双摄。17年应该是双摄开始爆发的年份,从目前的市场行情来看,下半年会是双摄手机集中发布的时点,我个人预计到时候双摄的需求会是在10KK/月左右。2018年是双摄向下延伸的一年,包括一些2000元以下的手机都会配备双摄,到时候整体市场容量会有更大的爆发。
在产业链方面,镜头主要是大立光、舜宇、KT等,这都是可以生产高端镜头的老牌厂商,国外主要是Semco、Samsung,三星给自用的比较多。在马达方面,中国的有TDK、比路、Shicoh,国外的有Alps、磁化、Mitsumi,这都是在国内外有一定占比的公司。芯片方面,中国有OVT、格科微、比亚迪,国外有Sony、Samsung、Hynix。模组方面,主要有舜宇、邱钛、欧菲、信利、Semco、LG、Sharp、Sony。在滤色片方面,有很大一个增量,主要厂家有水晶光电、五方光电、舜宇、VIAVI。
第二部分是对3D深度视觉的讨论。3D传感给人机交互带来巨大革命,目前人类已经用触摸屏取代了按键,未来可能会用3D非触摸式来取代触摸屏。从维度来看的话,从二维变到了三维,操作维度更多,使用更方便,给未来的应用提供了更多机会,这种技术对人类而言是一个飞跃。同时3D深度视觉技术有望创造一个新兴的市场。3D技术的小型化可以使得这种技术应用到手机上,手机行业规模是非常庞大的,当3D与手机相结合,这会是一个爆炸性的市场。如果使用3D成像技术,那么会对两个新的器件带来新的巨大增量,一个是VCSEL,另一个是红外光源。3D需要红外光的帮助,所以对红外光源和红外CIS芯片有很大需求。VCSEL是一个非常重要的器件,因为它能提供高频、高质量的红外光源,同时具备较低的功耗。随着手机的功能越来越多,耗电也越来越多,所以低功耗是非常关键的。3D视觉的核心价值在于硬件普及促进了有效内容的增加,同时操作变得简便。
全球几大巨头都在3D视觉领域有布局。苹果整合行业先驱PrimeSense,发力3D手势与人脸识别。英特尔持续强化升级RealSense,采用“结构光+双目立体光”方案。微软从Kinect到HandPose,实现了3D识别精度大幅提升。谷歌收购Mantis Vision 发布Tango,提前布局移动端3D视觉。索尼收购明星企业SoftKinetic,弥补短板。三星发布具备手势识别凌空操作的Gear VR。苹果8可能采用3D技术。综合来看,3D的步伐越来越快,内容越来越丰富。发展的大方向的话,一个是集成化,要用在手机上必须集成化。不单单是集成功能,还要集成周边功能。发展方向还有提升识别精度、传输速率、低功耗和智能识别。
3D的产品有TOF、双摄相机、散斑结构光和编码投影结构光,应用主要有编写设备、人机交互、场景建模、手势识别、体感游戏、机器视觉、无人机导航和安防监控。
3D主流技术有TOF、结构光和双摄三种。TOF是通过计算红外激光的反射时差,根据相位差计算具体位置。优势在于两米左右是非常精确的,劣势在于高功耗和短距离需要非常高的识别精度,因为光线在短距离内是有非常快的,所以短距离时的一点点误差都会导致最后很大的差错。TOF用在手机前摄是有利有弊的,有利之处是尺寸可以做到比较小,弊处是精度要求非常高。结构光是在一个物体上投射光斑或图案,通过不同形状的变化来计算距离,它的精度也非常高的。第三种是双摄,双摄和手机上的双摄是不一样的,由于要进行三角定位,所以它的一个潜台词就是两个摄像头要相对有一定距离,这样才能提供比较精确的测距。如果是非常近的两个摄像头的话,测距的精度是会有非常大的误差的,需要非常好的软件才能提升到比较高的精度。
在三种技术中,其实TOF是响应速度最快的,分辨率也最高,识别距离也比较远,在户外条件也相对不容易受到环境光的干扰,因此这也是在移动端3D非常可行的一个方案。结构光其实是最早发布的,在整个行业已经非常成熟,有非常多的公司在这方面有很深的研究。双摄是比较新的,参与的厂商比较少,同时和手机上的双摄有一些类似,更适合应用于机器视觉和自动驾驶,因为它可以提供非常高的像素支撑和分析。
下面分析一下移动端3D视觉的产业链。红外光发射器有红外LED、红外LD(激光二极管)和VCSEL(垂直腔面发射激光器);图像传感器包括红外COMS芯片、可见光COMS芯片、图像处理芯片。光学器件主要有DOE镜片、Lens、红外滤色片、光栅。硬件层面重点关注VCSEL与红外CIS摄像头成为市场新增量。不管是3D成像还是虹膜识别,都需要在红外的环境下进行,所以这些是不可缺少的器件。软件算法层面重点关注与AI、数据库结合提升识别精度及复杂条件下自我理解及分析。当3D技术和AR/AI技术结合之后,会有更大的冗余、更强的识别效率和自我学习更新的过程,这样就可以适应更加复杂、更加多元的环境。所以3D视觉发展到一定程度后,肯定要跟人工智能相结合。
红外发射光源是比较新的硬件,主要有LED、LD和VCSEL。整体来看,VCSEL具有能量集中、光电转化效率高、功耗低、可以做小组件封装的优点。因为是通过晶圆级封装的,所以如果量够大的话,可以做到1美金以下的封装成本。
红外滤色片是一种非常重要的器件,因为在普通光源下有非常多的自然光会被芯片感应到,所以会有杂光、眩光等一些不必要的光被记录,导致整个应用系统产生一些不必要的误判。红外滤色片的主要功能是截取880-900nm左右的红外光线。这个滤色片在室外相对比较稳定,可以提供一个比较好的光线过滤。传统的RGB是不会过滤这些光线的,会产生一些不必要的色彩和纹路。红外滤色片的特点在于更多的膜层去过滤掉红外光,这对于一些镀膜的技术和工艺有一些新的要求。
相关的产业链方面,TOF方案的主要综合技术方案提供商有德州仪器、意法半导体、英飞凌、微软、索尼、AMS等,国内就是舜宇和乐行天下做得比较多一些。在结构光方面,主要有苹果(PrimeSense)、Intel、AMS(Heptagon),国内就是深圳奥比中光、南京华捷艾米。
双摄是相对比较新的3D器件,是从镜头双摄衍生出来的,除了镜头距离要求比较远之外,很多都是可以通用的,主要有Intel、Leapmotion、AMS(Heptagon) ,国内主要是上海图漾科技。
在系统封装和集成方面,主要有LG Innotek、Sharp,国内主要是舜宇、欧菲光、信利,基本上能做摄像模组就可以做很大一部分封装。
核心器件方面,VCSEL设计主要有Finsar、Lumentum、Princeton Optronics、Heptagon,这都是VCSEL设计和制造方面走得非常领先的,国内主要是光迅科技。
VCSEL制造方面,有台湾的宏捷科、稳懋,大陆有三安光电和光迅科技。在VCSEL封装方面,有联钧、矽品、同欣(封测)。
在CIS芯片方面,国外有Sony、Samsung,国内主要就是OV、比亚迪电子、格科微。其实CIS芯片整体像素不是特别高,所以非常多的国内外公司都能做。
滤色片的话,国内主要就是水晶光电、五方光电和舜宇。
在模组方面,主要有LG、Semco、Sharp、舜宇、欧菲光、信利、邱钛。在图像处理方面,这是非常重要的一部分,因为3D要求快速传导、快速输出,同时要对延时精确控制,所以在这方面做得比较好的就是德州仪器和意法半导体、英飞凌、Inuitive。因为在使用结构光的过程中,有一些光斑需要加一个光栅,这个光栅需要雕刻,目前能做的有Heptagon、奇景光电、精材科技、台积电,都是要一些高精度加工能力的公司去做,因为放在手机上的话,所需要的尺寸本身就是非常小,在一个非常小的尺寸上雕刻一些斑点需要非常高的精度。
其实虹膜识别已经发展好多年了,一直都是不温不火,目前印度的发展其实比国内还更快一点。虹膜识别的原理,就是在红外的条件下拍摄虹膜的纹路,提取特征点来识别身份。目前用得最多的虹膜识别就是单一的虹膜识别,但在未来发展过程中,它需要和手机一些其他功能相结合,因为单独的虹膜识别的成本非常高,还需要其他的功能给它做一些虹膜识别的功能。虹膜识别后续可能和拍照相结合,也可能和人脸识别相结合,通过人脸识别实现开机开锁的识别,通过虹膜识别实现支付的识别,这样整体的应用会更加方便,不至于为了开机把手机贴在脸上。第三个是加入景深识别,它的器件没有增加,唯一区别是其中一个摄像头实现景深识别和虹膜探测。这三个方面就是目前一直在做、一直在改进的三个方向。
虹膜识别的行业趋势。国内的IFAA联盟成立二年以来,支持该标准的设备已经超过10亿台,这是非常大的数量。未来几年,这个数量还会非常快的上升,因为未来几年苹果、三星都会推出带虹膜识别的手机,到时候国内研发会更加注重到应用上。虹膜有一个问题,那就是涉及到隐私和国家安全,所以可能需要国家大环境的支持,这是因为虹膜识别是对一个人的关键信息的采集,如果信息丢失,那整体的安全环境会受到非常大的影响。支付宝这边已经完成了虹膜支付的开发,只要手机上有虹膜识别功能就能支持虹膜支付。印度、墨西哥、阿富汗等地政府支持虹膜信息采集,能更好推动虹膜产业链发展。15年富士通第一款虹膜识别产品上市后,三星Note7、S8都相继推出了虹膜识别方案,包括华为荣耀Magic也带有了脸部识别和眼球追踪等近红外应用,后续等iphone8上市、印度市场的推进,17年下半年近红外应用将开始启动。
总结而言,3D深度技术及生物识别技术,为减少自然光干扰提升识别精度,将更多的采用红外成像技术及器件,包括红外芯片、发光源、滤色片等。3D技术还需要不断优化去实现高精度测量、扫描、建模,将广泛用于智能汽车、智能生活、工业、军事、影视、定位等领域。3D深度技术和生物识别技术紧密结合,引入深度学习及数据库实现自我学习及评估,提升软件精度及冗余。双摄作为实现多种应用的一种形态,后续将会衍生出更多方式。小型化 轻量化 整体化将是便携式3D设备发展的主要趋势,必将对感光芯片、传统光学、发光器件、计算光学带来新的机遇。
该卷完