来源:内容由半导体行业观察整理,谢谢。
带有Face ID功能的苹果新iPhone X发布之后,整个市场都为这个黑科技旗舰感到疯狂。无论是分析师还是产业链相关负责人,又或者是消费者,对这个长得有点“奇葩”的新手机充满了十分的热情。而关于这个手机因为技术原因可能导致出货缓慢的消息一直不绝于耳。
日前库克特意拜访了法国一家小公司,给新iPhone背后的技术支持带来信心。
据Venturebeat报道,在今天与法国总统埃马纽埃尔·马克龙 (Emmanuel Macron) 会面前,苹果公司首席执行官蒂姆·库克(Tim Cook)出人意料地访问了位于法国西北部的一家小公司Eldim,该公司为iPhone X提供关键的光学识别技术。
Eldim位于法国诺曼底附近的卡昂,它已经从事了30多年各类显示技术的研发和生产。最近,该公司已经可以制造“对角特性光学分析”组件。很明显,这一技术是苹果在iPhone X上Face ID系统中使用的关键组件之一。据悉,苹果已经与Eldim合作了近10年时间,但直至iPhone X发布,Eldim的面部识别技术才走进苹果的正式产品中。值得一提的是,这家专注于测量颜色和亮度的技术与设备的公司仅有42名员工。
从相关资料我们得知,来自法国的艾尔迪姆(ELDIM)公司,原隶属LETF(法国原子能授权电子实验室),自1991年独立组建以来一直致力于将即时补捉核裂变产生的光谱技术广泛应用于光电商业领域检测设备的研发, 其产品涵盖冷却式数码光学传感器、图像光度计、色度计等各种可扩展式检测系统。
艾尔迪姆产品基于高精度的ccd冷却式数字光学传感器,凭借独有的光学理论,先进的软件技术,友好的操作界面,为众多客户提供更快速、更简捷的测试解决方案。
ELDIM独立加工系统的每个关键组成部件。之所以具有较高的性能,主要是由于采用了先进的技术:磁流体抛光技术和拼接干涉方法等。为了降低直射光、衍生光的偏振,我们在表面涂覆不反光涂层,并在系统内部实现光学校直。光学校直和膜层涂覆在无尘室内进行。所有系统在运输前几天会进行集中测试以确保质量。
Eldim公司首席执行官勒鲁(Leroux)告诉记者,与苹果合作是“一场令人难以置信的冒险”,但多年来也面临着巨大的技术挑战。他称:“对我们来说,这有点儿像把人类送到月球上。”库克回应道:“你们为我们所做的一切简直太棒了!
附:iPhone X的Face ID面部识别技术详解
苹果公司的第一支智能手机 iPhone 上市满十年的今天,特别推出有史以来功能最强大的旗舰机 iPhone X,其中最大的特色是取消了 Home 键也无需手动解锁,而是采用 Face ID 脸部辨识解锁技术,将 3D 图像技术发挥到极致,这里我们经由 Face ID 脸部辨识技术来解析 3D 立体图像感测原理。
图像传感器(Image sensor)
数字相机所使用的图像传感器主要是取得平面彩色图像,这个已经是我们使用了超过 20 年的旧东西,大部分的人都知道图像传感器有 CCD 与 CMOS 两种,却很少有人知道这两种零组件到底是什么?让我们先从这两种最基本的元件谈起。
图像(Image)其实指的就是我们看到的一个「画面」(Frame),是由许许多多的格子组成,这些格子称为「画素」(Pixel)。图像传感器是由许许多多的格子(画素)组成的阵列,每一个画素含有一个电荷耦合元件(CCD)与光传感器(PD),由于光传感器(PD)只能侦测亮度,无法分辨颜色,为了取出颜色,必须在光传感器上方加装「彩色滤光片」(Color filter),如图1(a)所示,它的 RGB 排列方式有许多种,目前最常使用的是图中这种称为「贝尔图」(Bayer pattern),有没有发现贝尔图的设计里,绿色的画素是红色与蓝色的两倍?因为肉眼对绿色比较敏感,因此多收集绿色的资讯是合理的。
▲图1:CCD 传感器的构造与原理示意图。
CCD 图像传感器
电荷耦合元件(CCD:Charge Coupled Device)是一种推电荷(电子)前进的元件,利用3个金属电极不同电压依序推电荷前进,如图2(b )所示,左下角画素 A 的光传感器内的电子经由旁边的 CCD 元件由 4 向上推到 3,此时画素 B 的电子由 3 推到 2,画素 C 的电子由 2 推到 1,画素 A 的电子由 1 推到水平线,依此类推,第一行的电子推完,再推第二行,再推第三行,依此类推,必须把图像传感器内每一个画素的电子依序推到水平线,经由「模拟前端」(AFE:Analog Front End)将模拟讯号转换成数字讯号,也就是图像的「模拟数字转换器」(ADC:Analog to Digital Converter),再输入处理器(Processor)进行数字讯号处理。
CCD 图像传感器的优点是图像画质较佳,杂讯较小;缺点有成本高、耗电量高、模拟前端是使用 CMOS 制程与 CCD 制程不同因此无法整合在同一个芯片。
CMOS 图像传感器
互补型金属氧化物半导体(CMOS)是一种开关元件,利用闸极施加正电压在下方形成电子通道,可以便电子由源极流入,由汲极流出,如图2(b)所示,每一个画素的左上角都有一个 CMOS 开关,一个一个画素可以依序打开(ON)导通,使光传感器内的电子依序流入水平线,第一行的电子流完,再流第二行,再流第三行,依此类推,必须把图像传感器内每一个画素的电子依序流到水平线,经由「模拟前端」将模拟讯号转换成数字讯号,也就是图像的「模拟数字转换器」,再输入处理器进行数字讯号处理。
▲图2:CMOS 传感器的构造与原理示意图。
CMOS图像传感器的优点是成本低(大约只有 CCD 的三分之一)、耗电量低(大约只有 CCD 的十分之一),更重要的是模拟前端是使用 CMOS 制程与 CMOS 图像传感器的制程相同,可以整合在同一个芯片上缩小体积,这对于智能手机这种对元件尺寸很在意的应用非常适合;缺点有图像画质较差,杂讯较大,特别是 CMOS 开关本身产生的热杂讯,这种杂讯是元件在高于绝对零度(0K)时就会产生的,而且温度愈高杂讯愈严重,早期的 CMOS 图像传感器画面上会看到一个个亮点跳来跳去就是由于热杂讯产生,近年来由于半导体制程的进步,CMOS 图像传感器的杂讯问题有很大的改善。
3D 立体图像感测技术
数字相机只能取得平面彩色图像,完全没有深度的资讯,这代表当我们看到一张照片,只知道这个人的脸部有多宽多高,却不知道他脸部的立体结构,例如:鼻子有多挺(有多深),为了取得图像的深度资讯,近年来许多厂商投入研发,目前比较成熟的技术有下列两种:
飞时测距(ToF:Time of Flight):利用发光二极体(Light Emitting Diode,LED)或雷射二极体(Laser Diode,LD)发射出红外光,照射到物体表面反射回来,由于光速(v)已知,可以利用一个红外光图像传感器量测物体不同深度的位置反射回来的时间(t),利用简单的数学公式就可以计算出物体不同位置的距离(深度),如图3(a)所示。
结构光(Structured light):利用雷射二极体或数字光源处理器(Digital Light Processor,DLP)打出不同的光线图形,经由物体不同深度的位置反射回来会造成光线图形扭曲,例如:打出直线条纹的光线到手指上,由于手指是立体圆弧形造成反射回来变成圆弧形条纹,进入红外光图像传感器后就可以利用圆弧形条纹反推手指的立体结构,如图3(b)所示。
▲图3:3D 立体图像感测技术原理示意图。(Source:LAGOA)
TrueDepth 相机
苹果将 iPhone X 所使用的 3D 立体图像感测技术称为「TrueDepth 相机」,结合了前面介绍的两种技术,如图4所示,TrueDepth 相机为 700 万画素的 CMOS 图像传感器,配合红外光相机、泛光照明器、接近传感器、环境光传感器、点阵投射器等元件,以下简单介绍每个元件的功能:
泛光照明器(Flood illuminator):使用低功率的垂直共振腔面射型雷射(Vertical Cavity Surface Emitting Laser,VCSEL),发射出「非结构」(Non-structured)的红外光投射在物体表面。
接近传感器(Proximity sensor):使用低功率的垂直共振腔面射型雷射发射红外光雷射,当有物体靠近时会反射雷射光,因此手机可以知道有物体接近,这个元件很早之前智能手机就有了,一般都是安装在扩音器(Speaker)旁边,当使用者拨电话并且将手机靠近耳朵时,接近传感器侦测到耳朵接近就知道使用者正要讲电话,会自动关闭萤幕节省电力消耗。
环境光传感器(Ambient light sensor):使用光二极体(Photo diode)可以侦测环境光亮度,在明亮的太阳下使用者眼睛瞳孔缩小,因此自动将萤幕调亮让使用者容易观看;在阴暗的室内使用者眼睛瞳孔放大,因此自动将萤幕调暗避免使用者感觉太刺眼。
点阵投射器(Dot projector):使用高功率的垂直共振腔面射型雷射发射红外光雷射,经由晶圆级光学(Wafer Level Optics,WLO)、绕射光学元件(Diffractive Optical Elements,DOE )等结构,产生大约 3 万个「结构」(Structured)光点投射到使用者的脸部,利用这些光点所形成的阵列反射回红外光相机(Infrared camera),计算出脸部不同位置的距离(深度)。
▲图4:iPhone X 使用的 3D 立体图像感测技术。(Source:苹果)
Face ID 解锁原理与步骤
Face ID 解锁主要分为两个步骤,首先必须辨识接近手机的是否为刻意靠近的脸部,或者只是使用者不小心由手机前面晃过去而已;确认是刻意靠近的脸部之后,才开始进行人脸辨识,从前面的介绍可以发现,启动 Face ID 解锁必须同时开启好几个元件,是有些耗电的,因此必须确认是刻意靠近的脸部之后,才开始进行人脸辨识。
当有脸部或物体靠近时,会先启动接近传感器(Proximity sensor),再由接近传感器发出讯号启动泛光照明器(Flood illuminator),发射出非结构(Non-structured)的红外光投射在物体表面,再由红外光相机(Infrared camera)接收这些反射的图像资讯,传送到手机内的处理器,iPhone X 使用苹果自行开发的 A11 处理器,内建双核心的「神经网路引擎」(Neural Engine,NE),经由人工智慧的运算后判断为脸部后,再启动点阵投射器(Dot projector)产生大约 3 万个光点投射到使用者的脸部,利用这些光点所形成的阵列反射回红外光相机(Infrared camera),计算出脸部不同位置的距离(深度),再将这些使用者脸部的深度资讯传送到手机内的处理器内,经由计算比对脸部特征辨识是否为使用者本人。
所有的 3D 立体图像感测技术都面临相同的问题,那就是深度资讯的精确度实际值大约只有 1%,意思是距离 1 公尺远的物体量测出来的精确度与误差大约是 1 公分的等级;Face ID 解锁时脸部与手机的距离大约 10 公分,因此精确度与误差大约是 1公厘(mm)的等级,这大概足够进行脸部特征辨识了!此外,点阵投射器使用高功率的垂直共振腔面射型雷射发射红外光雷射,虽然它的功率并不是真的很高,但是入射到眼睛,个人以为长期使用是否会造成眼球的伤害,是另外一个值得医学界研究探讨的问题。
今天是《半导体行业观察》为您分享的第1421期内容,欢迎关注。
关注微信公众号 半导体行业观察,后台回复关键词获取更多内容
回复 科普,看更多半导体行业科普类的文章
回复 DRAM,看更多DRAM的文章
回复 光刻,看更多光刻技术相关文章
回复 滤波器,看更多滤波器相关文章
回复 全面屏,看更多全面屏相关文章
回复 双摄,看更多关于手机双摄像头的文章
回复 制造,看更多关于芯片制造的文章
回复 人工智能,看《零基础看懂全球AI芯片:详解“xPU”》
回复 展会,看《2017最新半导体展会会议日历》
回复 投稿,看《如何成为“半导体行业观察”的一员 》
回复 搜索,还能轻松找到其他你感兴趣的文章!
点击阅读原文加入摩尔精英