专栏名称: 半导体行业观察
半导体行业第一垂直媒体,30万半导体精英的共同关注!实时、专业、原创,专注观察全球半导体行业最新资讯、技术前沿、发展趋势。欢迎订阅摩尔精英旗下更多公众号:摩尔精英MooreRen、摩尔芯闻MooreNEWS
目录
相关文章推荐
COMSOL  ·  如何将图像转换为几何模型 ·  5 天前  
半导体行业联盟  ·  车榜:中国汽车排行榜 ·  1 周前  
21ic电子网  ·  上海通信芯片大厂被告,涉案6.8亿元! ·  1 周前  
51好读  ›  专栏  ›  半导体行业观察

关于iPhone 7 Plus双摄像头的最强解读

半导体行业观察  · 公众号  · 半导体  · 2016-09-20 08:47

正文



迄今最出色、最先进的的苹果手机iPhone 7系列带着四核处理器,立体声扬声器,去除 3.5mm 耳机插孔,增加防溅、抗水和防尘特性,带来令人赞不绝口的亮黑色,采用色彩更明亮丰富的全新显示屏等特点闪亮登场。最让用户眼前一亮的应该是双摄像头。




关于双摄的一些深入报道:

原创 | 双摄像头深度剖析 (2):双Camera的生态链
原创 | 双摄像头系列(3)原理深度剖析(电子行业人士必看)

关于iPhone 7 Plus的双摄

之前ICshare的小编跟大家科普过,双摄像头主要是实现距离检测、暗光增强和光学变焦功能。


之前Huawei P9 用彩色+黑白的双摄像头,彩色RGBG用来获得物体的色彩,而黑白摄像头用来获得更好的进光量,来判断被拍物体的光线强度。然后将两个图片融合,保证在暗光下拍照,也能使物体的色彩鲜艳。



华为P9双摄模组


而此次iPhone 7 Plus带来的双摄像头,采用了广角+长焦镜头,通过左右摄像头使用不同的FOV(可视角),使两个摄像头取景不同。当拍近景时,使用广角镜头,拍远景时,使用长焦镜头。从而实现光学变焦功能。这一点是Huawei P9无法实现的。


而关于双摄像头的参数,我们可以从之前的拆解中得到。iPhone 7 Plus双摄中的广角主摄像头和iPhone 7上的是完全相同的,1200万像素,F1.8光圈,28毫米等效焦距,长焦副摄像头虽然也是1200万像素,但光圈是F2.8,等效焦距是56毫米。


有网友根据库克公布的iPhone 7 Plus拍照样张,挖掘到了EXIF信息,进一步得知广角主摄像头、长焦副摄像头的实际焦距分别是3.99毫米、6.6毫米。


一个1/3英寸传感器的裁切系数是7.21,如果iPhone 7 Plus主摄像头的传感器这么大,等效焦距应该是3.99×7.21=28.768毫米,和苹果公布的28毫米十分接近。


副摄像头的传感器则应该是1/3.6英寸,裁切系数8.6,计算下来6.6×8.6=56.8毫米,也十分贴近苹果的规格。


作为对比,iPhone 6S/6S Plus的摄像头传感器也是1/3英寸,等效焦距4.15×7.21=29.92毫米。
一般来说,同样有效像素下,传感器尺寸越小,噪点就会越多,但苹果在降噪方面一直颇有心得,比如当初从800万像素跳到1200万像素,传感器大小却没变,苹果就加入了很强的降噪算法。

iPhone 7 Plus双摄模组


在知道了具体的硬件信息以后,我们再重新看看光学变焦的实现原理,进而理解iPhone 7 Plus双摄的工作原理:

光学变焦原理图


可以看到,左边的广角镜头负责更宽广的画面,但缺陷就是同样距离的物体,到sensor上显示出来的物体比长焦镜头显示出来的物体小很多,所以需要右边的长焦镜头负责抓到更远的物体。


而目前手机的后摄像头多数都是广角镜头(iPhone 7 用的就是跟iPhone 7 Plus 广角镜头一样的摄像头)。用平时使用手机的习惯来看,若用手机后上摄像头拍风景会非常自然,但拍人就得非常近。现在有了长焦镜头,可以在拍人物的时候,切至长焦而方便在稍远的距离拍摄人物。


因为有不一样的功能,所以两个摄像头大小也不一样。相对来说,广角镜头的长和宽比长焦镜头更长,但长焦镜头更高。


此次 iPhone 不仅实现了光学变焦,还推出了背景虚化功能。从下面这张Apple官方的宣传图来看,还是非常不错的。



 
从这张图来看,美女和背景区分的非常好,很有单反的效果。不像某些早期推出双摄的厂商拍出来的照片,一眼看出,就是用的是高斯模糊实现的背景虚化。


问题来了,什么叫高斯模糊?


我们随便找一张美女图片,用Photoshop打开,用椭圆形选中美女,然后反选:

然后选滤镜-->模糊-->高斯模糊(半径选5),效果如下

背景是虚化了,美女的裙子也虚化没了。


我们需要的是真正的背景虚化,真正的大光圈效果,而不是高斯模糊。这也是之前有些做背景虚化的双摄像头手机没有被用户接受的主要原因。


iPhone 7 Plus的双摄也不完美


虽然iPhone 7Plus的存在给消费者带来了更多的想象空间,但实际应用中其并没有那么完美,这就不完美就来自广角+长焦的这种组合自身的问题。


从上面的光学变焦原理图可以看出:
1. 两个摄像头拍摄的交集只有长焦可以拍摄到的黄色小人那部分。那么可以肯定的是只有这部分的光学变焦是融合了广角+长焦的信息,其他部分都只能算是数字变焦。


2. 同理,iPhone 7 Plus实现的背景虚化,也只能是中间部分能得到距离信息。当然,Apple将主摄像头的光圈从iPhone 6s的2.2 提升到 1.8,不需要将两个摄像头的数据进行融合,就可以对某些场景的背景虚化是可以做到很好。


3. 只在广角镜头上做了光学防抖。但是经常拍照的人知道,在用长焦的时候,光学防抖更加重要。


当然,第一个问题也不算太致命。毕竟一般人拍照都是重点拍中心部分,四周景色并不是那么重要。不过最最关键的是,此次iPhone 7 Plus 并没有实现真正意义光学变焦。


我们可以从手机中国李勇(微信号:cnmo2013)的一个试验中证实这点。他采用了最简单,也是最直接的姿势:堵住其中一个摄像头,来检测双摄的真实性。


既然iPhone 7 Plus的双摄方案不同于安卓阵营那几种,我们自然而然的对它的工作原理产生了兴趣,先来试试把这两颗摄像头分别遮住会出现什么现象吧。

首先,我们遮住的是左上角的那一颗摄像头。


挡住左上角的试试看


哎呦,iPhone 7 Plus气性不小呀,居然罢工了。
 
1X状态罢工


切换到2X试一试,居然还在生气!好了,给你赔个不是还不行...

2X状态罢工


既然不能遮住左上角那颗,我们接着来试一试另外一颗,刚才都赔过不是了,总不能再生气了吧。

遮住另一颗再试试


果然,iPhone 7 Plus就和美女一样,都是要哄的,这一回没有因为遮住单颗镜头而罢工。



 
1X状态正常
试着调节一下变焦功能,1.5X情况下也正常运作。



 
1.5X状态正常
然而到了2X状态,iPhone 7 Plus又使出小姐脾气,罢工了...

 
2X状态罢工


还有更诡异的是,iPhone 7 Plus生气罢工吓得我手抖了一下,手机倾斜角度向上抬了一下,iPhone 7 Plus奇迹般的消气了,然而我再把手机倾斜角度往下一压,这脾气又上来了。


所以,你会看到在遮住左起第二个镜头且2X变焦情况下,iPhone 7 Plus会随着你的倾斜角度有规律的罢工、复工、罢工、复工、罢工、复工...



角度上抬恢复正常



角度下压再次罢工


这个诡异现象让我是满脑子的雾水,现在能够确认的是左上角那颗是广角镜头,另外那一颗是长焦镜头,iPhone 7 Plus的双摄方案确实是在两个摄像头之间进行切换的,只不过苹果的优化达到神级,整个切换过程会让你感觉不出来。按理说在切换到长焦镜头并堵住它之后,手机再怎么改变角度都是无法成像的,然而事实却是会随着倾斜角度而罢工、复工的情况,至于为什么会这样,我还没想好语言来给苹果爸爸洗地...



我们使用iPhone 7 Plus分别在1X、1.5X、2X、5X、10X情况对同一组场景进行拍摄,结果如下图所示,随着变焦程度的提升,城楼上的国王距离我们越来越近,10X情况下完全就是近在眼前了。所以说,光变对于拍摄远景细节非常有帮助,当然,我们的iPhone 7 Plus只有2X光变实力,所以变焦程度越高,噪点会越来越多、锐度越来越低。


从以上实验我们可以看出,Apple的双摄只是在广角和长焦两个摄像头之间的转换。在1x和2x之间,所谓的光学变焦都是数字变焦模拟出来的。只是Apple通过自己的ISP以及强大的算法,使得这个变化非常自然。


为什么Apple不做暗光增强?


有些读者会问,为什么Apple不会做暗光增强呢?ICshare认为,一方面,夜间拍照的场景相对来说比较少。另一方面,目前来看,彩色+黑白的双摄像头目前可以做到的效果并不好。甚至比用了Dual Pixel的单摄像头的暗光效果要差。这是因为彩色+黑白的双摄做法很难做,现在没有太好的算法。举个最简单的例子来说,Huawei的P9的暗光效果就要比Samsung Galaxy S7的暗光效果差。


Samsung Galaxy S7是最早使用Dual Pixel Camera的手机。其原理比较简单,将正常的拜耳阵列的RGBG四个像素的每个像素一分为二。每个像素都有2个光电二极管,从而达到更好的暗光效果。



并且用此技术,比使用PDAF技术的sensor,进行相位对焦的像素要多很多,所以相位对焦速度更快。尤其是在暗光下,PDAF无法使用的情况下,Dual Pixel也依旧可以更快的对焦。

不过制作Dual Pixel 难度也非常大。以Samsung Galaxy S7使用的Sony IMX260为例。此Sensor为12M 1.4x1.4um 的sensor。由于使用了Dual Pixel技术,制作难度相当于24M 0.7x1.4um的sensor(虽然输出的像素依然只有12M)。S7 这颗Sensor 模组大小为12 x 12 x 5.3 mm,远大于普通的13M Camera的8.5 x 8.5 x 5mm。而Dual Pixel的12M的价格也是13M的3倍左右。另外Dual pixel的模组高,不利于手机做薄。目前手机摄像头凸起广为诟病,缺乏美感,这也是不利于Dual Pixel 流行的因素。


未来的双摄会怎样发展?


苹果切入双摄,势必会给手机产业带来新的改变,那么未来的双摄都会有哪些方法呢?

1. 广角sensor用 Dual Pixel snesor + 长焦类似
这样的好处: 可以增加暗光增强功能,可以实现暗光增强,光学变焦和大光圈三个功能。


2. Dual OIS。将长焦镜头也加入光学防抖。目前苹果没有做长焦的光学防抖 主要是因为若双摄像头同时做OIS,两个OIS之间会有干扰,并且很难做同步。但随着OIS 供应商不断的改进算法和精度,这个难题应该很快会被攻克。


3. 如Galaxy S7一样 使用更大光圈的镜头,如1.7的镜头,实现更大的光圈,更好的虚化效果。


4. 将FOV的差距拉的更开。目前iPhone的两个摄像头的FOV一个是78°和42°。光学变焦的计算公式是:Tan(广角 FOV/2) / Tan(长焦 FOV/2),所以iPhone 7 Plus的放大倍数为2.1倍。长焦的FOV没办法再小了,可以将广角的FOV做的更大,比如87.7°。这样放大倍数可以做到2.5倍的放大倍数。


其实这些年Apple的保密工作做的非常差,iPhone 7 Plus 做什么样的双摄,今年上半年很多厂商都已经猜到了。所以明年上半年的旗舰机都会从今年下半年的暗光增强变成光学变焦,上述四种方式都有可能采用。虽然这次Apple并没有实现真正意义光学变焦,相信2017年的iPhone 8 会带来更好的双摄效果。明年到底是国内的双摄效果更好还是iPhone 8的双摄效果好不重要,ICshare只是希望各家都能带来更好的双摄,推动双摄的发展。


Apple双摄对产业链的影响


此次Apple采用的双摄的模组厂是LG。虽然大陆的舜宇和台湾的光宝都有成熟共基板设计的双摄模组,并在Huawei P9上广泛使用,但是还是无法达到Apple对于双摄中光轴角度的要求是在0.35μ的要求。而据说若做到这一点,曾经的Apple供应商,台湾的Primax才能做到。不过不管怎么样,随着各个机型都开始需要双摄,大陆和台湾的模组厂都是加强模组厂的AA(Active Alignment)制程的工艺,也就是提高双模组装配时,两个模组相对位置的一致性和准确性。目前这一块国内做的比较好的就是舜宇,信利,欧菲光和丘钛微。


而双摄的普及,对拥有双摄算法的公司,如:Altek,CorePhonics,Arcsoft,X-Chip,WestAlgo也提出了更高的要求,需要开发出更好更难的双摄算法。


影响最大的则是Camera Sensor公司,双摄像头使得整机使用Camera从2颗变成3颗。目前能做出Dual Pixel sensor的公司只有Sony 和 Samsung,其他主要的Sensor供应商GalaxyCore,OV。据TRI的预测,今年双摄将占全球智能手机出货量的2.4%,明年预计在5%以上,这对这些Camera Sensor供应商的备货都会有很大的影响。


另外,Pokeman GO AR游戏火爆流行,以及视频直播时实时的更换背景或加虚拟人物的需求,都对摄像头提出了很多高要求。而双摄的成熟会对这些需求变得非常简单。以后智能手机不仅双后摄,还会有双前摄的需求,这都会对Camera Sensor 厂商和模组厂商带来很多利好消息。

补充:双Camera都能做什么?

这两年手机的亮点越来越少,高端智能机现在基本都不再去比拼雷兔兔,而开始PK拍照性能。于是乎,这两年各家纷纷开始做起了双Camera。

那问题来了,双Camera到底能做什么?

1、双Camera可以测距,所以可以做距离相关的应用



如上图,由于双Camera通过算法,可以判断被摄物体的距离,所以通过此特性,很容易做出一些特效,如:

A: 背景虚化

单反相机最出众的特色之一就是大光圈。由于双Camera可以测出不同被拍摄物体的距离,对需要进行大光圈的物体对准,其他不同距离的物体虚化,可以轻松实现大光圈的效果。


(原图)

(以美女为中心对焦,虚化背景和受伤的蘑菇)


(以蘑菇为中心对焦,虚化背景和美女)

B: 背景替换

由于可以测量距离,可以将被拍摄物体里的主体提取出来,更换背景,就可以比PS还简单,进行抠图。

C、背景特效
由于可以测量距离,分出主题和背景,所以很容易对背景做任何处理,就不在这里过多描述。

D: 测量距离

这个图就非常明显的标识出不同物体的距离,这个距离信息用不同颜色标识出来。当AP获得了不同物体的距离信息,就可以做到上述的各种功能。


2. 双Camera 可以做光学变焦

若两个Camera的FOV不一样,一个大FOV,一个小FOV,再通过算法实现两个光学镜头之间的效果,就可以轻松做到光学变焦。



若不用双Camera,放大图片后,文字不清楚


若使用双Camera,放大图片后,文字依然清楚



此图就是融合了广角的图和长焦的图,通过算法算出了中间态度照片,让细节不失真。

3. 暗光效果增强

这个一般使用彩色+黑白的摄像头。通过黑白摄像头 获取图片的光亮强度,来对图片暗光补偿。



4. 3D拍摄以及3D建模

不同于一般的3D电影的拍摄。手机上的两个摄像头无法在图像的拍摄过程中就产生足够的视觉差,这是由于两个摄像头中间的距离和人眼不一样。而且为了能够让人们更明显的得到3D视觉效果。所以往往需要算法进行增强。

由于可以测出距离,后续的双Camera不仅仅可以实现3D摄影,还可以进行3D建模,到这个时候,我想双Camera的重要性则会更加重要。



其他的效果增强,比如HDR,提高分辨率,这些功能其实单Camera也可以实现,只是双Camera可以让效果更好,就不一一列举了。

总结:

目前来看,这几个功能是双Camera手机最常见的功能。背景虚化/更换,暗光效果给用户带来了更多的拍照效果。光学变焦则让我们感受了变焦功能的相机功能。但个人觉得未来最让人激动的则是3D功能。

今年VR这么火,VR的素材哪里来?还是得靠双Camera算法的优化。若3D拍照和建模的算法成熟后,将会让双Camera 变得更加流行。


作者:ICShare 创始人,手机行业十余年老兵



【关于转载】:转载仅限全文转载并完整保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“半导体行业观察icbank”微信公众号。谢谢合作!

【关于投稿】:欢迎半导体精英投稿,一经录用将署名刊登,红包重谢!来稿邮件请在标题标明“投稿”,并在稿件中注明姓名、电话、单位和职务。欢迎添加我的个人微信号MooreRen001或发邮件到 [email protected]

点击阅读原文,查看更多半导体高薪职位