专栏名称: 集微网
集微网,半导体、手机行业专业信息服务平台,使用帮助请发送help。
目录
51好读  ›  专栏  ›  集微网

智能手机拍照的未来:双摄像头邂逅机器学习

集微网  · 公众号  · 硬件  · 2017-03-27 06:49

正文

苹果的第一部双摄像头手机 iPhone 7 Plus 发布不久,评论人士(就像摘自 wired 的本博文及摘自 eetimes 的本博文)就宣称双摄像头是智能手机拍照的新标杆。这就是苹果的超凡影响力。我在 2015 年 8 月的博文中曾猜测,由于苹果收购了一家专攻多摄像头技术的公司,因此这一功能将是其新款智能手机的标配。我之所以做此预测,并不是因为苹果是第一家推出双摄像头智能手机的公司(例如 HTC、LG 及华为推出双摄像头手机已有一段时间),而是因为苹果不仅是该领域的领军者,也是噱头与主流标准的区分者。


双摄像头优于单摄像头



双摄像头的潜能尚未完全显现


尽管不出意外其它 OEM 会跟风,在未来推出双摄像头手机,但这种转变却非比寻常。让设备多一个摄像头和传感器很简单,真正的挑战是提供基于双摄像头的更多功能,确保让手机具备这些功能所需的处理能力并且不会很快耗尽电量。苹果称其已经完善了图像信号处理器,但却未透露其它信息,包括是否添加了专门的硬件加以支持。

  

苹果双摄像头 iPhone 7 Plus (信息来源:苹果)


双摄像头的潜在优势有很多。与我们习以为常的数字变焦相比,其变焦效果更好,因此拍照效果与数字单反 (DSLR) 相机相似,而生成的深度图信息就可以用于质量更高的物体识别或绘制设备周围环境的地图(使用即时定位与地图构建(SLAM)等。您可以通过本周发表的几篇文章(如本文)了解其中一些酷炫的功能。


在所有这些可能中,苹果 iPhone 7 Plus 基本上只提供了优化的变焦质量以及用于背景虚化的景深效果。背景虚化能突出显示照片的主体,而对背景进行模糊化处理。由于智能手机上只有小尺寸的摄像头及传感器,这在单摄像头手机上根本不可能实现。iPhone 7 网页上称使用具有高级机器学习功能的双摄像头,让 iPhone 7 Plus 生成这一效果易如反掌。但是有趣的是这一令人兴奋的功能,其实只能在下次软件更新时才能实现。此外,由于其算法是基于苹果的面部识别软件,因此该效果将只能用于肖像照。这突显了生成此效果的任务有多么艰巨,以及其它机器学习软件功能的实际情况。

  

背景虚化效果将在下次软件更新时才能在 iPhone 7 Plus 使用,且只能用于肖像照


我所发现的最耐人寻味的问题之一是:为何 iPhone 7 Plus 才具有此功能,而非 iPhone 7?这一功能只是让 Plus 手机价格更高?这也不是第一次 Plus系列手机的照片设置要好一些。iPhone 6 Plus 使用光学防抖技术,而尺寸更小的 iPhone 6 却未使用该技术。


所以我的猜测是,这些不同是因为手机越大电池也越大,而这意味着处理复杂度更大。6 Plus 的机械 OIS 及 7 Plus 双摄像头的算法均极为耗电。在使用这些功能的同时,还能有足够的电量供手机工作,要么处理器很高效,要么电池要扩容。由此可见,高效处理器对于释放双摄像头的潜能以及不同尺寸的智能手机都能使用这一功能而言是多么重要。



下一步:双摄像头完善增强现实



最近,我分享了一篇关于Pokémon GO以及增加现实 (AR) 突破障碍进入大众市场的博文。我坚持将三大技术纳入未来设备 - 深度知觉、SLAM 及基于深度学习的物体识别,这将是推动 AR技术 进入诸如谷歌 Tango 等高级案例的关键因素。由于双摄像头的运用有助于完善所有这三大技术的能力,因此它能完全适应这些应用领域。


正如很多评测人士所预测的,要想真正进入大众市场,双摄像头必须成为真正的行业标杆。但是,我们实际使用的摄像头却没有那么好,因此支持摄像头的软件才是真正的主角,也是众多潜在功能和应用程序的幕后英雄。将双摄像头的功能最大化,需要低功耗、高性能的专用引擎。同时拥有可编程的视觉引擎将使供货商能应对相关领域的快速变化,并能同时运行深度学习、图像及智能视觉的多种软件算法。