我 相 信 这 么 优秀 的 你
已 经 置 顶 了 我
翻译|陈洁燕 选文| 小象
转载请联系后台
当今很多人都将数码相机或者手机拍到的图像素材当做一种 “原始材料”，在上传至社交网站前，连业余的手机摄影者都会花一两分钟时间去平衡色彩或调和对比度，或者用许多广受欢迎的 app 来添加滤镜，处理图像。
本月在Siggraph召开的数据成像技术高峰会里，来自麻省理工大学计算机科学和人工智能实验室的研究员和谷歌团队展示了一个新系统。这个系统可以像专业的摄影者那个以各式各样的风格自动润饰图像。这个系统非常高效，而且可以在手机上操作。它能实时在取景框里呈现 “P过” 的图像，所以摄影者能在取景成像的时候就能看到最终的成像效果了。
这个系统也能提高目前的影像处理算法。在运用了谷歌高动态成像技术的最新谷歌算法测试中，高动态成像技术能捕抓到标准数码图像中更细微的色彩。新系统的成像算法可以只用十分之一的时间来获得最终图像效果，可以说相当高效。
这也是个机器学习系统。它能通过分析和训练数据来学习如何执行任务。在学习过程中，它分析成千上万的原始和润饰过的图像来完成任务。
这项成果是在麻省理工大学研究员前期的项目基础上发展而来的。此前，一台手机可发送你分辨率的图像版本到一个服务器。服务器会反馈一个 “改良方法” 到手机上。这个 “改良方法” 可在手机上产生高分辨率的图像，而且节省手机流量。
“谷歌听闻我所研发的 ‘改良方法' ” Michaël Gharbi 说（他是一位麻省理工大学电力工程学和计算机科学的研究生，也是两篇研究论文的第一作者），“他们在此基础上跟进研发。因此，我们会晤并融合两种方法。其创意在于以前我们在云端处理所有图像，目前的任务是学习大量图像，而且学习的首要目标是提高速度。
◇◆◇◆◇
捷径
在这项成果中，低分辨率的图像被大量的图像处理技术加工，从而极大地缩短了处理时间和减少了能量消耗。但也产生了一个新问题，因为在高分辨率的图像中每个像素的色彩值不能不从机器学习系统中更粗糙的图像中提取。
以前，研究员们尝试用机器学习系统去学习如何提升低分辨率的图像样本，或者猜想填充那些被忽略的像素从而提高分辨率。训练期间，这个系统输入的是低分辨率的图像，输出的是高分辨率的图像。但在实际运用中却难以实现，因为低分辨率的图像丢失了太多数据。
Gharbi 和他的同事们——麻省理工大学电力工程学和计算机科学教授Frédo Durand，Jiawen Chen，Jon Barron，和谷歌的 Sam Hasinoff 使用两个聪明的技巧解决了这个问题。第一个技巧是他们的机器学习系统输出的不是图像，而是一套修改图像像素色彩的简单公式。训练期间，当把最近似的，修过的图像的原始图像应用上去，系统可判断最佳的成像公式。
◇◆◇◆◇
贴标签
第二个技巧是由技术决定如何把算法运用到高分辨率图像的每个像素中。研究员们研发的系统的输出效果是16*16*8的3D网络图。16*16那个截面是像素在原图像对应的位置。叠加在上面的八层对应着不同的像素密度。网格式图像中的每一格包含着决定原图像色彩值的改良配方。
那意味着16*16截面的网格式图像的每一个单元代表了高分辨率图像中成千上万个像素。假设每一种改良配方对应着每一个单元的唯一位置，那么高分辨率像素将位于四种改良配方叠加的位置。
简而言之，每一个像素色彩值的提升都是一整套以距离加权的改良配方的核心方案。在网格式图像的第三维是衡量像素密度的加权指标。
研究员根据 Durand 团队和 Photoshop 开发者的数据库来训练他们的系统。数据库包括5000个图像，每一个图像由5个不同的摄影师来修片。他们也采用成千上万特别的图像处理算法所生成的图像来训练他们的系统，例如出品高动态图像的处理软件(HDR)。每一种修图软件所占内存空间与一张数码图片的一样，因此，原则上，每一台手机可配置多种不同风格的图像处理软件。
最后，研究员把他们的系统表现与那些处理高分辨率图像而非低分辨率图像的机器学习系统相比发现，在处理过程中，高分辨率版本需要12千兆字节的内存空间的运作，而研究员的版本只需要100兆字节或者100分之一内存空间。HDR系统的高分辨率版本需要10倍于原始算术的时间或者是100倍于研究员的系统产生相同效果的图像。
“这一技术对于在手机平台提升实时图像的效果潜力巨大，” Barron 说，“使用机器学习系统应用计算式摄影是让人兴奋的前景，但受限于手机有限的计算能力。” 这篇论文提供了相关论题的敲门砖，而且也产生了全新的引人入胜的实时成像经验，让用户不需要大量耗电也解决了取景器延时的问题。”
陈洁燕
在追求完美理想主义的路上小碎步梦游的极简主义纠结天秤女...爱生活，爱自己和爱你。
