人类通过视觉观察世界时,会下意识地把看到的场景分割成各个独立的目标,然后进行下一步处理。
近日,Facebook公开了一款机器视觉算法,该算法的特点是类似于人类视觉的图像分割。具体而言,该算法不仅能识别图像中的物体的性质,还能准确地识别图像中每个物体的边缘。
这个过程听上去不算太难,但编程实现该算法不是一件轻松的事情。目前没有类似的机器视觉算法能实现类似的图像分割。
目前,Facebook的图像分割算法主要面向出图像处理研究者。但是该算法有诸多潜在用途。
例如,对人像照片进行换底,或者增加一幅图像中人像的亮度;对盲人计算机用户提供一种更好的图像解释工具。
甚至开发出比《Pokémon Go》更强的增强现实(AR)游戏:识别出各种各样的现实世界地形,并纳入游戏让小精灵的活动更真实。
Facebook图像分割算法能准确识别出图像中各种物体的边缘
主流的机器视觉算法近年来不断发展,但是改进的方向主要是是单独识别物体或单独识别场景。
不过现在,科研人员已经把目光转向深度图像理解,以期从根本上提高电脑对图像的理解能力。
Facebook图像分割研究团队管理人员拉瑞·兹特尼克表示,让电脑理解图像最大的障碍之一,就是缺乏有效的图像分割方法。
Facebook图像分割算法可以用来开发软件,直接从Facebook用户发出的照片中识别出其中的物体,或者开发更强的增强现实软件。比如,你对电脑说“把一只虚拟的玩具熊置于床头”,并给电脑一张床的照片,电脑会自动从背景中识别出床和床头,并把虚拟的玩具熊放在那里。
大规模神经网络和互联网提供的海量图片为机器视觉技术的发展提供了强大推动力。新一代机器视觉系统通常能够识别物体的颜色和纹理等特性,但是,它们识别物体边界并将物体从背景中分割出来的能力还不强。
Facebook的图像分割算法利用了一系列神经网络来实现有效的图像分割:第一步,算法扫描图像中的像素,把图像通过边缘初步划分为一些属性未知的物体;第二步,算法进一步识别每个物体的属性。
加利福尼亚大学洛杉矶分校计算机视觉教授斯特法诺·索阿图(Stefano Soatto)表示,2岁的孩子就能识别电视中的物体的边缘,并通过眼睛跟踪该物体。
然而,孩子的简单视觉跟踪功能是经过数百万年的自然进化才获得的,且这种功能要调用大脑几乎一半的计算资源才能实现。
考虑到这一点,Facebook的图像分割算法是图像处理技术的显著进步,并将为诸多困扰于图像分割难题而无法实现的潜在应用铺平道路。
编辑:离子心
深科技招聘自由撰稿人,要求
文笔好,懂科技,稿酬优
联系:[email protected]
IEEE中国是DeepTech深科技的战略合作伙伴,想要获得最新的科技资讯和会议信息,敬请关注IEEE中国。
MIT Technology Review 中国唯一版权合作方,任何机构及个人未经许可,不得擅自转载及翻译。
分享至朋友圈才是义举