专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

【论文】（论文+代码+数据）全局和局部一致的缺漏图像完整性技术

机器学习研究会 · 公众号 · AI · 2017-05-11 19:41

正文

点击上方“机器学习研究会”可以订阅哦

摘要

转自：视觉机器人

岛国新技术，可以抠图、去掉眼镜、去掉遮挡物、补全照片等。全局和局部一致的缺漏图像完整性技术，SIGGRAPH 2017，《Globally and Locally Consistent Image Completion》摘要：

我们提出一种新颖的图像补全方法，可以保持图像在局部和全局一致。使用完全卷积神经网络，我们可以通过填充任何形状的缺失区域来完成任意分辨率的图像。为了训练这个图像完成网络是一致的，我们使用全局和本地上下文鉴别器进行训练，以区分真实图像和已完成的图像。全局鉴别器查看整个图像，以评估其是否整体是一致的，而本地鉴别器仅在以完整区域为中心的小区域上看，以确保生成的补丁的本地一致性。然后对图像完成网络进行训练以使用两个上下文鉴别网络，这要求它在总体一致性以及细节方面产生与实际不可区分的图像。我们表明我们的方法可以用来完成各种各样的场景。此外，与基于补丁的方法（例如PatchMatch）相比，我们的方法可以生成不出现在图像中的其他部分的片段，这使得我们能够自然地完成具有熟悉和高度特定的结构（如面部）的对象图像。

Model Architecture:

Our architecture is composed of three networks: a completion network, a global context discriminator, and a local context discriminator. The completion network is fully convolutional and used to complete the image, while both the global and the local context discriminators are auxiliary networks used exclusively for training. These discriminators are used to determine whether or not an image has been completed consistently. The global discriminator takes the full image as input to recognize global consistency of the scene, while the local discriminator looks only at a small region around the completed area in order to judge the quality of more detailed appearance.