专栏名称: jiangweijie1981
目录
相关文章推荐
51好读  ›  专栏  ›  jiangweijie1981

文献阅读·Unsupervised Attention-guided Image-to-Ima...

jiangweijie1981  · 简书  ·  · 2020-03-08 16:44

正文

请到「今天看啥」查看全文


简介

Unsupervised attention-guided image-to-image translation.NIPS-2018,Cited-53.
Open source,official,tf,star-240.

关键字

Image-to-Image,注意力机制,CycleGAN,无监督,深度学习,机器学习

正文

1. 动机

针对目前的image-to-image任务在图像的全局上使用判别器判别会造成转换的图像背景不一致的问题,提出保持源域背景下的image-to-image,效果如图(原文Fig1)左2所示:

效果.png
2. 思路

思路是使用attention机制把前景和背景分离,仅在前景上进行域的转换,具体的模型如下图所示(原文Fig2):

模型.png

这里的 A_S 是注意力训练网络, s_a 是注意力映射, s_a=A_S(s) ,由此可得转换图:

s'=s_a\odot F_{s\rightarrow T}(s)+(1-s_a)\odot s

上图中的 s_b,s_f 分别代表背景和前景, s'' 是转换后的 s' 转换回来的重构图。

3. 注意力效果

对源域的图训练出来的注意力可视化效果如图(原文Fig3,Fig4)所示:

注意力可视化

参考资料

[1] Mejjati, Youssef Alami, et al. "Unsupervised attention-guided image-to-image translation." Advances in Neural Information Processing Systems. 2018.







请到「今天看啥」查看全文