正文
简介
Exemplar guided unsupervised image-to-image translation with semantic consistency.ICLR-2019,Cited-31.
Open source,official,tf,star-10.
关键字
Image-to-Image，VAE，GAN，UNIT，AdaIN，无监督学习，机器学习
正文
1. 动机
在无监督的Image-to-Image任务中，解决多模式映射的基础上进一步保持转换样本的语义。即本文对映射到目标域的样本有两个要求：1）多样性；2）语义一致。对于第一个目的，用目标域的样例来引导风格，方法类似conditional image-to-image。第二语义一致，用来VAE-GAN，意思就是假设了域间具有公共子空间，为了进一步提升效果，在这个基础上再加了个特征遮罩（fetrue mask），用注意力机制完成的。思路如图（原文Table1）所示：
2. 模型
转换过程及生成样本图示如下（原文Fig3），图里面的
,
分别代表：源域样本，特征遮罩，内容隐变量，风格方差，风格均值，源域重构样本，源域在目标域的转换样本，其余符号类似。
样本的转换过程如下图（原文Fig2），其中编码器等用了UNIT的权重共享：
关于AdaIN，就是把B域样本的风格从特征图中提取出来赋给A域样本的运算，其使用B域样本的特征图均值和方差统计量代表风格，表达如下：
%3D%5Cgamma_B%5Cfrac%7B(c_A-%5Cmu(c_A))%7D%7B%5Cdelta(c_A)%7D%2B%5Cbeta_B%5C%20%2C%5C%20%5Cgamma_B%3D%5Cdelta(f_B)%2C%5Cbeta_B%3D%5Cmu(f_B))
关于特征遮罩
，使用注意力机制来实现，假设
表示阈值，
表示激活函数，实现如下：
%5Ccdot%20%5Csigma(f_A)%2B%5Ceta)
3. 实验
实验在自定义的signal-MNIST，multi-MNIST以及街景数据集上实现，signal-MNIST的效果如下（原文Fig4）：
multi-MNIST的效果如下（原文Fig6）：
街景的效果如下（原文Fig7）：
参考资料
[1] Ma, Liqian, et al. "Exemplar guided unsupervised image-to-image translation with semantic consistency." arXiv preprint arXiv:1805.11145 (2018).
