正文
简介
Attribute guided unpaired image-to-image translation with semi-supervised learning.cited-2.
official,pytorch,star-28.
关键字
Image-to-Image,多模态,多域,半监督学习
正文
1. 动机和思路
使用半监督的学习方式解决目前的UIT的多模态,多域的问题,目标如图(原文Table1),要到达的效果如图(原文Fig1)。思路是解耦内容特征和风格特征,这里的风格特征由风格噪声(正态分布)+属性编码合在一起。
2. 模型
模型含7个子部件,内容编码器,风格编码器,内容分类器,内容判别器,目标域判别器,转换样本分类器,生成器,具体的构造和步骤如图(原文Fig2):
编码器,生成器和判别器交替进行训练。个人理解最大的创新是风格内是噪声和属性的混合编码,不太理解的是属性和内容特征都包含了标签信息,那是否可以解耦成3个特征(样式,属性,内容)再组合更灵活,此时内容就只能用重构来保持了。
参考资料
[1] Li, Xinyang, et al. "Attribute guided unpaired image-to-image translation with semi-supervised learning." arXiv preprint arXiv:1904.12428 (2019).