专栏名称: jiangweijie1981
目录
相关文章推荐
51好读  ›  专栏  ›  jiangweijie1981

文献阅读·AGUIT

jiangweijie1981  · 简书  ·  · 2020-03-09 18:11

正文

请到「今天看啥」查看全文


简介

Attribute guided unpaired image-to-image translation with semi-supervised learning.cited-2.
official,pytorch,star-28.

关键字

Image-to-Image,多模态,多域,半监督学习

正文

1. 动机和思路

使用半监督的学习方式解决目前的UIT的多模态,多域的问题,目标如图(原文Table1),要到达的效果如图(原文Fig1)。思路是解耦内容特征和风格特征,这里的风格特征由风格噪声(正态分布)+属性编码合在一起。

目标.png
效果.png
2. 模型

模型含7个子部件,内容编码器,风格编码器,内容分类器,内容判别器,目标域判别器,转换样本分类器,生成器,具体的构造和步骤如图(原文Fig2):

模型.png

编码器,生成器和判别器交替进行训练。个人理解最大的创新是风格内是噪声和属性的混合编码,不太理解的是属性和内容特征都包含了标签信息,那是否可以解耦成3个特征(样式,属性,内容)再组合更灵活,此时内容就只能用重构来保持了。

参考资料

[1] Li, Xinyang, et al. "Attribute guided unpaired image-to-image translation with semi-supervised learning." arXiv preprint arXiv:1904.12428 (2019).







请到「今天看啥」查看全文