正文
简介
Deep reconstruction-classification networks for unsupervised domain adaptation.ECCV-2016,Cited-264.
Open Source(official):
https://github.com/ghif/drcn
,
Open Source(unofficial):
https://github.com/fungtion/DRCN
.
关键字
域适应，无监督，深度学习，机器学习
正文
1. 任务和思路
无监督域适应：从带标签的源域A上训练模型，应用到目标域B上，A和B输入空间分布不一致，标签空间一致。需要注意的是在无监督域适应的假设下两个地方有别于传统机器学习，1）数据分布不一致；2）测试样本不带标签但可见且可用。
思路：利用有标签的源域和无标签的目标域共同提取特征，要求这些特征同时适合分类源域和重构目标域，得到符合上述要求的特征后就意味着这些特征适合目标域，也适合分类，就可以应用在目标域的分类任务上了。
2. 结构
按照以上的想法，网络包含3部分子结构：用于特征提取的编码器，用于源域的分类器，用于目标域的解码器，如图（原文Fig1）所示：
3. 目标函数和损失
目标函数包括最小化分类损失（交叉熵）和重构损失（
）：
%2B(1-%5Clambda)%20L_r%5E%7Bn_t%7D(%5C%7B%5Ctheta_%7Benc%7D%2C%5Ctheta_%7Bdec%7D%5C%7D))
其中的损失项分别为：
![\begin{align} L_c^{n_s}(\{\theta_{enc},\theta_{lab}\}):=\sum_{i=1}^{n_s}l_c(f_c(x_i^s;\{\theta_{enc},\theta_{lab}\}),y_i^s )\\[1em] L_r^{n_t}(\{\theta_{enc},\theta_{lab}\}):=\sum_{j=1}^{n_t}l_r(f_c(x_i^t;\{\theta_{enc},\theta_{dec}\}),x_j^t )\\[1em] \end{align}](https://math.jianshu.com/math?formula=%5Cbegin%7Balign%7D%20L_c%5E%7Bn_s%7D(%5C%7B%5Ctheta_%7Benc%7D%2C%5Ctheta_%7Blab%7D%5C%7D)%3A%3D%5Csum_%7Bi%3D1%7D%5E%7Bn_s%7Dl_c(f_c(x_i%5Es%3B%5C%7B%5Ctheta_%7Benc%7D%2C%5Ctheta_%7Blab%7D%5C%7D)%2Cy_i%5Es%20)%5C%5C%5B1em%5D%20L_r%5E%7Bn_t%7D(%5C%7B%5Ctheta_%7Benc%7D%2C%5Ctheta_%7Blab%7D%5C%7D)%3A%3D%5Csum_%7Bj%3D1%7D%5E%7Bn_t%7Dl_r(f_c(x_i%5Et%3B%5C%7B%5Ctheta_%7Benc%7D%2C%5Ctheta_%7Bdec%7D%5C%7D)%2Cx_j%5Et%20)%5C%5C%5B1em%5D%20%5Cend%7Balign%7D)
4. 算法
算法如图（原文Al1），停止准则是重构损失收敛稳定：
5. 实验
实验在数字集（MNIST，USPS，SVHN）和图像集（Office），（CIFAR，STL）上测试。这里给出数字集上的效果，包括两部分，分类准确率（原文Table1）和重构效果（原文Fig2）。
先是分类准确率的：
再是利用提取的特征重构的效果：
参考资料
[1] Ghifary, Muhammad, et al. "Deep reconstruction-classification networks for unsupervised domain adaptation." European Conference on Computer Vision. Springer, Cham, 2016.
