专栏名称: PaperWeekly
PaperWeekly是一个分享知识和交流学问的学术组织,关注的领域是自然语言处理的各个方向。我们热爱知识,分享知识,希望通过我们大家的努力为自然语言处理的发展做出一点点贡献。我们每周会分享一期特定话题的论文笔记和本周值得读的相关论文。
目录
相关文章推荐
科研大匠  ·  华中农大发布情况通报! ·  4 天前  
科研大匠  ·  基金委:新增281个国自然依托单位! ·  6 天前  
PaperWeekly  ·  Text-to-SQL新SOTA!华科团队提 ... ·  1 周前  
51好读  ›  专栏  ›  PaperWeekly

14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04

PaperWeekly  · 公众号  · 科研  · 2017-11-02 12:10

正文

PaperWeekly 是一个 AI 学术分享社区。这里聚集了大批一线 AI 学者,他们用精炼妙语推荐各自发现的优质论文。点击本文底部的阅读原文」即刻加入社区,创建属于你的论文集。

这里是第 4 期论文集精选。

迁移学习对于人类来说,就是掌握举一反三的学习能力。对于计算机而言,所谓迁移学习,就是从一个或多个源任务(source task)中抽取知识和经验,然后将其应用于一个有相关性的目标领域(target domain)

本期我们带来的是由 PaperWeekly 社区用户 @jindongwang 创建的迁移学习专题论文集,通过 14 篇最新和经典论文,带大家了解迁移学习的发展和现状。如果有合你心意的论文,复制链接到浏览器即可查看原文。


Domain adaptation via transfer component analysis

@jindongwang 推荐

#Transfer Learning

迁移学习领域公认的经典工作,作者团队来自香港科技大学 Qiang Yang 教授团队,推荐所有做迁移学习研究的同学都看一看。

论文链接

http://www.paperweekly.site/papers/793

Geodesic flow kernel for unsupervised domain adaptation

@jindongwang 推荐

#Unsupervised Learning

迁移学习领域代表性文章——GFK(Geodesic flow kernel)。GFK 方法首先解决 SGF 的问题:如何确定 source 和 target 路径上中间点的个数。它通过提出一种 kernel 方法,利用路径上的所有点的积分,把这个问题解决了。这是第一个贡献。然后,它又解决了第二个问题:当有多个 source 的时候,我们如何决定使用哪个 source 跟 target 进行迁移?GFK 通过提出 Rank of Domain 度量,度量出跟 target 最近的 source,来解决这个问题。

论文链接

http://www.paperweekly.site/papers/794


Transfer feature learning with joint distribution adaptation

@jindongwang 推荐

#Domain Adaptation

迁移学习领域又一经典文章,是 TCA 的增强版本,推荐读。JDA 方法比较巧妙,同时适配两个分布,然后非常精巧地规到了一个优化目标里。用弱分类器迭代,最后达到了很好的效果,值得我们去学习。

论文链接

http://www.paperweekly.site/papers/795


Unsupervised Domain Adaptation by Backpropagation

@jindongwang 推荐

#Transfer Learning

深度迁移学习经典文章。

论文链接

http://www.paperweekly.site/papers/1035


代码链接

https://github.com/shucunt/domain_adaptation


How transferable are features in deep neural networks?

@jindongwang 推荐

#CNN

探究深度网络的可迁移性质,非常值得读。虽然该论文并没有提出一个创新方法,但是通过实验得到了以下几个结论,对以后的深度学习和深度迁移学习都有着非常高的指导意义。

神经网络的前 3 层基本都是 general feature,进行迁移的效果会比较好;深度迁移网络中加入 fine-tune,效果会提升比较大,可能会比原网络效果还好;Fine-tune 可以比较好地克服数据之间的差异性;深度迁移网络要比随机初始化权重效果好;网络层数的迁移可以加速网络的学习和优化。

论文链接

http://www.paperweekly.site/papers/796

代码链接

https://github.com/yosinski/convnet_transfer


Deep Domain Confusion: Maximizing for Domain Invariance

@jindongwang 推荐

#Deep Learning

深度迁移学习最早期的代表性文章,虽然至今为止不知道发在哪里(一直只是在 arXiv 上),但是引用量很大,算是比较基础性的工作。值得一读。

论文链接

http://www.paperweekly.site/papers/1038


Learning Transferable Features with Deep Adaptation Networks

@jindongwang 推荐

#Transfer Learning

深度适配网络(Deep Adaptation Netowrk,DAN)是清华大学龙明盛提出来的深度迁移学习方法,最初发表于 2015 年的机器学习领域顶级会议 ICML 上。DAN 解决的也是迁移学习和机器学习中经典的 domain adaptation 问题,只不过是以深度网络为载体来进行适配迁移。

论文链接

http://www.paperweekly.site/papers/797


Simultaneous Deep Transfer Across Domains and Tasks

@jindongwang 推荐

#Transfer Learning

传统的深度迁移学习方法只进行 domain confusion,这个文章加入了 task transfer,也就是说,充分考虑到类别之间的相似性。

论文链接

http://www.paperweekly.site/papers/1040


A Unified Framework for Metric Transfer Learning

@jindongwang 推荐

#Transfer Learning

这篇文章的作者团队来自新加坡南洋理工大学,主要老板是 Sinno Jialin Pan,他是迁移学习大牛杨强的学生,《A survey on transfer learning》的第一作者。文章比较新,值得一读。

论文链接

http://www.paperweekly.site/papers/1039


Adversarial Discriminative Domain Adaptation

@corenel 推荐

#Domain Adaptation

ADDA 总结了 DA 领域的总体架构,提纲挈领。

论文链接

http://www.paperweekly.site/papers/690

代码链接

https://github.com/erictzeng/adda

https://github.com/corenel/pytorch-adda


Correlation Alignment by Riemannian Metric for Domain Adaptation

@jindongwang 推荐

#Domain Adaptation

一个比较新的工作,但是创新性比较小:只是将现有的 CoRAL 工作中的距离度量换成了在黎曼空间下的度量。

论文链接

http://www.paperweekly.site/papers/1042


Understanding How Feature Structure Transfers in Transfer Learning

@jindongwang 推荐

#Representation Learning

IJCAI-17 最新文章,理解迁移学习中 feature 是如何进行 transfer 的。有两个大牛 Qiang Yang 和 Dacheng Tao 坐镇,文章肯定不差。

论文链接

http://www.paperweekly.site/papers/1044


Associative Domain Adaptation

@corenel 推荐

#Deep Learning Processor

相比较 ADDA 而言,从很大程度上提升了 DA 的性能,值得一读。

论文链接

http://www.paperweekly.site/papers/686

代码链接

https://github.com/haeusser/learning_by_association


Learning to Transfer

@jindongwang 推荐

#Transfer Learning

迁移学习领域比较新的研究方向,将迁移学习与增量学习结合起来,是开创性的工作。建议一读。

论文链接

http://www.paperweekly.site/papers/1041


本文由 AI 学术社区 PaperWeekly 精选推荐,社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向,点击「阅读原文」即刻加入社区!

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。


▽ 点击 | 阅读原文 | 收藏论文集