【学习】 2017年最值得关注的科学概念之“迁移学习”

迁移学习

“你永远不能理解一种语言——除非你至少理解两种语言”。

任何一个学过第二语言的人，对英国作家杰弗里·威廉斯的这句话应该都会“感同身受”。但为什么这样说呢？其原因在于学习使用外语的过程会不可避免地加深一个人对其母语的理解。事实上，歌德也发现这一理念的强大威力，以至于他不由自主地做出了一个与之类似但更为极端的断言：

“一个不会外语的人对其母语也一无所知”。

这种说法极为有趣，但令人惊讶的是恐怕更在于其实质——对某一项技能或心理机能的学习和精进能够对其他技能或心理机能产生积极影响——这种效应即为迁移学习。它不仅存在于人类智能，对机器智能同样如此。如今，迁移学习已成为机器学习的基础研究领域之一，且具有广泛的实际应用潜力。

今天的机器学习领域主要围绕着能力可随数据及经验的积累而提高的算法，且已取得惊人进步，并由此催生出可比肩甚至超越人类智能的计算系统，例如具有理解、处理及翻译语言能力的系统。近年来，机器学习研究多聚焦在深层神经网络（DNN）——一种通过从大量数据中推断异常复杂模式而进行学习的算法概念。例如，向一台基于DNN的机器输入数千个英文录音片段及其对应文本，机器便可从录音与文字的关联中推断出相关模式。伴随着关联模式的逐渐精确，系统最终将能“理解”英语语音。事实上，今天的DNN已经相当成熟，一台功能强大的计算机在学习充分训练示例后，完全可以对真人对话进行文字速记，并达到比专业速记员更高的准确率。

一些人也许会很惊讶，计算机化的学习系统展现出迁移学习的能力。我们可以通过一项涉及两套机器学习系统的实验来思考这个问题，为了简单起见，我们将它们称为机器A和机器B。机器A使用全新的DNN，机器B则使用已经接受训练并能理解英语的DNN。现在，假设我们用一组完全相同的普通话录音及对应文本来对机器A和B进行训练，大家觉得结果会怎样？令人称奇的是，机器B（曾接受英语训练的机器）展现出比机器A更好的普通话技能，因为它之前接受的英语训练将相关能力迁移到了普通话理解任务中。

原文链接：

https://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=2649440197&idx=1&sn=73beb7c54e815667cce5bc80a8939270&chksm=82c0d641b5b75f577739a202606a3c983068d0981044531ace90861bd8f5ec6bf822447e0bb4&mpshare=1&scene=1&srcid=01216BYgnUKOx4VrDBRojhBh&pass_ticket=OZ%2F7r6%2BcIwxJttcM53UsiwprDHpcwk2%2Fy2oQ%2F8mfky0%3D#rd