微软全球资深副总裁：多数人忽视但重要的科学概念：迁移学习

Edge.org 发起 2017 年度问题：你最值得关注的科学术语或概念是什么？微软全球资深副总裁 Peter Lee 的回答是「迁移学习」。什么是迁移学习？如何将迁移学习运用到实践？

「除非你掌握了两门以上的语言，否则你永远无法真正理解一门语言。」

英语作家 Geoffrey Willans 的这一说法对任何学习第二语言的人都是直观的。这句话的意思是，学会说外语不可避免地传达了对一个人的母语的更深的理解。事实上，歌德发现这样一个强大的概念，他做出一个相似，但更极端的断言：

一个不会外语的人对其母语也一无所知。

这可能令人感到震惊，这个想法的本质：一个技能或心理功能的学习或改善可正面影响另一个技能。这个现象不仅存在于人类智能，而且存在于机器智能。这种效应称为迁移学习，除了作为机器学习的基础研究领域之外，还具有潜在的广泛的实际应用。

今天，机器学习的能力已随着经验而提高，相关科学研究也已经取得了惊人的进步。这些进步让人类智能相关计算系统，不仅接近人的能力，而且在某些情况下还超过人的水平。

例如翻译语言的能力。近年来，机器学习的大部分研究集中在深层神经网络或 DNN 的算法概念，通过从大量数据推断模式（通常是非常复杂的模式）来学习。例如，基于 DNN 的机器可以分析成千上万的英语话语的片段，每个片段与其文本转录配对，并且从这标识语音记录和配对转录之间的相关模式。

这些推断的相关模式足够精确，最终，系统可以理解英语语音。事实上，今天的 DNN 是如此得好，当给定足够的训练示例和强大的计算能力，他们可以听到一个人说话，并比任何人类犯更少的转录错误。

一些人可能感到惊讶，计算机化的学习机器能迁移学习。

例如，让我们考虑一个涉及两个机器学习系统的实验，为了简单起见，我们将其称为机器 A 和 B。机器 A 使用全新的 DNN，而机器 B 使用已经训练的 DNN （以前懂英语）。

现在，假设我们训练 A 和 B 在同一组记录普通话语音，连同他们的转录。结果发现，机器 B（以前英语训练的机器）最终具有比机器 A 更好的普通话能力。

但这个实验还有一个更令人惊讶的结果。机器 B 不仅最终更好地普通话，而且英语的能力也提高了！似乎学习第二种语言能够深入学习这两种语言，即使是一台机器。

迁移学习现在仍然是基础研究的主题，但仍然存在很多问题。例如，不是所有的「转移」都是有用的，因为至少为了「转移」工作良好，似乎仍然需要包括精确定义或科学分析的方式「学习」任务。

在其他领域如认知科学理论，仍有待阐明。在人类和机器的学习间，我们也不得不承认迁移学习创造一个强大的、吸引人的类比；当然，如果人工智能最终能实现，迁移学习似乎可能是其创造的根本因素之一。

更具哲学意义的，迁移学习的正式模型可能有助于新知识和知识以及知识转移的分类。

迁移学习的应用也具有极高的潜力。机器学习的许多实用价值，例如在搜索和信息检索中，传统上，集中在从大量数据集和万维网上可用的人那里学习的系统。但是，网络培训系统能够了解更小的社区，组织甚至个人吗？

我们可以预见一个未来，智能机器能够学习对特定个人或小型组织高度专业化的有用任务吗？迁移学习打开了所有的网络智能形成的可能性。

原文：https://www.edge.org/response-detail/27125
翻译：陈珊珊

END

打造优秀学习系统
掌握高效写作工具
创作者的必修课

  即将开课，马上预约！