专栏名称: 199IT互联网数据中心

199IT-互联网数据中心：发掘、分享数据价值，为您提供一个丰富的大数据内容平台！网站（199it.com）、微博（weibo.com/199it）、大数据导航（hao.199it.com），感谢您的关注。

论文：谷歌大脑颠覆深度学习混乱现状

199IT互联网数据中心 · 公众号 · 科技媒体 · 2017-06-22 22:03

正文

本篇论文是谷歌大脑（Google Brain）与多伦多大学合作的最新论文。谷歌大脑团队曾经负责研发了AlphaGo与TensorFlow框架等产品，其实力自然不消多说。而这一次谷歌大脑团队更是向当前深度学习架构繁多、应用领域不一等混乱现状发出挑战，霸气提出了通过单一模型联合学习多项任务。那么该模型是否真的如此神奇呢？赶紧随雷锋网AI科技评论来看看吧。

论文摘要

深度学习（Deep learning）算法在语音识别（Speeh recognition）、图像分类（Image classification）和翻译（Translation）等诸多领域都已经取得了非常好的结果。但是目前的缺陷是，针对这些不同领域的不同问题，要想深度学习模型能够取得较好的效果，研究员就需要针对当前具体问题去研究具体的深度模型架构，然后再花费大量的时间对模型的参数进行微调优化。

图一展示单个多模型（MultiModel）的解码示例，该模型在8个任务中进行了联合训练。其中红色的矩形框描绘了一种语言模式，而蓝色的矩形框描绘了分类模式。

本论文的研究员提出了一种单一模型，该模型能够在多个领域的不同问题中都取得较好的结果。另外值得一提的是，该单一模型可以在ImageNet、多项翻译任务、图像标注（Image captioning，采用COCO数据集）、语音识别数据集和英语解析任务中同时进行训练。据悉，该单一模型架构借鉴了来自多个领域的深度学习模型架构所使用的构建块（Building blocks），该模型具有卷积层（Convolutional layers）、注意力机制（Attention mechanism）和稀疏门控层（Sparsely-gated layers）。并且模型中的每一个计算块（Computational blocks）对于训练任务中的某一子部分都至关重要。