概要：“卷积神经网络”是“深度学习”领域最突出且定义最明确的，我们必须始终记住“卷积神经网络”并不是“深度学习”的全部内容。
来源：雷锋网
“深度学习”自问世到现在已有大约十年的时间了，从一开始，它就因为其巨大的成功风靡全世界。以下是“深度学习”在这些年的发展过程中所取得的一些重大成就。
AlexNet — 2012
AlexNet架构
AlexNet的出现证明了“卷积神经网络”确实奏效。AlexNet及其研究性论文《ImageNet Classification with Deep Convolutional Neural Networks》被认为是推动深度学习进入主流的最重要动力。
AlexNet以15.4%的低失误率夺得2012年ILSVRC（ImageNet大规模视觉识别挑战赛）的冠军。（亚军得主的失误率为26.2%。）
AlexNet含有8个层，其中5个为卷积层，3个为全连接层。
将ReLU用于非线性函数，而非传统的tanh函数。
引入了漏失层和数据增强以克服过度拟合的问题。
《ImageNet Classification with Deep Convolutional Neural Networks》，作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton。
ZF Net — 2013
ZF网络架构
以11.2%的低失误率夺得2013年ILSVRC冠军。
与AlexNet架构相似，ZF网络也是在一些调整和优化中不断提高了其工作性能。
引入了一项可视化技术——“转置卷积网络”——来观察卷积神经网络的内部工作原理。
《Visualizing and Understanding Convolutional Networks》，作者Matthew D. Zeiler和Rob Fergus。
VGG Net — 2014
VGG网络架构
以7.3%的失误率取得了2014年ILSVRC的“分类及定位”比赛的单项冠军。
VGG网络架构擅长图像分类及图像定位。
VGG网络含有19个层，其过滤器为3x3（AlexNet的过滤器为11x11，ZF网络则为7x7。）
简单的深度结构对于分层特征提取十分有效。
《Very Deep Convolutional Networks for Large-scale Image Recognition》，作者Karen Simonyan和Andrew Zisserman。
GoogLeNet — 2014/2015
GoogLeNet网络架构
以6.7%的失误率取得了2014年ILSVRC的冠军。
引入了“Inception单元”，强调了卷积神经网络的层不需要每次都按照顺序排列叠加。
“Inception单元”
含有22块的网络层（单独看，每一块含超过100个层。）
非全连接层
GoogLeNet证明，优化的非连续结构的性能可能比连续结构的性能还要好。
《Going Deeper with Convolutions》，作者Christian Szegedy等人。
Microsoft ResNet — 2015
ResNet网络架构
以3.6%的失误率取得了2015年ILSVRC的冠军。（据了解，普通人的失误率大约为5-10%，ResNet的准确度超过了人类水平。）
ResNet网络是有着152个层的“超深度”网络架构。
引入了“残差块”以减少过拟合。
残差块
伴随着深度学习模型对人类能力的一次次超越，在未来几年，我们一定能看到更多有趣的深度学习模型，及其重大成就。
“深度学习”是否等同于“卷积神经网络”？
重新回顾上面的内容，你可能会有这样的疑惑——“深度学习”是否就是“卷积神经网络”呢？
答案：不全是。
事实上，下面的模型都被称为“深度学习”：
· 卷积神经网络
· 深度玻尔兹曼机
· 人工神经网络
· 堆栈式自编码器
在以上的例子中，“卷积神经网络”是“深度学习”领域最突出且定义最明确的，至少目前是这样。但是，我们必须始终记住“卷积神经网络”并不是“深度学习”的全部内容。
欢迎加入未来科技学院企业家群，共同提升企业科技竞争力
一日千里的科技进展，层出不穷的新概念，使企业家，投资人和社会大众面临巨大的科技发展压力，前沿科技现状和未来发展方向是什么？现代企业家如何应对新科学技术带来的产业升级挑战？
欢迎加入未来科技学院企业家群，未来科技学院将通过举办企业家与科技专家研讨会，未来科技学习班，企业家与科技专家、投资人的聚会交流，企业科技问题专题研究会等多种形式，帮助现代企业通过前沿科技解决产业升级问题、开展新业务拓展，提高科技竞争力。
未来科技学院由人工智能学家在中国科学院虚拟经济与数据科学研究中心的支持下建立，成立以来，已经邀请国际和国内著名科学家、科技企业家300多人参与学院建设，并建立覆盖2万余人的专业社群；与近60家投资机构合作，建立了近200名投资人的投资社群。开展前沿科技讲座和研讨会20多期。 欢迎行业、产业和科技领域的企业家加入未来科技学院
报名加入请扫描下列二维码，点击本文左下角“阅读原文”报名
