【AIDL专栏】纪荣嵘：深度神经网络压缩及应用

一、深度神经网络压缩领域的研究现状

深度神经网络（DNN）起源于人工神经网络（ANN），传统的ANN虽然有很多科研成果，但是距离实际应用很远。DNN是ANN的扩展，基本想法是把ANN做的更深，使模型具有更强的表现力。由于数据集成指数级别增长，并且有越来越多类似GPU的设备应用，使DNN的运算能力爆发式增长，得以广泛应用。

为了挖掘模型潜力，模型被做得更深（如从VGGNet的16层到ResNet的19层），网络的深度和每层节点的个数也必须增加以提高性能（如GoogleNet）。在某种意义上，DNN并不是越深越好，有些深度模型在两三千次迭代训练之后会出现梯度消失、不收敛等问题。

DNN在许多问题上取得了突破，但是有一些应用问题并未得到有效解决：

1、小样本集训练（Small training set）。DNN有上千万的参数，需要大量的样本训练，但却难以在少量样本的情况下训练模型。而小样本训练问题在现实生活中很常见。

2、非均衡样本集训练（Biased training distribution）。大多数的模型都假设训练样本是均衡的，面对少量的、非均匀的样本，现有的训练方式就会失效。

3、在线/增量学习（Online/incremental Learning）。训练模型对于解决固定格式的数据问题是有效的，但是如果数据类别发生变化，以至于改变了整个模型结构，如何灵活应对增量的、在线的数据？

请到「今天看啥」查看全文