干货|通俗易懂讲解Deep Learning 最优化方法之AdaGrad

首先我们来看一下AdaGrad算法

我们可以看出该优化算法与普通的sgd算法差别就在于 标黄 的哪部分，采取了累积平方梯度。

简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同

2

作用

那么它起到的作用是什么呢？

起到的效果是在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小），并且能够使得陡峭的方向变得平缓，从而加快训练速度。

下面通过例子讲解一下：

假设我们现在采用的优化算法是最普通的梯度下降法mini-batch。它的移动方向如下面蓝色所示：