【干货】深度学习必备：随机梯度下降（SGD）优化算法及可视化

梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。

这篇文章首先介绍梯度下降算法的三种框架，然后介绍它们所存在的问题与挑战，接着介绍一些如何进行改进来解决这些问题，随后，介绍如何在并行环境中或者分布式环境中使用梯度下降算法。最后，指出一些有利于梯度下降的策略。

目录

• 三种梯度下降优化框架

     批量梯度下降

          随机梯度下降

          小批量梯度下降

• 问题与挑战

• 梯度下降优化算法

         Momentum

         Nesterov accelerated gradient

         Adagrad

         Adadelta

         RMSprop

         Adam

• 算法的可视化

• 选择哪种优化算法？

• 并行与分布式SDG

         Hogwild!

         Downpour SGD

         Delay-tolerant Algorithms for SGD

         TensorFlow

         Elastic Averaging SGD

• 更多的SDG优化策略

         训练集随机洗牌与课程学习

         批规范化

         Early Stopping

         Gradient noise

• 总结

• 引用

原文链接：

http://mp.weixin.qq.com/s/5utbOLwOy2RwyrI1OfJjDQ