【学习】为什么说随机最速下降法(SGD)是一个很好的方法？

[本文主要介绍SGD算法，和两篇分析它逃离鞍点的论文: 我与鬲融，金驰，黄芙蓉写的Escaping From Saddle Points – Online Stochastic Gradient for Tensor Decomposition, 以及由金驰，鬲融等人写的最新力作：How to Escape Saddle Points Efficiently]

假如我们要优化一个函数最小值, 常用的方法叫做Gradient Descent (GD), 也就是最速下降法. 说起来很简单, 就是每次沿着当前位置的导数方向走一小步, 走啊走啊就能够走到一个好地方了.

如上图, 就像你下山一样, 每一步你都挑最陡的路走, 如果最后你没摔死的话, 一般你很快就能够走到山脚. 用数学表示一下, 就是

原文链接：

https://zhuanlan.zhihu.com/p/27609238