【学习】梯度下降与反向传播（上）

一、用到的概念

（ 首先用“话”来描述几个将用到的概念。这里的描述是尽量形象但是不够精确的。精确的概念只能用公式把握，但是形象的描述有利于理解公式。看到下文中的公式时，回想这些文字描述，希望能帮助抓住概念的重点。 ）

• 仿射函数：仿射函数是线性函数，它们的图形是空间中一张超平面。

• 函数可导：函数在某一点可导是指函数在这一点周围可以用一个仿射函数（超平面）来 近似 。

• 梯度：函数在某一点的梯度是一个向量，其方向是随着自变量变化函数上升最快的方向，其长度是函数在该方向上升的速率。梯度朝任一方向的投影长度是函数在该方向上的变化速率。

• 梯度下降：一种优化算法，该算法从任一自变量点开始，朝该点梯度的反方向运动一段距离，再朝新位置的梯度反方向运行一段距离，如此迭代。解一直朝当前下坡最陡的方向运动，希望能运动到函数的全局最小值。

二、仿射函数

以二元函数 为例。因为这样的函数其自变量空间是 ，函数图形所在空间是 ，便于可视化。以下凡是说到函数，都是指二元函数。其它维度可以类推。 仿射函数 ，或者说线性函数，其图形是一个平面。如图 1 。

图 1

该函数的方程是：

式 2.1

第二个等号之后是向量形式。3 是该平面的截距：当 (x, y) 取 (0, 0) 时 z 的值为 3，即平面与竖直轴相交于 (0, 0, 4) 。该方程稍加变形：

式 2.2

第一个等号后面是向量形式。所有在平面上的点都满足该方程。其中 (-0.5, -0.2, 1) 是平面的 法向量 （norm）。任一条平面上的线段是它的两个端点向量 (x1, y1, z1) 和 (x2, y2, z2) 之差 (x2-x1, y2-y1, z2-z1) 。因为端点 (x1, y1, z1) 和 (x2, y2, z2) 都在平面上，所以该差向量与法向量 (-0.5, -0.2, 1) 正交：

式 2.3

可见平面上所有线段都与 (-2, -3, 1) 正交， (-2, -3, 1) 垂直于该平面。法向量指示一个方向，该方向确定了平面的倾向和倾角。法向量的长度（向量模的大小）是不重要的。例如上述方程如果将法向量和截距乘上因子 2 ，平面没有变化：

式 2.4

如果法向量第三个分量为 0 ，则平面是竖直的。例如下面的方程：

式 2.5