浅析神经网络与数学之间的一点关系

在我们了解过神经网络的人中，都了解神经网络一个有很常见的训练方法，BP训练算法.通过BP算法，我们可以不断的训练网络，最终使得网络可以无限的逼近一种我们想要拟合的函数，最终训练好的网络它既能在训练集上表现好，也能在测试集上表现不错！

那么BP算法具体是什么呢？为什么通过BP算法，我们就可以一步一步的走向最优值（即使有可能是局部最优，不是全局最优，我们也可以通过其它的方法也达到全局最优），有没有一些什么数学原理在里面支撑呢？

BP算法具体是什么，可以参考我以前文章推送（详细的将BP过程走了一遍，加深理解 通俗理解神经网络BP反向传播算法 ）。

那么下面解决这个问题，为什么通过BP算法，就可以一步一步的走向更好的结果.

首先我们从神经网络的运行原理来看，假如现在有下面这个简单的网络，如图：

我们定义符号说明如下：

则我们正向传播一次可以得到下面公式：