专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

【学习】浅析神经网络中一点优化知识

机器学习研究会 · 公众号 · AI · 2017-04-18 20:27

正文

点击上方 “机器学习研究会” 可以订阅哦

摘要

转自：自然语言处理与机器学习

在我们了解过神经网络的人中，都了解神经网络一个有很常见的训练方法，BP训练算法.通过BP算法，我们可以不断的训练网络，最终使得网络可以无限的逼近一种我们想要拟合的函数，最终训练好的网络它既能在训练集上表现好，也能在测试集上表现不错！

那么BP算法具体是什么呢？为什么通过BP算法，我们就可以一步一步的走向最优值（即使有可能是局部最优，不是全局最优，我们也可以通过其它的方法也达到全局最优），有没有一些什么数学原理在里面支撑呢？

这几天梳理了一下这方面的知识点，写下来，一是为了记录，二也可以分享给大家，防止理解错误，一起学习交流.

1 BP算法

BP算法具体是什么，可以参考我上篇文章推送（详细的将BP过程走了一遍，加深理解通俗理解神经网络BP反向传播算法）。

那么下面解决这个问题，为什么通过BP算法，就可以一步一步的走向更好的结果.

首先我们从神经网络的运行原理来看，假如现在有下面这个简单的网络，如图：

我们定义符号说明如下：

则我们正向传播一次可以得到下面公式：

推荐文章

宝玉xp · 是跟对齐有很大关系，正因为对齐了还能输出刻薄有趣的内容才体现水平-20250306111837

23 小时前

新智元 · 离谱！OpenAI被曝博士级AI智能体2万美元/月，网友：DeepSeek快把价格打下去

22 小时前

爱可可-爱生活 · 【[732星]Learn Agentic AI：通过CrewAI-20250305135254

昨天

爱可可-爱生活 · 【[37星]KodCode：一站式生成多样化的编程题目及可验证解-20250304220654

2 天前

爱可可-爱生活 · 【[122星]Wan2GP：让普通GPU也能高效运行的视频生成神-20250304132128

2 天前

狗与爱的世界 · 爱犬走失，小女孩哭肿眼：“请带它回家……”

7 年前

一半旅行 · 这大概就是上班族的梦想！环游世界还能顺便赚钱

7 年前

游戏葡萄 · 为什么说东南亚游戏市场是一块值得开垦的热土？

7 年前

前海征信中心 · 2017相亲地图曝光：广东男和四川女最受欢迎｜好信数读

7 年前

天下说法 · 刑辩律师，同行相轻不如抱团取暖

7 年前