专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

【干货】为什么梯度反方向是函数值下降最快的方向？

机器学习研究会 · 公众号 · AI · 2017-02-11 21:15

正文

点击上方“机器学习研究会”可以订阅哦

摘要

转自：将门创投

梯度下降

Gradient descent

刚接触梯度下降这个概念的时候，是在学习机器学习算法的时候，很多训练算法用的就是梯度下降，然后资料和老师们也说朝着梯度的反方向变动，函数值下降最快，但是究其原因的时候，很多人都表达不清楚。所以我整理出自己的理解，从方向导数这个角度把这个结论证明出来，让我们知其然也知其所以然~

下面我一开始不提梯度的概念，完全根据自己的理解进行下文的梳理，一步一步推出梯度的来历：

导数

导数的几何意义可能很多人都比较熟悉: 当函数定义域和取值都在实数域中的时候，导数可以表示函数曲线上的切线斜率。除了切线的斜率，导数还表示函数在该点的变化率。

将上面的公式转化为下面图像为：

原文链接：

https://mp.weixin.qq.com/s?__biz=MzA5ODUxOTA5Mg==&mid=2652552010&idx=1&sn=1090a3f34800e8634fecf1233104baac&chksm=8b7e4a11bc09c307c80581b396ffd99c38e042fbf74724a7e74415b356afe0594d18cd69957b&scene=0&pass_ticket=BhiEdpKlj48jcLVnKvPW6Iv1MiLtdgQqY8Tszz1S36Y%3D#rd

“完整内容”请点击【阅读原文】

↓↓↓

推荐文章

爱可可-爱生活 · 【PhoenixOS：一款操作系统级别的GPU状态保存和恢复工具-20241225135616

昨天

爱可可-爱生活 · 【AI的”选择性失忆“】 #人工智能##AI创造营# -20241225080336

昨天

爱可可-爱生活 · 【Bespoke Curator：AI数据助手，能够轻松创建高质-20241223131725

3 天前

宝玉xp · 回复@oOl0rz:提示词是省不了的，就好比你雇个人帮你干活，你-20241223071208

4 天前

宝玉xp · 曾经很多人认为“提示工程师”会是未来一个重要的职业，但现在看来，-20241223025033

4 天前

识局 · 识局国庆朋友圈摄影大赛结果出炉+优秀作品展示（请获奖者火速留下联系方式）

8 年前

马蜂窝旅游 · 是不是因为钱太少，所以才不知道去哪里？

8 年前

乐趣微生活 · 有的靠身体、有的靠头脑、还有的靠大哥！【NO4】

7 年前

青海网 · 青海网开始有奖征文啦！不知道奖金是多少？那你就亏大啦！

7 年前

三体迷 · 从木星上空一路向南，朱诺号拍下了这样的景观

7 年前