专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

目录

相关文章推荐

爱可可-爱生活 · 【[84星]Smithery ... · 12 小时前

爱可可-爱生活 · 本文提出了一种极简的、基于“开箱即用”Tra ... · 20 小时前

爱可可-爱生活 · 【[122星]Wan2GP：让普通GPU也能 ... · 昨天

宝玉xp · 回复@重启长帆:有点奇怪，这篇没有分批翻译， ... · 昨天

机器之心 · DeepSeek推出后，移动端AI风向要变 · 2 天前

51好读 › 专栏 › 机器学习研究会

【学习】为什么说随机最速下降法(SGD)是一个很好的方法？

机器学习研究会 · 公众号 · AI · 2017-09-08 23:27

正文

点击上方 “机器学习研究会” 可以订阅

摘要

转自：袁洋

[本文主要介绍SGD算法，和两篇分析它逃离鞍点的论文: 我与鬲融，金驰，黄芙蓉写的Escaping From Saddle Points – Online Stochastic Gradient for Tensor Decomposition, 以及由金驰，鬲融等人写的最新力作：How to Escape Saddle Points Efficiently]

假如我们要优化一个函数最小值, 常用的方法叫做Gradient Descent (GD), 也就是最速下降法. 说起来很简单, 就是每次沿着当前位置的导数方向走一小步, 走啊走啊就能够走到一个好地方了.

请到「今天看啥」查看全文

推荐文章

爱可可-爱生活 · 【[84星]Smithery CLI：一个为Model Cont-20250305140446

12 小时前

爱可可-爱生活 · 本文提出了一种极简的、基于“开箱即用”Transformer 的-20250305054113

20 小时前

爱可可-爱生活 · 【[122星]Wan2GP：让普通GPU也能高效运行的视频生成神-20250304132128

昨天

宝玉xp · 回复@重启长帆:有点奇怪，这篇没有分批翻译，可能不是推理模型无法-20250304120941

昨天

机器之心 · DeepSeek推出后，移动端AI风向要变

2 天前

风青杨 · 去接近一个充满正能量的人

8 年前

格上财富 · 巴菲特说自己：投资之外的人生

7 年前

中国经济网 · 重磅！北京公布6000公顷住宅用地，此轮疯涨结束？

7 年前

飞灵汽车网 · 英媒:全球车企备战中国电动汽车新政称全力以赴争取达标

7 年前

慈怀读书会 · 爸爸懂得给妈妈放假，对家庭有多重要

7 年前

Sov5搜索 · 小百科 · 今天看啥 · 移动版

51好读 - 好文章就要读起来!