公众号主要介绍关于量化投资和机器学习的知识和应用。通过研报,论坛,博客,程序等途径全面的为大家带来知识食粮。版块语言分为:Python、Matlab、R,涉及领域有:量化投资、机器学习、深度学习、综合应用、干货分享等。 |
![]() |
黄建同学 · 了解本周Google ... · 20 小时前 |
![]() |
宝玉xp · 回复@观察家家中观察:是不仅仅限于报告,文中 ... · 昨天 |
|
上饶新闻 · AI制作的图,版权到底归谁? · 2 天前 |
|
上饶新闻 · AI制作的图,版权到底归谁? · 2 天前 |
|
机器之心 · YOLOe问世,实时观察一切,统一开放物体检 ... · 3 天前 |
|
机器之心 · 20万美元商业级视频生成大模型Open-So ... · 3 天前 |
作者 | Edwin Chen
编译 | AI100
第一次接触长短期记忆神经网络(LSTM)时,我惊呆了。
原来,LSTM是神经网络的扩展,非常简单。 深度学习在过去的几年里取得了许多惊人的成果,均与LSTM息息相关。因此,在本篇文章中我会用尽可能直观的方式为大家介绍LSTM ——方便大家日后自己进行相关的探索。
首先,请看下图:
神经网络
我们的算法首先可能需要学习检测低级图形,如形状和棱边等。
在数据变多的情况下,算法可能会学习将这些图形与更为复杂的形式结合在一起,如人脸(一个椭圆形的东西的上方是一个三角形,三角形上有两个圆形)或猫。
如果数据量进一步增多的话,算法可能会学习将这些高级图样映射至活动本身(包含嘴、肉排和餐叉的场景可能就是在用餐)
算法通过一组学习后的权重将每个输入神经元连接至神经元的一个隐含层。
第j个隐层神经元输出为
,
其中ϕϕ是激活函数。
,
为了使符号更加简洁些,我假设x和h各包含一个额外的偏差神经元,偏差设置为1固定不变,方便学习偏差权重。
利用RNN记忆信息
在时间t处计算得出的隐状态(ht为我们的内部知识)在下个时间步长内会被反馈给神经网络。(另外,我会在本文中交替使用隐状态、知识、记忆和认识等概念来描述ht)
利用LSTM实现更长久的记忆
我们的工作记忆为:
换言之,我们注意关注向量为1的元素,忽视关注向量为0的元素。
而 LSTM 则会利用数个方程式:
想象一个可以使你在手机上进行编码的自动填充编码插件(code autocompleter)。LSTM(理论上)可以跟踪你当前使用的方法的返回类型,并能对应当返回的变量做出更好的建议;它还能在不进行编译的情况下通过返回错误类型得知你是否犯有错误。
它还能跟踪子程序和嵌套层数 :语句的缩进始终正确,并且Loop循环结构始终关闭。
http://karpathy.github.io/2015/05/21/rnn-effectiveness/
探究LSTM内部结构
(N个"a"后跟着一个分隔符X,X后跟着N个"b"字符,其中1 <= N <= 10),并且训练了一个带有10个隐层神经元的单层LSTM。
研究模型的内部,我们期望找到一个能够计算a's数量的隐层神经元。我们也确实找到了一个:
(N个a's 中随机夹杂几个X's,然后加一个分隔符Y,Y后再跟N个b's)。LSTM仍需计算a's的数量,但是这次它需要忽视X's。
![]() |
黄建同学 · 了解本周Google DeepMind的重磅模型Gemma 3,-20250315173600 20 小时前 |
|
上饶新闻 · AI制作的图,版权到底归谁? 2 天前 |
|
上饶新闻 · AI制作的图,版权到底归谁? 2 天前 |
|
机器之心 · YOLOe问世,实时观察一切,统一开放物体检测和分割 3 天前 |
|
机器之心 · 20万美元商业级视频生成大模型Open-Sora 2.0来了,权重、推理代码及训练流程全开源! 3 天前 |
|
学生时代 · 第一次开房,怎么解释准备好的…… 8 年前 |
|
硕士博士读书会 · 2017最火的五张图片 ! 8 年前 |
|
炉石传说 · 《炉石传说》黄金超级联赛春季赛计划公布 7 年前 |
|
开智学堂 · 五四青年节收藏级巨献:12 本「神作」助力知识新青年飞速成长 7 年前 |
|
财经小报告 · 房子,中央传来的重磅信号!你可真的看懂了? 7 年前 |