公众号主要介绍关于量化投资和机器学习的知识和应用。通过研报,论坛,博客,程序等途径全面的为大家带来知识食粮。版块语言分为:Python、Matlab、R,涉及领域有:量化投资、机器学习、深度学习、综合应用、干货分享等。 |
|
量子位 · Mauns带火的MCP,让Claude一句话 ... · 昨天 |
![]() |
宝玉xp · 推荐阅读:《真正的AI智能体即将到来:告别死 ... · 2 天前 |
|
量子位 · 倒计时2周!今年最值得关注的AIGC企业/产 ... · 3 天前 |
|
量子位 · 自动调整推理链长度,SCoT来了!为激发推理 ... · 3 天前 |
|
机器之心 · 长链推理表象下,大模型精细表征张冠李戴的本质 · 3 天前 |
作者 | Edwin Chen
编译 | AI100
第一次接触长短期记忆神经网络(LSTM)时,我惊呆了。
原来,LSTM是神经网络的扩展,非常简单。 深度学习在过去的几年里取得了许多惊人的成果,均与LSTM息息相关。因此,在本篇文章中我会用尽可能直观的方式为大家介绍LSTM ——方便大家日后自己进行相关的探索。
首先,请看下图:
神经网络
我们的算法首先可能需要学习检测低级图形,如形状和棱边等。
在数据变多的情况下,算法可能会学习将这些图形与更为复杂的形式结合在一起,如人脸(一个椭圆形的东西的上方是一个三角形,三角形上有两个圆形)或猫。
如果数据量进一步增多的话,算法可能会学习将这些高级图样映射至活动本身(包含嘴、肉排和餐叉的场景可能就是在用餐)
算法通过一组学习后的权重将每个输入神经元连接至神经元的一个隐含层。
第j个隐层神经元输出为
,
其中ϕϕ是激活函数。
,
为了使符号更加简洁些,我假设x和h各包含一个额外的偏差神经元,偏差设置为1固定不变,方便学习偏差权重。
利用RNN记忆信息
在时间t处计算得出的隐状态(ht为我们的内部知识)在下个时间步长内会被反馈给神经网络。(另外,我会在本文中交替使用隐状态、知识、记忆和认识等概念来描述ht)
利用LSTM实现更长久的记忆
我们的工作记忆为:
换言之,我们注意关注向量为1的元素,忽视关注向量为0的元素。
而 LSTM 则会利用数个方程式:
想象一个可以使你在手机上进行编码的自动填充编码插件(code autocompleter)。LSTM(理论上)可以跟踪你当前使用的方法的返回类型,并能对应当返回的变量做出更好的建议;它还能在不进行编译的情况下通过返回错误类型得知你是否犯有错误。
它还能跟踪子程序和嵌套层数 :语句的缩进始终正确,并且Loop循环结构始终关闭。
http://karpathy.github.io/2015/05/21/rnn-effectiveness/
探究LSTM内部结构
(N个"a"后跟着一个分隔符X,X后跟着N个"b"字符,其中1 <= N <= 10),并且训练了一个带有10个隐层神经元的单层LSTM。
研究模型的内部,我们期望找到一个能够计算a's数量的隐层神经元。我们也确实找到了一个:
(N个a's 中随机夹杂几个X's,然后加一个分隔符Y,Y后再跟N个b's)。LSTM仍需计算a's的数量,但是这次它需要忽视X's。
![]() |
宝玉xp · 推荐阅读:《真正的AI智能体即将到来:告别死板提示词,迎接自主规-20250313213807 2 天前 |
|
量子位 · 倒计时2周!今年最值得关注的AIGC企业/产品正在评选中 3 天前 |
|
量子位 · 自动调整推理链长度,SCoT来了!为激发推理能力研究还提出了一个新架构 3 天前 |
|
机器之心 · 长链推理表象下,大模型精细表征张冠李戴的本质 3 天前 |
|
冷兔 · 【冷兔•槽】每日一冷NO.1437 8 年前 |
|
米尔看天下 · 连政府都看不下去了!这个日本幼儿园哄娃娃反*华 8 年前 |
|
班主任家园 · 特级教师的4点建议:这样学数学,没有学不好!(建议收藏) 8 年前 |
|
占豪 · 遇难者生前的照片,震惊世界! 7 年前 |
|
青塔 · 浙江教育厅一处长叫板衡水中学浙江分校:我们不需要! 7 年前 |