版本:1.2.0
最后更新:2017.7.26
更新说明:本次更新重新规划各公交路线及其命名方式。之前的版本中,是以小夕的文章中阐述的模型关联为基础展开的知识网络,虽然可以帮助大家把知识串接起来加深理解,但是无疑从另一方面导致了模型之间的界限模糊,缺乏科学的分类边界。因此,本次更新将从生成式与判别式、有向图与无向图等角度来展开路线,让大家从不同的角度来串联和理解知识,同时让知识更加系统。
打开方式:
有下划线的地方
即有链接
快捷方式:订阅号主页下方
「知识网络」
▶
参数初始化trick之Xavier方法
▶
Batch size如何设置?
窗:
前馈神经网络(NN)
▶
▶
卷积神经网络(CNN)
线:
循环神经网络(RNN) ▶▶ 长短时记忆网络(LSTM) ▶▶ 门限循环单元(GRU) ▶▶ Stack-RNN ▶▶ Bi-LSTM-CRF
树:
递归神经网络(Recursive NN) ▶▶ 递归张量网络(RNTN) ▶▶ 树结构长短时记忆网络(Tree-LSTM)
游乐园快速专线:
▶
如何优雅的追到女神夕小瑶
▶
DFS、BFS与A*搜索算法
▶
如果你跟夕小瑶恋爱了(上)
▶
隐马尔可夫模型(HMM)的建模
▶
如果你跟夕小瑶恋爱了(下)
▶
HMM的训练与使用
▶
全体学生考上目标学校的故事
▶
Adaboost
▶
从前,夕小瑶种了一棵树
▶
ID3决策树
矩阵线路:
矩阵与矩阵运算
▶
▶
特征值、特征向量与特征分解
▶▶
2范数
+ 1范数
▶
▶
奇异值分解
▶
▶
低秩分解
▶
▶
矩阵的迹
▶
▶
泛函空间
一阶无约束优化线路:
随机梯度下降(SGD)
▶
▶
附加动量项
▶
▶
AdaGrad
▶
▶
Adam
▶
▶
AdaDelta
▶
▶
RMSProp
二阶无约束优化线路:
牛顿法
▶
▶
共轭梯度法
▶
▶
L-BFGS
智能优化线路:
遗传算法
▶
▶
模拟退火
约束优化线路:
约束优化
▶
▶ 对偶法
入门线路:
朴素贝叶斯
◀
▶
逻辑回归
▶▶
softmax
▶
▶
神经网络
▶▶
深度前馈网络
线路描述:
作为生成式模型的代表的朴素贝叶斯与作为判别式模型的逻辑回归之间就差了一个p(x)。而逻辑回归的核心——
sigmoid
函数的诞生却绝非巧合!将sigmoid背后深藏的秘密挖出后,我们推广出了它的爸爸——
softmax
函数,从此揭开了多类回归的新篇章。
然而,仅靠一层softmax怎么能满足我们日益膨胀的需求呢?于是,设置一个“隐含”的中间类别好啦,这个模型竟然跟生物的神经网络很像!那就叫
神经网络
好咯。
什么?你觉得加了一层隐藏层的神经网络还是不够用?那就再加隐藏层啊!看我的
深度神经网络
!
生成式线路:
朴素贝叶斯
(NB)
▶▶
隐马尔可夫模型(HMM)
▶▶
贝叶斯网络/信念网络(BN)
+ 马尔可夫随机场(MRF)
判别式线路:
逻辑回归(LR)
+
最大熵模型(ME)
+
神经网络(NN)
▶▶
线性链条件随机场(Linear-chain CRF)
▶▶ 一般化条件随机场(General CRF)
战争:
第一战:
朴素贝叶斯
vs
逻辑回归
第二战:隐马尔可夫模型 vs 线性链条件随机场