专栏名称: 夕小瑶的卖萌屋
这里有自然语言处理、机器学习、算法的入门指导、科普与深度干货,有小夕的回忆与日常,还有最重要的:萌!气!
目录
相关文章推荐
可爱多手工艺术  ·  65岁倪萍离婚炸上热搜!怒揭陈红20年“遮羞 ... ·  昨天  
51好读  ›  专栏  ›  夕小瑶的卖萌屋

解开玻尔兹曼机的封印会发生什么?

夕小瑶的卖萌屋  · 公众号  ·  · 2017-06-17 00:13

正文


上一篇文章 中,小夕讲述了逻辑回归为了抗衡贝叶斯网,也开始了自己的进化。然而令我们没有想到的是,逻辑回归最终竟然进化成了一个生成式模型——受限玻尔兹曼机(RBM),也就是变成了敌方(生成式模型)的武器。

意外得到RBM的朴素贝叶斯万分惊喜,并且燃起了将它自己做的贝叶斯网与敌方送的RBM融合的冲动!

那么朴素贝叶斯的疯狂想法能不能实现呢?




还是按照惯例,先叙述背景姿势。在 《朴素贝叶斯到贝叶斯网》 中,小夕为朴素贝叶斯画了一幅肖像:


朴素贝叶斯看到自己的肖像后,深感自己的朴(弱)素(鸡),于是进行了进化——抛弃自己的条件独立性假设,建模特征向量X内部各个维度的条件依赖关系。于是,朴素贝叶斯进化出了下图的贝叶斯网:


在上一篇文章 《逻辑回归到受限玻尔兹曼机》 中,RBM相比逻辑回归有了非常大的进步,可以更加合理的计算每个样本与每个类别的“亲密度”,也就是与之关联的概率图模型中能量函数E(v1,v2)的大小。

RBM看起来这么复杂,那么灵魂画师夕小瑶能不能像对贝叶斯一样,给RBM画一个肖像呢?


RBM的肖像?

当然可以啦~从上一篇文章对能量函数E(v1,v2)的定义来看,这个函数计算向量v1和v2的“亲密度”时是没有方向的,也就是说E(v1,v2)一定等于E(v2,v1)的。所以对于图中的任意两个点来说,他们之间的边是没有方向的(注意区分朴素贝叶斯和贝叶斯网中的有向边哦)。所以对于RBM中有连接的两个点:

边是无向的,并且用一个蓝色小方块表示用能量函数连接。

按照上一篇文章的表述,RBM中的一个参数——矩阵W连接了特征向量X中的每个维度与类别向量Y的每个维度,因此RBM应该是下面这个样子的:

(小方块太多啦,省略掉了~但是每条边依然代表着这两个节点用能量函数(中的参数)连接)

诶?有没有觉得。。。还不够乱!(好丧心病狂的想法

回想一下,从朴素贝叶斯到贝叶斯网就是经历了将X内部的各个维度(各个随机变量)之间的关系也建模了!而RBM则是跟朴素贝叶斯一样的,对X内部(更一般化的说还包括Y内部)的随机变量是有独立性假设的。而在 《朴素贝叶斯到贝叶斯网》 中已经详细叙述了这个独立性假设在很多情况下是非常致命的!

所以,才不要什么人为的假设呢~解开玻尔兹曼机身上的枷锁吧~让X内部以及Y内部的随机变量也可以随意的交流(即,使模型具备描述X和Y内部各随机变量之间条件依赖性关系的能力,只不过这里直接描述了双向的条件依赖性关系)。所以从图中看是这样子的:



玻尔兹曼机:







请到「今天看啥」查看全文