专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

【学习】通俗理解条件熵

机器学习研究会 · 公众号 · AI · 2017-04-25 18:55

正文

点击上方 “机器学习研究会” 可以订阅哦

摘要

转自：自然语言处理与机器学习

前面我们总结了信息熵的概念通俗理解信息熵 ,这次我们来理解一下条件熵。

1 信息熵以及引出条件熵

我们首先知道信息熵是 考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下：

我们的条件熵的定义是： 定义为X给定条件下，Y的条件概率分布的熵对X的数学期望

这个还是比较抽象，下面我们解释一下：

设有随机变量（X,Y），其联合概率分布为

条件熵H（Y|X）表示在 已知随机变量X的条件下随机变量Y的不确定性。

随机变量X给定的条件下随机变量 Y的条件熵H(Y|X)

下面推导一下条件熵的公式：

3 注意

注意， 这个条件熵， 不是指在给定某个数（某个变量为某个值）的情况下，另一个变量的熵是多少，变量的不确定性是多少？而是期望！

因为条件熵中X也是一个变量，意思是在一个变量X的条件下（变量X的每个值都会取），另一个变量Y熵对X的期望。

这是最容易错的！

原文链接：

https://mp.weixin.qq.com/s/v7-hhDVJUQKgNECcgab1qg

“完整内容”请点击【阅读原文】

↓↓↓