专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

【学习】通俗理解信息熵

机器学习研究会 · 公众号 · AI · 2017-04-22 22:49

正文

点击上方“机器学习研究会”可以订阅哦

摘要

转自：自然语言处理与机器学习

先抛出信息熵公式如下：

其中代表随机事件X为的概率，下面来逐步介绍信息熵的公式来源

信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量x的时候，当我们观察到的这个变量的一个具体值的时候，我们接收到了多少信息呢？

多少信息用信息量来衡量，我们接受到的信息量跟具体发生的事件有关。

信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大，如湖南产生的地震了；

越大概率的事情发生了产生的信息量越小，如太阳从东边升起来了（肯定发生嘛，没什么信息量）。这很好理解！

原文链接：

https://mp.weixin.qq.com/s/OOCXxwTpo6BV2UEyIQLIJQ

“完整内容”请点击【阅读原文】

↓↓↓

推荐文章

爱可可-爱生活 · RoboPrompt 提出了一种新颖的框架，通过巧妙地将机器人任-20241018053200

2 天前

黄建同学 · 爆火🔥🔥🔥概率与统计学 20 小时训练营↓#ai##数学#-20241017155500

2 天前

爱可可-爱生活 · 【Awesome O1：收集了与 OpenAI 的 o1 相关的-20241017131403

2 天前

爱可可-爱生活 · [CL]《Agents Thinking Fast and Sl-20241015050752

5 天前

爱可可-爱生活 · 本文提出了一种新的“对话者-推理者”双系统AI架构，模拟人类“快-20241015050756

5 天前

数据中心运维管理 · 柴油机的工作原理

7 年前

经济学家告诉你B · 猝然倒下的险资大鳄姚振华，不会是最后一个

7 年前

物种日历 · 春食野菜：春天里的美味

7 年前

中国企业家杂志 · 20余省豪掷400多亿建“双一流”！这应该是最全的榜单了！

7 年前

军武次位面 · 一款能计算你是否缺水的智能水杯，大幅提升了喝水的质量

7 年前