点击上方“
图灵人工智能
”，选择“星标”公众号
您想知道的人工智能干货，第一时间送达
版权声明
转自科学方程式，版权属于原作者，仅用于学术分享，如有侵权留言删除
回溯风云激荡的20世纪，如果在人才济济的科学江湖中发起一个“最离谱科学家行为大赏”评选，那有一位“祖师爷”必定榜上有名。不拘泥于传统严谨科研生活的他，把贝尔实验室当成了自己的“游乐场”，骑着独轮车在科研大楼中穿梭；把严肃的学术大会当作杂技舞台，当众上台表演杂耍。
香农（1916.4.30—2001.2.24）
美国数学家、发明家、密码学家，信息论创始人
这个人便是
克劳德·香农
（Claude Shannon）
。
他以非凡的学术成就和独特的行事风格而备受瞩目，是一个把“玩闹”精神融入科研的天才，而他的信息论，更是让整个世界都“信息爆炸”起来。
让我们一同探寻香农充满传奇色彩的人生轨迹，了解他如何凭借独特的思维与卓越的创造力，用“0”和“1”，为信息时代的发展奠定了坚实基础。
香农还在谷仓里搭建过临时升降机，在自家后院制作手推车。
他的硕士论文颠覆传统的逻辑思维，用数学思维解决电学问题。这篇论文证明了可以通过继电器电路来实现布尔代数的逻辑运算，为数字电路的发展奠定了理论基础，从艺术到科学上改变了电路的设计，被认为是20世纪最重要的硕士论文之一。
这篇论文当时并未正式发表，只是后来收录在香农的论文选集中，未收到足够重视。直到遗传学家也得出论文中的同样结论，并发现通过借鉴香农的思路可以将这一学科推进好多年，人们才真正感受到他理论的重要性与前瞻性。
在攻读博士学位期间，香农还进行了微分分析仪的研究，曾发表论文《微分分析仪的数学理论》，尝试去理解数字计算机如何来完成与此类似的计算任务。
压缩信息——香农熵（Shannon entropy）
香农在和妻子贝蒂·香农
（Betty Shannon，原名Mary Elizabeth Moore）
的共同努力下，发现了英语在具体对话和通信中存在信息冗余的现象。针对于此，他提出疑问：是否可以在不丢失任何重要内容的情况下，找到一个信息可以压缩的最小单位？后来，他发现了一个最低限度，并提出了计算方法。
信息熵的概念首次在1948年的《通信的数学理论》论文中被提及，它的出现解决了对信息的量化度量问题。
用数学消除噪音——香农极限（Shannon limit）
数学可以消除静态和干扰的误差，可以用数学编码来克服噪音。在香农极限内，可以在回随机发生误码的信道上进行无差错传输的最大传输速率，这也是香农定律在带宽优先的信道上的一个结论。
香农定理包括三大定理:可变长无失真信源编码定理，有噪信道编码定理，保真度准则下的信源编码定理。
这种反直觉的洞见催生了纠错编码理论，其提出的随机编码典型序列思想，为后来涡轮码、LDPC码等现代编码技术开辟了道路。更具革命性的是，他将信息从物理载体中抽象为概率空间的离散符号，这种认知范式转换使得通信工程从经验技术升华为严谨的科学体系。
信息论开山之作《通信的数学理论》，证明了信息可以通过二进制编码高效压缩和传输，为包括互联网、5G等等现代通信技术的发展奠定了理论基础。虽然文章正式发表于1948年，但香农在信息论方面的研究工作大多集中在1943-1945年。
1949年，香农又在发表了《噪声下的通信》一文，阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性等一系列基本技术问题。
在交谈中，图灵（图左）向香农（图右）介绍了通用图灵机的概念，香农则向图灵透露了令后者震惊的奇思妙想：可以在这台「大脑」中输入数据，还希望把“文化”灌输进去。
1954年，香农与未来的诺贝尔奖得主理查德·费曼（Richard Feynman）和詹姆斯·沃森（James Watson）共同被《财富》杂志评为美国20位最重要的科学家之一。他还登上了《时代（Times）》、《生活（Life）》以及《时尚（Vogue）》杂志的版面，出现在国家电视台中，成为国民明星。
两个月的会议始终无法让在座的“最强大脑”们达成普遍共识，但是却为香农一直关注的“思考机器”暨会议讨论的内容，起了一个统一的名字：人工智能。
https://www.ccf.org.cn/c/2016-12-02/551040.shtml
https://www.eet-china.com/mp/a110695.html
https://mp.weixin.qq.com/s/06Kk0Skzufzgk-nMfriSWA
