今天是 5 月 1 日,小长假的第一天。
不知道差友们用朋友圈分享假日生活,煲各种剧的时候,有没有想过这些文字、图片、声音都是怎么跑到你手机里去的?这个信息时代有没有一个源头呢?
有的,这一切都和一个伟大数学家有关。刚巧,昨天还是他生日。
他就是程序员祖师爷、通讯工程开山怪、人工智能舅老爷、杂耍届资深博士、信息学创世神,
克劳德 · 艾尔伍德 · 香农。
不知道他的人一定在吐槽差评君吹牛,但知道的差友估计已经开始整理仪容给他磕头了。
毕竟这只是香农头衔的一部分,作为信息学开创者,这个信息时代的一切科技,远到5G AI 大数据,近到电脑手机小电影,
有一个算一个,都离不开他的理论
。
有人这样形容香农:“ 作为信息学的创世神,在创世之日就宣布了这个学科的终点 ” 。后来者一遍遍努力地证明他是对的,然后高喊祖师爷牛逼。
今天差评君就带大家品品这个能够和牛顿、爱因斯坦比肩的传奇科学家。
1916 年 4 月 30 日,香农出生在美国密歇根州的小城,盖洛德。
比起传奇的一生,他的童年有点普通。除了爱摆弄机械,
可能就剩下帅了
。。。
他的父亲是个醉心交际的人,没什么时间照顾香农。所以小香农就可以自由地和
小伙伴到处找大人不要的机械材料。
靠着这些材料,
小香农
在邻居家的谷仓搭了一台升降机,
还把邻居家小女孩骗来体验他的杰作。
但即使 70 年后,长大的小女孩都没和人说过他的坏话。也许这就是帅比的特权吧。。。
照这样发展香农可能成为一个民间发明家,但好在他还有个姐姐。
作为小城最漂亮的女孩,他姐姐没事就陪他解数学谜题,小香农自然对数学产生了浓厚兴趣,当
「 垃圾佬 」念头也往边捎了几年。
差评好像找到自己数学不太好的原因了。。。
但等香农上了大学,再没人能阻止他对机械的向往了,他同时选了工程学和数学两个专业。
那时专业分的没现在细,数学和工程学更是有些针尖对麦芒。。。
数学以抽象为美,工程系则是以应用为前提,两方谁也看不起谁。
这让香农在 20 岁时成了另类的双修选手,并前往麻省理工大学跟随
范内瓦·布什
攻读电子工程学硕士。
布什这个老哥比香农还狠,他有六个学位。在他的引导下,香农逐渐成为了后来那个一人开创一个学科的神。
参加过一战的布什此时正奉命为轰炸机瞄准器和火力控制系统研发更先进的计算机。
比起现在能运行各种程序的计算机,那时的计算机就是个弟弟,不仅算的慢,而且只能计算特定问题
。
像布什发明的这台微分分析机已经算的上当时的最强算力了,但这台重达 100 多吨的大家伙,算一个微分方程就得嘎吱嘎吱跑上好几天。
那时的计算发生在眼皮底下:电力驱动齿轮、轴等机械转动,部件的位置就是运算的结果。
这就导致用起来很麻烦。
举个例子,如果差评君想算一个新方程,就得把机械部分全拆开,给齿轮上油,做保养,再按比例组装到精确位置,往往建立方程就得好几天。。。
这苦差事自然是资历最浅的香农来做。
虽说能摸到时下最强计算装置很爽,但天天做这重复劳动也不是办法。
于是香农开始琢磨怎么解放自己
。
很快他发现,分析机算的慢都怪机械拖后腿,要是全交给电路算,那速度不就快了?
虽然现在中学生都知道电路里的电平变化可以实现逻辑运算,但这时根本没有人想到电路能算一道数学题。
工程师不会把数学研究很深,大数学家也不会思考不优雅的机械
,这事就成了死结。
但这对工数双修的香农根本不是事,他掏出大学学过的布尔代数,用电路的开、关表示二进制的 0 和 1 ,设计了一种不用拆卸保养的电路数字计算机。
计算机靠电路中的高低电平变化就能分别表示 0 和 1 ▼
1937 年,香农把想法完善成了
论文
,《继电器和开关电路的符号分析》( “ A Symbolic Analysis of Relay and Switching Circuits ” )。
才 21 岁的香农,给全世界工程师上了堂电路设计课,
“ 诺,以后设计电路用我的方程就好了。 “
这是电气工程师们第一次有公式当方法,你品,你细品。
直到现在,这篇文章还是有史以来最重要的硕士论文,没有之一。。。
布什也注意到了这个低调做人,嚣张做事的天才小伙,开始有意识地锻炼香农。
为了让香农的数学继续进步,他还拉下老脸去求隔壁数学系让香农攻读博士学位。
甚至香农的博士论文要研究遗传学,他都没反对,还找关系让香农接触国家机密级的资料。
忘了说了,布什也被叫做物理将军,是广岛原子弹背后的男人▼
香农也给力,
他的博士论文直接搞出了领先当时 10 年的成果。
要知道之前他连遗传学的书都没摸过,全靠一年的学习与资料。
不过,香农也因此失去了心爱的飞行课,校长亲自以 “ 天才 “ 为理由禁止香农进入驾驶舱。
这也导致香农一毕业就从麻省理工开溜了,几经辗转来到贝尔实验室。
就是那个发明了电话、晶体管、 c 语言、 unix 等一系列技术的贝尔实验室。如果上世纪什么厉害发明你不知道来源,
直接丢给贝尔实验室,八成没错
。
可就算在这,香农还是碾压级别的,有时候同事不能跟上他的思路。香农只好一个人做研究。
因为少
了其他人参与,他的研究一不小心太超前了。。。
1947 年,香农发表了《 一个通信的数学理论 》( A Mathematical Theory of Communication ,信息论 ),开创了信息学。
这篇文章厉害到发表没不久,直接启发
两个其他领域的大佬找到新方向
。。。
同时它还是人类历史上被引用最多的论文▼
信息论虽然难,但其实就是两件事,
什么是信息?怎么传输信息
?
之前大家都认为信息的核心是内容。香农却说,你们都错了。
数学的思维让他把信息抽象成结果:
信息,就是不确定性的减少
。
“ 过去可知却不可控,未来可控却不可知 ”▼
举个例子,“ 差评君很帅 ”这句话,是不是信息呢?
这得看这句话有没有让你对一件事的不确定减少了。
如果是资深差友,这句话就在讲一件大家早就知道的事,没有削减任何不确定性。
但如果是不知道这件事的差友,听到这句话,就会恍然大悟,奇怪的知识增加了!这时候这句话就是信息了。
再举个例子,一副扑克 52 张,取一张做底牌,
最多猜 51 次
就能猜到正确答案了。
每猜错一次,没被猜过的牌就变少了,这
就是香农说的不确定性在减少
。
当然假如猜对了,不确定就直接归零了。。。
在这个过程中,每次猜牌的
对和错,都是信息
。
对和错,是与非,都是二选一。
说白了
就是香农十年前就解决的 0 和 1 问题
。
每个 0 和 1 就代表了一个确定的信息,称为 1 bit 。
把一个问题分成无数个是非题,那文字、图片、声音,都能用开关状态表达。
让小姐姐们能住在硬盘、在屏幕上表演,靠的就是这位爷的信息论
。
当然要用数学去考量信息,那总得把信息量化吧。
于是香农定义了一个「 信息熵 」,信息熵越大,信息的不确定性就越高。
通过度量不确定程度,从侧面把信息量化了。
比如祖师爷自己就算了下,每个英语单词的信息熵只有 2.62,远低于汉字的 9.6。
比如一个“ 草 ”字,估计差友们都能给出好几种解释。。。
这也就是为什么英语交流的不确定性就比中文要小。
我们总是喜欢把重要的事情重复三遍,因为总担心别人会误解自己的意思。那时候大家也觉得信息根本没办法做到无损传输。
香农用这个公式证明了,在一定条件下,不仅信息能无损传输,还能在不损失信息量的前提下变着法子压缩着传输。。。连压缩的效率都直接给定好。
于是香农成了程序员的祖师爷。。。