克劳德·E·香农:信息论的创始人

随着量子信息科学这一 фундаментально 新学科正在构建之中,现在正是回顾一位非凡科学家的好时机,他单枪匹马地开创了经典信息论

量子信息科学是一个年轻的领域,其基础仍在由大量研究人员奠定 [参见 迈克尔·A·尼尔森的《复杂量子世界的规则》;大众科学,2002年11月]。 相比之下,经典信息科学大约在50年前,从一位杰出人物克劳德·E·香农的工作中涌现出来。 在1948年贝尔实验室撰写的一篇里程碑式的论文中,香农用数学术语定义了什么是信息,以及如何在噪声中传输信息。 电报、电话、无线电和电视——这些曾被视为截然不同的通信模式——被统一在一个单一的框架中。

香农于1916年出生于密歇根州佩托斯基,是一位法官和一位教师的儿子。 在其他创造性的努力中,他年轻时曾用围栏线从自己的房子到朋友家搭建了一条电报线路。 他于1936年毕业于密歇根大学,获得电气工程和数学学位,然后前往麻省理工学院,在那里他在计算机先驱范内瓦尔·布什的指导下研究一台名为微分分析器的模拟计算机。

香农在麻省理工学院的电气工程硕士论文被誉为20世纪最重要的论文:在这篇论文中,22岁的香农展示了如何使用继电器和开关的电子电路来实现19世纪数学家乔治·布尔的逻辑代数。 数字计算机设计中最基本的特征——将“真”和“假”以及“0”和“1”表示为打开或关闭的开关,以及使用电子逻辑门进行决策和执行算术——都可以追溯到香农论文中的见解。


关于支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道: 订阅。 通过购买订阅,您将帮助确保有关塑造我们当今世界的发现和思想的具有影响力的故事的未来。


1941年,香农获得了数学博士学位,前往贝尔实验室,在那里他从事与战争相关的事宜,包括密码学。 在他周围的人不知情的情况下,他还在研究信息和通信背后的理论。 1948年,这项工作以贝尔实验室研究期刊分两部分发表的一篇著名论文的形式问世。

量化信息

香农通过一个类似于物理学中定义热力学熵的公式,定义了信息源产生的信息量——例如,消息中的信息量。 从最基本的意义上讲,香农的信息熵是编码消息所需的二进制数字的数量。 今天,这听起来像是定义消息中信息量的一种简单甚至显而易见的方式。 在1948年信息时代刚刚开始之际,任何类型的信息数字化都是一个革命性的步骤。 他的论文可能是第一个使用“比特”(二进制数字的缩写)这个词的。

在定义信息的同时,香农分析了通过通信信道发送信息的能力。 他发现一个信道有一个不能超过的最大传输速率。 今天我们称之为信道的带宽。 香农用数学方法证明,即使在带宽较低的噪声信道中,通过将传输速率保持在信道的带宽内,并使用纠错方案,也可以实现基本完美、无差错的通信:传输额外的比特,使数据能够从充满噪声的信号中提取出来。

今天,从调制解调器到音乐CD,一切都依赖于纠错才能发挥作用。 量子信息科学家的一个主要成就是开发了纠正量子信息中引入的错误的技术,并确定了在噪声量子通信信道或纠缠的量子比特(量子位)的纠缠被噪声部分降级的情况下,可以完成多少工作。

牢不可破的密码

在创立并推出信息论一年后,香农发表了一篇论文,证明了牢不可破的密码学是可能的。 (他在1945年完成了这项工作,但当时它是保密的。) 该方案被称为一次性密码本或弗纳姆密码,以吉尔伯特·弗纳姆的名字命名,他在第一次世界大战末期发明了该密码。 其思想是用一系列随机数字(密钥)对消息进行编码,使编码后的消息本身完全是随机的。 关键在于,需要一个与要编码的消息一样长的随机密钥,并且绝不能重复使用任何密钥。 香农的贡献是严格证明了这种密码是牢不可破的。 至今,还没有已知的其他加密方案是牢不可破的。

一次性密码本的问题(之所以如此称呼,是因为特工会随身携带一份密钥副本,并在每次使用后销毁每页数字)在于,通信双方必须各自拥有一份密钥副本,并且密钥必须对间谍或窃听者保密。 量子密码学解决了这个问题。 更准确地称为量子密钥分发,该技术利用量子力学和纠缠来生成一个随机密钥,该密钥在量子通信信道的两端是相同的。 量子物理学确保没有人可以窃听并了解有关密钥的任何信息:任何秘密测量都会干扰可以检查的微妙相关性,类似于在噪声通信线路上传输的数据的纠错检查。

基于弗纳姆密码和量子密钥分发的加密是完全安全的:量子物理学保证了密钥的安全性,香农定理证明了加密方法是牢不可破的。 [有关大众科学关于量子密码学和过去几十年量子信息科学其他发展的文章,请点击此处。]

独特、骑独轮车的天才

香农符合人们对古怪天才的刻板印象。 在贝尔实验室(以及后来的麻省理工学院,他于1958年回到那里,直到1978年退休),他以在走廊里骑独轮车而闻名,有时还会表演杂耍 [参见约翰·霍根的《人物简介:克劳德·E·香农》;大众科学,1990年1月]。 其他时候,他会在走廊里跳弹簧单高跷。 他一直是一位小玩意爱好者,除其他外,他还制造了一只能够解决迷宫的机器鼠和一台名为Throbac(“节俭的罗马数字反向计算机”)的计算机,该计算机以罗马数字进行计算。 1950年,他为大众科学撰写了一篇关于编程计算机下国际象棋的原理的文章 [参见克劳德·E·香农的《下棋机器》;大众科学,1950年2月]。

在20世纪90年代,在人生的一大悲剧讽刺中,香农患上了阿尔茨海默病,这可以被描述为大脑中信息的隐匿丢失。 通往记忆的通信信道——一个人的过去和一个人的个性——逐渐退化,直到所有纠错努力都被淹没,并且无法通过任何有意义的信号。 带宽降至零。 克劳德·香农的非凡信息处理模式最终在2001年2月屈服于热力学熵的破坏。 但是,香农产生的一些信号仍然存在,体现在我们现在沉浸其中的信息技术中。


格雷厄姆·P·柯林斯是大众科学的编委会成员。

© . All rights reserved.