本文发表于《大众科学》的前博客网络，反映了作者的观点，不一定反映《大众科学》的观点
没有哪位科学家的影响力与名气之比能超过信息论的创造者克劳德·埃尔伍德·香农。香农于 2001 年去世，享年 84 岁。吉米·索尼和罗布·古德曼撰写了一部精彩的新传记《玩耍的心智：克劳德·香农如何发明信息时代》来纪念他。他们刚刚在《大众科学》上发表了一篇关于香农的妻子贝蒂的精彩专栏，称她为“默默无闻的数学天才”。1989 年拜访香农夫妇后，我于 1990 年在《大众科学》上撰写了克劳德的简介。以下是该简介的编辑版本，以及我们采访的编辑摘录。请参阅“进一步阅读”部分，了解香农的诗歌杰作《鲁比克魔方的规则》》和其他与信息论相关的文章的链接。——约翰·霍根
克劳德·香农坐不住。我们当时坐在他波士顿北部家中的客厅里，那栋房子被称为“熵屋”，我试图让他回忆起他是如何提出信息论的。香农当时 73 岁，带着孩子般的笑容和雪白的头发，他已经厌倦了沉湎于过去。他想给我展示他的小玩意。
不顾妻子贝蒂温和的抗议，他从椅子上跳起来，消失在另一个房间里。当我追上他时，他自豪地向我展示了他的七台下棋机器、汽油动力弹跳杆、百叶折叠刀、双座独轮车和无数其他奇迹。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保未来能够继续讲述关于塑造我们当今世界的发现和想法的具有影响力的故事。
他的一些个人创作——例如可以导航迷宫的机械老鼠、玩杂耍的 W. C. 菲尔兹人体模型和用罗马数字计算的计算机——已经布满灰尘且年久失修。但香农似乎像圣诞节早晨的 10 岁儿童一样，对他的玩具感到高兴。
这就是 1948 年在贝尔实验室撰写了“通信的数学理论”——数字时代的大宪章——的那个人吗？他的作品被 AT&T 贝尔实验室的研究执行主管罗伯特·拉基称为“技术思想史上最伟大的作品”？
是的。信息论的发明者还发明了火箭动力飞盘和杂耍理论，他仍然因在贝尔实验室大厅里骑独轮车玩杂耍而被人铭记。“我一直追求自己的兴趣，不太在意经济价值或对世界的价值，”香农高兴地说。“我花了很多时间在完全无用的事情上。”
香农对数学抽象和机械装置的喜爱在他密歇根州的童年时期就显现出来了，他于 1916 年出生在那里。他玩无线电套件和埃克托积木，并喜欢解数学难题。“我从小就对密码学和类似的东西感兴趣，”香农说。他最喜欢的故事之一是埃德加·爱伦·坡的神秘小说《金甲虫》，内容是关于一张神秘的加密地图。
在密歇根大学读本科时，香农主修数学和电气工程。在他的麻省理工学院硕士论文中，他展示了英国数学家乔治·布尔发明的一种代数——处理诸如“如果 X 或 Y 发生但不是 Z，则产生 Q”等概念——如何表示电子电路中开关和继电器的工作原理。
这篇论文的意义是深远的：电路设计可以在构建之前进行数学测试，而不是通过繁琐的试错法。工程师现在通常借助布尔代数来设计计算机硬件和软件、电话网络和其他复杂系统。（“我一直很喜欢‘布尔’这个词，”香农说。）
在麻省理工学院获得博士学位后，香农于 1941 年进入贝尔实验室。在二战期间，他帮助开发了加密系统，这激发了他的通信理论。他意识到，正如代码可以保护信息免受窥探一样，它们也可以保护信息免受静电和其他形式的干扰。这些代码还可以用于更有效地打包信息。
“我对[信息论]的最初想法，”香农说，“是如何最好地改进噪声信道上的信息传输。这是一个具体的问题，你考虑的是电报系统或电话系统。但是当你开始思考这个问题时，你就会开始在脑海中概括所有更广泛的应用。”
他 1948 年论文的中心内容是他对信息的定义。他避开了关于意义的问题（他的理论“不能也不打算解决”），证明了信息是一种可衡量的商品。粗略地说，一条消息的信息量与其不可能性——或其让观察者感到惊讶的能力——成正比。
香农还将信息与熵联系起来，熵在热力学中表示系统的随机性，或一些物理学家所说的“混乱度”。香农将信息的基本单位——贝尔实验室的一位同事将其称为二进制单位或“比特”——定义为表示两种状态之一的消息。人们可以用少量比特编码大量信息，就像在古老的“二十问”游戏中，人们可以通过巧妙的提问迅速锁定正确的答案。
香农表明，任何给定的通信信道都具有可靠传输信息的最大容量。实际上，他表明，尽管可以通过巧妙的编码来接近这个最大值，但永远无法完全达到它。这个最大值后来被称为香农极限。
香农 1948 年的论文确立了如何计算香农极限——但没有说明如何接近它。香农和其他人后来接受了这一挑战。第一步是从消息中消除冗余。正如简洁的罗密欧可以用一句简单的“我爱你”来传达他的信息一样，一个好的代码首先将信息压缩到其最有效的形式。所谓的纠错码只添加足够的冗余，以确保精简后的消息不会被噪声掩盖。
香农的思想过于有先见之明，以至于没有立即产生影响。直到 20 世纪 70 年代早期，高速集成电路和其他进步才使工程师能够充分利用信息论。今天，香农的见解几乎塑造了所有以数字形式存储、处理或传输信息的技术。
像量子力学和相对论一样，信息论也吸引了超出其预期受众的读者。物理学、语言学、心理学、经济学、生物学，甚至音乐和艺术领域的研究人员都在寻求将信息论应用于他们的学科。1958 年，一份技术期刊发表了一篇题为“信息论、光合作用和宗教”的社论，谴责了这种趋势。
香农认为，将信息论应用于生物系统并非牵强附会。“神经系统是一个复杂的通信系统，它以复杂的方式处理信息，”他说。当被问及他是否认为机器可以“思考”时，他回答说：“当然。我是一台机器，你也是一台机器，我们都在思考，不是吗？”
1950 年，他为《大众科学》撰写了一篇关于下棋机器的文章，并且他对人工智能领域仍然很着迷。就原始信息处理而言，计算机仍然“尚未达到人类水平”。在机器中简单地复制人类视觉仍然是一项艰巨的任务。但是“对我来说，在几十年内机器将超越人类是肯定合理的。”
近年来，香农最大的痴迷一直是杂耍。他制造了几台杂耍机器，并设计了一套杂耍理论：如果 B 等于球的数量，H 等于手的数量，D 等于每个球在手中停留的时间，F 等于每个球的飞行时间，E 等于每只手空闲的时间，那么 B/H = (D + F)/(D + E)。（不幸的是，该理论无法帮助香农一次杂耍超过四个球。）
1956 年离开贝尔实验室前往麻省理工学院后，香农很少发表关于信息论的文章。一些前贝尔实验室的同事认为他厌倦了他创造的领域。香农否认了这一说法。他说，他已经对人工智能等其他主题产生了兴趣。他继续研究信息论，但他认为他的大多数成果都不值得发表。“大多数伟大的数学家都在年轻时完成了他们最出色的工作，”他观察到。
几十年前，香农停止参加信息论会议。同事们说他患有严重的舞台恐惧症。但在 1985 年，他意外地出现在英国布莱顿的一次会议上，会议组织者说服他在晚宴上发言。他讲了几分钟。然后，他担心自己会使听众感到厌烦，就从口袋里掏出三个球开始玩杂耍。观众欢呼雀跃，排队索要签名。一位工程师回忆说：“就好像牛顿出现在物理学会议上一样。”
香农访谈摘录，1989 年 11 月 2 日。
霍根：当您开始研究信息论时，您是否有明确的目标？
香农：我对它的最初想法是：如何在噪声信道中最好地转发传输，类似这样的问题。这种具体的问题，当你在电报系统或电话系统中考虑它们时。但是当我开始思考这个问题时，你就会开始在脑海中概括所有更广泛的应用。所以几乎所有的时候，我都在考虑它们。我经常用非常简化的信道来表达，是或否，或者类似的东西。所以我很早就有了所有这些普遍性的感觉。
霍根：我读到约翰·冯·诺依曼建议您应该使用“熵”这个词作为信息的度量，因为没有人理解熵，这样你就可以在关于你的理论的争论中获胜。
香农：这听起来像我可能会开玩笑说的话……粗略地说，信息量就是系统中存在的混乱程度。但是数学计算结果是正确的，可以这么说。用熵衡量的信息量决定了信道中要留出多少容量。
霍根：当人们试图使用信息论来分析神经系统时，您感到惊讶吗？
香农：如果你认为神经系统是一个复杂的通信系统，以复杂的方式处理信息，那就不足为奇了……我写的大部分内容都是关于从一个点到另一个点的通信，但我也花了很多时间以复杂的方式转换信息的形式、组合信息，大脑和现在的计算机都在做这些事情。所以所有这些事情都被我视为信息论的一种扩展，你谈论的是努力改变信息的形式或以某种方式与其他信息结合，这与从一个地方获取信息到另一个地方形成对比。所以，是的，所有这些我都视为信息论的一种扩展。也许它不应该被称为信息论。也许它应该被称为“信息转换”或类似的东西。
霍根：《大众科学》在 1972 年出版了一期关于通信的特刊。约翰·皮尔斯[一位电气工程师和香农的朋友]在介绍性文章中说，您的工作可以扩展到包括[语言中的]意义。
香农：意义是一个很难把握的东西……在数学、物理和科学等等领域，事物确实有意义，关于它们与外部世界的关系。但是它们通常处理的是非常可衡量的量，而我们人类之间的大部分谈话都不是那么可衡量的。这是一个非常广泛的东西，当你听到这些词时，会在你的脑海中引起各种情绪。所以，我认为将它全部包含在数学形式中并不那么容易。
霍根：有人告诉我，到 20 世纪 50 年代后期，您已经厌倦了信息论。
香农：不是我厌倦了它。而是我当时在研究不同的东西……我当时在摆弄用于计算的机器。这比信息论本身更让我感兴趣。智能机器的想法。
霍根：您担心机器会接管我们的一些职能吗？
香农：机器或许能够解决我们一直疑惑的许多问题，并减少我们的体力劳动问题……如果你说的是机器接管，我真的不担心这一点。我认为只要是我们制造它们，它们就不会接管。
霍根：在贝尔实验室，您是否曾感到任何压力，要求您从事更实际的工作？
香农：没有。我一直追求自己的兴趣，不太在意经济价值或对世界的价值。我更感兴趣的是一个问题是否令人兴奋，而不是它会带来什么。……我花了很多时间在完全无用的事情上。
进一步阅读: