信息論之父克勞德·香農：刷新你對信息的想象

編譯 費文緒

一部新傳記向讀者介紹了克勞德·香農：樂此不疲的創(chuàng)新者，古靈精怪的雜耍家和獨輪車愛好者，被譽為信息論奠基者的數學家。

《游戲之心：克勞德·香農如何開創(chuàng)信息時代》（A Mind at Play: How Claude Shannon Invented the Information Age）是吉米·索尼（Jimmy Soni）和羅布·古德曼（Rob Goodman）所著的克勞德·香農的新傳記，這位數學家被奉為“信息論之父”。

該傳記以一則趣聞軼事向我們介紹了主人公香農：香農在20世紀60年代淡出公眾的視線后，在1985年出人意料地在英國布賴頓的國際信息理論研討會上露面。這位白發(fā)蒼蒼的羞澀名人最終被人認出來，尋求簽名的粉絲們很快就把他團團圍住。在研討會主席的盛情邀請下，香農不情愿地在晚宴上登臺，忍受著自己被隆重介紹為“我們這個時代最偉大的科學巨匠之一”。當與會者的歡呼和掌聲最終平息，香農只能說，“這真是——太可笑了！”他把手伸到衣服口袋里，變戲法一樣掏出3個球，竟然當場玩起了雜耍。

香農是一個狂熱的獨輪車愛好者，他喜歡設計和制造各種稀奇古怪的獨輪車。比如，他設計了一種輪轂偏離中心的獨輪車，會導致騎行者在踩踏板時上下彈跳。不管香農是否重新設計了數據傳輸或獨輪車，該傳記的作者都指出，香農的工作表現出了“對建模的精通：他善于從大問題中提煉出核心實質”。

研討會主席后來這樣描述這個不同尋常的場景：“香農出現在信息理論研討會上，那情形簡直就像是牛頓出現在物理學學術會議上，太轟動了！”盡管這樣類比有夸大其辭之嫌（據我們所知，牛頓并不會變戲法），研討會主席的這句總結表達出人們對香農的景仰，而且這種景仰隨著歲月流逝只會與日俱增，在2016年香農百年誕辰之際更是達到了前所未有的巔峰。全世界各地都在舉辦紀念大會。谷歌涂鴉紀念了香農的生日——1916年4月30日，這一天，克勞德·香農出生于美國密歇根州佩托斯基。不知道生前低調的香農對身后所有這些大張旗鼓的紀念活動會怎么想。

不過，世人對香農的景仰也是情有可原的：香農那些具有里程碑意義的創(chuàng)新——尤其是通過確定數字電路可以如何設計——奠定了信息傳輸編碼的理論基礎，使他與當今的信息時代結下了不解之緣。在香農的百年誕辰之后，新聞記者索尼和作家、政治學家古德曼為好奇的讀者獻上了關于這位最謙遜的數學家香農的更多故事。

香農最多產的時期是1940至1955年前后，期間他在曼哈頓的貝爾實驗室（后來搬到了新澤西的默里山）。第二次世界大戰(zhàn)期間，他開展各種涉及電子學和密碼學的研究項目。不過，香農經久不衰的聲譽主要是建立在他那篇劃時代的論文《通信的數學理論》（A Mathematical Theory of Communication），1948年發(fā)表于《貝爾系統(tǒng)技術雜志》（Bell System Technical Journal），1963年由伊利諾伊大學出版社再版。

在這篇短小精悍的論文中，香農思考了沿著有噪聲的信道傳輸數字數據（也就是0和1組成的數列）的問題。那時，很多人都認為要增加信息傳輸速率，只需增加信源的功率。在貝爾實驗室兩位同事哈里·奈奎斯特（Harry Nyquist）和拉爾夫·哈特利（Ralph Hartley）前期工作的基礎上，香農表明，實際上任何信道的信息傳輸速率都存在一個最大值。假設信道干擾是由白噪聲造成的，香農給出了一個由帶寬和信噪比計算出最大信息傳輸速率的簡便公式。用這個公式計算出來的信息傳輸速率是一個銳利的極值，意味著我們可以無限逼近這個極值，卻永遠無法超越這個極值。

任何數據傳輸都難免出錯——隨機地把0接收成了1，或是反之。香農表明，如果信息傳輸速率小于最大值，那么就存在發(fā)送數據（通過對傳輸進行編碼）的方法，能讓出錯的概率任意小。不過，找到這種代碼的工作則留給那些接過這一挑戰(zhàn)的人。如今，從錄制音樂到探測器向地球傳回火星照片，很多數字任務都使用了建立在香農定理基礎上的數據壓縮算法。

雖然“信息”一詞語義學上的詞義時過境遷，但是對“信息”的抽象闡釋才是香農信息論的核心。滿足某個特定規(guī)則（比如，0不能緊跟在0后面）的任何0和1組成的字符串都是可以接受的。于是，英語單詞可以通過這種方式進行通信——把不同的0和1組成的字符串分配給每個字母（包括把空格作為一個額外的字母）。

誠如香農觀察到的，我們的語言中存在一定量的冗余。比如，你可以讀懂這個句子，但是，正如索尼和古德曼在傳記中所傳達的，香農也觀察到大多數人讀懂這個簡寫的句子“MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC”幾乎都沒有困難——這是任何人發(fā)送文本信息時都熟悉的情況。香農給出了一則信息中所傳輸的信息量的定義。然后，他定義了信息中排除冗余后的平均信息量，他稱之為“信息熵”。比如，如果我們限定自己所知的均是由0和1組成的信息，那么，一個信源如果只能產生1，則信息熵為0；如果一個信源以擲硬幣的方式產生0和1（即0和1出現的概率分別是0.5），則具有可能的最大信息熵。

索尼和古德曼講述了關于香農選擇“信息熵”一詞的著名故事。數學家馮·諾依曼指出，香農的“熵”概念與數十年來熱力學中一直使用的“熵”概念有著不可思議的相似性?！澳銘摪涯愕母拍罘Q為‘熵’，有兩個原因，”馮·諾依曼向香農建議，“首先，你的不確定性函數已經以那個名字用在了統(tǒng)計力學中，所以它已經有一個名字了。其次，而且更為重要的是，沒有人知道‘信息熵’究竟是什么，所以，你將總是在爭論中占上風。”

“幾乎可以肯定，這樣的對話以前從未發(fā)生過?！眱晌粋饔涀髡邎苑Q，盡管有質疑的聲音在別處回響。不過，在1971年與工程師邁倫·特里布斯（Myron Tribus）的會談中，香農本人對這個故事的敘述與傳記作者如出一轍。姑且不論這個故事真實與否，香農對熱力學術語“熵”的借用，激起了學術界關于信息論和熱力學之間深層關聯(lián)的富有成效的討論。從事概率論和動力系統(tǒng)領域研究的數學家后來聽說了香農對“信息熵”的定義，發(fā)現他們可以對“熵”這個概念進行拓展，然后有效地運用到自己的研究工作中。不難想象，馮·諾依曼這位20世紀最偉大的數學大師之一，在向香農提建議時，早已預見到了“信息熵”這一概念后來的一些發(fā)展了。

人們總是難以抗拒誘惑，去回顧天才的早年生活，從中搜尋那些預示著天才將來之偉大的吉光片羽。不過，在香農的例子中，我們鮮有發(fā)現天才的早年指征。我們在傳記中讀到，香農贏得了3年級感恩節(jié)故事寫作比賽并且在學校的音樂劇中吹奏中音號。他喜歡造東西、修東西，像很多20世紀20年代的少年一樣，尤其喜歡搗鼓收音機。他覺得數學很容易，喜歡數學具有競爭性的方面，但是沒有證據表明香農具有超常的數學能力。

同樣，香農的大學經歷也鮮有跡象預示他的卓越才能。他就讀于密歇根大學，獲得了數學和電氣工程雙學士學位，當選榮譽組織Phi Kappa Phi和Sigma Xi的會員。對于《美國數學月刊》（American Mathematical Monthly）上刊登的數學問題，他發(fā)表了兩個解法，該期刊是同時面向學生和教師的闡述性期刊。香農的這些才能值得稱贊，可無疑并非罕見的才能?？上?，我們不知道香農的老師是誰，也不知道他在密歇根大學上過哪些數學和科學課程。這些信息本來可以幫助我們預測香農之天才的第一道閃光——他于1937年完成的碩士學位論文。

運氣可以說是名人履歷中的一個標準要素，對于香農來說，運氣的降臨是在他讀碩士研究生期間。1936年春天，他注意到公告板上粘貼的一張打印的廣告——麻省理工學院（MIT）招募一個研究生助教，職責是運行一臺微分分析器，這種機械計算機是用來解微積分方程的。1876年，這種模擬計算機就已經誕生了，不過MIT的這臺微分分析器同時還有一些數字部件，是第一臺能用于一般應用的模擬計算機。最終，它能解有18個獨立變量的微分方程。它的發(fā)明者是哈羅德·黑曾（Harold Hazen）和萬尼瓦爾·布什（Vannevar Bush）?！拔液芘Φ貭幦∵@份工作，最終得到了它，”香農回憶，“那是我一生中遇到的最幸運的事情之一。”

萬尼瓦爾·布什是美國科學史上的一位偉人。他于1919年加盟MIT的電氣工程系，3年后創(chuàng)立了一家軍用物資供應企業(yè)，現名為雷神公司。1941年，布什幫助說服羅斯?？偨y(tǒng)開始制造原子彈，并在原子彈研制中發(fā)揮領導作用。在MIT，布什賞識香農的才華，認真為香農的職業(yè)生涯考慮，指導香農直到研究生畢業(yè)，而后進入貝爾實驗室工作。

香農的碩士學位論文《繼電器與開關電路的符號分析》（A Symbolic Analysis of Relay and Switching Circuits）被認為是有史以來最重要的碩士論文。這篇論文完成于1937年，運用英國邏輯學家喬治·布爾（George Boole）100年前提出的概念來簡化構成電路網絡的繼電器排列。香農的符號系統(tǒng)優(yōu)美又實用，為現代數字電路設計奠定了基礎。大多數數學家在離散數學課上教授布爾代數在電路中的應用時，并沒有意識到他們傳授的其實是香農論文中的思想。50多年后，香農淡化了他的發(fā)現的意義?！爸徊贿^是碰巧當時沒有其他人同時熟悉這兩個領域，”他告訴一位采訪者，并補充說，“而我一直很喜歡‘布爾’這個詞?！?/p>

布什不但善于判斷人的才智，而且對人的性情有著精明的觀察。他本來可能為自己的新門生擔心，因為香農在大學2年級時失去了父親，而且之后不久由于某種原因與母親不再講話。于是，布什鼓勵香農在冷泉港實驗室研習，把布爾代數應用到孟德爾遺傳學中。在那里，香農由富有同情心的心理學家芭芭拉·伯克斯（Barbara Stoddard Burks）監(jiān)管，伯克斯對天才的遺傳學感興趣，尤其熱衷研究遺傳和環(huán)境的問題。冷泉港實驗室的遺傳學記錄辦公室有超過25年的數據供香農深思細想。不到一年時間，香農就已經學會了足夠多的遺傳學知識，來完成他的博士學位論文《理論遺傳學的代數學》（An Algebra for Theoretical Genetics），這是一篇精妙的卻過于理論化的論文，對遺傳學家來說借鑒意義不大。香農的這段經歷證實了布什和伯克斯的一致看法：香農是一個天才，他能快速掌握一個新學科的知識，并從中創(chuàng)造出有意義的數學。不過，香農對自己的這項研究工作卻不太看重。他逃離了遺傳學這個領域，并且從未想過要出版自己的這篇博士學位論文。若干年后，他自黑地評論道，“有幾年，我曾愉快地充當一位遺傳學家?！?/p>

獲得博士學位后，香農在貝爾實驗室度過了一個暑假，在普林斯頓高等研究院工作了一年，最終回到貝爾實驗室找到了全職工作。

香農很幸運地正值美國大力資助研發(fā)事業(yè)的時期在貝爾實驗室工作。他的才華使他有資格享受今天看起來似乎不可能的科研自由，現在國際競爭激烈，股東要求快速盈利，科研人員很難享有完全的科研自由。以他特有的謙虛，香農有一次向貝爾實驗室的一位管理者承認，“我總感覺，我在實驗室享有的自由似乎是實驗室對我的一種特別的厚愛。”

受到變換工作環(huán)境和學術生涯相對安穩(wěn)的誘惑，香農于1958年接受MIT提供的職位，于1978年退休。伴隨香農這么久的好運氣終于在20世紀80年代離他而去，那時香農開始表現出患上阿爾茨海默氏癥的跡象。2001年，香農因病去世。

《游戲之心》是一本由香農的兩位崇拜者娓娓道來的有愛的傳記，尤其擅長講述為其主人公增添魅力的很多故事。香農是一位富有創(chuàng)造力的“修理匠”，具有獨一無二的幽默感，他發(fā)明了很多稀奇古怪而且有趣的設備，在傳記中都得到了描述，包括電動彈簧單高蹺、火箭動力飛盤、雜耍機、用羅馬數字運算的計算機，以及繼電器控制的機器鼠，它會闖迷宮并記住自己走過的路線。香農發(fā)明的所謂“終極機器”吸引了到訪貝爾實驗室的科幻作家阿瑟·C·克拉克。在其1958年的作品《越洋之聲》（Voice across the Sea）中，克拉克有一段關于該機器操作的描述：當你打開開關，會聽到憤怒的意味深長的蜂鳴聲，蓋子緩緩打開，從里面伸出一只手，向下摸索關掉開關，然后退回到盒子中。盒子最終合上后，蓋子砰地關上，蜂鳴聲停止，一切重歸寂靜。

當提到數學時，《游戲之心》有點不太成功。例如，關于香農的“色彩編碼定理”和哈特利的信息公式的結論都敘述有誤。作者用拋硬幣的比方來描述香農的信息熵，令人欽佩，但是他們就此打住，并沒有進一步解釋更普遍的信息源的信息熵問題。讀者倘若希望了解香農的研究工作的細節(jié)，最好去讀香農的論文，這些論文寫得很好，而且在網上可以免費獲取。

比技術方面的小失誤更令人苦惱的是作者關于《通信的數學理論》一文發(fā)表后所受非難的討論。在引用概率學家約瑟夫·杜布（Joseph Doob）在一次采訪中的尖銳評論后，作者想象了純數學家結成陰謀來責備香農的應用研究。當然，香農給出的定義和證明并非總是完整的、正確的。例如，前文談到的，香農關于通過編碼最優(yōu)化利用有噪聲信道的定理，最終被埃米爾·范斯坦（Amiel Feinstein）于1954年證明，所以如今被稱為香農-范斯坦定理。從過去到現在，數學界仍然持續(xù)運用和推崇香農的研究成果。發(fā)表了杜布對香農可笑評論的《數學評論》（Mathematical Reviews）就收錄了2 000多篇提到香農的信息熵的評論文章。

香農所做的不僅僅是開辟了信息論的嶄新領域，還示范了把充滿熱情的探究和對玩世不恭的喜愛結合起來會取得何種成就?！队螒蛑摹肥且槐玖钊擞淇斓膫饔?，把我們和克勞德·香農獨一無二的心靈聯(lián)結在一起。