信息熵的介紹及應(yīng)用

田源

【摘 要】以信息論的概念及其應(yīng)用探討為目的，首先通過提出想要對“信息”這一概念進(jìn)行量化的想法，介紹了“信息量”概念的提出以及完善到“信息熵”的過程，進(jìn)而介紹了“信息熵”的概念，簡述了信息論這一學(xué)科的啟蒙和發(fā)展。通過一個友誼賽比賽結(jié)果的例子貫穿了文章前半部文，并且運用信息量以及信息熵的計算方法對結(jié)果進(jìn)行了計算和比較；在文章后半部分提出了一個經(jīng)典問題，首先給出了一個信息熵極值定理的證明，之后運用信息熵的理論給出了這一問題的解決方法。

【關(guān)鍵詞】信息 信息量 信息熵 不確定性 概率

【中圖分類號】C931.6【文獻(xiàn)標(biāo)識碼】A【文章編號】1672-5158（2013）07-0512-02

1、信息量化及信息熵的提出

1.1 信息的量化

通常情況下我們無法準(zhǔn)確感知“信息”（Information）這個抽象詞語。而能夠被量化的事物永遠(yuǎn)比只能被抽象形容的事物更加容易被人們理解和接受。例如，“今天一場足球友誼賽的比分是巴西4：0德國”就比“今天巴西在決賽上大勝德國隊”更加能引起聽者的共鳴。由此可見，若“信息”這一抽象概念能夠被量化，將十分有助于我們理解它的深刻含義。

1.2 信息熵的提出

依然以上述友誼賽為例，假設(shè)甲乙丙三人都是球迷，當(dāng)天的球賽甲因為有事而沒有看到，此時他向乙、丙二人詢問結(jié)果。乙說：“球賽不是平局”。丙說：“巴西隊贏了”。顯然，乙所提供的信息只能幫助甲排除掉兩隊平局的情況，而丙提供的信息則幫助甲排除了“兩隊踢平”和“德國隊勝”這兩種情況，從而提供了比乙更多的信息。通過這個例子，丙因為幫甲縮小了可能的范圍而提供了更多的信息。在數(shù)學(xué)上，我們把這稱為消除“不確定性”（Uncertainty）。很顯然，信息的量化過程極有可能與不確定性相關(guān)。

1928年，R.V.L.哈特萊首先提出信息定量化的初步設(shè)想，他將消息數(shù)的對數(shù)定義為“信息量”（information content）。若信源有m種消息，且每個消息是以相等可能產(chǎn)生的，則該信源的信息量可表示為I=log m。至于為什么用對數(shù)作為信息量的計算，隨后的香農(nóng)（C.E.Shannon）在他的論文“通信的數(shù)學(xué)理論（A Mathematical Theory of Communication）”中給出了解釋。

事實上，R.V.L.哈特萊對信息量的定義過于理想化，因為在現(xiàn)實中，絕大多數(shù)的信源輸出的消息都是隨機(jī)的，即是說“信源有m種消息，且每個消息是以相等可能產(chǎn)生的”這種情況是極少存在的。直到1948年香農(nóng)（ C. E. Shannon）提出了“信息熵”（entropy of information）的概念，奠定了“信息論”這一新學(xué)科的基礎(chǔ)，才完善了“信息量”的概念。

2、香農(nóng)的信息論理念

2.1 香農(nóng)對信息量化的完善

香農(nóng)（C.E. Shannon）信息論中，信息是用不確定性的量度定義的，這與本文最開始提到的直觀例子相符合：一個消息的可能性愈小，其信息愈多；而消息的可能性愈大，則其信息愈少。事件出現(xiàn)的概率小，不確定性就越多，信息量就大，反之則少。同時香農(nóng)（C.E.Shannon）認(rèn)為：信源輸出的消息是隨機(jī)的。即在未收到消息之前，是不能肯定信源到底發(fā)送什么樣的消息。而通信的目的也就是要使接收者在接收到消息后，盡可能多的解除接收者對信源所存在的疑義（不確定度），因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。香農(nóng)（C.E. Shannon）亦給出了信息量的計算公式：

其中，K是正常數(shù)。

4、經(jīng)典問題

4.1 硬幣驗假問題敘述

介紹過了信息的量化過程以及信息量和信息熵的概念后，我們先來看一例經(jīng)典問題以及信息論的知識在其中的應(yīng)用。

在12枚硬幣中，有一枚假硬幣的重量和其它11枚不同，除此之外12枚硬幣的各項質(zhì)地包括外形、顏色等完全相同。在只有一架天平且沒有砝碼的情況下，問最少幾次可以找出重量不同的硬幣。

4.2 問題分析

首先我們注意到：不知道假硬幣的重量較其它硬幣是輕是重給這一問題增加了難度，此時每枚硬幣都可能是假硬幣而且既可能輕也可能重，故而對于哪一枚硬幣是假硬幣這一事件來說總共有12×1×2=24種可能性；

而在每次稱量硬幣時，由于我們不知道假硬幣是輕是重，所以無法通過天平的傾斜方向來判斷假硬幣的所在，所以會出現(xiàn)三種可能：

x1：假硬幣在天平左邊

x2：假硬幣在天平右邊

由于次數(shù)為一非負(fù)整數(shù)概念，故至少需要三次可以找出假硬幣。

4.3.2 實際操作結(jié)果

首先將12枚硬幣編號1～12，同時每四枚一組命名為第一組、第二組和第三組。第一次稱量第一組和第二組，若：

（1）天平平衡，則：

（2）天平不平衡，不妨設(shè)第一組比第二組重量輕（即是說如果假硬幣在第一組中，則1234中有一枚較標(biāo)準(zhǔn)硬幣會輕；反之就是5678中有一枚較標(biāo)準(zhǔn)硬幣會重）

當(dāng)?shù)诙M比第一組重則情況與②相仿，不予贅述。

結(jié)束語

以上是對信息量以及信息熵的介紹和實際應(yīng)用的一些討論和研究，自信息量概念的提出到信息熵系統(tǒng)的完善，可以說是將信息論這門學(xué)科或者說信息這一概念完整而系統(tǒng)的表示出來了，使人們對“信息”的概念和作用都有了深刻的認(rèn)識，在通信以及工程上都是一個偉大的貢獻(xiàn)。

參考文獻(xiàn)

[1] C.E.Shannon：《A Mathematical Theory of Communication》，1948

[2] 石峰，莫忠息：《信息論基礎(chǔ)》 武漢大學(xué)出版社，2006

[3] 鄧集賢，楊維權(quán)，司徒榮等：《概率論與數(shù)理統(tǒng)計》 高等教育出版社，2009