熱力學熵和信息熵比較探究

左晗琦

摘 要：熱力學熵是對一個包含大量微觀粒子的宏觀熱力學系統(tǒng)混亂程度的量化。信息熵是對事件不確定程度的量化。本文通過研究熱力學熵和信息熵的物理本質(zhì)，并對其進行比較探究，闡明了信息是一種負熵的本質(zhì)原因。

關鍵詞：熱力學熵；信息熵；負熵

中圖分類號：O414.11 文獻標識碼：A 文章編號：1671-2064（2018）20-0222-02

宏觀系統(tǒng)往往包含大量的微觀粒子，這些微觀粒子不停的運動和碰撞形成各種各樣的微觀狀態(tài)，對這些微觀狀態(tài)的量化即是熱力學熵。在網(wǎng)絡發(fā)達的今天，信息是現(xiàn)代社會的基石，掌握信息的多寡成為一個國家國力的衡量標準之一，信息熵即是對信息量多寡的量化方式。熱力學熵是對一個包含大量微觀粒子的宏觀熱力學系統(tǒng)混亂程度的量化，信息熵是對事件不確定程度的量化。它們之間既有聯(lián)系又有很多的區(qū)別，本文主要研究熱力學熵和信息熵以及他們之間的共同和差異之處。

1 熱力學熵

克勞修斯在1867年將熱力學第二定律的“孤立系統(tǒng)的熵永不減少”這一描述推廣到全宇宙，把整個宇宙視為一個孤立的熱力學系統(tǒng)，那么整個宇宙將會朝著熱力學平衡態(tài)演化，最終宇宙的熵將會達到極大，整個宇宙的粒子密度處處均勻并且溫度處處相等。這就是所謂的“熱寂”。熱寂說的正確性自提出以來一直備受質(zhì)疑，比如最近的天文學觀測數(shù)據(jù)表明宇宙正在加速膨脹，這就意味著經(jīng)典熱力學系統(tǒng)的能量守恒定律可能不適用于宇宙這個大系統(tǒng)；另外也有學者提出從有限大小的系統(tǒng)總結(jié)出的熱力學規(guī)律能否用于描述無限大的系統(tǒng)的質(zhì)疑，這些都表明熱寂說可能是錯誤的，宇宙演化的終點可能并不是冷冰冰的。盡管如此，克勞修斯提出的熵的概念以及熱力學第二定律的熵增描述都是有其積極意義的，他使我們從新的角度了解了熱力學系統(tǒng)，并引入了量化混亂程度的方式，這為之后其他領域如信息領域的熵的量化奠定了基礎?？藙谛匏固岢龅撵豐的定義為一個熱力學系統(tǒng)在可逆過程中吸收的熱量dQ相對于系統(tǒng)溫度T的變化率，也就是

（1）

克勞修斯雖然提出了熵的概念并給出了熵的微分表達式，但并沒有賦予熵明確的物理含義。

一個典型的熱力學系統(tǒng)往往包含大量的微觀粒子，這些微觀粒子以不同的速度在系統(tǒng)的不同的空間位置做永恒的熱運動。某一個微觀粒子的狀態(tài)由三個空間坐標和三個速度坐標表示為（x，y，z，vx，vy，vz），這六個坐標可以確定微觀粒子在六維相空間中的位置。如果能獲知某一時刻系統(tǒng)中所有粒子在六維相空間中的位置，我們就唯一確定了系統(tǒng)的某一微觀狀態(tài)。由于粒子在不斷的運動并可能發(fā)生碰撞，運動意味著粒子的位置在不斷的改變，而碰撞則會導致不同粒子的速度發(fā)生交換或改變，而粒子速度或位置的改變將會導致新的微觀狀態(tài)出現(xiàn)。系統(tǒng)的微觀狀態(tài)總數(shù)Ω可視為系統(tǒng)的不確定程度或者混亂程度。玻爾茲曼發(fā)現(xiàn)熱力學熵S和系統(tǒng)的微觀狀態(tài)總數(shù)Ω間有如下關系[1]：

S=klnΩ. （2）

其中k為玻爾茲曼常數(shù)。式（2）表明系統(tǒng)的熵正比于系統(tǒng)的微觀狀態(tài)總數(shù)，因此熱力學熵的物理意義是對一個包含大量微觀粒子的宏觀熱力學系統(tǒng)混亂程度的量化。

若不對孤立熱力學系統(tǒng)加以任何限制，粒子可以等概率的處以任意一個單粒子能級的任意一個簡并態(tài)上，這將會導致系統(tǒng)的平均能量為無窮大。但如果對系統(tǒng)的總能量加以限制，粒子處于不同能級的某個簡并態(tài)的概率將會不同，我們把粒子依照能級的分布概率稱之為粒子的能級分布律，具有相同平均能量的分布律有很多種。最概然統(tǒng)計法指出系統(tǒng)的平衡態(tài)應當是所有可能的能級分布中熱力學熵最大的分布，這就把熱力學熵和系統(tǒng)的能級分布聯(lián)系了起來。通過求熵極大的狀態(tài)，就可以得到系統(tǒng)粒子按照能級的分布規(guī)律，進而得到其他宏觀物理量和微觀量之間的關系。

2 信息熵

從生活的角度而言，信息指的是傳播在人類社會的所有內(nèi)容，包括從古至今傳承的記錄于紙面的知識、口耳相傳的音訊、現(xiàn)代通訊系統(tǒng)中處理和傳輸?shù)膶ο蟮?。香農(nóng)認為信息是用來消除事件的不確定性的東西，這一定義被廣泛認可并傳播使用。但同樣的內(nèi)容在不同人的眼里傳遞信息的多寡卻不相同。比如‘北京這兩個字，若討論范圍被限定在新中國的首都，那由于新中國的首都是唯一確定的，因此這兩個字沒有傳遞任何信息，新中國的首都和北京是等價的，任何人不通過信息傳遞都可獲知北京這一信息；但若討論范圍被限定在新中國的直轄市，如果沒有信息傳遞，則問題的答案可能是北京、上海、天津和重慶中的任一個，如果傳遞了‘北京這個信息，則‘北京從四個可能的直轄市中確定了其中一個直轄市，也就是為了消除最終答案的不確定性，必須傳遞‘北京這個信息。為了給信息量的多寡提供一種量化手段，香農(nóng)受熱力學熵的啟發(fā)在1948年提出了信息熵的概念。若對于一個事件集合{Xi}，i=1，2，3，…，n，隨機事件Xi發(fā)生的概率為為pi，其中pi滿足=1。則這個事件集合的信息熵被定義為：

. （3）

其中c為常數(shù)，log可為以任意數(shù)為底的對數(shù)[1]。在二進制通道中，常數(shù)c被取為1，對數(shù)log的底被取為2。在這種情況下得到的信息熵的單位為bit。

從信息熵的定義可以看出，某個信息傳遞的信息量的多寡的衡量必須在某個確定的事件集合下討論。若事件集合中所有事件都是等可能的，那么集合包含的事件越多，則對應的信息熵就越大，這就回答了我們之前討論的‘北京這兩個字代表的信息量的問題。同樣的信息集合，其概率分布pi越平均，則其信息熵越大，最大值在pi=1/n處取到，這一點可以從概率分布越平均則隨機猜測時能猜到正確答案的概率越小這一角度理解。一個事件集合中所有可能的事件在二進制通道中通過字母表和二進制編碼一一對應，但不同的編碼方式對應不同的平均編碼長度，二進制通道下的香農(nóng)熵還代表了所有可能的編碼方式的最短的平均編碼長度。

3 熱力學熵和信息熵的關系

熱力學第二定律和克勞修斯的熱寂學說提出后，麥克斯韋為反駁熵增定律提出了被稱為‘麥克斯韋妖的思想實驗。麥克斯韋妖是一個可以探知粒子運動速度的小妖，它守在一個通過小孔連接的兩個處于熱平衡態(tài)系統(tǒng)A和B的小孔處。若系統(tǒng)A中的一個朝著小孔飛來的粒子速率大于某個速率值v，或者系統(tǒng)B中一個朝著小孔飛來的粒子速率小于速率值v，麥克斯韋妖打開小孔。經(jīng)過一段很長的時間后，系統(tǒng)A中將只剩下速率小于v的粒子，系統(tǒng)B中都是速率大于v的粒子。系統(tǒng)的溫度是系統(tǒng)粒子微觀運動劇烈程度的量化，微觀運動的劇烈程度就是粒子的運動速率，這就意味著最終系統(tǒng)B的溫度將明顯高于系統(tǒng)A，整個孤立系統(tǒng)的熵減小，而這違反了熱力學第二定律，因此這個思想實驗被稱為麥克斯韋妖悖論。這個悖論的解決方式是不可能毫無代價的獲知粒子的速率信息，獲取粒子的速率信息需要向系統(tǒng)輸入能量，而根據(jù)熱力學第二定律，通過向系統(tǒng)輸入能量可減少系統(tǒng)的熵，這樣麥克斯韋妖悖論和熱力學第二定律的矛盾就消失了。從獲取信息需要輸入能量這一角度而言，信息熵是一種負熵。

香農(nóng)提出的信息熵是受熱力學熵啟發(fā)的，因此信息熵和熱力學熵有許多相似之處。若將宏觀系統(tǒng)的每一個微觀狀態(tài)都視為一個可能的事件，根據(jù)等概率原理，每個微觀狀態(tài)出現(xiàn)的概率均為，因此該事件集合對應的信息熵為：

. （4）

通過（4）式和（2）式的比較可以看出，通過這種方式定義的信息熵和熱力學熵僅僅相差一個常數(shù)，因此信息熵和熱力學熵具有相同的物理本質(zhì)。信息熵衡量的是某個事件集合對應的事件的不確定性，信息是消除這種不確定性的東西，因此信息是負的信息熵，或者說信息熵是一種負熵[2]。

從生活角度而言，熱力學熵和信息熵的差別似乎頗大。熱力學熵多用于研究熱力學系統(tǒng)方面，而信息熵多用于衡量信息的傳遞和信息的獲取等方面。但根據(jù)上文中我們對這兩種熵之間的比較，它們有很多類似的地方。

4 總結(jié)與展望

熱力學熵是對一個包含大量微觀粒子的宏觀熱力學系統(tǒng)混亂程度的量化，從等概率原理和熵極大出發(fā)可推導出系統(tǒng)按能級的分布規(guī)律。信息熵是對事件不確定程度的量化，信息消除了事件的不確定性，因此信息熵是一種負熵。熵也可以用來一定程度上解釋生活現(xiàn)象。比如，房間不可能自動變得更整潔（有序），而只會隨著人的隨意活動而更臟亂（無序），人必須付出一定的勞動才能使其變得整潔（外部能量輸入使熵降低）。熵的思想還可以拓展到到許多其他范疇，如經(jīng)濟學和社會學等。信息熵只是由熱力學熵引申出的熵中的一個分支，熵的概念可進一步推廣到更為廣泛的范圍，這值得我們進一步的研究。

參考文獻

[1]魏環(huán).簡論熱力學熵、信息熵及熵的泛化[J].現(xiàn)代物理知識，1999，（6）：6-7.

[2]李寶立.淺談熵定律對信息的另一認識[J].科學中國人，2014，（6）：75-75.