運(yùn)用信息論的簡單方法求解玻爾茲曼熵

呂樺

摘要：我們運(yùn)用信息論提出了一個(gè)簡單的方法求解了玻爾茲曼熵。首先，我們從定理中得到熵的一般公式：兩個(gè)獨(dú)立的事件所獲得的信息與兩個(gè)事件單獨(dú)獲得的信息是相同的。系統(tǒng)中所有的事件等概率發(fā)生時(shí)熵達(dá)到最大值，然而熵的一般公式就變?yōu)橐粋€(gè)特例，即玻耳茲曼熵。我們用統(tǒng)計(jì)力學(xué)中的信息理論可以獲得玻爾茲曼熵。

關(guān)鍵詞：玻爾茲曼熵；信息理論；統(tǒng)計(jì)力學(xué)

中圖分類號(hào)：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2017）15-0211-02

一、引言

熵的概念最早是由Clausius結(jié)合熱力學(xué)第二定律提出的，且用它描述一個(gè)熱力學(xué)系統(tǒng)的狀態(tài)改變或者狀態(tài)變化過程中的化學(xué)機(jī)制。隨后，玻爾茲曼賦予熵一個(gè)統(tǒng)計(jì)模擬的定義來測量理想氣體的無序和混亂程度[1]，他發(fā)現(xiàn)系統(tǒng)熵的值與它微觀狀態(tài)數(shù)的對數(shù)是成正比的。之后，Shannon把熵的概念應(yīng)用到信息理論中用來衡量在傳送信息過程中的信息量[2-5]。1957年，Jaynes把信息理論和統(tǒng)計(jì)力學(xué)統(tǒng)一了起來[6-9]。他認(rèn)為當(dāng)統(tǒng)計(jì)力學(xué)只是一種統(tǒng)計(jì)推理而不是物理理論的時(shí)候，統(tǒng)計(jì)力學(xué)中的一些基本計(jì)算法可以變?yōu)樽畲箪氐亩ɡ?。在Shannon熵理論中使用拉格朗日乘子法能估算出其最大熵值。當(dāng)溫度、自由能等參量的值被求出后，若不計(jì)玻爾茲曼常量，具有概率分布信息熵的熱力學(xué)熵也可以被確定。特別地，當(dāng)只有統(tǒng)計(jì)系統(tǒng)的平均能信息時(shí)，最大熵概率分布將成為玻爾茲曼分布。在這篇文章中，我們運(yùn)用信息論提出了一個(gè)簡單的方法可以得到玻爾茲曼熵S=kBlnW。我們運(yùn)用簡單的原理得出熵的一般公式，再通過簡單的計(jì)算求出最大熵的一個(gè)分布，最后用概率論和微觀的關(guān)系求出玻爾茲曼熵。這為學(xué)生學(xué)習(xí)熱力學(xué)和統(tǒng)計(jì)力學(xué)課程中的玻爾茲曼熵提供了另一種方法。更近一步的說，我們從信息論中得出的玻爾茲曼熵仍然有助于研究生和本科生去理解熵和信息之間的關(guān)系。

二、信息熵的一般公式

在統(tǒng)計(jì)力學(xué)中，熵描述物理系統(tǒng)的無序或者混亂程度。它可以描述一個(gè)物理系統(tǒng)或一個(gè)事件的不確定性。這里，如果變量X的值是不確定的，我們通過一個(gè)測量得到有關(guān)變量X的信息量I（X）。這些信息將成為概率P的函數(shù)，它標(biāo)示著變量X的概率分布。為了獲得I（X）的形式，我們應(yīng)考慮測量后信息獲得后的特點(diǎn)。這里有一個(gè)簡單的定理：從兩個(gè)獨(dú)立的事件中獲得的總信息等于從兩個(gè)事件單獨(dú)獲得信息的總和，即I（p，p）=I（p）+I（p）。很顯然，對數(shù)函數(shù)滿足這個(gè)公式。因此，可以用公式I（p）=-klogp來表示信息的增加，其中，b為對數(shù)函數(shù)的底數(shù)。我們?nèi)〕Ｓ脤?shù)、二元對數(shù)、自然對數(shù)的底數(shù)分別為10、2和e=2.718。為了方便計(jì)算，我們假設(shè)底數(shù)b?1，k為常數(shù)，p∈[0，1]，這里加負(fù)號(hào)用來確保信息增加量是非負(fù)的。由于事件發(fā)生的不確定性，我們?nèi)⌒畔⒃黾恿康钠骄担胮，p，…，p表示，即（p，p，…，p）=-k∑plogp，接下來，我們定義兩個(gè)具體事件信息增加量的取值范圍，這里取P為0或1，如果事件從不發(fā)生取值為0，相反，如果事件在每次測量時(shí)都發(fā)生，即為全概率確定事件，信息的增加取值仍為0。舉一個(gè)例子，在一個(gè)“是”或“否”的硬幣游戲中，如果一個(gè)硬幣總是正面朝上，人們就不會(huì)從結(jié)果中再獲得任何有用的信息。因此，我們定義當(dāng)P=0或1時(shí)，I（P）取值為I（0）=I（1）=0。平均信息增加量的一般公式可以寫作為I（X）=I（p，p，…，p）= -k∑plogp （1）其中，∑p=1，0log0=0。

三、信息熵中求玻爾茲曼熵

信息具有物理性，信息的輸入、存儲(chǔ)、轉(zhuǎn)換和輸出都必須依賴于物理系統(tǒng)。在一個(gè)完整的測量結(jié)束后，測量者能獲得系統(tǒng)的信息、不確定度以及系統(tǒng)熵的減少量。因此，公式（1）中的I（X）仍然可以被用來測量物理系統(tǒng)的不確定度，即H（X）=H（p）≡H（p，p，…，p）=-k∑plogp∑p，如果這里常量k取值1，熵的一般公式為眾所周知的Shannon熵。下面我們將介紹如何從公式（1）的一般熵求得玻爾茲曼熵。

若給出熱力學(xué)系統(tǒng)的一個(gè)宏觀狀態(tài)粒子，我們是無法獲知它具體存在的位置。假設(shè)系統(tǒng)的一個(gè)宏觀狀態(tài)包含n個(gè)可能的微觀態(tài)，那么系統(tǒng)第i個(gè)微觀態(tài)的概率為p，則系統(tǒng)熵的不確定量為H（p）=-k∑plogp。下面我們確定系統(tǒng)熵的最大值。因?yàn)殪厥窍到y(tǒng)不確定度的量度，所以我們可以直觀的認(rèn)為系統(tǒng)處于完全無序狀態(tài)，即所有微觀態(tài)等概率發(fā)生時(shí)，熵達(dá)到最大值。為了證明這個(gè)觀點(diǎn)，我們測量兩個(gè)概率分布相近的微觀態(tài)，即p和q，這里采用相同的下標(biāo)，i表示系統(tǒng)第i個(gè)微觀態(tài)。這兩個(gè)概率分布熵的距離可以寫為[10]：

在上面的不等式中，我們運(yùn)用了 兩個(gè)公式，不等式當(dāng)且僅當(dāng)x=1時(shí)取等號(hào)。很顯然，它意味著若兩個(gè)事件概率分布不相同時(shí)，那么兩個(gè)概率分布的距離是非零的，這里我們用相同的下標(biāo)i標(biāo)注?，F(xiàn)在我們使用上面的不等式證明當(dāng)處于完全無序狀態(tài)時(shí)系統(tǒng)達(dá)到熵的最大值。令 得到

從上面的不等式可以得出klogn≥H（p）。當(dāng)且僅當(dāng)微觀狀態(tài)等可能發(fā)生時(shí)即p=時(shí)等式成立。很顯然，我們得到具有n個(gè)可能微觀態(tài)系統(tǒng)熵的最大值為 klogn。當(dāng)k取玻爾茲曼常量kB、b取值e（即這里使用自然對數(shù)函數(shù)）時(shí)，系統(tǒng)的最大熵值還原為標(biāo)準(zhǔn)玻爾茲曼熵，S=klnW （2），這里W=n，代表微觀狀態(tài)數(shù)。到此，采用上面的方法我們證明了當(dāng)所有微觀態(tài)等概率發(fā)生時(shí)，物理系統(tǒng)的熵可以達(dá)到最大值，其值為玻爾茲曼熵。

四、討論和結(jié)論

對信息熵和玻爾茲曼熵之間的關(guān)系的討論已經(jīng)有很長時(shí)間了。文中我們提出了一個(gè)更簡單的方法從物理系統(tǒng)的信息熵中獲得玻爾茲曼熵。我們的推導(dǎo)過程基于簡單的基本原理即兩個(gè)獨(dú)立的事件所獲得的信息與兩個(gè)事件單獨(dú)獲得的信息總和是相同的，得出當(dāng)系統(tǒng)處于熱平衡狀態(tài)時(shí)，即系統(tǒng)所包含的微觀態(tài)等可能發(fā)生時(shí)，系統(tǒng)的信息熵達(dá)到最大值，即為玻爾茲曼熵。這里，如果系統(tǒng)的溫度給定，系統(tǒng)玻爾茲曼熵中的玻爾茲曼因子[11]也能被確定。根據(jù)玻爾茲曼因子，系統(tǒng)的某些熱力學(xué)特性也可以被進(jìn)一步的研究。我們求解玻爾茲曼熵的過程暗示著未來統(tǒng)計(jì)力學(xué)很有可能被信息理論所建立。

致謝：感謝國家自然科學(xué)基金會(huì)（NSFC）的全力支持，批號(hào)為（11204072）。

參考文獻(xiàn)：

[1]L. Boltzmann，Lectures on Gas Theory （English Translation），（University of California，Berkeley），1964.

[2]C. E. Shannon，A mathematical theory of communication. Bell System Tech. J.，1948，（27）：379-423，623-656.

[3]Qiao-Yan Wen，F(xiàn)ei Gao，and Fu-Chen Zhu，Quantum secure direct communication with χ-type entangled states，Phys. Rev. A，2008，（78）：064304.

[4]Bassano Vacchini，Klaus Hornberger，Quantum linear Boltzmann equation，Physics Reports，2009，（478）：71-120.

[5]R.A. Brownlee，A.N. Gorban，J. Levesley，Nonequilibrium entropy limiters in lattice Boltzmann methods，Physica A，2008，（ 387）：385–406.

[6]J?rg Reichardt and Stefan Bornholdt，Statistical mechanics of community detection，Phys. Rev. E，2006，（74）：016110.

[7]Alessandro Campaa，Thierry Dauxois，Stefano Ruffo，Statistical mechanics and dynamics of solvable models with long-range interactions，Physics Reports，2009，（480）：57-159.

[8]Hugo Touchette，The large deviation approach to statistical mechanics，Physics Reports，2009，（480）：1-69.

[9]E. T. Jaynes，Information Theory and Statistical Mechanics，Phys. Rev.，1957，（480）：620-630.

[10]S. Kullback，R. A. Leibler，On information and sufficiency，Annals of Mathematical Statistics，1951，（22）：79-86.

[11]H. B. Callen，Thermodynamics and an Introduction to Thermostatistics 2nd edn New York：Wiley and Sons，1985 chapter 15.