最大熵原理在概率分布預(yù)測(cè)中的應(yīng)用

方愛平 田蓬勃 賈 怡 喻有理 李宏榮 王小力

(西安交通大學(xué)理學(xué)院，陜西 西安 710049)

最大熵原理在概率分布預(yù)測(cè)中的應(yīng)用

方愛平 田蓬勃 賈 怡 喻有理 李宏榮 王小力

(西安交通大學(xué)理學(xué)院，陜西 西安 710049)

文章在信息熵的理論基礎(chǔ)上，給出了求解最大熵問(wèn)題的一般表述。應(yīng)用最大熵原理，在信息缺失的條件下可以最大效率地實(shí)現(xiàn)對(duì)全局進(jìn)行判斷和決策。以打靶運(yùn)動(dòng)中運(yùn)動(dòng)員不同環(huán)數(shù)的分布概率為例，將最大熵問(wèn)題歸結(jié)為數(shù)學(xué)模型中常見的優(yōu)化類線性規(guī)劃問(wèn)題，利用Lingo軟件求解。首先分析了高分環(huán)數(shù)對(duì)運(yùn)動(dòng)員提高成績(jī)的限制。然后給出了不同平均環(huán)數(shù)下最大熵值的變化，探究了不同最大熵值下概率的均勻性與對(duì)稱性規(guī)律。從簡(jiǎn)單的模型出發(fā)得出最大熵值越大表明概率分布越均勻，以及熵值可以體現(xiàn)系統(tǒng)概率分布上的一致性的結(jié)論。

信息熵；最大熵原理；打靶；概率分布

1 概率分布預(yù)測(cè)問(wèn)題的提出

在物理學(xué)特別是統(tǒng)計(jì)熱力學(xué)的研究領(lǐng)域，“熵”是一個(gè)占有特殊地位的概念，它一方面是宏觀熱力學(xué)第二定律的引申，另一方面又是系統(tǒng)微觀粒子無(wú)序程度的度量。相比于其他物理概念，熵的獨(dú)特之處在于它與人們的現(xiàn)實(shí)生活密切相關(guān)，特別是在C. E. Shannon提出了“信息熵”的概念后，有關(guān)熵的理論被大量運(yùn)用到生產(chǎn)和生活實(shí)踐中。

“最大熵原理”的應(yīng)用研究成果深入到許多不同的領(lǐng)域：將公共交通的分布方式與系統(tǒng)的微觀狀態(tài)結(jié)合起來(lái)可利用最大熵原理進(jìn)行公共交通需求預(yù)測(cè)[1]；以熵值最大作為優(yōu)化目標(biāo)，可建立城市防洪標(biāo)準(zhǔn)方案優(yōu)選智能評(píng)價(jià)模型[2]；在決策分析工程中，最大熵分布作為不完全信息下的未知的其他參與人的概率分布，可以在不完全信息博弈中得到應(yīng)用[3]。在這些文獻(xiàn)中廣泛運(yùn)用了一般的優(yōu)化模型數(shù)學(xué)求解方法，如拉格朗日乘子法來(lái)進(jìn)行運(yùn)算，得到滿足約束條件的最優(yōu)解，然而這種解析求解方法具有一定的局限性。Lingo軟件在求解線性規(guī)劃問(wèn)題中展現(xiàn)出強(qiáng)大的運(yùn)算功能，從而在運(yùn)籌學(xué)[4]領(lǐng)域得到廣泛運(yùn)用，可用于嘗試解最大熵問(wèn)題。本文旨在探索Lingo軟件環(huán)境下，如何利用最大熵原理進(jìn)行概率分布預(yù)測(cè)的求解，并探究這種最優(yōu)預(yù)測(cè)結(jié)果下的概率分布規(guī)律，從而在實(shí)際問(wèn)題中得到有助于決策分析的結(jié)論。

2 最大熵原理

1948年，C.E.Shannon提出了“信息熵”的概念，將事件的不確定度進(jìn)行了理論上的量化處理[5]，信息論中對(duì)信息熵的定義為

(1)

其中，K=1.443；Pi代表第i件事件發(fā)生的概率，當(dāng)Pi=1時(shí)，事件100%發(fā)生，此時(shí)有S=0，即不確定度為零；當(dāng)Pi=0時(shí)，事件不可能發(fā)生，則S→∞，表示不確定性為無(wú)窮大。一個(gè)系統(tǒng)越混亂，信息熵的值越大，于是借助信息熵的概念可以來(lái)研究事件在不同概率分布下的混亂程度。

E.T.Jaynes[6]在1957 年提出“最大熵原理”的概念：“當(dāng)我們根據(jù)部分信息推斷概率分布時(shí)，應(yīng)該選擇符合已測(cè)數(shù)據(jù)并且熵最大的那個(gè)概率分布，這是唯一的客觀的無(wú)偏分布，選擇任何其他分布都意味著我們對(duì)未知信息添加了任意性的假設(shè)?！庇纱丝梢?，在信息不完整的情況下，要確定一個(gè)復(fù)雜系統(tǒng)的概率分布情況有無(wú)限種可能方案，取最大熵分布能最大限度地排除主觀因素的干擾，得到最公正的預(yù)測(cè)結(jié)果。故C.E.Shannon所定義的信息熵式(1)可以作為線性規(guī)劃問(wèn)題中的目標(biāo)函數(shù)。

以概率分布為離散型隨機(jī)變量為例，當(dāng)給定約束后，還要滿足概率的歸一化條件，需要進(jìn)行求解的最大熵問(wèn)題的一般表述為

這是考慮具有n個(gè)可能結(jié)果的概率系統(tǒng)，Pi為這些結(jié)果發(fā)生的概率，目的是選擇Pi使得系統(tǒng)的熵值最大。在一般的實(shí)際問(wèn)題中，對(duì)概率的約束往往是線性的，這里用權(quán)重gij來(lái)衡量不同條件下的約束情況，Ej則一般為期望值。

3 打靶實(shí)例分析

3.1 情景引出

射擊比賽中，運(yùn)動(dòng)員打靶的環(huán)數(shù)可以取零到10之間離散的整數(shù)值，假設(shè)一名運(yùn)動(dòng)員在進(jìn)行若干次打靶后得到的平均環(huán)數(shù)是8環(huán)，怎么樣估計(jì)他擊中某一環(huán)數(shù)的概率呢？

在這個(gè)問(wèn)題中，若打靶的次數(shù)足夠多，那么每種環(huán)數(shù)打中的次數(shù)占總次數(shù)的比即可用來(lái)近似替代擊中該環(huán)數(shù)的概率，在前面最大熵問(wèn)題的一般形式中代入具體問(wèn)題參數(shù)后要求解的問(wèn)題即為

問(wèn)題情景中最重要的約束參數(shù)是平均環(huán)數(shù)8環(huán)，我們可以預(yù)見該運(yùn)動(dòng)員打8環(huán)的概率應(yīng)該比較高。利用Lingo進(jìn)行編程計(jì)算，求解這一線性規(guī)劃問(wèn)題，其算法本質(zhì)是優(yōu)化的單純形法，可以避開解析計(jì)算的繁瑣，表1給出了該條件下的概率分布數(shù)據(jù)。

表1 平均環(huán)數(shù)為8環(huán)時(shí)的概率分布數(shù)據(jù)

由此可得到所要求解問(wèn)題的結(jié)果，該運(yùn)動(dòng)員擊中每一環(huán)數(shù)的概率都有了確定的值。當(dāng)然這是在熵值最大的條件下，即這種概率分布是最有可能發(fā)生的，但不一定與真實(shí)的情況一致，因?yàn)閷?shí)際中可能受到很多因素的干擾，如運(yùn)動(dòng)員的心態(tài)，靶盤設(shè)計(jì)的不同等等。從這組數(shù)據(jù)可以看出，平均成績(jī)?yōu)?環(huán)時(shí)，運(yùn)動(dòng)員打中某環(huán)數(shù)的概率隨環(huán)數(shù)的遞增而遞增，打中9環(huán)和10環(huán)的概率甚至超過(guò)8環(huán)。

既然每一個(gè)平均環(huán)數(shù)都可對(duì)應(yīng)計(jì)算出打每一種環(huán)數(shù)的概率，考慮在實(shí)際情況下，平均環(huán)數(shù)可以取零至10間連續(xù)的數(shù)值，而作為一名水平正常的運(yùn)動(dòng)員，最關(guān)心的環(huán)數(shù)概率應(yīng)該是高分段環(huán)數(shù)(8環(huán)，9環(huán)，10環(huán))，討論不同平均環(huán)數(shù)下高分環(huán)數(shù)的概率取值，得到如圖1所示的曲線。從圖1中可以得到，當(dāng)一名運(yùn)動(dòng)員的平均環(huán)數(shù)很低時(shí)，打高分環(huán)數(shù)的概率相差不大，但超過(guò)6環(huán)時(shí)，3條曲線開始出現(xiàn)分離，說(shuō)明此時(shí)打中高分環(huán)數(shù)的概率對(duì)運(yùn)動(dòng)員的平均水平產(chǎn)生越來(lái)越大的影響，想要使自己的平均環(huán)數(shù)得到10環(huán)水平的難度呈指數(shù)遞增，從中可以體會(huì)到為什么運(yùn)動(dòng)員水平越高，想要提高成績(jī)就越難。

圖1 平均環(huán)數(shù)對(duì)高分環(huán)數(shù)概率的影響

這一簡(jiǎn)單實(shí)例說(shuō)明了利用最大熵原理可以進(jìn)行概率預(yù)測(cè)，尤其是在所掌握數(shù)據(jù)較少的時(shí)候，最大熵原理可以作為一種有效的挑選標(biāo)準(zhǔn)，從很多種可能的幾率分布中挑選出“最佳的”“最合理的”分布作為實(shí)際的常見分布[7]。只要滿足系統(tǒng)熵值最大，便可對(duì)系統(tǒng)所處的總體情況進(jìn)行概率最大的預(yù)測(cè)，這種預(yù)測(cè)往往可以用于分析事件的普遍規(guī)律，若推廣到更大的混亂系統(tǒng)，如市場(chǎng)運(yùn)作，將有助于人們進(jìn)行決策判斷。

3.2 不同平均環(huán)數(shù)下最大熵值的變化

以上給出了應(yīng)用最大熵原理進(jìn)行概率分布預(yù)測(cè)的一般步驟和從中能分析出的部分有用結(jié)論，下面討論最大熵值與概率分布之間存在的關(guān)系。作為線性規(guī)劃的目標(biāo)函數(shù)，最大熵必然反映了整個(gè)系統(tǒng)的狀態(tài)信息，每一種最優(yōu)情況下的概率分布都對(duì)應(yīng)著不同的最大熵值，衡量了系統(tǒng)的混亂程度，表2給出了不同平均環(huán)數(shù)所對(duì)應(yīng)的最大熵值。顯然最大熵值呈現(xiàn)先增后減的趨勢(shì)，當(dāng)平均環(huán)數(shù)為零或者10時(shí)，該事件完全確定，故最大熵為零，越靠近中間值，最大熵越大。圖2給出了不同平均環(huán)數(shù)的最大熵值。最大熵分布呈現(xiàn)完全對(duì)稱的拋物線型，在平均環(huán)數(shù)很小(很大)的極端情況下，最大熵的遞增(遞減)變化趨勢(shì)非常明顯，而當(dāng)平均環(huán)數(shù)靠近環(huán)數(shù)的中間值(5環(huán))時(shí)曲線漸漸平穩(wěn)，且最終在平均環(huán)數(shù)為5環(huán)處取得極大值。由此可以得到：當(dāng)平均環(huán)數(shù)為5環(huán)時(shí)，環(huán)數(shù)分布最混亂。

圖2 不同平均環(huán)數(shù)對(duì)應(yīng)的最大熵值S

3.3 不同最大熵值下的概率分布規(guī)律

當(dāng)運(yùn)動(dòng)員若干次打靶后的平均環(huán)數(shù)不同時(shí)，他打每種環(huán)數(shù)所對(duì)應(yīng)的概率都會(huì)有所變化，又已知平均環(huán)數(shù)與最大熵值有二次對(duì)應(yīng)關(guān)系，說(shuō)明不同的最大熵值下有不同的概率分布。圖3給出了不同平均環(huán)數(shù)(即不同最大熵值)下的環(huán)數(shù)分布概率。

表2 不同環(huán)數(shù)對(duì)應(yīng)的最大熵值S

圖3 不同最大熵值下的環(huán)數(shù)分布概率

從圖3中可以得到不同最大熵值下的環(huán)數(shù)分布概率有如下規(guī)律：

1) 概率均勻度

最大熵值越小(如圖3中深灰實(shí)線和深灰虛線)，概率分布曲線越陡峭，當(dāng)最大熵值取較大值時(shí)，即平均環(huán)數(shù)為4環(huán)或6環(huán)的情況下(如圖3中黑實(shí)線和黑虛線)，概率分布曲線平和，每種環(huán)數(shù)打中的概率相差不大。極端情況是最大熵值取最大值時(shí)(如圖3中點(diǎn)線)，每種環(huán)數(shù)打中的概率相同。為了對(duì)該結(jié)論進(jìn)行定量分析，可以用各離散概率點(diǎn)的標(biāo)準(zhǔn)差來(lái)衡量特定最大熵下的概率均勻度，計(jì)算公式如下：

(8)

將式(6)中的8環(huán)改為不同的平均環(huán)數(shù)進(jìn)行計(jì)算，得到不同最大熵值的概率均勻度σ，具體計(jì)算數(shù)據(jù)如表3所示，采用最小二乘法對(duì)從0環(huán)到5環(huán)的最大熵(見圖3)和概率均勻度進(jìn)行一次線性擬合(Matlab中的命令為polyfit)，得到回歸直線為

S=-12.5498σ+3.7572

(9)

經(jīng)計(jì)算，由該公式給出的預(yù)測(cè)值與原始值的相關(guān)系數(shù)為0.9895，很近于1，擬合的殘差已經(jīng)相當(dāng)小，說(shuō)明一定范圍內(nèi)直線擬合效果足夠好。

由此可以推測(cè)出最大熵值與概率的均勻度呈近似線性負(fù)相關(guān)，最大熵值越大表明概率分布越均勻，每個(gè)事件發(fā)生的概率相差不大，而最大熵值較小時(shí)，某些事件發(fā)生的概率遠(yuǎn)遠(yuǎn)超過(guò)了其他事件，概率分布不再均勻。極端情況下最大熵值取最大代表每個(gè)事件發(fā)生的概率相等，最大熵值為零表明只有一個(gè)事件可能發(fā)生，其他事件發(fā)生的概率都為零(見表3)。

表3 不同平均環(huán)數(shù)下的最大熵值和概率標(biāo)準(zhǔn)差

2) 概率對(duì)稱性

概率分布呈現(xiàn)良好的對(duì)稱性，例如平均環(huán)數(shù)9環(huán)和1環(huán)的曲線呈軸對(duì)稱，即對(duì)于約束條件：

Ej代表不同平均環(huán)數(shù)的取值，滿足如下的規(guī)律：

當(dāng)Ej+Ek=10時(shí)，有

Pij=P(10-i)k

如果忽略對(duì)稱性的差別，只考慮概率分布曲線的形狀，這種規(guī)律也可以描述為：相同最大熵值所對(duì)應(yīng)的概率分布狀況完全相同，這正體現(xiàn)了熵是系統(tǒng)混亂程度的度量，相同的熵值可以體現(xiàn)系統(tǒng)概率分布上的一致性。

4 結(jié)語(yǔ)

本文避開了拉格朗日乘子的常規(guī)算法，使用Lingo對(duì)最大熵問(wèn)題的一般形式進(jìn)行了求解，雖然給出的算例其背景很簡(jiǎn)單，但充分體現(xiàn)了最大熵原理在解決這類信息缺失下決策問(wèn)題的普適性，它完全可以用來(lái)解決規(guī)模更大的混亂系統(tǒng)的分析。

另外，我們通過(guò)最大熵模型數(shù)值計(jì)算得出的部分結(jié)論，未給出嚴(yán)格的數(shù)學(xué)論證。這些結(jié)論對(duì)揭示最大熵的本質(zhì)有重要的意義，在平均值約束下，不同最大熵值下的概率分布體現(xiàn)出來(lái)的均勻性和對(duì)稱性規(guī)律仍然值得進(jìn)一步思考和探索。

[1] 邵昀泓，趙陽(yáng). 基于最大熵原理的公共交通需求預(yù)測(cè)[J].中南公路工程，2006(02)：167-170.

Shao Yunhong, Zhao Yang. The Forecast for Public Transport Demand Based on the Maximum Entropy Principle[J]. Central South Highway Engineering, 2006(02): 167-170. (in Chinese)

[2] 范秋映，金菊良，周玉良，等.基于最大熵原理的城市防洪標(biāo)準(zhǔn)方案優(yōu)選智能評(píng)價(jià)模型[J].安全與環(huán)境學(xué)報(bào)，2009(02)：154-157.

Fan Qiuying, Jin Juliang, Zhou Yuliang, et al. Intelligent evaluation method for optimal selection of urban flood control standard schemes based on the principle of maximum entropy[J]. Journal of Safety and Environment, 2009(02): 154-157. (in Chinese)

[3] 陶桂平，韓立巖.最大熵原理在不完全信息博弈中的應(yīng)用[J].首都經(jīng)濟(jì)貿(mào)易大學(xué)學(xué)報(bào)，2011(03)：67-71.

Tao Guiping, Han Liyan. The Application of the Maximum Entropy Principle in the Incomplete Information Game[J]. Journal of Capital University of Economics and Business, 2011(03): 67-71. (in Chinese)

[4] 韓中庚. 實(shí)用運(yùn)籌學(xué)模型、方法與計(jì)算[M].北京：清華大學(xué)出版社，2007.

[5] Shannon C E. A Mathematical Theory of Communication[J]. The Bell System Technical Journal. 1948, 27: 379-423.

[6] Jaynes E T. Information Theory and Statistical Mechanics[J]. Physical Review. 1957, 106 (04): 620-630.

[7] 胡琛，王彬. 基于最大熵原理的分布模型[J]. 山東理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2007(06)：88-90.

Hu Chen, Wang Bin. Distribution model based on maximum entropy principle[J]. Journal of Shandong University of Technology: Natural Science Edition, 2007(06): 88-90. (in Chinese)

THEAPPLICATIONOFTHEMAXIMUMENTROPYPRINCIPLEINTHEFORECASTFORPROBABILITYDISTRIBUTION

FANGAipingTIANPengboJIAYiYUYouliLIHongrongWANGXiaoli

(School of Science, Xi’an Jiaotong University, Xi’an Shaanxi 710049)

By the theory of information entropy, this paper gives general statements of maximum entropy problem. With maximum entropy principle, it is possible to make global judgments and decisions in the absence of major information. Taken the example of probability distribution of divergent rings in shooting sports, the linear programming (LP) is solved based on Lingo, and the limitation of the high-score rings in this sport has been discussed. After showing the variety of maximum entropy in divergent mean value of rings, the data reveal the uniformity and symmetry of probability under different maximum entropy. From this simple model, we can conclude that entropy can demonstrate the consistency of probability distributions, and large entropy generally corresponds to high uniformity in probability.

information entropy; maximum entropy principle; shooting sports; probability distribution

2015-11-15；

2016-03-12

方愛平，女，講師，主要從事大學(xué)物理和熱學(xué)的教學(xué)工作，研究方向?yàn)榱孔庸鈱W(xué)，apfang@mail.xjtu.edu.cn。

田蓬勃，pbtian@163.com。

方愛平，田蓬勃，賈怡，等. 最大熵原理在概率分布預(yù)測(cè)中的應(yīng)用[J]. 物理與工程，2017，27(6)：86-89,94.

■