產生冪律等分布的一種機制

李鶴齡,王娟娟,楊 斌，2,沈宏君，2(.寧夏大學物理電氣信息學院，銀川 75002；2.寧夏沙漠信息智能感知重點實驗室, 銀川 75002)

產生冪律等分布的一種機制

李鶴齡1，2,王娟娟1,楊 斌1，2,沈宏君1，2
(1.寧夏大學物理電氣信息學院，銀川 750021；2.寧夏沙漠信息智能感知重點實驗室, 銀川 750021)

針對在復雜性系統(tǒng)研究中冪律分布扮演著越來越重要的角色而又不存在公認的合理導出的矛盾，基于復雜性系統(tǒng)的不可解性，在非完整統(tǒng)計的思想基礎上，分別在歸一化條件、統(tǒng)計平均和Shannon熵的方程中引入不同的指數因子，由最大熵原理推導出了指數函數、冪函數和冪函數與指數函數乘積形式的概率分布函數；展現了由Shannon熵和最大熵原理推導等概率假設的過程；同時也展現了可導出指數分布、冪律分布和冪函數與指數函數乘積形式分布的一種新機制，即最大熵原理。

復雜系統(tǒng)；非完整統(tǒng)計；Shannon熵；冪律分布

0 引言

由統(tǒng)計物理研究事物的性質與運動規(guī)律時，要確定所研究系統(tǒng)的概率分布函數，即統(tǒng)計分布函數?；诘雀怕试?常稱等概率假設)由統(tǒng)計物理的系綜方法可導出統(tǒng)計分布的指數函數形式[1],如：正則分布、巨正則分布等；基于Shannon熵由最大熵原理不僅能導出概率分布的指數函數形式[2]，而且可導出等概率假設，因而最大熵原理可看成是基于指數分布的統(tǒng)計物理的基本出發(fā)點或基本假設。指數分布使得統(tǒng)計物理獲得極大的成功已成為不爭的事實，但近些年來，不僅物理學領域幾乎每一種科研領域都遇到了冪律分布[3]，且以井噴之勢發(fā)展。有關冪律分布的形成機制存在多種不同觀點：增長與優(yōu)先連接[4-5]、自組織臨界[6-7]、HOT理論[8-9]、滲流模型[10-13]、隨機過程[10,14-15]、指數組合[10,14,16]等。遵循冪函數與指數函數乘積形式的概率分布也很常見[17-18]，但遺憾的是直至目前仍然沒有由Shannon熵導出冪律等分布的合理邏輯推導，而且指數、冪律等其它多種不同分布之間是否有聯(lián)系等等疑問也尚無確定結論。本文嘗試由Shannon熵及最大熵原理推導出指數和冪律等不同分布，以圖揭示不同事物間的內在聯(lián)系及形成指數、冪律和冪和指數函數乘積等不同形式分布的一種原因。

巴西物理學家Tsallis于1988年給出了非廣延的Tsallis熵[19]；并基于Tsallis熵和最大熵原理，推導出了Tsallis形式的冪律分布[19-20]。Tsallis理論的閃光點在于將指數分布的統(tǒng)計物理帶到了冪律分布，但該理論目前并未被科學界普遍接受。對Tsallis熵、Tsallis統(tǒng)計，從其提出開始，就一直存在激烈的爭論。因而由普遍認可的Shannon熵推導出冪律分布就顯得迫切和意義重大。

注意到Tsallis熵包含Shannon熵，即當Tsallis熵中的非廣延參數趨于1時，Tsallis熵趨于Shannon熵。雖然由Tsallis熵能夠推導出Tsallis形式的冪律分布，但按此邏輯關系，并不意味著由Shannon熵也能推導出冪律分布！因為Tsallis熵中的非廣延參數趨于1的同時，Tsallis形式的冪律分布也趨于指數分布。因此必須設法由Shannon熵直接推導冪律等分布。

1 由Tsallis熵推出Tsallis型的冪律分布及Tsallis統(tǒng)計質疑的簡單回顧

Tsallis熵為：

(1)

(2)

(3)

(4)

在q→1時，Tsallis熵趨于Shannon熵,Tsallis型的冪律分布趨于指數分布。

Sq(A∪B)=Sq(A)+Sq(B)+(1-q)Sq(A)Sq(B)/k

(5)

Tsallis統(tǒng)計在第1種約束下會出現不穩(wěn)定、發(fā)散和不相容問題[20]；在第2種約束下會出現能量不守恒問題，如無相互作用子系統(tǒng)A與B 的“并系統(tǒng)”內能不等于它們的和[21-22]：

(6)

這樣，雖然由 Tsallis熵可推導出冪律分布，但因Tsallis熵自身存在的以及其能導致能量不守恒等問題，使人們對Tsallis統(tǒng)計存有質疑。到目前為止，Tsallis理論并未被科學界所普遍接受。

2 “非完整”統(tǒng)計簡述

(7)

這樣，變量O的統(tǒng)計平均值可設為

(8)

以式(8)為基礎的統(tǒng)計物理稱為非完整統(tǒng)計。

Shannon熵為

(9)

式中的k為玻爾茲曼常數，式(9)也可寫成

因此在非完整統(tǒng)計下的Shannon熵為[23-24]：

(10)

顯然，當q=1時，式(10)過渡為通常的Shannon熵。

3 基于Shannon熵和最大熵原理的指數分布和等概率假設的推導

3.1 基于 Shannon熵和最大熵原理的指數分布

最大熵原理是Jaynes E.T.在1957年首先提出的[2]，可簡述為：系統(tǒng)在一定外界環(huán)境或約束下所處的狀態(tài)(或概率分布)，是系統(tǒng)處于該環(huán)境或約束條件下熵取最大值的狀態(tài)(或概率分布)。

(11)

式(11)中的β和γ為Lagrangian乘子。根據最大熵原理，令L/pi= 0，得：

(12)

式中

(13)

這樣得到了指數函數形式的統(tǒng)計分布。令q=1，就得到通常情況下的正則分布與正則配分函數。上述為Q.A.Wang所做工作[23-24]。

3.2 由Shannon熵和最大熵原理推導等概率假設[25]

等概率假設為：孤立系統(tǒng)的每個微觀態(tài)的概率相同。對于孤立系統(tǒng)，粒子數、能量和體積都不變，此時只有歸一化條件的限制。由最大熵原理，取Lagrange函數為(取完整統(tǒng)計):

(14)

pi=e-1-γ

(15)

pi=e-1-γ=1/w

(16)

式(16)正是孤立系統(tǒng)的等概率假設。

4 基于Shannon熵和最大熵原理的冪律等分布

注意到復雜系統(tǒng)的不可解性，勢必會出現信息的不完整，即：v≠w。由非完整統(tǒng)計的思想，且注意到式(7)、式(8)和式(10)是不同的和式，從數學角度，當選擇了適當的q使式(1)成立時，同一個q不一定能使(8)和式(10)同時成立，因而3式中的q并不要求一定相等(非完整統(tǒng)計的引入者Q.A.Wang取3個q相等[23-24])，這里分別表示為a,b,c。當a=b=c=1時，對應于簡單的v=w可解系統(tǒng)，概率分布為式(12)，(13)中q=1的指數函數分布；a,b,c越偏離1,說明系統(tǒng)的不可解性、復雜性程度越高，即非1的a,b,c反映了系統(tǒng)的不可解性和復雜性。此時式(7)、(8)和(10)如式(17)所示：

(17)

式(17)中Ei并不受限于能量，它可以是任意描述復雜系統(tǒng)性質的具有平均值的量。引入Lagrangian 函數

(18)

同樣β和γ為Lagrangian乘子。求條件極值，得

(19)

顯然，當式(19)中的a，b，c相等時，得指數分布函數式(12)；不等時，既解不出指數函數也解不出冪函數形式的分布函數。

為得到pi為Ei的顯函數形式，又要與相關理論不矛盾，對參數a，b，c的取值作一些說明。

(20)

2) 在用于描述自然界與人類社會運動的各種變量中，除了像能量這類守恒量外，還有一些如“能力”以及與能力對應的“產量”等非守恒量,它們并不簡單地滿足如“1+1=2”的線性疊加關系，對于這類“非守恒變量”，不需要a=b的限制。

式(19),(20)中的a,b,c和γ與Ei，pi無關，為簡單起見。令y=pi，x=βEi，則式(19),(20)變?yōu)?/p>

(19′)

(20′)

要從(19′)或(20′)解析地解出y(x)的顯函數是做不到的。但根據前述3個參數相等時所得指數函數的顯函數及這兩式中存在變量y的冪函數、冪函數與對數函數乘積的特點，有理由認為y(x)的具體函數形式應在指數函數、冪函數和冪函數與指數函數乘積之間。考慮到實際得出冪律分布源于直接或間接實驗或實測數據的邏輯推演，而實驗或實測數據只能在有限時空中完成，即數據數量有限，本文采取對概率分布函數的自變量“分段”的數值求解方法。理由闡述如下：

1) 數值求解不僅是(19′)、(20′)無法解析求解的必然選擇，也是實際復雜系統(tǒng)獲取冪律等分布的途徑。

3) 當所有可能事件個數為測度不為零的無窮大時，按pi=Ni/N獲得的概率分布應是以最概然值為中心的有限半徑范圍內的一段分布。在統(tǒng)計物理中最典型的例子是：因平衡態(tài)對應的微觀狀態(tài)數占絕對多數，以至于最概然值等于平均值。僅以位置分布為例。等概率假設雖然認為所有粒子集中在某一邊緣位置的概率與均勻分布中的一個任意狀態(tài)的概率相等，但實驗測得的結果一定是均勻分布，即最概然值。因為均勻分布對應的微觀狀態(tài)數是絕對多數。具體復雜性系統(tǒng)得出冪律分布的結論也是由直接或間接實驗數據或實測數據的演繹結果，雖然一般不會像上述粒子位置分布這么極端，但有理由認為實驗或實測數據描述的狀態(tài)基本處于包含最概然值事件的鄰域內。即便實驗或實測中出現小概率事件，由于難于重復多次出現，也將被舍棄。對于不同具體問題只是“段”的位置和其長短的不同,即最概然值事件和其鄰域半徑的不同。

具體數值求解步驟為：

1) 將a,b,c和γ(γ都取10，對應未歸一化的概率分布)取值并代入式(19′)、(20′)，由計算機做出y-x曲線圖。

2) 調換x與y，即調換橫縱坐標，得到x-y曲線圖。

3) 在縱坐標y從1到6的變化范圍內均勻地在曲線上取60個點，做“整體”擬合后，優(yōu)選最佳函數。

4) 將60個點分為6段(每10個點為一段，稱“短段”)，分段擬合后，優(yōu)選最佳函數。

a,b,c分別取8種不同數值, 優(yōu)選擬合出y-x關系，如表1所示。

表1 a,b,c分別取8種不同數值時整體擬合的優(yōu)選函數及誤差Tab.1 Optimal fit functions and errors for eight different value of a,b and c

再將每組數據的60個點平均細分為6段，每段仍用不同的函數擬合并優(yōu)選出最佳結果，如表2至表9所示，前述幾種函數也都有出現，且還會出現Tsallis形式的冪函數、負指數函數與負冪函數乘積、正指數函數與負冪函數乘積等形式，且擬合誤差都小于10-4。

表2 a=b=0.96,c=0.98，分段(每段10個點)擬合結果Tab.2 Piece-wise fitting (a=b=0.96,c=0.98)

如表2所示，第1分段的最優(yōu)擬合函數為Tsallis形式的冪函數y=1 623.778 49(1-0.028 53x)25.046 06；第2分段的最優(yōu)擬合函數為負指數函數與冪函數的乘積y=251.541 2x2.570 53e-1.246 18x；第3段的最優(yōu)擬合函數為負指數函數y=-0.101 29+3 171.412 9e-0.889 75x，當a，b,c取其它不同數值時的擬合結果可見表3至表9。

當a=b=0.97,c=1.02時，分段擬合結果如表3所示。

表3 a=b=0.97, c=1.02時，分段擬合結果Tab.3 Piece-wise fitting results (a=b=0.97,c=1.02)

當a=b=0.99,c=1.01時，分段擬合結果如表4所示。

表4 a=b=0.99, c=1.01時，分段擬合結果Tab.4 Piece-wise fitting results (a=b=0.99,c=1.01)

當a=b=1.50,c=2.04時，分段擬合結果如表5所示。

表5 a=b=1.50,c=2.04時，分段擬合結果Tab.5 Piece-wise fitting results (a=b=1.50,c=2.04)

當a=b=0.30,c=0.40時，分段擬合結果如表6所示。

表6 a=b=0.30,c=0.40時，分段擬合結果Tab.6 Piece-wise fitting results (a=b=0.30,c=0.40)

當a=0.90,b=1.15,c=1.25時，分段擬合結果如表7所示。

表7 a=0.90,b=1.15,c=1.25時，分段擬合結果Tab.7 Piece-wise fitting results (a=0.90,b=1.15,c=1.25)

當a=0.95,b=1.50,c=1.05時，分段擬合結果如表8所示。

表8 a=0.95,b=1.50,c=1.05時,分段擬合結果Tab.8 Piece-wise fitting results (a=0.95,b=1.50,c=1.05)

當a=1.25,b=0.98,c=0.95時，分段擬合結果如表9所示。

表9 a=1.25, b=0.98, c=0.95時，分段擬合結果Tab.9 Piece-wise fitting results (a=1.25,b=0.98,c=0.95)

5 結果與討論

5.1 結果

針對復雜系統(tǒng)表現出遵循指數、冪律等分布，且冪律等分布不能像指數分布那樣可由Shannon熵和最大熵原理導出的矛盾，我們做了如下工作：

1)展現了由Shannon熵和最大熵原理解析推導指數分布[式(6)，(7)]與等概率假設程。

2)注意到復雜系統(tǒng)的不可解性，以及反映復雜系統(tǒng)特征的隨機變量的冪律等概率分布源于實驗和實際測量，指出這樣獲得的概率分布實質是最概然值附近的一段，因而提出復雜系統(tǒng)的概率分布是按自變量分段的。

因為取a=b=c=1是獲取傳統(tǒng)指數函數形式“完整”正則分布的路徑，所以本文中a、b和c的選取是以“1”為中心逐漸偏離的。又因冪律分布常出現于復雜性系統(tǒng)中，且本文并不涉及任何具體復雜性系統(tǒng)，所以理論上講a，b，c越偏離“1”,系統(tǒng)的復雜性或非完整程度越高。

在具體推導過程中，我們發(fā)現：

1)每段的最優(yōu)分布函數與指數因子a、b、c的具體數值有關，雖然a，b，c越偏離“1”, 系統(tǒng)的復雜性或非完整程度越高，但并不是每段的最優(yōu)分布函數越背離指數函數。

2)在不同的區(qū)段或在自變量的不同變化范圍內，最優(yōu)分布函數會發(fā)生類型的轉變，轉變依指數因子a，b，c的具體數值有一定規(guī)律,但出現不同最優(yōu)分布函數的具體形式不受限于a與b是否相等，也即出現冪律等分布與是否為守恒量無關。

3)分布函數的最優(yōu)形式與分段的長短有關。如本文中的所謂“整體”相對于“分段”實質只是段長的不同，但選出的最優(yōu)分布函數不同。這表明：復雜系統(tǒng)的概率分布函數會隨自變量的取值區(qū)間不同而發(fā)生變化。這樣的結果是與許多實際問題相吻合的。

4)當a=b=c=q時，分布函數可解析求出，為指數函數形式。

5.2 討論

5.2.1 冪函數、冪函數與指數函數乘積等概率分布形式與Shannon熵

本文已展示可由Shannon熵和最大熵原理解析導出概率分布的指數函數形式，但對冪函數、冪函數與指數函數乘積形式，只能嘗試用數值求解。

本文數值求解建立的基礎是：復雜系統(tǒng)不可解性；復雜系統(tǒng)服從冪函數、冪函數與指數函數乘積形式的概率分布；冪函數、冪函數與指數函數乘積形式的概率分布是源于直接或間接的有限實驗、實測數據得出。因而本文不涉及具體復雜系統(tǒng)的數值求解方法(也是普遍由具體復雜系統(tǒng)得出冪函數、冪函數與指數函數乘積形式的概率分布的方法)。故由基于Shannon熵和最大熵原理的數值求解方法得到冪函數、冪函數與指數函數乘積形式的概率分布可定性解釋復雜系統(tǒng)出現這些概率分布形式的原因。

5.2.2 最大熵原理與等概率假設的關系

將Shannon熵和最大熵原理應用于孤立系統(tǒng)，可推導出等概率假設；反向推導也成立，即由等概率假設可推導出孤立系統(tǒng)的Shannon熵滿足最大熵原理。但此結果僅限于孤立系統(tǒng)。雖然等概率假設在統(tǒng)計物理建立和發(fā)展過程中扮演了非常重要的角色，且目前仍是大多數統(tǒng)計物理教科書中得到概率分布的出發(fā)點,也是物理學家思想方法具體而閃光的體現,但同時它也被認為是人們無法確定微觀態(tài)的概率的一種無奈的選擇和假設。目前,用最大熵原理獲取概率分布的文獻也很多，如：Tsallis統(tǒng)計分布[19-20]、非完整統(tǒng)計分布[23-24]等。最大熵原理是比等概率假設更一般、包含內容更多、應用范圍更廣的基本原理。鑒于此，在統(tǒng)計物理中是否可用最大熵原理取代等概率假設以及等概率假設僅是最大熵原理的一個推論呢？這是可討論的問題。

6 結論

指數分布以及復雜系統(tǒng)概率分布的冪函數、冪函數與指數函數乘積的形式可由基于Shannon熵的最大熵原理數值推導出來。也即說明最大熵原理是支配復雜系統(tǒng)運動的很重要的基本規(guī)律之一，不同形式的概率分布只是最大熵原理對不同形式復雜性系統(tǒng)的具體體現。

基于一些復雜性系統(tǒng)得出這幾種概率分布是源于對有限直接或間接實驗、實測數據按pi=Ni/N推理的結果，因而由基于Shannon熵的最大熵原理數值推導出來的冪函數、冪函數與指數函數乘積形式的概率分布，定性解釋了出現這類概率分布的一種原因。

最大熵原理是比等概率原理包含內容更廣的能反映自然與人類社會運動規(guī)律的基本原理，由其可推出等概率原理，因而等概率原理可看成是最大熵原理的一個推論。

[1]汪志誠.熱力學·統(tǒng)計物理[M].第4版.北京：高等教育出版社, 2008.

[2]Jaynes E T. Information theory and statistical mechanics[J]. Phys Rev, 1957, 106(4)：620.

[3]胡海波，王林. 冪律分布研究簡史[J]. 物理，2005，34(12)：989-996. Hu haibo,Wang Lin. A brief history of power law distributions [J]. Physics,2005,34(12):989-996.

[4]Albert R, Barabási A L. Emergence of scaling in random networks[J]. Science,1999,286:509.

[5]Barabási A L, Albert R. Mean-field theory for scale-free random networks[J]. Physica A,1999,272:173.

[6]Bak P, Tang C, Wiesenfeld K. Self-organised criticality:an explanation of 1/fnoise[J]. Phys Rev Lett,1987,59: 381.

[7]帕巴克.大自然如何工作[M].武漢:華中師范大學出版社, 2001.

[8]Carlson J M, Doyle J. Highly optimized tolerance: a mechanism for power laws in designed systems[J].Phys Rev E,1999,60:1412.

[9]Carlson J M, Doyle J. Highly optimized tolerance: robustness and design in complex systems[J].Phys Rev Lett,2000,84:2529.

[10] Newman M E J. Power laws, Pareto distributions and Zipf's law[J]. Contemporary Physics, 2004, 46(5):323-351.

[11] Broadbent S R, Hammersley J M. Percolation processes I crystals and mazes[J]. Proc Cambridge Philos Soc, 1957, 53:629.

[12] Hammersley J M. Percolation processes II the connective constant[J]. Proc Cambridge Philos Soc,1957, 53:642.

[13] Grimmett G. Percolation[M]. 2nd ed. Berlin: Springer-Verlag, 1999.

[14] Reed W J, Hughes B D. From gene families and genera to incomes and Internet file sizes: why power laws are so common in nature[J]. Phys Rev E, 2002, 66(6):067103.

[15] Mitzenmacher M. A brief history of generative models for power law and lognormal distributions[J]. Internet Mathematics, 2004, 1(2):226-251.

[16] Miller G A. Some effects of intermittent silence[J]. Amer J Psycho, 1957, 70:311-314.

[17] Fa K S. Continuous-time random walk: crossover from anomalous regime to normal regime[J]. Phys Rev E, 2010, 82(1)：012101.

[18] Boberski J, Shaebani M R, Wolf D E. Evolution of the force distributions in jammed packings of soft particles[J]. Phys Rev E, 2013, 88(6)：064201.

[19] Tsallis C. Possible generalization of Boltzmann-Gibbs statistics[J]. J Stat Phys, 1988, 52(1)：479-487.

[20] Tsallis C, Mendes R S, Plastino A R. The role of constraints within generalized nonextensive statistics[J]. Physica A, 1998, 261(3/4)：534-554.

[21] Li H L, XiongY, Li Y Y. The Tsallis statistical distribution in a completely open system[J]. Physica A, 2011, 390：2769-2775.

[22] 歐聰杰. 非廣延統(tǒng)計物理中的四個基本問題與廣義量子氣體的熱力學性質[D]. 廈門：廈門大學,2006. Ou Congjie. Four basic problems in nonextensive statistical physics and the ther modynamic properties of generalized quantum gases [D]. Xiamen: Xiamen Vniversity,2006.

[23] Wang Q A. Correlated electrons and generalized statistics[J]. Euro Phys J B, 2003, 31(1):75-79.

[24] Wang Q A. Extensive generalization of statistical mechanics based on incomplete information theory[J]. Entropy, 2000,5(2):220-232.

[25] 譚濤，李鶴齡. 統(tǒng)計力學基本假設的教學更新[J].大學物理，1997，16(1)：44-45. Tan Tao,Li Heling. Teaching renewal of basic hypothesis of statistical mechanics[J]. College Physics,1997,16(1):44-45.

(責任編輯 李進)

A Mechanism of Generating Power-Law and Other Distributions

LI Heling1,2,WANG Juanjuan1,YANG Bin1,2,SHEN Hongjun1,2

(1.School of Physics and Electrical Information Science, Ningxia University, Yinchuan 750021, China;2.Key Lab on Information Sensing and Intelligent Desert, Yinchuan 750021, China)

For resolving the contradiction between power-law distribution playing an increasingly important role in investigation of complex systems and it has not been derived out up to now, in this paper the maximal entropy principle and the idea of incomplete statistics were utilized. Firstly, the detail of deriving the equal probability hypothesis from Shannon entropy and maximum entropy principle was showed. Then three different exponential factors were introduced in equations about the normalization condition, statistical average and Shannon entropy respectively. Based on the Shannon entropy and maximum entropy principle, three different probability distribution functions, such as exponential function, power function and the product form consisting of power function and exponential function, were derived out. Which demonstrated the maximum entropy principle was a path which may lead to different distribution functions.

complex systems； incomplete statistics； Shannon entropy； power-law distribution

10.13306/j.1672-3813.2016.04.003

2015-01-20；

2015-11-16

國家自然科學基金(61167002) ；寧夏自然科學基金(NZ14055)

李鶴齡(1960-)，男，河北滄州人，碩士，教授，主要研究方向為復雜系統(tǒng)和反常統(tǒng)計物理。

楊斌(1974-)，男，山西運城人，碩士，副教授，主要研究復雜系統(tǒng)和理論物理。

N94

A