兩廣義Gaussian分布之間的最小Kullback-Leibler距離

朱成蓮

(淮陰師范學(xué)院 數(shù)學(xué)科學(xué)學(xué)院, 江蘇 淮安 223300)

兩廣義Gaussian分布之間的最小Kullback-Leibler距離

朱成蓮

(淮陰師范學(xué)院 數(shù)學(xué)科學(xué)學(xué)院, 江蘇 淮安 223300)

在Kullback-Leibler距離的基礎(chǔ)上,對Kullback-Leibler距離進(jìn)行了改進(jìn),給出了最小的Kullback-Leibler距離,并討論了它的性質(zhì).探討了兩個不同概率密度函數(shù)的差異程度,得到了廣義Gaussian分布最小的Kullback-Leibler距離,并作為特例得到了Laplacian分布和Gaussian分布最小的Kullback-Leibler距離.

廣義高斯分布; Kullback-Leibler距離; Laplacian分布

0 引言

由Stacy[1]提出的廣義Gaussian (GGD)是一類以Laplacian分布、Gaussian分布為特例,以δ函數(shù)和均勻分布為極限形式的對稱分布,它在信號處理、圖像處理和擬合非Gaussian噪聲等領(lǐng)域有著廣泛的應(yīng)用.Joshi和Fischer[2]采用零均值的GGD來擬合DCT交流系數(shù); Do和Vetterli[3]用GGD來逼近小波系數(shù)的邊緣分布;Walden和Hosken[4]在研究地震信號時發(fā)現(xiàn),主反射系數(shù)序列的振幅分布可以用GGD逼近.從已知樣本去估計母體的分布,或者推斷分布的特征,對于同樣的母體分布,當(dāng)用幾種不同的統(tǒng)計方法獲得了母體的兩個估計分布后,人們往往要對所求得的分布進(jìn)行比較,為此,統(tǒng)計學(xué)引入了許多度量兩個分布差異的距離,如Kullback-Leibler距離,Pearson-χ2距離和全變差距離等.

近年來,概率密度函數(shù)的Kullback-Leibler距離在學(xué)術(shù)界備受關(guān)注,在討論極值分布的大樣本問題、分布函數(shù)估計的收斂性、用不同算法借補(bǔ)有缺失數(shù)據(jù)的分布估計的收斂速度問題時,都使用Kullback-Leibler距離[5-7].從定義形式來看,其缺乏對稱性、不具備距離三角不等式性,但由于其確實能夠在某種程度上刻劃兩個密度函數(shù)的差異程度,因而被統(tǒng)計學(xué)廣泛采用. 本文將Kullback-Leibler距離定義進(jìn)行了推廣,定義了最小Kullback-Leibler距離.從定義形式上看,并不難理解,最小Kullback-Leibler距離是將兩個概率密度函數(shù)間的Kullback-Leibler距離求較小值,但它的意義在于克服了Kullback-Leibler距離沒有對稱性的缺陷.本文探討了兩個廣義Gaussian分布密度函數(shù)的差異程度,得到了廣義Gaussian分布最小Kullback-Leibler距離,并作為特例得到了Laplacian分布、Gaussian分布的最小Kullback-Leibler距離,這些結(jié)果為應(yīng)用打下了較好的基礎(chǔ).

1 相關(guān)定義及性質(zhì)

定義1[8]如果隨機(jī)變量X的概率密度函數(shù)為

定義2[8]如果隨機(jī)變量X的概率密度函數(shù)為

則稱X服從Laplacian分布,記為L(μ,σ).

定義3[8]如果隨機(jī)變量X的概率密度函數(shù)為

則稱X服從Gaussian分布,記為G(μ,σ).

顯然Kullback-Leibler距離d(f,g)不符合傳統(tǒng)的距離公理,但也有與距離公理相類似的結(jié)果.

定理1 設(shè)f(x)>0,g(x)>0是兩個概率密度函數(shù),那么d(f,g)具有如下性質(zhì):

1)d(f,g)≥0;

3)d(f,g)=0?E(lnf(x))=E(lng(x))?f(x)=g(x);

由定理1的1)、3)知d(f,g))確實能刻畫f(x)與g(x)的差異, Kullback-Leibler距離d(f,g)與距離公理相比較不滿足對稱性且三角形不等式也未必成立.現(xiàn)利用d(f,g),可以構(gòu)造出最小的Kullback-Leibler距離.

定義5 設(shè)兩個隨機(jī)變量X1,X2的概率密度函數(shù)分別為f(x)、g(x),并且f(x)>0,g(x)>0,若d(f,g)和d(g,f)都存在,記dmin(f,g)=min(d(f,g),d(g,f)),則稱dmin(f,g)為兩個概率密度函數(shù)f(x)和g(x)之間最小的Kullback-Leibler距離.

根據(jù)dmin(f,g)的定義及定理1,有如下定理．

定理2 設(shè)f(x)>0,g(x)>0是兩個概率密度函數(shù),那么dmin(f,g)有

1)dmin(f,g)≥0;

2)dmin(f,g)=dmin(g,f);

3)dmin(f,g)=0?f(x)=g(x);

由定理2可以看出,dmin(f,g))與d(f,g)相比較,dmin(f,g)除了具有d(f,g)的性質(zhì)外, 還克服了d(f,g)不具有對稱性的缺點.因此, 認(rèn)為dmin(f,g)來刻畫兩個密度函數(shù)的差異時, 更為合理.

2 兩個廣義Gaussian分布之間的Kullback-Leibler的距離

定理3 設(shè)f(x)是廣義Gaussian分布GGD(μ,α,β1)的概率密度函數(shù),g(x)是廣義Gaussian分布GGD(μ,α,β2)的概率密度函數(shù),則

由于

所以

定理4 設(shè)f(x)是廣義Gaussian分布GGD(μ,α,β1)的密度函數(shù),g(x)是廣義Gaussian分布GGD(μ,α,β2)的密度函數(shù),則

定理5 設(shè)f(x)是廣義Gaussian分布GGD(μ,α,β1)的密度函數(shù),g(x)是廣義Gaussian分布GGD(μ,α,β2)的密度函數(shù),則

證明由于

令

對上式關(guān)于x求導(dǎo)可得

所以,F(x)在區(qū)間(0,+∞)上為減函數(shù).

因此

定理6 設(shè)f(x)是廣義Gaussian分布GGD(μ,α1,β1)的密度函數(shù),g(x)是廣義Gaussian分布GGD(μ,α2,β2)的密度函數(shù),則

因此

定理7 設(shè)f(x)是廣義Gaussian分布GGD(μ,α1,β1)的密度函數(shù),g(x)是廣義Gaussian分布GGD(μ,α2,β2)的密度函數(shù),則

定理8 設(shè)f(x)是廣義Gaussian分布GGD(μ,α1,β1)的密度函數(shù),g(x)是廣義Gaussian分布GGD(μ,α2,β2)的密度函數(shù)

則

在定理3、定理5中,取α=1,則可以得到Laplacian分布的Kullback-Leibler距離的結(jié)論.

推論2 設(shè)f(x)是拉普拉斯分布L(μ,σ1)的密度函數(shù),g(x)是拉普拉斯分布L(μ,σ2)的密度函數(shù)(其中σ1>0,σ2>0),則

在定理3、定理5中,取α=2,則可以得到Gaussian分布的Kullback-Leibler距離的結(jié)論:

推論4 設(shè)f(x)是Gaussian分布G(μ,σ1)的密度函數(shù),g(x)是Gaussian分布G(μ,σ2)的密度函數(shù)(其中σ1>0,σ2>0),則

3 幾個距離間的關(guān)系

定理910]以下討論的距離都存在,則

1) 當(dāng)f(x)≥g(x)時,d(f,g)≤d2(g,f);

2)V2(f,g)≤d2(f,g);

有d(f,g),d(g,f)及min{d(f,g),d(g,f)}的定義易得如下定理.

定理10 如果以下討論的距離都存在,則

1) min{d(f,g),d(g,f)}≤d(f,g)≤max{d(f,g),d(g,f)};

[1] Stacy E W. A generalization of gamma distribution[J].Ann Math Stat,1962(28):1187-1192.

[2] Joshi R J, Fischer T R. Comparison of generalized Gaussian and laplacian modeling in DCT image coding[J].IEEE Trans, on signal processing letters,1995,2(5):81-82.

[3] Do M N, Vetteli M. Wavelet-based texture retrieval using generalized Gaussian density and Kullback-leibler distance[J].IEEE Trans,2002,11(2):146-158.

[4] Walden A T,Hosken J W J. The nature of the non-Gaussianity of primary reflection coefficients and its significance for deconvolution[R].The 47th meeting of the EAEG,Budapest,1985,1038-1066.

[5] Robert G O, Shau S K. Updating Schemes,Correlation Structure,Blocking and Parameterization for the Gibbs Sampler[J]. J R Statist Soc B,1997(59):291-317.

[6] Liu S J, Wong W H, Kong A. Correlation Structure and Convergence Rate of the Gibbs Sampler with Various Scans[J].J R Statist Soc B,1995(57):157-169

[7] Reiss R D. Approximate Distributions of Order Statistics[M].New York: Springer,1980.

[8] 金秀巖. 廣義Gaussian分布Pearson-χ2距離及其漸近性[J].西南師范大學(xué)學(xué)報,2007,33(5):1040-1045.

[9] 蔡擇林,李開燦. 常見分布的最大Kullback-Leibler距離[J].武漢大學(xué)學(xué)報,2007,53(5):513-517.

[10] 李開燦. Pearson-χ2距離的若干性質(zhì)[J]. 數(shù)學(xué)的實踐與認(rèn)識,2003,33(1):49-53.

[11] 李開燦,孟朝玲.χ2分布、t分布和F分布的一致漸進(jìn)正態(tài)性[J].北京印刷學(xué)院學(xué)報,2004,12(3):30-33.

TheMinimumKullback-LeiblerDistancebetweentwoGeneralizedGaussianDistribution

ZHU Cheng-lian

(School of Mathematical Science, Huaiyin Normal University, Huaian Jiangsu 223300, China)

In this paper,it gives the exact definition of the minimum Kullback-Leibler distance between two different distribution functions.The properties of the minimum Kullback-Leibler distance are discussed.The difference degree of two different probability density function are discussed.The minimum Kullback-Leibler distance between two different generalized Gaussian distribution are obtained.The minimum Kullback-Leibler distance of Laplacian distribution, Gaussian distribution are derived.

generalized Gaussian distribution; Kullback-Leibler distance; Laplacian distribution

O211.1

A

1671-6876(2017)03-0189-06

[責(zé)任編輯李春紅]

2017-03-20

國家自然科學(xué)基金項目(11401245); 江蘇省自然科學(xué)基金項目(BK20130412); 淮安市科技支撐(農(nóng)業(yè))項目(SN13050)

朱成蓮(1966-),女,江蘇漣水人,副教授,碩士,研究方向為概率論與數(shù)理統(tǒng)計. E-mail: hytczcl@126.com