Linex損失下多元正態(tài)分布熵的最優(yōu)仿射同變估計(jì)

王理峰

（南京鐵道職業(yè)技術(shù)學(xué)院 數(shù)學(xué)系，南京 210031）

0 引言

的定義為：若隨機(jī)變量服從 p(x)，則稱p(x)dx為隨機(jī)變量x的微分熵。

在分子生物學(xué)、分子物理學(xué)及化學(xué)中，熱力學(xué)性質(zhì)的計(jì)算（包括熵）是非常重要的問題。分子的內(nèi)熵取決于內(nèi)部原子的隨機(jī)振動(dòng)，其振動(dòng)的幅度決定了熱力學(xué)性質(zhì)和分子的形狀。為了計(jì)算分子的熵，研究者提出了許多概率模型，其中最簡(jiǎn)單的是正態(tài)分布模型。若p維隨機(jī)變量的密度函數(shù)是：

的熵為：

在分子生物學(xué)中，通常用 Hp(∑)的極大似然函數(shù)(Mle)來估計(jì)熵Hp(∑)，∑的極大似然估計(jì)為為樣本協(xié)方差矩陣，n為隨機(jī)樣本的大?。瑒tHp(∑)的極大似然估計(jì)[1]。從統(tǒng)計(jì)學(xué)上看，定是最優(yōu)的，可以找到更好的估計(jì)去代替它。

熵Hp(∑)的估計(jì)等價(jià)于估計(jì)ln | ∑ |，許多學(xué)者研究了廣義協(xié)方差陣的行列式 | ∑ |以及 | ∑-1|的估計(jì)問題，對(duì)于ln | ∑ |的估計(jì)，Misra等（2005）[2]首次在二次損失下進(jìn)行了研究。本文將在更具有廣泛意義的Linex損失下給出ln| ∑ |的最優(yōu)仿射同變估計(jì)δc*，研究其性質(zhì)，通過計(jì)算觀察δc*能否改進(jìn)分子生物學(xué)中通常采用的極大似然估計(jì)，特別在高維情況下，δc*是否更具優(yōu)良性。

1 預(yù)備知識(shí)

為了以下計(jì)算和討論的需要，首先介紹幾個(gè)定義及引理。

定義1[1]（:Wishart分布）若A~Wp(μ，∑)，n＞p，∑＞0，則A的密度函數(shù)為：

定義2[1]：（逆Wishart分布）若 B~IWp(n，V)，n＞p ，V＞0，則B的密度函數(shù)為：

引理1[1]：若 A~Wp(μ，∑)，μ＞p，∑＞0，則：

引理2[1]：若V~Wp(n，∑)，A~Wp(n，I)，則：

其中 x[r]=x(x+1)…(x+r-1)。

引理3[1]：（1）若 A~Wp(n，∑)，則 A-1~IWp(n+p+1，∑-1)；（2）若 B~IWp(n，V)，則 B-1~Wp(n-p-1，V-1)。

引理4[3]：（Jensen不等式），設(shè)測(cè)度 u(X)=1，f:X→(a，b)是可積函數(shù)，φ:(a，b)→R是凸函數(shù)，則：

引理5[4]：在給定的Bayes決策問題中，若給定先驗(yàn)分布 π(θ)下，θ 的 Bayes估計(jì) δB(X)是唯一的，則它是可容許的。

2 Linex損失下熵的仿射同變估計(jì)

令 X1，…，Xn為服從正態(tài)分布 Np(μ，∑)的隨機(jī)樣本分布 (n＞p+1)，其中 μ∈Rp，∑p×p＞ 都未知。利用 X1，…，Xn來估計(jì)熵估計(jì)，相應(yīng)的

X、S相互獨(dú)立，(X，S)為最小充分統(tǒng)計(jì)量，因此可僅通過(X，S)來估計(jì)ln | ∑ |。

2.1 仿射同變估計(jì)

下面介紹一下仿射同變估計(jì)，Hp(∑)的估計(jì)問題在下面的仿射變換下是不變的：(X，S)→(CX+D，CSC')，(μ，∑)→(Cμ+D，C∑C')，其中C 為任意的 p×p階非奇異陣，D為 p×1維向量。在這種仿射變換下ln| ∑|→ln | ∑|+ln| C|2，因此要求估計(jì)δ(X，S)滿足：對(duì)于任意的 p×p階非奇異陣C、對(duì)于任意的 p×1維向量D，有：

稱滿足式（1）形式的估計(jì)δ(X，S)為仿射同變估計(jì)。

由Misra等（2005）[2]知，任意的仿射同變估計(jì)具有如下形式：

其中，c為某一實(shí)常數(shù)。ln| Σ|仿射同變估計(jì)不依賴θ=(μ，∑)，若記損失函數(shù)為 L(δc，ln| ∑ |)，則風(fēng)險(xiǎn)函數(shù)R(δc，θ)=EθL(δc，ln| ∑ |)=ΔR(δc)，偏差 B(δc，θ)=ΔB(δc)。

若記損失函數(shù)為 L(δ，ln| ∑ |)=(δ-ln| ∑ |)2，ln| ∑ |的最優(yōu)仿射同變估計(jì)為（證明詳見Misra等[2]）：

2.2 Linex損失函數(shù)

本文所采用的損失函數(shù)為 Linex損失，即L(δ，θ)=b{ea(δ-θ)-a(δ- θ)-1}，它由Varian（1975）[5]提出來的。當(dāng) | a|足夠小時(shí)，有Taylor展開知Linex損失變成二次損失，而b僅是一個(gè)系數(shù)，不失一般性，常假定b=1，關(guān)于Linex損失的性質(zhì)詳見Zellner（1986）[6]。本文中取a=1，此時(shí) Linex損失為 L(δ，θ)=eδ-θ-(δ-θ)-1。

2.3 Linex損失下熵的最優(yōu)仿射同變估計(jì)

定理1：在Linex損失下，ln | ∑ |的最優(yōu)仿射同變估計(jì)為：

而 Linex 損失為嚴(yán)格下凸函數(shù)，則 R(δc(X，S)，θ)在 c*處取得唯一的最小值，最優(yōu)仿射同變估計(jì)為δc*(X，S)=ln|S|-c*，綜上即證。

3 最優(yōu)仿射同變估計(jì)的性質(zhì)

下面的定理將說明最優(yōu)仿射同變估計(jì)δc*也是Bayes估計(jì)。

定理2：當(dāng) (μ，∑)的先驗(yàn)分布為：

在Linex損失下，最優(yōu)仿射同變估計(jì)δc*也是Bayes估計(jì)，并且是唯一的Bayes估計(jì)。

證明：給定(μ，∑)時(shí)，X~Np(μ，∑)，S~Wp(N-1，∑)，X、S獨(dú)立，則(X，S)的似然函數(shù)為：

給定(X，S)時(shí)，(μ，∑)的后驗(yàn)分布為：

∑的后驗(yàn)分布為：

乘上正則化因子，∑的后驗(yàn)分布為：

由定義2知，∑~IWp(n+p，S)，則由引理3知∑-1~Wp布。

在 Linex 損失下，后驗(yàn)風(fēng)險(xiǎn)為 E∑(L(δ，ln| ∑ |))= ∫L(δ，ln | ∑ |)P(∑|(X，S))d∑ ，令：

所以ln| ∑ |的Bayes估計(jì)為：

由于 Linex損失是嚴(yán)格下凸函數(shù)，則 δB是 E∑(L(δ，ln | ∑|))唯一的極小值點(diǎn)，即 δc*為ln | ∑ |唯一的 Bayes估計(jì)。

性質(zhì)1：在僅依賴于 | S|的估計(jì)類中，最優(yōu)仿射同變估計(jì)δc*為L(zhǎng)inex損失下ln | ∑ |的可容許估計(jì)。

證明：由定理2知，在Linex損失函數(shù)下，最優(yōu)仿射同變估計(jì)δc*也是Bayes估計(jì)，并且是唯一的Bayes估計(jì)。由引理5知，最優(yōu)仿射同變估計(jì)δc*為ln| ∑ |的可容許估計(jì)。

plnn=c1，而 δc0(X，S)為 ln| ∑ |的無偏估計(jì)[2]，由此可知最優(yōu)仿射同變估計(jì)δc*和極大似然估計(jì)δc1都是ln| ∑ |的負(fù)的有偏估計(jì)，δc1比 δc*與ln | ∑ |偏離的遠(yuǎn)。

性質(zhì)2：記則在Linex損失下，有如下結(jié)論：

（1）最優(yōu)仿射同變估計(jì) δc*與 ln | ∑ |的偏差為：B(δc*，ln|∑ |)=Eθ(δc*-ln | ∑ |)=c0-c*

（2）極大似然估計(jì)δc1與最優(yōu)仿射同變估計(jì)δc*的絕對(duì)(n-i)為 p的增函數(shù)。

（3）最優(yōu)仿射同變估計(jì)δc*的風(fēng)險(xiǎn)

（4）極大似然估計(jì) δc1的風(fēng)險(xiǎn)

（5）極大似然估計(jì)δc1與最優(yōu)仿射同變估計(jì)δc*的風(fēng)險(xiǎn)差 D(p)=R(δc1)-R(δc*)是 p(1≤p≤n-1)的增函數(shù)。

（6）Linex損失下，最優(yōu)仿射同變估計(jì)δc*的風(fēng)險(xiǎn)最小，則 R(δc*)≤R(δc0)。

證明：（1）因?yàn)?δc0為 ln| ∑ |的無偏估計(jì)[2]，所以 Eθ(δc0-ln| ∑|)=0。最優(yōu)仿射同變估計(jì) δc*與ln| ∑ |的偏差為：

（2）極大似然估計(jì)δc1與最優(yōu)仿射同變估計(jì)δc*的絕對(duì)偏差為：

（3）在Linex損失下，最優(yōu)仿射同變估計(jì)δc*的風(fēng)險(xiǎn)-c0+c*-1=c*-c0

（4）在Linex損失下，極大似然估計(jì)δc的風(fēng)險(xiǎn)為：

（5）極大似然估計(jì)δc1與最優(yōu)仿射同變估計(jì)δc*的風(fēng)險(xiǎn)差記為 D(p)=R(δc1)-R(δc*)，則：

當(dāng)0＜x＜y＜1時(shí)，由中值定理，?ξ∈(x，y)，lnx-lny

+lnn-ln(n-p-1)=ln(n-p-1)-lnn+lnn-ln(n-p-1)=0

即證 D(p)=R(δc1)-R(δc*)是 p(1≤p≤n-1)的增函數(shù)。

（6）由定理1知，R(δc*)為 R(δc(X，S))的唯一最小值，故 R(δc*)≤R(δc0)。

4 最優(yōu)仿射同變估計(jì)與極大似然估計(jì)的數(shù)值對(duì)比

為了具體的度量最優(yōu)仿射同變估計(jì)δc*對(duì)分子生物學(xué)中通常采用的極大似然估計(jì)δc1的改進(jìn)程度，采用如下兩個(gè)指標(biāo)。

（1）極大似然估計(jì)δc1與最優(yōu)仿射同變估計(jì)δc*的絕對(duì)偏差：

（2）極大似然估計(jì)δc1與最優(yōu)仿射同變估計(jì)δc*的相對(duì)風(fēng)險(xiǎn)率：

對(duì)于不同的的n和 p(n≥p+1)，計(jì)算 | B(δc1)-B(δc*)| 和RI(δc1，δc*)，結(jié)果具體見表1。

從表1中可以看出，極大似然估計(jì)δc1和最優(yōu)仿射同變估計(jì)δc*的絕對(duì)偏差與相對(duì)風(fēng)險(xiǎn)率隨著維數(shù) p的增加而增大，δc*改進(jìn)了分子生物學(xué)中通常采用的極大似然估計(jì)δc1，特別是在高維（如分子遺傳學(xué)）情況下，δc*更具有良性，另外對(duì)于比較大的 p，δc1與δc*相比和ln ||∑ 偏差越來越嚴(yán)重。

表1 不同n和p情況下，| B (δc1)-B(δc*)| 和 RI(δc1，δc*)比較