線性模型的一種新的幾乎無偏兩參數(shù)估計(jì)

左衛(wèi)兵，胡梅

0 引言

在線性模型的參數(shù)估計(jì)中，當(dāng)回歸自變量間存在復(fù)共線性時(shí)，最小二乘估計(jì)不再是良好的估計(jì)，對(duì)此，統(tǒng)計(jì)學(xué)家們提出了有偏估計(jì)，如壓縮估計(jì)、嶺估計(jì)、Liu估計(jì)、主成分估計(jì)、兩參數(shù)估計(jì)等[1-5]，文獻(xiàn)[6]通過選取最優(yōu)線性算子提出了一種新的有偏估計(jì)，文獻(xiàn)[7]提出的Liu型估計(jì)通過構(gòu)造嶺函數(shù)得到了嶺估計(jì)、Liu估計(jì)、兩參數(shù)估計(jì)的一般形式。另一方面，一些統(tǒng)計(jì)學(xué)家從降低有偏估計(jì)離差的角度進(jìn)行改進(jìn)，從而引入了幾乎無偏的概念，文獻(xiàn)[8]給出了幾乎無偏估計(jì)的定義和一類幾乎無偏壓縮估計(jì)，在此基礎(chǔ)上，文獻(xiàn)[9]提出了幾乎無偏嶺估計(jì)和廣義幾乎無偏嶺估計(jì),文獻(xiàn)[10]提出了幾乎無偏Liu估計(jì)和廣義幾乎無偏Liu估計(jì)，文獻(xiàn)[11]提出了一種幾乎無偏兩參數(shù)估計(jì)，文獻(xiàn)[12，13]對(duì)受約束條件下的幾乎無偏估計(jì)做了大量研究。

本文在文獻(xiàn)[14]提出的兩參數(shù)估計(jì)的基礎(chǔ)上，運(yùn)用幾乎無偏估計(jì)的思想，提出了一種新的幾乎無偏兩參數(shù)估計(jì)，新的估計(jì)是最小二乘估計(jì)、幾乎無偏嶺估計(jì)、幾乎無偏Liu估計(jì)的推廣，并在均方誤差矩陣準(zhǔn)則下，給出了新的估計(jì)優(yōu)于最小二乘估計(jì)、幾乎無偏嶺估計(jì)、幾乎無偏Liu估計(jì)以及文獻(xiàn)[11]提出的幾乎無偏兩參數(shù)估計(jì)的充分條件。

1 新估計(jì)的提出

線性模型的一般形式為：

其中，Y是n×1可觀測(cè)向量；X是n×p列滿秩已知設(shè)計(jì)矩陣；β是 p×1未知參數(shù)向量；ε是n×1隨機(jī)誤差向量；In是n階單位陣。

文獻(xiàn)[14]提出了線性模型參數(shù)的一種兩參數(shù)估計(jì)，其定義為：

其中，參數(shù) k＞d＞0，β?是模型（1）下的最小二乘估計(jì)。

結(jié)合文獻(xiàn)[8]中幾乎無偏估計(jì)的思想，本文對(duì)式（2）進(jìn)行改進(jìn)從而得到了一種新的幾乎無偏兩參數(shù)估計(jì)：

為了研究方便，引入模型（1）的典則形式：

其中 Z=XT ，α=T′β 。對(duì)于式（3），有 Z′Z=T′X′XT=Λ=diag(λ1，…，λp)。

令B1=(Λ+kI)-1(Λ+dI)，則 在 式（3）下 ，β?、β?T(k，d )、β?N(k，d )的典則形式分別為：為模型（1）中 β 的新的幾乎無偏兩參數(shù)估計(jì)，

從新估計(jì) α?N(k，d )的定義可以看到：

2 新估計(jì)的優(yōu)良性

引理1[4]：設(shè) M 為半正定矩陣，則存在向量α，有M-αα′＞0?α′M-1α＜1。

引理2[5]：設(shè) β?j=Ajy，j=1，2 是 β 的兩個(gè)齊次線性估示估計(jì) β?j的協(xié)方差矩陣。則有Δ()=MSEM(β?1)-其中MSEM(β?j) 和 dj分別表示 β?j的均方誤差矩陣和偏差。

根據(jù)新估計(jì)α?N(k，d )的定義，可得其偏差，協(xié)方差和均方誤差矩陣分別為：

定 理1：如 果k＞d＞0，有Bias(α ?N(k，d ) )＜Bias(α ?T(k，d ) )。

證明：令Sk-1=(Λ+kI)-1，Sd=(Λ+dI) ，則

由于 k＞d＞0，λ＞0，顯然 || Bias(α ? (k，d ) )||-|Bias

iNi(α ? (k，d ) )||＜0，也就是說幾乎無偏兩參數(shù)估計(jì)α?(k，d )相

TiN對(duì)于兩參數(shù)估計(jì)α?T(k，d )偏差有所改進(jìn)。

定理2：如果k＞d＞0，幾乎無偏兩參數(shù)估計(jì) α?N(k，d)在均方誤差矩陣準(zhǔn)則下優(yōu)于最小二乘估計(jì)α?的充分必要證明：易知最小二乘估計(jì)α?的均方誤差矩陣為：

由式（9）和式（10）得估計(jì) α?與估計(jì) α?N(k，d )的均方誤差矩陣之差為：

于是D1＞0當(dāng)且僅當(dāng)

由于k＞d＞0，k-2(λi+k )＜0 ，故 λi-λi(1-)2＞0

因此D1＞0

根據(jù)引理1，定理2得證。

定理3：如果k＞d＞0，k＞1，新估計(jì)α?N(k，d )在均方誤差矩陣準(zhǔn)則下優(yōu)于估計(jì)α?A(d ) 的充分必要條件是b′

證明：令B2=[I + (1-d) S-1]S-1Sd，S-1=(Λ+I)-1，則α?A(d ) =B2α?

易得 α?A(d)的均方誤差矩陣為：

由式（9）和式（11）得估計(jì) α?A(d )與估計(jì) α?N(k，d )的均方誤差矩陣之差為：

經(jīng)計(jì)算得：

而：

因此D2＞0

根據(jù)引理2，定理3得證。

定理4：如果 k＞d＞0，k＞1，新估計(jì) α?N(k，d )在均方誤差矩陣準(zhǔn)則下優(yōu)于估計(jì)α?A(k)的一個(gè)充分條件是

證明：由于 α?(k)=Bα?，其中 B=I-k2S-2，則 α?(k)

A33kA的均方誤差矩陣為：

其中b3=Bias(α ?A(k))

由式（9）和式（12）得估計(jì) α?A(k )與估計(jì) α?N(k，d )的均方誤差矩陣之差為：

其中D3=Cov(α?A(k) )-Cov(α?N(k，d) )，b3=Bias(α?A(k) )。

令γ=σ2/α2，則MSEM(α? (k) )-MSEM(α?

iiAUTPNAUTP

當(dāng)k＞d＞0，k＞1時(shí)，有2k2+d2-2kd＞1，2kd-d2＞0。

而得上式成立的一個(gè)充分條件：

定理得證。

為了方便比較，把文獻(xiàn)[11]提出的幾乎無偏兩參數(shù)估計(jì)記為β?A(k，d)，典則形式為α?A(k，d)。

定理5：如果k＞d＞0，k＞1，新估計(jì)α?N(k，d)在均方誤差矩陣準(zhǔn)則下優(yōu)于估計(jì)α?A(k，d) 的充分必要條件是

計(jì)算得：

于是，D4＞0當(dāng)且僅當(dāng)

因此D4＞0。

根據(jù)引理2，定理5得證。

3 數(shù)值模擬

為了闡述上面的理論成果，說明新的幾乎無偏兩參數(shù)估計(jì)在均方誤差矩陣準(zhǔn)則下的優(yōu)良性，這里進(jìn)行如下數(shù)據(jù)模擬，數(shù)據(jù)來源于文獻(xiàn)[15]，該數(shù)據(jù)在多篇文獻(xiàn)中被廣泛引用：

計(jì)算可知矩陣的條件數(shù)為3.66793e+007，因此設(shè)計(jì)陣是病態(tài)的。對(duì)數(shù)據(jù)進(jìn)行線性回歸，可以得到X′X特征值為λ1=44676.21，λ2=5965.42，λ3=809.95，λ4=105.42，λ5=0.00123。經(jīng)過簡(jiǎn)單計(jì)算，可得參數(shù)向量β、σ2的最小二乘估計(jì)分別為:

在實(shí)際應(yīng)用中，參數(shù)k和d的選取是一個(gè)重要的問題。這里采用文獻(xiàn)[16]中參數(shù)的選取方法得k?GM=28.9913，d=0.95，計(jì)算得估計(jì)β?，β?A(d)，β?A(k)，β?A(k，d)和β?N(k，d)的均方誤差值見表1。

表1 各估計(jì)值及其均方誤差值（k?GM=28.9913、d=0.95）

從表1可以看到，新的幾乎無偏兩參數(shù)估計(jì)β?N(k，d)的均方誤差要小于β?，β?A(d)，β?A(k)，β?A(k，d)的均方誤差，符合本文得到的結(jié)果，因此，本文提出的估計(jì)在實(shí)際應(yīng)用中有很好的表現(xiàn)，為應(yīng)用工作者提供了新的選擇。

[1]Hoerl A E,Kennard R W.Ridge Regresssion:Biased Estimation for Nonorthogonal Problems[J].Technometrics,1970,12(1).

[2]Liu K.A New Class of Biased Estimate in Linear Regression[J].Commun Stat Theory Methods,1993,22(2).

[3]?zkale M R,Ka?iranlar S.The Restricted and Unrestricted Two-parameter Estimators[J].Commun Stat Theory Methods,2007,36(10).

[4]Farebrother R W.Further Results on the Mean Square Error of Ridge Regression[J].Journal of the Royal Statistical Society,1976,38(3).

[5]Trenkler G,Toutenburg H.Mean Squared Error Matrix Comparisons Between Biased Estimators—An Overview of Recent Results[J].Statistical Papers,1990,31(1).

[6]Arumairajan S,Wijekoon P.Optimal Generalized Biased Estimator in Linear Regression Model[J].Open Journal of Statistics,2015,5(5).

[7]Kurnaz F S,Akay K U.A New Liu-type Estimator[J].Statistical Papers,2015,56(2).

[8]Kadiyala K.A Class of Almost Unbiased and Efficient Estimators of Regression Coefficients[J].Economics Letters,1984,(16).

[9]Singh B,Dwivedi T D.An Almost Unbiased Ridge Estimator[J].Sankhya,1986,48(396).

[10]Akdeniz F,Ka?iranlar S.On the Almost Unbiased Generalized Liu Estimator and Unbiased Estimation of the Bias and Mse[J].Communication in Statistics-Theory and Methods,1995,24(7).

[11]常新鋒.均方誤差意義下幾乎無偏兩參數(shù)估計(jì)的優(yōu)良性[J].統(tǒng)計(jì)與決策,2014,(19).

[12]Wu J B,Yang H.On the Stochastic Restricted Almost Unbiased Estimators in Linear Regression Model[J].Journal of Applied Statistics,2013,38(3).

[13]Wu J B.Modified Restricted Almost Unbiased Liu Estimator in Linear Regression Model[J].Communications in Statistics-Simulation and Computation,2016,45(2).

[14]薛美玉,梁飛豹.線性模型的新的兩參數(shù)估計(jì)[J].福州大學(xué)學(xué)報(bào):自然科學(xué)版,2015,43(2).

[15]Woods H,Steninour H H,Starke H R.Effect of Composition of Portland Cement on Heat Evolved During Hardening[J].Ind Eng Chem,1932,(24).

[16]Yang H,Chang X F.A New Two-parameter Estimator in Linear Regression[J].Commun Stat Theory Methods,2010,39(6).