多元Minimax估計(jì)與嶺估計(jì)的漸近風(fēng)險(xiǎn)率

王理峰，朱道元

(1.南京鐵道職業(yè)技術(shù)學(xué)院 數(shù)學(xué)系，南京210031;2.東南大學(xué) 數(shù)學(xué)系，南京 210096)

多元Minimax估計(jì)與嶺估計(jì)的漸近風(fēng)險(xiǎn)率

王理峰1，朱道元2

(1.南京鐵道職業(yè)技術(shù)學(xué)院 數(shù)學(xué)系，南京210031;2.東南大學(xué) 數(shù)學(xué)系，南京 210096)

文章在漸進(jìn)Minimax風(fēng)險(xiǎn)意義下研究多元回歸系數(shù)的線性Minimax估計(jì)相對(duì)于多元嶺估計(jì)的優(yōu)良性。計(jì)算一定條件下多元嶺回歸估計(jì)相對(duì)于多元線性Minimax估計(jì)的漸近風(fēng)險(xiǎn)率，依此來(lái)度量?jī)深惞烙?jì)的相差程度。研究發(fā)現(xiàn)多元線性minmax估計(jì)優(yōu)于多元嶺估計(jì)，當(dāng)設(shè)計(jì)陣呈良態(tài)時(shí)，多元線性minmax估計(jì)具有顯著的優(yōu)良性；設(shè)計(jì)陣病態(tài)程度越嚴(yán)重時(shí)，多元嶺估計(jì)變得越來(lái)越好，二者相差程度越來(lái)越接近。

多元線性Minimax估計(jì);多元嶺回歸估計(jì);漸近風(fēng)險(xiǎn)率

1 問(wèn)題的提出

Minimax估計(jì)使極大風(fēng)險(xiǎn)極小化，是避免損失的一種選擇，因此在實(shí)際應(yīng)用中有重要的用途。Helge Blaker[1]（2000）討論二次損失下帶橢球約束的線性回歸模型的線性Minimax估計(jì)。王理峰等[2]（2009）將Helge Blacker的主要結(jié)果推廣到了多元的情形。在一些條件下，多元線性Minimax估計(jì)與多元嶺估計(jì)形式相似，本文將在漸進(jìn)Minimax風(fēng)險(xiǎn)意義下，比較這兩類估計(jì)的優(yōu)良性。為度量?jī)深惞烙?jì)的相差程度，將計(jì)算一定條件下多元嶺估計(jì)相對(duì)于多元線性Minimax估計(jì)的漸近風(fēng)險(xiǎn)率。

其中Y為n×q階觀測(cè)矩陣，X為秩為p的n×p設(shè)計(jì)矩陣，E=(e1…eq)為誤差矩陣，W=(wij)為已知的q階非零非負(fù)定陣，B為p×q階未知參數(shù)矩陣，B∈Θ={B| tr (B'X'FXB)≤ρ}，其中F為n×n階非負(fù)定陣。模型（1）的最小二乘估計(jì)為

定義1[1,2]:B*為約束條件下B的線性Minimax估計(jì)，若記C為p×n階矩陣}，?為B的線性估計(jì)類。

下面將模型（1）典則化[3,4]。對(duì) X進(jìn)行奇異值分解:U、V分別為n×n、p×p階正交陣階矩陣，的(i，i)元為di(d1≥d2≥…≥dp＞0)，其余位置為0，則其中λi為X'X的非零特征根(λ1≥λ2≥…≥λp＞0)。令Z=U'Y，其中ηi=(η1i，…，ηpi，0…0)'。記其中記 ε=(εij)=(ε1…εq)=其中記R=(rij)= (r1，…rq)，則模型（1）可簡(jiǎn)化為：

為使L(B?，B，A)、tr(B'X'FXB)做相應(yīng)的變換能化為簡(jiǎn)潔形式，約定A、F滿足條件1：

條件1[2]記

二次損失下帶約束的模型（2）、模型（1）的Minimax估計(jì)及其風(fēng)險(xiǎn)由下面引理給出：

引理1[2]：將模型（2）寫(xiě)成元素形式為：

模型（3）的Minimax風(fēng)險(xiǎn)為：

引理2[2]：對(duì)于多元線性回歸模型（1），B∈Θ={B| tr(B'X'FXB)≤ρ}，A、F滿足條件1，在損失函數(shù)L(?，B，A)= tr(?-B)'A(?-B)下，B的線性Minimax估計(jì)為：?M=(I-h其中h滿足:

線性Minimax估計(jì)的風(fēng)險(xiǎn)為：

其中τ表示任意的p×n階矩陣組成的類。

2 多元線性Minimax估計(jì)與多元嶺回歸估計(jì)的比較

本節(jié)考慮A=X'X，X'FX=I，此時(shí)損失函數(shù)參數(shù)約束空間變?yōu)棣?{B| tr(B'B)≤ρ}。在這些假定下自然聯(lián)想到多元嶺估計(jì)。對(duì)模型（1），求 tr(Y-XB)'(Y-XB)在約束條件下tr(B'B)≤ρ下達(dá)到最小，由Lagrange乘子法可求得多元嶺估計(jì)為其中 k由決定（詳見(jiàn)文獻(xiàn)[5]）。

當(dāng)n→∞時(shí)，為了以下漸近計(jì)算的方便，重新定義約束條件和損失函數(shù)，分別為由于而其中或風(fēng)險(xiǎn)函數(shù)變?yōu)椋?/p>

進(jìn)一步分析，知隨n增大，模型的秩p也應(yīng)隨之增大，記為p(n)。當(dāng)n→∞時(shí)，p(n)→∞，以下假定X'X特征根λi=γi-d(d＞0)，γ為正常數(shù)，這種形式的特征根曾被用來(lái)分析線性模型，如文獻(xiàn)[1]和文獻(xiàn)[6]。由知d可反映 X'X的病態(tài)程度。在以上的的假設(shè)下，利用Helge Blaker[1]的思想來(lái)計(jì)算兩種估計(jì)的漸近多元線性Minimax風(fēng)險(xiǎn)，得出:

下面僅考慮k≤λ1，令

定理2：對(duì)于多元嶺估計(jì)B?R，漸近多元線性Minimax風(fēng)險(xiǎn)滿足：

其中：

為了對(duì)多元線性Minimax估計(jì)B?M改進(jìn)多元嶺估計(jì)的程度給出一些定量的結(jié)果，類比文獻(xiàn)[1]引入估計(jì)量的相對(duì)效率的概念，定義如下：

利用定理1，定理2有下面的定理：

定理3:當(dāng)p→∞時(shí)，漸近風(fēng)險(xiǎn)率為：

表1 多元嶺回歸估計(jì)與多元線性Minimax估計(jì)的漸近風(fēng)險(xiǎn)率數(shù)值

圖1 多元嶺回歸估計(jì)與多元線性Minimax估計(jì)的漸近風(fēng)險(xiǎn)率變化圖

從表1及圖1中可分析出：在多元Minimax風(fēng)險(xiǎn)意義下，多元線性Minimax估計(jì)優(yōu)于多元嶺估計(jì)。

[1]Minimax Blaker.estimation in Linear Regression Under Restrictions [J].Journal of Statistical Planning and Inference 2000，(90).

[2]王理峰,朱道元.有約束的多元線性回歸模型的Minimax估計(jì).重慶工商大學(xué)學(xué)報(bào)（自然科學(xué)版）,2009,26(6).

[3]朱道元等.多元統(tǒng)計(jì)分析及SASS軟件[M].南京：東南大學(xué)出版社，1998.

[4]王松桂,線性模型的理論及其應(yīng)用[M].合肥：安徽科技出版社, 1987.

[5]Hoerl A E,Kennard R W,Ridge Regression：Biased Estimation for Nonorthogonal Problems[J].Technometrics,1970,(12).

[6]Frank I E,Friedman J H,A Statistical View of Some Chemometrics Regression Tool(with discussion)[J].Technometrics,1993,(35)

[7]Speckman p.Spline Smoothing and Optimal Rates of Convergence in Nonparametric Regression Models[J].Ann.sttist,1985,(13).

[8]Pinsker M S.Optimal filtration of Square-integrable Signals in Gauss?ian White Noise[J].Problems Inform.Transmission16,1980,(16).

（責(zé)任編輯/浩 天）

O212.1

A

1002-6487（2016）23-0080-03

江蘇省高校哲學(xué)社會(huì)科學(xué)研究基金資助項(xiàng)目（2014SJD283）

王理峰（1981—），女，河南平頂山人，碩士，講師，研究方向：多元統(tǒng)計(jì)分析。朱道元（1947—），男，江蘇揚(yáng)州人，教授，研究方向:多元統(tǒng)計(jì)分析。