范數(shù)約束下半參回歸模型參數(shù)估計及其性質①

代金輝

(山東工商學院數(shù)學系，山東煙臺 264005)

0 引言

其中，yn×1=(y1，…，yn)是觀測值向量，Xn×p是n×p設計矩陣，β是p×1未知系數(shù)向量，f是未知非參平滑項，e是獨立同分布的隨機向量誤差項，均值為0協(xié)方差矩陣為σ2V.這里σ2已知或未知均可，V為n×n非負定陣，M為已知正常數(shù).

對上述半參數(shù)回歸模型中的非參項的估計方法，主要有樣條估計、近鄰估計、小波估計，核估計等.核估計是較早且較成熟的方法，但有一定的缺陷，為此 Fan 和 Gijbels[1]，Hoover等[2]提出局部多項式方法擬合非參數(shù)回歸中的未知函數(shù)，能很好地彌補核估計的不足，同時保留了它的優(yōu)點.筆者受此啟發(fā)，文中對非參數(shù)部分進行局部線性擬合，對線性部分采用約束最小二乘法，構造出的估計量具有很好的性質.

對于半參模型在無約束情形下已有了很多結果，見文獻[3～5].而參數(shù)的模長受約束的情形還未得到研究，本文首先提出了范數(shù)約束問題，并針對模型給出了參數(shù)的約束最小二乘估計，并近一步研究了該估計的一些性質如有偏性，及協(xié)方差的單調性質.考慮帶非參平滑項的約束半參回歸模型

1 范數(shù)約束參數(shù)估計

對模型(1)，由于V＞0，故存在唯一正定對稱矩陣

(1)若S(β)的無條件極小值使得β′β≤M2，則該極小值就是所需解.

(2)若S(β)的無條件極小值使得 β′β＞M2(事實上，當設計陣病態(tài)時，總會是這種情況)，則根據(jù)β′β≤M2知，該約束極小值必在β′β=M2處取到.即β的約束估計問題轉化為求解下述懲罰最小二乘問題:

則

由(4)式得到

于是

由于X′V－1X＞0，故存在正交矩陣Q，使得Q′X′V－1XQ=Λ=diag(λ1，……，λp)，其中 λi＞0，i=1，…，p由(7)式可得

可見，上述結果與通常的嶺估計形式比較近似，只是這里的λ不是常數(shù)，依賴于樣本，屬于自適應非線性估計.借助嶺估計的幾何意義，限定λ＞0是合理的，λ＜0可以看成范數(shù)約束平方后的增根.(若無特別說明，都限定λ＞0)

下面給出λ的表達式.由(6)式可得

2 估計性質

引理 設A，B均為n×n陣，并且A＞0，B＞0則A－1－(A+B)－1≥0定理1E((λ))=(I－2Λ0B－1

λ)β，其中Bλ=X′V－1X+2Λ0，Λ0=diag(λ，…，λ)，從而(λ)為β的有偏估計.

證明:

E((λ))=E[(X′V－1X+2Λ0)－1X′V－1(y－f)]

=(X′V－1X+2Λ0)－1X′V－1Xβ

=(X′V－1X+2Λ0)－1[(X′V－1X+2Λ0)β－2Λ0β]=β－2Λ0(X′V－1X+2Λ0)－1β=(I－2Λ0B－1λ)β此外，易求得(λ)的協(xié)方差為即.還知在L¨owner[6]偏序意義下估計量(λ)的協(xié)方差一致優(yōu)于廣義最小二乘估計bGLSE的協(xié)方差，即Cov((λ))≤Cov(bGLSE)，事實上

因此

由上述限定λ＞0知顯然成立.

[1]Fan J，Gijbels I.Local Polo Nominal Modeling and Its Applications.London:Chapman and Hall，1996.

[2]Hoover，D.R.，Rice，J.A.，Wu，C.o.，and Yang，L.P.Nonparametric Smoothing Estimates of Time－varying Coefficient Models with Longitudinal Data.Biometrika，1998，85，809－822.

[3]Hecman，N.(1986).Spline Smoothing in a Partly Linear Model Journal of Royal Statistic Society，Series B，48，244－248.

[4]Speckman，P.(1998).Kernel Smoothing in Partial Linear Models.Journal of Royal Statistical Society，Series B，50，413－436.

[5]Engle，R.F.，Granger，C.W.J.，Rice，J.and Weiss，A.(1986).Semiparametric Estimates of the Relation between Weather and Electricity Sales.Journal of American Statistical Association，81，310－320.

[6]王松桂，賈忠貞.矩陣論中不等式[M].安徽:安徽教育出版社，1994.