正則矩陣補償?shù)牟糠志€性模型解法及其性質(zhì)

劉 靖

湖南涉外經(jīng)濟學(xué)院，湖南長沙 410073

0 引言

部分線性模型又稱之為半?yún)?shù)模型，通常由兩部分函數(shù)組成，一是能夠參數(shù)化建模的函數(shù)模型（通常是線性模型），二是非參數(shù)模型。部分線性模型由Engle（1986）研究電力需求和氣候條件之間關(guān)系時提出的[1]。部分線性模型一經(jīng)提出，立刻展示了它強大的生命力，在統(tǒng)計學(xué)界得到了充分的肯定和研究[2-4]。因為相比線性模型它更能表述客觀真實的實際情況。對于已知特征并能建模的部分，采用參數(shù)模型表述，如Xβ，其中β是待估參數(shù)，X是模型結(jié)構(gòu)矩陣。對于未知特征不能參數(shù)化描述的部分，采用非參數(shù)模型描述，如 g( T)。相對傳統(tǒng)的線性模型，g ( T)用來刻畫未知模型或者不確定性誤差影響部分。因此，部分線性模型要比線性模型更準(zhǔn)確反映真實狀態(tài)。部分線性模型的求解方法和結(jié)構(gòu)特性一直是統(tǒng)計學(xué)界探求的重要方向，本文將研究基于正則化矩陣補償?shù)牟糠志€性模型估計方法及其性質(zhì)。

1 基于正則化矩陣補償?shù)牟糠志€性模型估計方法及性質(zhì)

1.1 基于正則化矩陣補償?shù)牟糠志€性模型估計原理及方法

簡記部分線性模型為

其中X是模型結(jié)構(gòu)矩陣 ，β = (β1， β2，… ， βd)T是待估參數(shù) ，ei為i.i.d.隨機誤差 ，且 E (ei) = 0，E (ei2)= 1，g(?)是定義在閉區(qū)間[a，b]上的未知函數(shù)。誤差方程可記為

由于法方程系數(shù)矩陣奇異，因此方程的解不唯一。

采用補償最小二乘準(zhǔn)則對極值方程進行修改，

根據(jù)非參數(shù)模型的特征，選擇相應(yīng)的正定矩陣作為正規(guī)化矩陣R，組成二次型 g?( t)TRg( t)。二次型刻畫非參數(shù)分量g?( t)的光滑性度量。當(dāng)光滑性程度超高時，模型就變?yōu)橐话愕某Ｖ嫡`差估計模型；當(dāng)光滑性為0時，非參數(shù)分量值等價與觀測數(shù)據(jù)，此時非參數(shù)量在模型中占的比重在100%，參數(shù)值β對模型沒有任何貢獻，顯然不符合實際情況。因此，合理選擇二次型具有重要意義。

對方程（3）采用拉格朗日條件極值方法，構(gòu)造函數(shù)：

當(dāng)矩陣R為正定矩陣時，式（4）的系數(shù)矩陣是正定可逆矩陣。因此有唯一解。則有，

則基于正則矩陣補償?shù)牟糠志€性模型估計值為：

1.2 基于正則化矩陣補償?shù)牟糠志€性模型估計性質(zhì)

下面證明S(I-XM)不是單位矩陣，用反證法。設(shè)S( I-XM )=I，右乘得到 ：

定理 [5]：當(dāng)λ滿足一定條件時，在MSE準(zhǔn)則下，補償最小二乘估計精度要優(yōu)于經(jīng)典最小二乘估計精度。

2 結(jié)論

部分線性模型求解方法主要包括基于最小二乘的偏殘差估計、三角級數(shù)估計、偏核光滑估計、分塊多項式估計、小波估計、以及本文研究的正則矩陣補償?shù)墓烙嫹椒?。事實上，幾種方法的原理是一致的，都是假設(shè)部分線性模型的非參數(shù)部分在閉區(qū)間[a，b]上是二次連續(xù)的，因此，基于維爾斯特拉斯定理，一定能夠用有限個參數(shù)進行無限逼近。從而將非參數(shù)問題巧妙地轉(zhuǎn)換為參數(shù)問題。本文研究的基于正則矩陣的補償方法，也是利用該原理進行計算的。

[1]Engle,R.E.,Granger,C.W.J.et al.Semiparametric estimates of the relation between weather and electricity sales[J].JASA.,1986,81:310-320.

[2]Bickel,P.J.,Klaasen, C.A.J.,et al.Efficient and adaptive estimation in semi-parametric models[M].Baltimore: John Hopkins Univ.Press, 1993.

[3]Heckman, N.E.Spline smoothing in a partly linear model[J].J R.Statist.Sec.B, 48:244-249 ,1986.

[4]Rice, J.,Convergence rates for partly linear models[J].Statist.& Probab.Lett.,4, 1986: 203-208.

[5]潘雄.半?yún)?shù)模型的估計理論及其應(yīng)用[D].武漢大學(xué)博士論文，2005.