部分線性模型的光滑樣條推斷

盧一強(qiáng)，陳中威

(解放軍信息工程大學(xué)電子技術(shù)學(xué)院，河南鄭州 450004）

部分線性模型的光滑樣條推斷

盧一強(qiáng)，陳中威

(解放軍信息工程大學(xué)電子技術(shù)學(xué)院，河南鄭州 450004）

運(yùn)用光滑樣條估計(jì)部分線性模型中的非參數(shù)函數(shù)，利用限制最大似然或廣義交叉驗(yàn)證(GCV)的方法選擇光滑參數(shù)，主要考察了部分線性模型的光滑樣條估計(jì)以及有關(guān)非參數(shù)函數(shù)部分的假設(shè)檢驗(yàn).基于光滑參數(shù)的選擇方法，提出了部分線性模型中的非參數(shù)函數(shù)是否為多項(xiàng)式函數(shù)的假設(shè)檢驗(yàn)方法，并通過(guò)模擬例子研究本文提出的推斷效果.

部分線性模型 光滑樣條 限制最大似然(RML)廣義交叉核實(shí)法(GCV)假設(shè)檢驗(yàn)

部分線性模型為{yi，Xi，ti}ni＝1為觀察數(shù)據(jù)，εi～N（0，σ2）為隨機(jī)誤差，yi為響應(yīng)變量，Xi＝（xi，…，xip）T和ti為回歸變量，ti是標(biāo)量，β＝（β1，…，βp）T為未知的回歸參數(shù)，（f t）為非參數(shù)函數(shù).模型(1)由Engle et al.[1]首先提出，相對(duì)于線性回歸模型，模型(1)能夠顯著減少模型偏差，同時(shí)保持線性模型的易于解釋等優(yōu)點(diǎn).模型(1)的估計(jì)及性質(zhì)在文獻(xiàn)中得到了深入的研究和廣泛應(yīng)用，如Heckman[2]和Speckman[3]分別研究了模型(1)的光滑樣條估計(jì)和核估計(jì)，Chen[4]討論了模型(1)中參數(shù)估計(jì)的收斂速度，Cuzick，Severini and Staniswa[5]和Carroll etal.[6]分別將模型(1)推廣到部分線性可加模型和廣義線性模型等，還有許多該模型的應(yīng)用，可參考相關(guān)文獻(xiàn).但是，有關(guān)部分線性模型的檢驗(yàn)研究的不是很多，本文運(yùn)用Gu[7]中介紹的光滑樣條方法估計(jì)模型(1)中的非參數(shù)部分，將Liuand Wang[8]中非參數(shù)回歸的一些檢驗(yàn)方法推廣到部分線性模型(1)，基于限制最大似然 (RML)和廣義交叉驗(yàn)證(GCV)的方法提出了檢驗(yàn)?zāi)Ｐ?1)中的非參數(shù)函數(shù)是否為多項(xiàng)式函數(shù)的檢驗(yàn)方法，并做了大量的模擬研究，模擬研究表明利用本文的方法能夠?qū)Σ糠志€性模型進(jìn)行很好的估計(jì)和檢驗(yàn).

1 部分線性模型的光滑樣條估計(jì)

不失一般性，假設(shè)t∈［0，1］，f（t）為未知非參數(shù)函數(shù)，且f(·)∈Wm，其中Wm＝{g｜g，…，g（m-1）絕對(duì)連續(xù)g(m)∈L2［0，1］}.

最小化

可得部分線性模型的光滑樣條估計(jì)，其中λ為光滑參數(shù).設(shè)φv（t）＝tv-1／（v-1）！

當(dāng)m＝1時(shí)，R（x，y）＝x＞y，當(dāng)m＝2時(shí)，R（x，y）＝（x＞y）2（3（x＜y）-（x＞y））／6，其中x＜y＝max（x，y），x＞y＝min（x，y）.由Gu[2]，f（t）的光滑樣條估計(jì)可表示為

令T＝（φj（ti））n×m，T的（i，j）元為φj（ti）.Σ＝（R（ti，tj））n×n，Y＝（y1，…，yn）T，X，t，c，d，ε可類似定義.由光滑樣條方法估計(jì)的性質(zhì)，懲罰項(xiàng)等于

由此可得(2)式等價(jià)于

令Z＝（X，T）T，θ＝（βT，dT）T，則θ和c是下列線性方程組

2 光滑參數(shù)的選擇

在光滑樣條估計(jì)中，光滑參數(shù)在所估函數(shù)的光滑性與數(shù)據(jù)的擬合度之間起調(diào)節(jié)作用.因此，光滑參數(shù)的選擇是至關(guān)重要的.常見(jiàn)的有限制最大似然(RML)和廣義交叉驗(yàn)證(GCV)等光滑參數(shù)的選擇方法.

2.1 限制最大似然法

仔細(xì)分析可得，由最小化(3)式得到的θ和c的估計(jì)等價(jià)于混合效應(yīng)模型

的最小二乘估計(jì)，其中θ＝（βT，dT）T為固定參數(shù)，

為隨機(jī)效應(yīng)，ε～N（0，Inσ2）為隨機(jī)誤差.由此可知，

其中b＝σ2／（nλ）.在選擇光滑參數(shù)時(shí)，為了消除固定參數(shù)的影響，常作變換W＝F2TY，其中F2見(jiàn)(5)式.由式(8)易見(jiàn)

其中q為W的列數(shù).設(shè)F2TΣF2的譜分解為

其中U為正交矩陣，T＝diag（λ1，…，λq）為對(duì)角矩陣，λν為F2TΣF2的特征值.令

3 非參數(shù)部分的假設(shè)檢驗(yàn)

實(shí)際應(yīng)用中，我們經(jīng)常需要檢驗(yàn)?zāi)Ｐ?1)中的非參數(shù)函數(shù)是否為某一個(gè)參數(shù)模型.特別的，檢驗(yàn)(1)中f（x）是否為m-1次多項(xiàng)式.由(7)可知，當(dāng)λ＝∞或b＝0時(shí)，c＝0，f（x）為m-1次多項(xiàng)式.因此，檢驗(yàn)(1)中f（x）是否為m-1次多項(xiàng)式等價(jià)于檢驗(yàn)

基于限制似然函數(shù)(12)式，定義似然比檢驗(yàn)統(tǒng)計(jì)量TL越小，越不利于假設(shè)H0.拒絕域的形式為{TL＜c}.

TGCV越小，越不利于假設(shè) H0.拒絕域的形式為{TGCV＜c}.

(1)生成Z～N（0，Iq）；

(2)由(13)或(14)計(jì)算出λ^；

(3)計(jì)算檢驗(yàn)統(tǒng)計(jì)量TL和TGCV；

(4)重復(fù) (1)～(3)l次，可得檢驗(yàn)統(tǒng)計(jì)量在H0下的l個(gè)樣本x1，…，xl，H0的P值近似為

其中x0為基于實(shí)際數(shù)據(jù)計(jì)算的檢驗(yàn)統(tǒng)計(jì)量的值.

4 模擬研究

為了檢驗(yàn)文中所提出的方法的推斷效果，我們作如下模擬研究.設(shè)

ε～N（0，0.32）.t～U（0，1），X1，X2，X3服從均值為0，方差為1，相關(guān)系數(shù)為0.70的正態(tài)分布.對(duì)于模型(15) a分別選為a＝0，3，5.當(dāng)a＝3，f（t）的光滑樣條估計(jì)見(jiàn)圖1-a，β的估計(jì)為1.194(0.026)，3.006(0.023)，-2.002(0.027).對(duì)于模型(16)分別選為a=0，0.5，1.

當(dāng)a=0.5，f（t）的光滑樣條估計(jì)見(jiàn)圖1-b，β的估計(jì)的經(jīng)驗(yàn)均值和標(biāo)準(zhǔn)差為1.200(0.030)，3.003 (0.027)，-2.003(0.028).

我們作了非參數(shù)部分是否為線性函數(shù)的檢驗(yàn)，即取m＝2，檢驗(yàn)

當(dāng)a＝0時(shí)，H0成立.a值越大，H0越不可能是線性.取樣本容量為300，重復(fù)500次實(shí)驗(yàn)，每次實(shí)驗(yàn)中Boostrap樣本為10000.假設(shè)檢驗(yàn)的顯著水平取為0.05，表(1～2)列出了模擬實(shí)驗(yàn)中H0拒絕的比例.

圖1 模型(15)在a＝3以及模型(16)在a＝1.5的估計(jì)：實(shí)線為真實(shí)函數(shù)，虛線為光滑樣條估計(jì).

表1 在500次研究中模型(15)的拒絕比例

表2 在500次研究中模型(16)的拒絕比例

從表中可以看出，當(dāng)a＝0時(shí)，H0拒絕的比例接近顯著水平，隨著a的增大，檢驗(yàn)的功效明顯增大.

從以上的模擬研究可以看出，部分線性模型不僅能夠運(yùn)用光滑樣條的方法得到很好的估計(jì)，而且也能夠運(yùn)用本文的方法對(duì)非參數(shù)部分進(jìn)行有效的檢驗(yàn)，基于RML和GCV兩種檢驗(yàn)方法得到相似的檢驗(yàn)功效.

[1]EngleRF，GrangerCW J，Rice J，etal.Semiparametricestimatesof the relation betweenweatherand electricity scales[J].JAmer Statist Assoc，1986，81：310-320.

[2]Heckman N E.Spline smoothing in paitial linearmodels[J].JRoy Statist Soc Ser BVol，1986，48：244-248.

[3]Speckmen P.Kernel smoothing in paitial linearmodels[J].JRoy Statist Soc Ser B Vol，1988，50：413-436.

[4]Chen H.Convergence rates for parametric components in paitial linearmodels[J].Ann Statist，1988，16：136-146.

[5]Severini T A，Staniswalis JG.Quasilikelihood estimation in semiparametricmodels[J].JAmer Statist Ass，1994，89：501-511.

[6]Carroll R J，F(xiàn)an J，Gijbels I，etal.Generalized partially linear single-indexmodels[J].JAmer Statist Assoc，1997，92：477-489.

[7]Gu C.Smoothing spline ANOVA models[M].New York：Springer-Verlag，2002.

[8]Liu A，Wang Y D.Hypothesis testingin smoothing splinemodels[J].Journal of Statistical Computation and Simulation，2004，70 (8)：581-597.

The Smoothing Sp line Inference Test o n Partially Linear M odel

LU Yi－qiang，CHEN Zhong－wei
(Institute of Electronic Technology，PLA Information Engineering University，Zhengzhou Henan，450004)

This article mainly considers the smoothing spline estimate of partial linear model and the test of the hypothesis whether the nonparametric function in partially linearmodel is some polynomial.The nonparametric function partially linearmodel are estimated by the use of smoothing spline.The smoothing parameter is selected using the methods of restricted maximum likelihood (RML)or generalized cross-validity(GCV).Based on the procedure of selection of the smoothing parameter，the testingmethodswere developed.Simulations show that the methods developed in this paper have the good performance for inference on partially linear model.

s emiparametricmodel；smoothing spline；restrictedmaximum Likelihood(RML)；generalized cross-validity(GCV)；hypothesis test

O212.7

A

〔編輯 高?！?/p>

2009-10-06

國(guó)家自然科學(xué)基金項(xiàng)目[10501053]

盧一強(qiáng)(1971-)，男，河南濟(jì)源人，博士，教授，研究方向：概率統(tǒng)計(jì).