Elastic Net方法在縱向數(shù)據(jù)模型中的應(yīng)用*

許麗慶田凱熊琴

（1.廣西大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，南寧，530004；2.廣西科技大學(xué)醫(yī)學(xué)院，柳州，545006）

Elastic Net方法在縱向數(shù)據(jù)模型中的應(yīng)用*

許麗慶1田凱1熊琴2

（1.廣西大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，南寧，530004；2.廣西科技大學(xué)醫(yī)學(xué)院，柳州，545006）

將Elastic Net方法（EN方法）運(yùn)用于平衡縱向數(shù)據(jù)模型的變量選擇中，建立了相應(yīng)的縱向數(shù)據(jù)模型，證明了平衡縱向數(shù)據(jù)模型的EN估計具有組效應(yīng)性質(zhì)，通過數(shù)值模擬比較EN方法和Lasso方法，表明EN方法在處理強(qiáng)相關(guān)變量時因其能將強(qiáng)相關(guān)變量全部選入縱向數(shù)據(jù)模型而優(yōu)于Lasso方法.

Elastic Net方法 縱向數(shù)據(jù)模型 變量選擇 組效應(yīng)性質(zhì)

1　引言

縱向數(shù)據(jù)自提出以后在社會科學(xué)，心理學(xué)，生物醫(yī)學(xué)，計量經(jīng)濟(jì)學(xué)等領(lǐng)域普遍存在.通過對觀測對象中的每一個受試個體或者每一個受試單位在不同時間點(diǎn)上重復(fù)觀測得到的數(shù)據(jù)稱為縱向數(shù)據(jù).因此數(shù)據(jù)即包含同一時間點(diǎn)上不同樣本的數(shù)據(jù)，也包含不同時間點(diǎn)上的觀測數(shù)據(jù).所以，縱向數(shù)據(jù)把截面數(shù)據(jù)和時間數(shù)據(jù)有效的結(jié)合在一起，既能夠很好地分析出個體隨時間變化的趨勢，又能很好的反映個體間的差異及個體內(nèi)的變化趨勢.

關(guān)于縱向數(shù)據(jù)的研究一直是統(tǒng)計研究的熱點(diǎn)，其中變量選擇問題一直受到廣泛的關(guān)注.為了選擇重要的變量和增強(qiáng)預(yù)測精度，統(tǒng)計學(xué)家們經(jīng)常應(yīng)用不同的方法，例如逐步回歸法和子集選擇法，但是由于這兩種方法算法的不穩(wěn)定性［1-2］，導(dǎo)致它們的理論性不強(qiáng).1970年，由Hoerl和Kennard［3］提出的嶺回歸雖然增加了穩(wěn)定性可是它并不能將任何系數(shù)設(shè)置為零，所以其不能給出一個簡單的解析模型.1996年，Tibshirani［4］提出的Lasso方法，它可以同時做到變量的選擇和參數(shù)估計.2005年，Zou和Hastie［5］提出的Elastic Net（EN）方法，它是Lasso方法的一種有效改進(jìn)，它在處理變量間存在組效應(yīng)的數(shù)據(jù)方面要顯著優(yōu)于Lasso法.

當(dāng)每個受試個體重復(fù)觀測的次數(shù)和時刻相同就得到了平衡縱向數(shù)據(jù)，平衡縱向數(shù)據(jù)模型要求自變量之間相互獨(dú)立，至少不允許出現(xiàn)很強(qiáng)的相關(guān)性，同時還要求所研究的樣本量n大于預(yù)測變量個數(shù)p，但是現(xiàn)實(shí)生活中往往出現(xiàn)p?n的情形，所以在處理高維度且變量間有強(qiáng)相關(guān)性的縱向數(shù)據(jù)時，傳統(tǒng)的縱向數(shù)據(jù)就不再適用了.本文將EN方法用于縱向數(shù)據(jù)模型，建立相應(yīng)的縱向數(shù)據(jù)模型，對高維度強(qiáng)相關(guān)的變量選擇問題進(jìn)行了有益的探索.

2　平衡縱向數(shù)據(jù)模型和EN方法

2.1平衡縱向數(shù)據(jù)模型

平衡縱向數(shù)據(jù)要求對每個個體重復(fù)觀測的次數(shù)相同，因此每個個體內(nèi)部數(shù)據(jù)的個數(shù)相同且同分布，對第i個個體的響應(yīng)變量和p個預(yù)測變量重復(fù)觀測n次可得到：

多數(shù)的縱向數(shù)據(jù)分析都是基于回歸模型基礎(chǔ)上的，如線性模型.對于平衡縱向數(shù)據(jù)，考慮線性模型：其中，β=β1，β2，…，βp

（）′是一個p維向量，表示待估計的回歸系數(shù)，εij為隨機(jī)誤差項(xiàng)，表示響應(yīng)變量與x′β的偏差.不失一般性，對于任意的i和j，令xij1=1，即β1為線性模型中的截距項(xiàng).利用矩陣描述，其第i個回歸方程有下面的形式：

2.2EN方法

Elastic Net，又稱彈性網(wǎng)技術(shù)，它是在Lasso的基礎(chǔ)上，通過引入系數(shù)的二次懲罰項(xiàng)而得到的［5］，它比Lasso方法［6，11］更能有效的處理高維小樣本數(shù)據(jù)的方法.

假設(shè)數(shù)據(jù)的樣本量為n，預(yù)測變量個數(shù)為p，響應(yīng)變量y=y1，…，y n（

）T，預(yù)測變量xj=，X是由p個預(yù)測變量組成的矩陣，首先對響應(yīng)變量和預(yù)測變量分別進(jìn)行中心化處理和標(biāo)準(zhǔn)化處理.

對于普通線性模型，EN方法定義如下：

3　EN方法在平衡縱向數(shù)據(jù)模型中的應(yīng)用

3.1平衡縱向數(shù)據(jù)EN估計的方法

通過對每個實(shí)驗(yàn)個體的重復(fù)觀測，可以獲得相應(yīng)變量Yi和預(yù)測變量Xi，i=1，…，m.利用極大似然函數(shù)估計方法來估計系數(shù)，其極大似然函數(shù)定義如下：

對上式取e為底的對數(shù)，得到似然函數(shù)［8］：

參數(shù)β的估計為：

3.2平衡縱向數(shù)據(jù)模型EN估計的性質(zhì)

EN估計具有組效應(yīng)性質(zhì)［6.7］，對于強(qiáng)相關(guān)變量組的數(shù)據(jù)，能將其全部選入模型而不是只選擇一個，彌補(bǔ)了Lasso方法只能選擇變量組中的一個變量的不足.現(xiàn)研究在平衡縱向數(shù)據(jù)模型下，EN估計的組效應(yīng)性質(zhì).

所以

同理，

定理1從理論上揭示了平衡縱向數(shù)據(jù)模型的EN估計具有組效應(yīng)性質(zhì)，對于具有強(qiáng)相關(guān)性的變量，EN估計能將強(qiáng)相關(guān)變量全部選入模型，而并非只選擇其中一個，且系數(shù)估計的差距隨著相關(guān)系數(shù)的增大而減小.

3.3數(shù)值模擬

現(xiàn)通過數(shù)值模擬加以驗(yàn)證EN方法在處理具有強(qiáng)相關(guān)變量組的數(shù)據(jù)上更具有有效性.由于EN方法的解經(jīng)轉(zhuǎn)換后可表達(dá)為Lasso方法的解的形式，故可以利用最下角回歸算法解決其算法問題.結(jié)合Lars算法［12］，在R軟件［9，10］中進(jìn)行變量篩選.應(yīng)用R軟件產(chǎn)生m組平衡縱向數(shù)據(jù)，Xi的每一列都是獨(dú)立同分布于Nn×10，I（），隨機(jī)誤差εi=εi1，εi2，…，εin（

）′～Nn×10，Σ（）.對于任意給定的β=β1，β2，…，βp（

）′，應(yīng)用線形模型Yi=Xiβ+εi，可以獲得Y= Y1，Y2，…，Ym（）′.這里用來仿真模擬的平衡縱向數(shù)據(jù)形式如（1）式所示.現(xiàn)假設(shè)在模型中的變量關(guān)系如下：

表1　數(shù)值模擬得到的系數(shù)估計值

由表1可知：兩種方法均可以準(zhǔn)確估計出參數(shù)值，如xij4真實(shí)值為1，EN方法和Lasso方法估計的參數(shù)值分別為0.9994和1.但在變量強(qiáng)相關(guān)條件下，兩種方法結(jié)果不同.例如：對于存在強(qiáng)相關(guān)的變量組xij1與xij2，EN 方法把xij1與xij2都選入了模型，而Lasso方法只選擇了變量xij1；同樣，對于強(qiáng)相關(guān)變量xij9和xij10，EN方法把xij9與xij10都選入了模型，而Lasso方法只選擇了變量xij9；這是由于EN方法具有組效應(yīng)性質(zhì).同時這也表明，對于數(shù)據(jù)中存在強(qiáng)相關(guān)變量組的情形，運(yùn)用EN方法選擇出的變量更接近于真實(shí)模型.

綜上，在將平衡縱向數(shù)據(jù)模型與EN方法結(jié)合后，EN方法仍然在處理具有強(qiáng)相關(guān)變量組的數(shù)據(jù)上顯著優(yōu)于Lasso方法.

4　結(jié)論

本文鑒于EN方法能有效處理強(qiáng)相關(guān)數(shù)據(jù)的事實(shí)，將EN方法運(yùn)用于縱向數(shù)據(jù)模型中，證明縱向數(shù)據(jù)模型的EN估計具有組效應(yīng)性質(zhì)，并通過數(shù)值模擬驗(yàn)證了EN方法能將強(qiáng)相關(guān)變量全部選入縱向數(shù)據(jù)模型而Lasso方法并沒有這方面的作用.

綜上可知，EN方法能有效克服傳統(tǒng)縱向數(shù)據(jù)參數(shù)估計方法的不足，使縱向數(shù)據(jù)變量估計的擬合效果和預(yù)測能力得到改善.

［1］BREIMAN L.Heuristics of instability and stabilization in model selection［J］.Ann Statist，1996，24（6）：2350-2383.

［2］FAN Jian-qing，LI Run-ze.Variable selection via nonconcave penalized likelihood and its oracle propertrices［J］.Journal of the American Statistical Association，2001，96：1348-1360.

［3］A.E.Hoerl，R.W.Kennard.（1970）Ridge regression：biased setimation for nonorthogonal probled.Technometrics 12（1）：55-67.

［4］TIBSHIRANI R.Regression shrinkage and selection via the Lasso［J］.Journal of the Royal Statistical Society，Series B，1996，58：267-288.

［5］Zou H，HASTIE T.Regularization and Variable Selection via the Elastic Net［J］.Journal of the Royal Statistical Society，Series B.2055，67（1）：301-320.

［6］TIBSHITANI R.Regression Shrinkage and Selection via the Lasso［J］.Journal of the Royal Statistical Society，Series B，1996，58：267-288.

［7］盧穎.廣義線性模型基于Elastic Net的變量選擇方法研究［D］.北京：北京交通大學(xué)，2001.

［8］李春紅，韋新星.Elastic Net方法在COX模型變量選擇中的研究［J］.重慶：西南大學(xué)學(xué)報，2015.

［9］吳喜之.復(fù)雜數(shù)據(jù)統(tǒng)計方法——基于R的應(yīng)用［M］.北京：中國人民大學(xué)出版社，2010.

［10］薛毅，陳立萍.R語言實(shí)用教程［M］.北京：清華大學(xué)出版社，2014.

［11］曲婷，王靜.基于Lasso方法的平衡縱向數(shù)據(jù)模型變量選擇［J］.哈爾濱：黑龍江大學(xué)自然科學(xué)學(xué)報：2012.

［12］Efron B，Hastie T，Johnstone I，et al.Least Angle Regression Model［J］.Biometrika，1982，69（1）：239

-241.

Application of Elastic Net Method in Balanced Longitudinal Data Models

Xu Liqing1Tian Kai1Xiong Qin2
（1.Guang Xi University，Academy of Mathematics and Information Sciences，Nan Ning 530004，China；2.Guangxi University of Science Technology，Medical College，Liu Zhou 545006，China）

We apply the Elastic Net method to select variables so as to establish the corresponding longitudinal data model.It is found that the Elastic Net method possesses a group effect property.The numerical simulations on the Elastic Net method and the Lasso method show that the former is superior to the latter in dealing with strong correlated variables in longitudinal data models.

Elastic Net method Longitudinal data model Model selection Group effect property

國家自然科學(xué)基金（71462002）和廣西自然科學(xué)基金（2013GXNSFAA019340）資助

2016年01月14日