高維回歸中基于組塊3×2交叉驗(yàn)證的調(diào)節(jié)參數(shù)選擇

李濟(jì)洪, 陳萌萌, 楊杏麗

(1.山西大學(xué) 計(jì)算中心,山西 太原 030006；2.山西大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,山西 太原 030006)

?

高維回歸中基于組塊3×2交叉驗(yàn)證的調(diào)節(jié)參數(shù)選擇

李濟(jì)洪1,2, 陳萌萌2, 楊杏麗2

(1.山西大學(xué) 計(jì)算中心,山西 太原 030006；2.山西大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,山西 太原 030006)

將組塊3×2交叉驗(yàn)證方法用于高維回歸中的調(diào)節(jié)參數(shù)選擇.首先通過ISIS方法把模型的維數(shù)降低到樣本個(gè)數(shù)以內(nèi),然后使用AENET方法對(duì)降維后的模型進(jìn)行進(jìn)一步的降維和參數(shù)估計(jì),使用組塊3×2交叉驗(yàn)證方法選擇最佳的調(diào)節(jié)參數(shù).綜合考慮模擬實(shí)驗(yàn)中各種調(diào)節(jié)參數(shù)選擇方法(AIC、BIC、EBIC、HBIC、5折交叉驗(yàn)證、組塊3×2交叉驗(yàn)證)的EMSE值、方差以及計(jì)算復(fù)雜度,結(jié)果表明基于組塊3×2交叉驗(yàn)證的方法是有其優(yōu)勢的.

調(diào)節(jié)參數(shù)選擇;組塊3×2交叉驗(yàn)證;EMSE準(zhǔn)則

1 引 言

近年來，高維數(shù)據(jù)在生物信息、圖像處理、金融管理等實(shí)際應(yīng)用領(lǐng)域中頻繁出現(xiàn),因此如何處理和分析高維數(shù)據(jù)成為急需解決的問題.研究人員發(fā)現(xiàn)雖然高維數(shù)據(jù)的維數(shù)很高，但對(duì)響應(yīng)真正起作用的只有很少數(shù)的一部分，文獻(xiàn)中稱為變量的稀疏性，所以如何進(jìn)行合理的變量選擇成為解決高維問題的重要步驟.為了解決高維情形的變量選擇問題，學(xué)者們提出了許多基于正則化的方法，包括LASSO、adaptive LASSO、SCAD、Elastic Net、adaptive Elastic Net等[1-5].但無論是哪個(gè)方法都面臨著正則化參數(shù)的選擇問題，文獻(xiàn)中也稱其為調(diào)節(jié)參數(shù)選擇.在變量選擇中，調(diào)節(jié)參數(shù)控制了懲罰水平，如何選擇一個(gè)恰當(dāng)?shù)恼{(diào)節(jié)參數(shù)直接影響著變量選擇及其整個(gè)模型的結(jié)果.傳統(tǒng)的調(diào)節(jié)參數(shù)選擇方法中，信息準(zhǔn)則(包括AIC和BIC等)和標(biāo)準(zhǔn)的K(K=5，10)折交叉驗(yàn)證被廣泛地應(yīng)用.但是在高維問題中，即使是具有選擇一致性的BIC方法也不能一致地識(shí)別出具有稀疏特性的真模型.為此，研究人員做了很多努力來改進(jìn)BIC信息準(zhǔn)則使得它能用于高維稀疏回歸中.Wang[6]提出了MBIC(a slightly modified of the Bayesian Information)方法，他們證明了MBIC在數(shù)據(jù)維數(shù)是發(fā)散的但小于樣本量的情形能保證一致地識(shí)別出真模型.進(jìn)一步，Wang[7]提出了適用于數(shù)據(jù)維數(shù)大于樣本量情形(數(shù)據(jù)維數(shù)隨著樣本量以多項(xiàng)式階增長)的EBIC(extended Bayesian Information)方法.Wang[8]對(duì)EBIC方法進(jìn)行了改進(jìn)提出了HBIC(high dimensional Bayesian Information)方法，并證明了即使是數(shù)據(jù)維數(shù)隨著樣本量以非多項(xiàng)式階增長情形其方法也具有調(diào)節(jié)參數(shù)選擇的一致性.

在交叉驗(yàn)證方面，學(xué)者們也做了廣泛的研究，實(shí)際應(yīng)用中也提出了多種形式的交叉驗(yàn)證方法,包括:留一交叉驗(yàn)證，標(biāo)準(zhǔn)K折交叉驗(yàn)證、RLT(Repeated Learning Testing)交叉驗(yàn)證、5×2交叉驗(yàn)證等[9-13].特別地，文獻(xiàn)[14-15]在分析已有交叉驗(yàn)證方法優(yōu)缺點(diǎn)基礎(chǔ)上提出了一種新的交叉驗(yàn)證方法——組塊3×2交叉驗(yàn)證，并驗(yàn)證了它在語料劃分、模型選擇、泛化誤差估計(jì)和算法性能對(duì)照中的優(yōu)越性[14-17].為此，考慮將組塊3×2交叉驗(yàn)證方法用于高維回歸中的調(diào)節(jié)參數(shù)選擇.

2 高維回歸模型及其調(diào)節(jié)參數(shù)選擇準(zhǔn)則

2.1 高維回歸模型及其記號(hào)

設(shè)(x1,y1),…,(xn,yn)為獨(dú)立同分布的樣本觀測，且

(1)

其中xi=(xi1,…，xip)T∈Rp,εi～N(0,δ2).進(jìn)一步，令Y=(y1,…,yn)T為響應(yīng)向量，X=(x1,…,xn)T為對(duì)應(yīng)于列Xj=(xij,…,xpj)T的設(shè)計(jì)矩陣.

注意:不失一般性，假定數(shù)據(jù)是被中心化的，所以截距項(xiàng)不包含在回歸函數(shù)中.本文中，維數(shù)p是樣本量n的函數(shù)，即p=pn.

當(dāng)p>n或p>>n時(shí)，文獻(xiàn)[18]指出通過如下兩步來進(jìn)行變量選擇:

(S1) 首先應(yīng)用ISIS(iterated Sure Independence Screening)方法把超高的維數(shù)p降到小于樣本個(gè)數(shù)的一個(gè)維數(shù)d，d

(S2) 通過基于正則化的變量選擇方法來進(jìn)一步進(jìn)行變量的選擇.這里采用文獻(xiàn)[5，8]中的AENET(adaptive Elastic Net estimator)的方法，見下式:

(2)

2.2 AIC(Akaike information criterion)信息準(zhǔn)則

AIC信息準(zhǔn)則是最早在經(jīng)典線性模型中被提出的一種用于權(quán)衡模型的擬合度和模型的復(fù)雜度的模型選擇方法，它具有如下形式:

(3)

2.3 BIC(Bayesian information criterion)信息準(zhǔn)則

BIC信息準(zhǔn)則起源于使用Bayes方法進(jìn)行模型選擇，它等價(jià)于選擇具有最大后驗(yàn)概率的模型.

(4)

同樣選擇最小BIC值的調(diào)節(jié)參數(shù)來作為最優(yōu)的調(diào)節(jié)參數(shù)估計(jì)；和AIC方法相比，BIC方法是漸近相容的，即當(dāng)樣本量趨于無窮時(shí)，BIC選擇正確模型的概率趨向于1.

2.4 EBIC(extended Bayesian information criterion)信息準(zhǔn)則

BIC信息準(zhǔn)則是傳統(tǒng)回歸分析中最廣泛使用的變量選擇準(zhǔn)則，然而在高維情形，BIC方法往往過于激進(jìn)，常常選擇過多錯(cuò)誤的變量.基于此,文獻(xiàn)[7]提出了一個(gè)適用于大p小n情形變量選擇的擴(kuò)展的Bayes信息準(zhǔn)則族，可表示為:

(5)

這里，當(dāng)γ=0時(shí)，就得到了傳統(tǒng)的BIC方法.并且他們證明當(dāng)p=O(nα),α>0時(shí),在一定條件下EBIC就能一致地識(shí)別出真模型.

2.5 HBIC信息準(zhǔn)則

在超高維(log(p)=O(nk),0

(6)

2.6 標(biāo)準(zhǔn)K折交叉驗(yàn)證

標(biāo)準(zhǔn)K折交叉驗(yàn)證是除了信息準(zhǔn)則之外另一類最常用的調(diào)節(jié)參數(shù)估計(jì)方法，它通過數(shù)據(jù)重用來估計(jì)泛化誤差，選擇具有最小交叉驗(yàn)證估計(jì)的調(diào)節(jié)參數(shù)值，即

(7)

其中

2.7 組塊3×2交叉驗(yàn)證

文獻(xiàn)[14-15]在分析已有的標(biāo)準(zhǔn)K折交叉驗(yàn)證、5×2交叉驗(yàn)證[11-13]方法優(yōu)缺點(diǎn)基礎(chǔ)上提出了一種新的交叉驗(yàn)證方法——組塊3×2交叉驗(yàn)證,同樣通過對(duì)其最小化可以進(jìn)行調(diào)節(jié)參數(shù)選擇，即選擇使下式達(dá)到最小的調(diào)節(jié)參數(shù)值

(8)

表1 組塊3×2交叉驗(yàn)證Table 1 Block 3×2 cross-validation

3 實(shí)驗(yàn)對(duì)照

本節(jié)通過模擬實(shí)驗(yàn)把組塊3×2交叉驗(yàn)證方法和其他常用的調(diào)節(jié)參數(shù)選擇準(zhǔn)則AIC、BIC、EBIC、HBIC方法以及標(biāo)準(zhǔn)K折交叉驗(yàn)證方法進(jìn)行了對(duì)照.

3.1 實(shí)驗(yàn)設(shè)置和度量準(zhǔn)則

為了進(jìn)行方法的對(duì)照,給出均方誤差的平均值(EMSE)作為評(píng)價(jià)指標(biāo):

(9)

在這里考慮EMSE以及它的方差.

3.2 實(shí)驗(yàn)結(jié)果

從表2和表3，可以看到傳統(tǒng)的調(diào)節(jié)參數(shù)選方法AIC、BIC和5折交叉驗(yàn)證在五種維數(shù)情形都具有較大的EMSE值，EBIC方法在γ較小時(shí)EMSE值幾乎是γ較大時(shí)的兩倍甚至更大，HBIC方法在兩個(gè)γ情形都具有較小的EMSE值.在小維數(shù)情形，組塊3×2交叉驗(yàn)證和EBIC0.75、HBIC1.25方法有相似的EMSE值，如在p=200時(shí)，它們分別是2.000、1.990和1.948,在p=400為2.607、2.853和2.712.在大維數(shù)情形，HBIC1.25方法有最小的EMSE值，然后是EBIC0.75和組塊3×2交叉驗(yàn)證方法.

表2 p=200，400時(shí)各調(diào)節(jié)參數(shù)選擇方法的EMSETable 2 Tuning parameter selection methods on p=200 and p=400

在度量調(diào)節(jié)參數(shù)選擇方法性能的時(shí)候, 我們不應(yīng)該僅僅考慮其均值本身, 還應(yīng)該考察它的方差. 表1和表2表明無論是小維數(shù)還是大維數(shù)情形, 我們的方法的標(biāo)準(zhǔn)差都是最小的. 組塊3×2交叉驗(yàn)證方法的EMSE的標(biāo)準(zhǔn)差比除了HBIC1.25外的所有方法都至少減小了大約一半, 比HBIC1.25方法減小了大約百分之三十. 如 =1 000情形, 組塊3×2交叉驗(yàn)證的標(biāo)準(zhǔn)差1.678比HBIC1.25的2.462減小32%. 進(jìn)一步, 如果考慮EMSE的1標(biāo)準(zhǔn)差區(qū)間的話, 我們方法的區(qū)間長度在所有情形所有方法中都是最短的, 見表3. 例如, 在 =5 000的情形, AIC, BIC,HBIC0.25， EBIC0.5，EBIC0.75，EBIC1，EBIC1.25，5折交叉驗(yàn)證, 組塊3×2交叉驗(yàn)證的區(qū)間長度分別是8.652, 8.652, 7.707, 5.770, 4.726, 4.726, 4.041, 5.195, 2.285.

表3 p=1 000，2 000，5 000時(shí)各調(diào)節(jié)參數(shù)選擇方法的EMSETable 3 Tuning parameter selection methods on p=1 000,p=2 000 and p=5 000

然而, 無論是EBIC還是HBIC方法, 都存在著一個(gè)超參數(shù)γ的選擇問題，不同的γ值選取將得到完全不同的結(jié)果.從某種意義上說,這相當(dāng)于把一個(gè)參數(shù)的估計(jì)轉(zhuǎn)化為了一個(gè)新參數(shù)的估計(jì)，并沒有從真正意義上解決這個(gè)問題，同時(shí)增加了計(jì)算的復(fù)雜度.但組塊3×2交叉驗(yàn)證方法不存在這樣的問題，且它比傳統(tǒng)的不需要超參數(shù)選擇的AIC、BIC和5折交叉驗(yàn)證有顯著小的EMSE性能.綜合考慮，在進(jìn)行高維回歸下的調(diào)節(jié)參數(shù)選擇時(shí)，我們的方法是可比的，是有其優(yōu)勢的.

表4 各調(diào)節(jié)參數(shù)選擇方法的EMSE的1標(biāo)準(zhǔn)差區(qū)間Table 4 Standard deviation range of the tuning parameters selection methods' EMSE

[1] TIBSHIRANI R.Regression shrinkage and selection via the lasso[J].Journal of the Royal Statistical Society，Series B,1996，58:267-288.

[2] ZOU HUI.The adaptive lasso and its oracle properties[J].Journal of the American Statistical Association，2006，101:1418-1429.

[3] FAN J，LI R.Variable selection via nonconcave penalized likelihood and its oracle properties.Journal of the American Statistical Association，2001，96:1348-1360.

[4] ZOU H，HASTIE T.Regularization and variable selection via the elastic net[J].Journal of the Royal Statistical Society，Series B，2005，67:301-320.

[5] ZOU H，ZHANG H.On the adaptive elastic net with a diverging number of parameters[J].The Annals of Statistics，2009，37:1733-1751.

[6] WANG H，LI B，LENG C.Shrinkage turning parameter selection with a diverging number of parameters[J].Journal of the Royal Statistical Society，Series B，2009，71:671-683.

[7] CHEN J，CHEN Z.Extended bayesian information criteria for model selection with large model spaces[J].Biometrika，2008，95:759-771.

[8] WANG T，ZHU L.Consistent tuning parameter selection in high sparse linear regression[J].Journal of Multivariate Analysis，2011，102:1141-1151.

[9] NADEAU C，BENGIO Y.Inference for the generalization error[J].Machine Learning，2003，52:3，239-281.

[10]BENGIO Y，GRANDVALET Y.No unbiased estimator of the variance of K-fold cross-validation[J].Journal of Machine Learning Research，2004，5:1089-1105.

[11]DIETTERICH T.Approximate statistical tests for comparing supervised classification learning algorithms[J].Neural Computation，1998，10:7，1895-1924.

[12]ALPAYDIN E.Combined 5×2 cv F test for comparing supervised classification learning algorithms[J].Neural Computation，1999，11:8，1885-1892.

[13]YILDIZ O.Omnivariate rule induction using a novel pairwise statistical test[J].IEEE Transactions on Knowledge and Data Engineering，2013，25:2105-2118.

[14]李濟(jì)洪，王瑞波，王蔚林，等.漢語框架語義角色的自動(dòng)標(biāo)注研究[J].軟件學(xué)報(bào),2010,30(4):597-611.

[15]WANG Y，WANG R，JIA H，AND Li J.Blocked 3×2 cross-validated t-test for comparing supervised classification learning algorithms[J].Neural Computation，2014，26(1):208-235.

[16]家會(huì)臣，靳竹萱，李濟(jì)洪.Logistic模型選擇中三種交叉驗(yàn)證策略的比較[J].太原師范學(xué)院學(xué)報(bào)，2012，11:87-90.

[17]李濟(jì)洪，胡軍艷，王鈺.預(yù)測誤差的組塊3×2交叉驗(yàn)證估計(jì)[J].生物數(shù)學(xué)學(xué)報(bào)，已錄用.

[18]FAN J AND LV J.Sure independence screening for ultra-high-dimensional feature space[J].Journal of the Royal Statistical Society，Series B，2008，70:849-911.

Tuning Parameter Selection Based on Blocked 3×2 Cross-Validation in High Dimensional Regression

LI Ji-hong1,2, CHEN Meng-meng2, YANG Xing-li2

(1.Computer Center，Shanxi University，Taiyuan 030006，China;2.School of Mathematical Sciences，Shanxi University，Taiyuan 030006,China)

In the traditional regression model，the information criterions (AIC，BIC) and standard K fold cross-validation can identify the true model consistently as the commonly used tuning parameter selection methods.However，these criterions tend to fail when meeting high dimensional data.Recent research shows that the 2-fold cross-validation has some advantages on the computation complexity，model selection and comparisons of models' performances，especially the blocked 3×2 cross-validation newly proposed in the literature.Thus，we apply the blocked 3×2 cross-validation to the tuning parameter selection in high dimensional regression.First，the model dimension is reduced to a scale with smaller than sample size by ISIS method.Then，the dimension reduced model is further to be reduced dimention and estimated parameters by AENET.And the tuning parameter is selected by using the blocked 3×2 cross-validation.Taking all factors into consideration of the EMSE values，variance and computation complexity of various tuning parameter selection methods (AIC，BIC，EBIC，HBIC，5-fold cross-validation and blocked 3×2 cross-validation) in simulated experiments，the blocked 3×2 cross-validation method is comparable.

Tuning parameter selection; Blocked 3×2 Cross-Validation; EMSE criterion

2014-10-08

山西省科技基礎(chǔ)條件平臺(tái)建設(shè)資助項(xiàng)目(20130910030101).

李濟(jì)洪(1964-),男,山西長治人,博士,教授,主要從事統(tǒng)計(jì)機(jī)器學(xué)習(xí)、統(tǒng)計(jì)自然語言處理方面研究.

O212.1

A

1007-9793(2015)03-0027-06