中心K階中心矩子空間的迭代海塞變換估計(jì)

甘勝進(jìn)，游文杰

(福建師范大學(xué)福清分校電子與信息工程學(xué)院,中國 福清　350300)

?

中心K階中心矩子空間的迭代海塞變換估計(jì)

甘勝進(jìn)*，游文杰

(福建師范大學(xué)福清分校電子與信息工程學(xué)院,中國 福清350300)

摘要提出中心K階條件矩降維子空間，指出與中心K階中心矩子空間的關(guān)系，并給出迭代的海塞變換估計(jì)，該方法僅僅需要線性條件，綜合了最小二乘和海塞主方向方法．

關(guān)鍵詞降維;CKCMS;OLS;PHD;迭代海塞變換

在高維空間中進(jìn)行統(tǒng)計(jì)建模，往往會碰到“維數(shù)災(zāi)難”(curse of dimensionality)問題，因此降維作為建模之前的數(shù)據(jù)預(yù)處理階段，顯得十分重要．常見的降維方法有主成分回歸分析、偏最小二乘回歸和投影尋蹤等，主成分回歸僅僅考慮了自變量之間的相關(guān)信息，忽略了與因變量之間的關(guān)系，而偏最小二乘雖然同時(shí)考慮自變量與因變量之間相關(guān)關(guān)系，但是僅僅局限于線性關(guān)系，沒有考慮非線性關(guān)系，另外投影尋蹤需要估計(jì)連接函數(shù)，超出數(shù)據(jù)預(yù)處理的范圍．

對于一維響應(yīng)變量Y和p維解釋變量X=(X1,X2,…,Xp),考慮它們之間的回歸問題本質(zhì)上是討論在X給定條件下，Y的條件分布FY|X如何隨X變化．Li(1991)[1]提出切片逆回歸(sliced inverse regression,簡稱SIR)，即如果存在p×k(k

Y‖X|X?Y‖X|ηTX，

(1)

則FY|X(y|x)=FY|ηTX(y|ηTx)，Y對X條件分布是k維的，如果k遠(yuǎn)小于p，就達(dá)到了降維的目的，特別地，當(dāng)k=1或2時(shí)，便可從可視化角度來分析Y與X之間的回歸關(guān)系，由于Y‖X|ηTX?Y‖X|(ηB)TX,其中B為k階可逆方陣，η與ηB所形成的子空間一樣，所以關(guān)心的是span{η}，而不是η本身，并稱span{η}為降維子空間．如果滿足(1)的所有η的交集仍然滿足(1)，則稱之為中心降維子空間(central dimension reduction subspace,簡稱CS)，記為SY|X,rank(SY|X)稱為結(jié)構(gòu)維數(shù).一般來說，在很弱條件下CS總是存在的.有時(shí)候感興趣的是E(Y|X),Cook和Li(2002)[2]提出中心均值子空間，即：

Y‖E(Y|X)|ηTX.

(2)

類似CS，若所有滿足(2)的集合的交集仍然滿足(2)，稱之為中心均值降維子空間(central mean dimension reduction subspace,簡稱CMS)，記為SE(Y|X)．估計(jì)降維子空間[3-4]的條件通常為：

(1)線性條件：E(X|ηTX)為ηTX線性函數(shù)，即E(X|ηTX)=PηX,?η∈Rp，其中投影陣Pη=η(ηTη)-1ηT．

(2)常數(shù)方差 ：Var(X|ηTX)為非隨機(jī)矩陣．

滿足線性條件一般要求X是橢圓分布，滿足常數(shù)方差條件的是多元正態(tài)分布.本文分三個(gè)部分，第二部分提出中心K階條件矩降維子空間定義，并指出與中心K階中心矩子空間的關(guān)系，第三部分為利用Cook和Li[5](2004)提出的迭代海塞變換方法來估計(jì)中心K階條件矩子空間，最后部分給出實(shí)例模擬．

1中心K階條件矩子空間

Yin和Cook(2002)[6]提出中心K階中心矩子空間定義：

Y‖{M(1)(Y|X),…,M(k)(Y|X)}|ηTX,

(3)

定義1如果Y‖E(Yk|X)|ηTX成立，則稱span{η}為K階條件矩降維子空間,若span{η}仍然是K階條件矩降維子空間，則稱之為中心K階條件矩降維子空間，記為SE(Yk|X)．顯然SE(Yk|X)?SY|X，類似Cook和Li(2002),給出以下定理．

定理1以下3個(gè)命題相互等價(jià)

(i) Y‖E(Yk|X)|ηTX；

(ii)Cov[(Yk,E(Yk|X))|ηTX]=0；

(iii)E(Yk|X)是ηTX的函數(shù).

證顯然(i)? (ii)，(iii) ?(i)，只需證明(ii) ?(iii)，由(ii)可知

E[YkE(Yk|X)|ηTX]=E(Yk|ηTX)E(E(Yk|X)|ηTX).

依據(jù)條件期望的平滑性，左邊等于E[E(YkE(Yk|X)|X)|ηTX]=E[E2(Yk|X)|ηTX],右邊第一項(xiàng)E(Yk|ηTX)=E(E(Yk|X)|ηTX).故右邊等于E2(E(Yk|X)|ηTX)，所以Var(E(Yk|X)|ηTX)=0，表明在ηTX給定條件下，E(Yk|X)是常數(shù)，故(iii)成立．(iii)表明E(Yk|X)=E(Yk|ηTX).

證對于任意的k≥2

(4)

由(3)可知Y‖E(Y|X)|ηTX，故Y‖Ei(Y|X)|ηTX，

由于Y‖{M(1)(Y|X),…,M(k)(Y|X)}|ηTX，故Y‖{E(Y|X),…,E(Yk|X)}|ηTX

2CKCMS的迭代海塞變換估計(jì)

Yin和Cook(2002)在線性條件下給出最小二乘估：

βOLS=(E(YX),E(Y2X),…,E(YkX)).

(5)

Yin和Cook(2006)[7]在線性條件和常數(shù)方差條件下給出高階海塞主方向估計(jì)：

Mphdk=(E[(Y-E(Y)XXT],E[(Y2-E(Y2)XXT],…,E[(Yk-E(Yk)XXT]).

(6)

式(5)雖然條件弱，但是沒有估計(jì)出CKCMS中更多的方向，式(6)相對于(5)似乎得到更多估計(jì)方向，但是需要條件較為苛刻．本節(jié)提出一種新的估計(jì)方法，只需要在線性條件下，以最小二乘為種子向量，最小二乘與高階海塞矩陣[8-11]不斷結(jié)合產(chǎn)生新的方向，其理論依據(jù)如下．

定理3假設(shè)E(X|ηTX)為ηTX線性函數(shù)，U,V均為關(guān)于ηTX可測的函數(shù)，即U=U(ηTX),V=V(ηTX),則E((UYi+V)X)∈span(η),i=1,2,…k.

證

E[(UYi+V)X]=E[(E(UYi|X)+E(V|X))X]=E[(UE(Yi|X)+V)X]=

E[(UE(Yi|ηTX)+V)X]=E[(UE(Yi|ηTX)+V)E(X|ηTX)]=E[E(UYi+V)E(X|ηTX)]=

PηE[(UYi+V)X]∈span(η)

選取適當(dāng)?shù)腢,V可以得到迭代的海塞變換估計(jì):

推論1取U0=(E(YiX))TX,V0=-(E(YiX))TXE(Yi)，則

證在線性條件下，最小二乘估計(jì)E(YiX)∈SE(Yi|X)

U1=δ1TX,V1=-δ1TXE(Yi)代入定理3.1中得到

δk+1=E[(UkYi+Vk)X]=[E((Yi-E(Yi))XXT)]k+1E(YiX)，證畢．

實(shí)際當(dāng)中span{E(YiX),[E((Yi-E(Yi))XXT)]jE(YiX),j=1,2,…,n,…}的維數(shù)不可能是無限的，最多是p，下面定理給出迭代停止條件．

定理4對于p維列向量序列:β,Aβ,A2β,…,Anβ,…,如果某個(gè)k,β,Aβ,…,Akβ線性相關(guān)，則β,Aβ,…,Anβ,n≥k線性相關(guān)．

證不失一般性，假設(shè)β,Aβ,…,Ak-1β線性無關(guān)，而β,Aβ,…,Akβ線性相關(guān)，則Akβ可由β,Aβ,…,Ak-1β線性表示，Ak+1β=A(Akβ),所以Ak+1β可由β,Aβ,…,Ak-1β線性表示，以此類推可得Anβ可由β,Aβ,…,Ak-1β線性表示，證畢．

推論1、定理4給出迭代海塞變換估計(jì)方法，具體步驟如下：

(a) 計(jì)算βOLS(i)=E(YiX),PHDi=E((Yi-E(Yi))XXT),i=1,2,…,k

(b) 計(jì)算(PHDi)jβOLS(i),j≤p-1

(c) 判定βOLS(i),PHDiβOLS(i),…,(PHDi)jβOLS(i)是否線性相關(guān)，若無關(guān)，則j=j+1重復(fù)(b),若相關(guān)，則停止迭代，span{βOLS(i),PHDiβOLS(i),…,(PHDi)j-1βOLS(i)}=ηi

(d) 最后得到CKCMS的迭代海塞變換估計(jì)span{η1,η2,…,ηk}

3模擬研究

表1為針對維數(shù)p和樣本容量n在100次重復(fù)下迭代海塞變換估計(jì)模擬結(jié)果，其中每個(gè)格子里第一個(gè)數(shù)為均值，第二個(gè)數(shù)為標(biāo)準(zhǔn)差．

表1　迭代海塞變換估計(jì)方向與真實(shí)方向接近程度的均值與標(biāo)準(zhǔn)差

從表1可以看出：維數(shù)相同情況下，迭代海塞變換估計(jì)方向與真實(shí)方向接近程度的均值越來越大，標(biāo)準(zhǔn)差越來越小，表明樣本容量越大，估計(jì)的效果越好，說明估計(jì)具有相合性；樣本容量相同情況下，維數(shù)越高，均值越小，而標(biāo)準(zhǔn)差變化不大，表明維數(shù)越高，該方法估計(jì)的效果越差，但穩(wěn)定性較好．因此迭代海塞變換收斂速度依賴樣本容量和解釋變量的維數(shù)．圖1和圖2為100次重復(fù)下，維數(shù)p=8,樣本容量分別為300和500時(shí)，迭代海塞變換估計(jì)與現(xiàn)常見方法如切片逆回歸(切片數(shù)量為10)、最小二乘相比較．

圖1　　　　樣本容量為300時(shí)，IHT、SIR、OLS與真實(shí)方向接近　　 　　圖2　　　　樣本容量為500時(shí)，IHT、SIR、OLS與真實(shí)方向接　　　程度的箱線圖　　　近程度的箱線圖Fig.1　　　　Boxplots of distances between directions estimated by IHT, SIR, 　　Fig.2　　　　Boxplots of distances between directions estimated by IHT, SIR, 　　　OLS respectively with real directions under sample size 300　　　OLS respectively with real directions under sample size 500

通過比較發(fā)現(xiàn)：最小二乘估計(jì)非常穩(wěn)定，但是估計(jì)的效果遠(yuǎn)遠(yuǎn)不及前兩者，當(dāng)樣本容量變大時(shí)，與其他兩種方法估計(jì)效果的差距越來越大,一個(gè)很重要的原因是最小二乘只能估計(jì)降維子空間中的一個(gè)方向；切片逆回歸性能對切片數(shù)量較為敏感，如何選擇切片數(shù)量至今是個(gè)公開的難題，并且當(dāng)回歸函數(shù)是偶函數(shù)時(shí)，該方法失效；相比之下迭代海塞變換隨著樣本容量增大在估計(jì)效果與穩(wěn)定性方面越來越好．

致謝感謝審稿人的細(xì)致和編輯提出的有益建議！

參考文獻(xiàn)：

[1]LI K C. Sliced inverse regression for dimension reduction[J]. J Am Stat Assoc,1991,86(414):316-327.

[2]COOK R D, LI B. Dimension reduction for conditional mean in regression[J].Ann Stat, 2002,30(2):455-474.

[3]COOK R D, LI L X. Dimension reduction in regressions with exponential family predictors[J].J Comput Graph Stat, 2009,18(3).

[4]PENG Z, YU Z. An integral transform method for estimating the central mean and central subspaces[J]. J Multiv Anal, 2010,101:271-290.

[5]COOK R D, LI B. Determing the dimension of iterative Hessian transformation[J]. Ann Stat,2004,32(6):2501-2531.

[6]YIN X R, COOK R D. Dimension reduction for the conditional kth moment in regression[J].J Statist Soc B, 2002,64:159-175.

[7]YIN X Y, COOK R D. Dimension reduction via marginal high moments in regression[J].Stat Prob Lett, 2006,76:393-400.

[8]LI K C. On principal hessian directions for data visualization and dimension reduction :another application of stein’s lemma[J].J Am Stat Assoc,1992,87:420.

[9]COOK R D. Principal hessian directions revisited[J]. J Am Stat Assoc, 1998,93:441.

[10]LUE H H. On principal Hessian directions for multivariate response regressions[J]. Comput Stat, 2010,25:619-632.

[11]ZHOU Y, DONG Y X, FANG Y. Marginal coordinate tests for central mean subspace with principal Hessian directions[J]. Chin J Appl Proba Stat,2010,26(5).

[12]ZHU L P, ZHU L X, WEN S Q. On dimension reduction in regression with multivariate responses[J]. Stat Sin, 2010,20:1291-1307.

[13]RAPHAEL C, STEPHANE G, JEROME S. A new sliced inverse regression method for multivariate response[J]. Comput Stat Data Anal，2014,77:285-299.

(編輯HWJ)

Iterative Hessian Transformation Estimation of CentralKthConditional Moment Subspace

GANSheng-jin*,YOUWen-jie

(School of Electronical and Information Engineering, Fuqing Branch of Fujian Normal University, Fuqing 350300, China)

AbstractThis paper defines the central Kthmoment subspace, and has derived its relationship with CKCMS. In addition, iterative Hessian transformation estimation has been proposed, which is a combination of ordinary least square estimation and principal Hessian directions applied only to the linear condition.

Key wordsdimension reduction; CKCMS; OLS; PHD; IHT

中圖分類號O213

文獻(xiàn)標(biāo)識碼A

文章編號1000-2537(2016)02-0090-05

*通訊作者,E-mail：ganshengjin2001@163.com

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(61473329)；福建省自然科學(xué)基金資助項(xiàng)目(2015J01009)

收稿日期：2015-03-23

DOI:10.7612/j.issn.1000-2537.2016.02.015