基于自適應(yīng)雙正則化支持向量機的群體基因選擇

陳留院， 穆曉霞， 李鈞濤

(1．河南師范大學(xué)學(xué)報編輯部 河南新鄉(xiāng)453007;2．武漢理工大學(xué)信息工程學(xué)院 湖北武漢430070;

3．河南師范大學(xué)計算機與信息工程學(xué)院 河南新鄉(xiāng)453007;

4．河南師范大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院 河南新鄉(xiāng)453007)

0 引言

以支持向量機為核心內(nèi)容的統(tǒng)計學(xué)習(xí)理論是由Vapnik等人在20世紀90年代提出的，目前仍處在不斷發(fā)展階段［1－4］．支持向量機一經(jīng)提出，就被成功地應(yīng)用于微陣列基因表達數(shù)據(jù)的分類與基因選擇中［5］．由于癌癥、艾滋病等復(fù)雜疾病是由一些基因的共同作用引起的，所以群體基因選擇在最近幾年引起了廣泛關(guān)注［2－4，6］．文獻［2］通過結(jié)合彈性網(wǎng)絡(luò)懲罰與平方誤差損失函數(shù)，提出了在分類的同時能成群選擇相關(guān)基因的彈性網(wǎng)絡(luò)模型．文獻［3］通過結(jié)合彈性網(wǎng)絡(luò)懲罰與huberized損失函數(shù)提出了混雜huberized的支持向量機．文獻［4］通過結(jié)合彈性網(wǎng)絡(luò)懲罰與hinge損失函數(shù)提出了雙正則化支持向量機．上述彈性網(wǎng)絡(luò)懲罰方法雖然均能成群地選擇基因，但卻無法消除被選擇的基因群內(nèi)存在的冗余基因．為了解決該問題，Li等人通過引入數(shù)據(jù)驅(qū)動權(quán)重到懲罰項，提出了改進的彈性網(wǎng)絡(luò)模型［7］和部分自適應(yīng)彈性網(wǎng)絡(luò)模型［8］，但上述兩種方法均是回歸方法．

受文獻［7－9］中數(shù)據(jù)驅(qū)動思想的啟發(fā)，本文通過結(jié)合自適應(yīng)彈性網(wǎng)絡(luò)懲罰和性能優(yōu)越的hinge損失函數(shù)，構(gòu)建自適應(yīng)雙正則化支持向量機并證明了其具有自適應(yīng)群體基因選擇性能．

1 問題描述

給定一個具有p個基因表達水平的n個微陣列訓(xùn)練樣本(x1，y1)，(x2，y2)，…，(xn，yn)，其中xi=(xi1，xi2，…，xip)是樣本輸入，yi∈{+1，－1}是樣本標(biāo)簽，學(xué)習(xí)問題是尋找一個決策函數(shù)f:Rp→{+1，－1}來預(yù)測新樣 本的 標(biāo)簽．令 Y=(y1，y2，…，yn)T，X=(x1;x2;…;xn)=(x(1)，x(2)，…，x(n))，其 中 x(j)=(x1j，x2j，…，xnj)T被稱為預(yù)測子．根據(jù)正則化理論框架，支持向量機可表示為如下的損失+懲罰形式，

其中，［*］+表示hinge損失函數(shù)，λ＞0是正則化參數(shù)，相當(dāng)于調(diào)諧參數(shù)C，對于輸入向量x，分類規(guī)則由(sgn(f(x))=sgn+xT))給出．需要指出的是，支持向量機的優(yōu)越性能不僅體現(xiàn)在(1)式中的2－范數(shù)懲罰項，其分類性能的優(yōu)越性很大程度上依賴于所采用的hinge損失函數(shù)．正如Hastie等人所證明的那樣，hinge損失函數(shù)的優(yōu)越性能，確保了支持向量機分類器滿足Bayesian分類準則，進而展現(xiàn)出良好的分類性能［10］．基于上述考慮，通過結(jié)合hinge損失函數(shù)與彈性網(wǎng)絡(luò)懲罰，Wang等人［4］提出雙正則化支持向量機，

其中λ1，λ2≥0是正則化參數(shù)．雙正則化支持向量機采用的彈性網(wǎng)絡(luò)懲罰是1－范數(shù)懲罰和2－范數(shù)懲罰的一個線性組合，從而使其既具有1－范數(shù)懲罰學(xué)習(xí)機的自動變量選擇性能，還具有群體變量選擇的性能．和其他彈性網(wǎng)絡(luò)懲罰方法一樣，雙正則化支持向量機雖然能成群地選擇基因，但卻無法消除被選擇的基因群內(nèi)存在的冗余基因．

2 自適應(yīng)雙正則化支持向量機

給定一個訓(xùn)練樣本集{(xi，yi)}ni=1和參數(shù) α0(一般地，令 α0≤0．05)，類似于文獻［8］，令)表示給定參數(shù)α=α0時彈性網(wǎng)絡(luò)的解，其分量(α0)的大小表示基因j對分類器的貢獻．不失一般性，假設(shè)有如下排列順序:．令mδ為數(shù)據(jù)集的最大下標(biāo)max通過采用加權(quán)懲罰的方法，文獻［8］提出部分自適應(yīng)彈性網(wǎng)絡(luò)懲罰，

其中，

本文將部分自適應(yīng)彈性網(wǎng)絡(luò)懲罰(3)引入到hinge損失函數(shù)中，提出自適應(yīng)雙正則化支持向量機，

其中 φ(yi，f(xi))表示 hinge損失函數(shù)，f(xi)=β0+xTiβ．由(4)式解出的)來構(gòu)造決策函數(shù) f(x)=+xT，進而可由其符號函數(shù)來判別新樣本的標(biāo)簽，即 sgn(f(x))=sgn+x)為其分類器．

與雙正則化支持向量機［4］相比，所提自適應(yīng)雙正則化支持向量機由于把數(shù)據(jù)驅(qū)動權(quán)重引入到懲罰函數(shù)里，進而能取得更好的基因選擇性能．與部分自適應(yīng)彈性網(wǎng)絡(luò)［8］相比，自適應(yīng)雙正則化支持向量機采用了性能優(yōu)越的hinge損失函數(shù)，更適用于處理分類問題．此外，由于hinge損失函數(shù)φ(t)是Lipschitz連續(xù)的，所以存在Lipschitz常數(shù)M＞0，使得(5)式成立，

接下來將證明自適應(yīng)雙正則化支持向量機能自適應(yīng)地成群選擇基因，即激勵一種自適應(yīng)群體基因選擇效應(yīng)．

定理1 給定數(shù)據(jù)集(Y，X)和正則化參數(shù)(λ1，λ2)，假設(shè)是自適應(yīng)雙正則化支持向量機(4)的解，那么，對任意的 j，l≤mδ有不等式(6)成立，

如果輸入變量x(j)，x(l)是零均值和標(biāo)準化的，那么有

其中

利用(5)式可得

由W的構(gòu)造，可得

當(dāng) l，j≤mδ時，

考慮到

將(9)、(10)、(11)式帶入到(8)式可得

移項整理后可得

如果x(j)，x(l)是零均值和標(biāo)準化的，則

進而有

定理證畢．

應(yīng)該指出，對于j≥m和l≤m的情況，定理1仍然成立，唯一不同的地方是用δ代替(α0)．當(dāng)j，l≥m

δδδ時，由W的構(gòu)造可知道也發(fā)生了變化，即

類似于定理1的過程可得

如果輸入變量x(j)，x(l)是零均值和標(biāo)準化的，那么有

3 結(jié)束語

考慮到hinge損失函數(shù)的優(yōu)良分類性能和部分自適應(yīng)彈性網(wǎng)絡(luò)優(yōu)良的基因選擇性能，本文提出了自適應(yīng)雙正則化支持向量機模型，從理論上證明了其具有自適應(yīng)群體基因選擇性能，并給出了具體的數(shù)學(xué)表達形式．

［1］ 王紅蔚，席紅旗，孔波．一種新的半監(jiān)督支持向量機［J］．鄭州大學(xué)學(xué)報:理學(xué)版，2012，44(3):66－68．

［2］ Zou H，Hastie T．Regularization and variable selection via the elastic net［J］．J Royal Statistical Society B，2005，67(2):301－320．

［3］ Wang L，Zhu J，Zou H．Hybrid huberized support vector machines for microarray classification and gene selection［J］．Bioinformatics，2008，24(3):412–419．

［4］ Wang L，Zhu J，Zou H．The doubly regularizrd support vector machine［J］．Statistica Sinica，2006，16(2):589 －615．

［5］ Guyon I，Weston J，Barnhill S，et al．Gene selection for cancer classification using support vector machines ［J］．Machine Learning，2002，46(1):389 －422．

［6］ 王小玉，李鈞濤，陳留院．稀疏對數(shù)回歸及其在基因選擇中的應(yīng)用［J］．河南師范大學(xué)學(xué)報:自然科學(xué)版，2012，40(5):153–156．

［7］ Li J，Jia Y．An improved elastic net for cancer classification and gene selection［J］．Acta Automatica Sinica，2010，36(7):976－981．

［8］ Li J，Jia Y，Zhao Z．Partly adaptive elastic net and its application to microarray classfication［J］．Neural Comput and Applic，2013，22(6):1193 －1200．

［9］ 高建來，運士偉，張永勝．融合粗糙集與球形支持向量機的多分類識別［J］．河南科技大學(xué)學(xué)報:自然科學(xué)版，2011，32(5):77－80．

［10］ Hastie T，Rosset S，Tibshirani R，et al．The entire regularization path for the support vector machine［J］．Journal of Machine Learning Research，2004，5:1391 －1415．