高維組學(xué)數(shù)據(jù)的變量篩選方法及其應(yīng)用*

侯 艷 謝宏宇 張曉鳳 李 康△

·方法介紹·

高維組學(xué)數(shù)據(jù)的變量篩選方法及其應(yīng)用*

侯 艷1，2謝宏宇1張曉鳳1李 康1△

隨著生物檢測(cè)技術(shù)的不斷發(fā)展，實(shí)際中可以獲得基因組、蛋白質(zhì)組和代謝組等各種來(lái)源的高維組學(xué)數(shù)據(jù)，如何從海量數(shù)據(jù)中準(zhǔn)確選擇與疾病有關(guān)的特征變量，從而構(gòu)建準(zhǔn)確的預(yù)測(cè)模型一直是國(guó)內(nèi)外的研究熱點(diǎn)。變量篩選問(wèn)題可歸結(jié)為從一組檢測(cè)數(shù)據(jù)Χ＝（Χ1，Χ2，…，Χm）中篩選出對(duì)分類(lèi)/預(yù)測(cè)有區(qū)分作用的“最優(yōu)”子集Χsub。目前高維組學(xué)變量篩選方法主要有傳統(tǒng)的統(tǒng)計(jì)學(xué)方法和機(jī)器學(xué)習(xí)方法，前者主要分為參數(shù)和非參數(shù)方法兩類(lèi)，這部分主要是基于概率分布的統(tǒng)計(jì)推斷；后者主要包括有監(jiān)督學(xué)習(xí)（supervised learning）和無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning）算法，其主要差別為在訓(xùn)練集中是否用到分組信息。本文主要針對(duì)常見(jiàn)的單變量篩選方法和多變量有監(jiān)督學(xué)習(xí)的變量篩選方法做一介紹。

過(guò)濾式變量篩選方法

過(guò)濾式變量篩選方法（filtermethods）是指通過(guò)觀察到的原始數(shù)據(jù)，計(jì)算變量與疾病之間的相關(guān)性指標(biāo)（如t值，P值等），并通過(guò)設(shè)定閾值選擇特征變量，去除相關(guān)性較弱或組間差異不大的變量，從而直接得出與疾病具有一定關(guān)聯(lián)性的特征變量的一類(lèi)方法。由于這類(lèi)篩選方法獨(dú)立于判別模型（分類(lèi)器），因此通過(guò)這類(lèi)方法選擇出來(lái)的特征變量可以用于評(píng)價(jià)不同判別（預(yù)測(cè)）模型的效果。過(guò)濾式方法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、能夠快速地降維，并且不依賴(lài)特定的判別模型；缺點(diǎn)主要是忽略了特征變量之間可能存在的相關(guān)關(guān)系，因此在與其他類(lèi)型變量選擇方法相比較時(shí)，分類(lèi)效果并不理想。同時(shí)變量篩選的結(jié)果很大程度上受到閾值影響，如何確定閾值也是需要考慮的問(wèn)題之一［1］。

1.單變量過(guò)濾方法

單變量過(guò)濾方法由于其計(jì)算簡(jiǎn)單直接，而成為目前較為常用的一類(lèi)變量篩選方法。常用的單變量過(guò)濾式篩選方法包括Satterthwaite近似t檢驗(yàn)、Wilcoxon秩和檢驗(yàn)、ROC曲線下面積、置換檢驗(yàn)（permutation test）、互信息（mutual information）、welch t檢驗(yàn)、χ2檢驗(yàn)、SAM（significance analysis of microarrays）、SAMROC（significance analysis of ROC indices）等［2］，其中χ2檢驗(yàn)主要用于結(jié)構(gòu)基因組的 SNP分析［3］，SAM和SAMROC方法主要用于基因表達(dá)數(shù)據(jù)分析［4］，其他方法則可以應(yīng)用于各種組學(xué)數(shù)據(jù)的特征變量篩選。

圖1 過(guò)濾式變量篩選方法過(guò)程

SAM法的基本原理是在傳統(tǒng)t檢驗(yàn)公式的分母中加上一個(gè)較小的正數(shù)s0（取值通過(guò)樣本數(shù)據(jù)計(jì)算），從而避免將表達(dá)水平和變異程度均較低的無(wú)生物學(xué)意義的基因識(shí)別為差異表達(dá)基因［5］。SAMROC方法則是按照另一種原則計(jì)算SAM法中的修正參數(shù)s0，其基本思想是選擇一個(gè)合適的s0，使篩選出的“差異基因”能夠保證具有最小的假陽(yáng)性率和假陰性率［6］。置換檢驗(yàn)則是通過(guò)不斷打亂分類(lèi)標(biāo)簽，形成原假設(shè)的分布，在此基礎(chǔ)上進(jìn)行檢驗(yàn)。以上方法均首先需要對(duì)變量的重要性排序，在此基礎(chǔ)上通過(guò)選擇合適的閾值給出篩選的結(jié)果。實(shí)際上，閾值的選擇主要根據(jù)檢驗(yàn)的P值確定，例如Bonferroni校正P值或FDR（false discovery rate）。在高維組學(xué)數(shù)據(jù)中，Bonferroni校正 P值的方法篩選變量過(guò)于嚴(yán)格，因此更多使用的是FDR校正后的P值，其代表該變量為假陽(yáng)性的概率估計(jì)值。需要注意的是，使用FDR校正后的P值需要基于變量間獨(dú)立的假設(shè)，而實(shí)際數(shù)據(jù)常常并不能滿(mǎn)足這一條件，因此得到的P值是一個(gè)“近似值”［7］。

2.多變量過(guò)濾方法

由于單變量過(guò)濾方法假定變量間相互獨(dú)立，并沒(méi)有考慮到變量之間的相互關(guān)系，因此提出了多變量過(guò)濾方法，意在去除信息重疊的自變量以及篩選具有簡(jiǎn)單交互作用的變量。

（1）基于關(guān)聯(lián)的特征選擇方法

基于關(guān)聯(lián)的特征選擇方法（correlation-based feature selection，CFS）是一種基于相關(guān)性實(shí)現(xiàn)變量篩選的方法，主要思想是通過(guò)計(jì)算各子集中每個(gè)變量與類(lèi)別的關(guān)聯(lián)度及變量之間的冗余度來(lái)實(shí)現(xiàn)最終變量的篩選過(guò)程，其中關(guān)聯(lián)度越大、冗余度越小則效果越高［8］。在CFS算法中，利用信息增量計(jì)算變量之間的關(guān)聯(lián)大小，根據(jù)基于相關(guān)性的啟發(fā)式評(píng)價(jià)函數(shù)max｛H（Rij）｝選擇變量組合，其中Rij為所有變量的關(guān)聯(lián)矩陣。評(píng)價(jià)函數(shù)的特點(diǎn)是自變量與因變量高度相關(guān)，而自變量之間盡量不相關(guān)。

（2）基于馬爾科夫毯的特征變量篩選方法

馬爾科夫毯（Markov blanket）是指在一個(gè)網(wǎng)絡(luò)中，目標(biāo)結(jié)點(diǎn)的父結(jié)點(diǎn)、子結(jié)點(diǎn)和配偶結(jié)點(diǎn)。實(shí)際中可以把標(biāo)簽變量作為目標(biāo)結(jié)點(diǎn)，通過(guò)尋找其馬爾科夫毯屏蔽網(wǎng)絡(luò)中其他變量對(duì)該變量的影響，即選擇與標(biāo)簽變量具有直接關(guān)系的變量［9］。貝葉斯網(wǎng)絡(luò)，給定了目標(biāo)變量的馬爾科夫毯，就可以求出該變量的條件概率分布，網(wǎng)絡(luò)中的其他變量就可以看作是冗余的，因此尋找目標(biāo)變量的馬爾科夫毯實(shí)質(zhì)就是變量篩選的過(guò)程。目前常用的基于馬爾科夫毯的變量篩選方法，主要包括基于回歸分析的馬爾科夫毯學(xué)習(xí)算法和基于貝葉斯網(wǎng)絡(luò)的馬爾科夫毯學(xué)習(xí)算法［10－11］。

（3）Boost方法

這是專(zhuān)門(mén)用于GWAS數(shù)據(jù)分析兩變量交互作用的一種方法，其基本思想是通過(guò)使用兩個(gè)對(duì)數(shù)線性模型，即含交互作用項(xiàng)的飽和模型與不含交互作用項(xiàng)的關(guān)聯(lián)模型似然值之差，得到兩個(gè)位點(diǎn)的交互作用［12］。這種算法的核心是使用了一種被稱(chēng)為KSA的算法，可以替代極大似然估計(jì)來(lái)計(jì)算兩變量不同水平組合概率的估計(jì)值。由于KSA不需要迭代過(guò)程，從而能夠在短時(shí)間內(nèi)快速窮舉所有的SNP交互組合。但是使用這種方法只能篩選具有一階交互作用的變量，并且只適合離散變量交互作用的篩選。

除上述方法外，還有最小冗余-最大相關(guān)（minimum redundancy-maximum relevance，MRMR）［13－14］和不相關(guān)縮減重心（uncorrelated shrunken centroid，USC）算法［15］等其他方法。

封裝式特征篩選方法

封裝法（wrappermethod）是從所有變量組合中盡量選擇“最優(yōu)”變量組合，它將變量的選擇看作是一個(gè)搜索尋優(yōu)的問(wèn)題，即根據(jù)一定的算法和目標(biāo)函數(shù)給出“最優(yōu)”的變量組合［16］。封裝法與過(guò)濾法變量選擇的不同在于變量選擇過(guò)程中是否引入了分類(lèi)模型和算法。通常其評(píng)價(jià)函數(shù)以?xún)?yōu)化分類(lèi)準(zhǔn)確性為目的（圖2）。因此，這種方法實(shí)際就是把分類(lèi)或預(yù)測(cè)與變量篩選封裝到一起，每次評(píng)價(jià)一個(gè)變量組合。封裝式方法的優(yōu)點(diǎn)主要表現(xiàn)在將變量組合的搜尋與分類(lèi)模型的選擇結(jié)合在一起，既考慮到了模型內(nèi)變量間的相關(guān)關(guān)系，同時(shí)又不受模型外部無(wú)關(guān)變量的影響。封裝法選擇“最優(yōu)”變量組合通常采用的策略是啟發(fā)式搜索，即利用啟發(fā)函數(shù)隨時(shí)調(diào)整搜索的先后順序，具體包括確定性和隨機(jī)性?xún)煞N搜索策略。這種方法的缺點(diǎn)表現(xiàn)在與過(guò)濾式方法相比有更高的過(guò)擬合風(fēng)險(xiǎn)，由于需要不斷迭代搜索使計(jì)算量明顯增大［17］。

圖2 基于封裝式的變量篩選過(guò)程

1.確定性搜索算法

確定性搜索算法是指在確定的初始狀態(tài)下，利用一定的規(guī)則使問(wèn)題得到全局或者局部最優(yōu)解，其中主要有全局最優(yōu)搜索和序列搜索兩種算法，這種方法的特點(diǎn)是得到的結(jié)果完全確定。由于全局最優(yōu)搜索算法需要在2m－1（m為變量的數(shù)目）種組合中尋優(yōu)，極為耗時(shí)，因此實(shí)際中使用最多的是序列搜索方法，即按照一種規(guī)則，不斷將問(wèn)題簡(jiǎn)化為一個(gè)規(guī)模更小的類(lèi)似子集問(wèn)題，直接達(dá)到最終狀態(tài)。

（1）序列前進(jìn)選擇法

序列前進(jìn)篩選法（sequential forward selection，SFS）是將變量逐步加入模型。初始狀態(tài)可以是單變量分析中最顯著的變量，每次都計(jì)算評(píng)價(jià)函數(shù)以決定是否加入一個(gè)新的變量。例如可以使用模型前后兩次的預(yù)測(cè)效果變化作為評(píng)價(jià)函數(shù)，預(yù)測(cè)能力的計(jì)算可以使用交叉驗(yàn)證的方法進(jìn)行評(píng)價(jià)。這種方法的主要缺點(diǎn)是對(duì)于進(jìn)入模型變量的評(píng)價(jià)未充分考慮變量的組合作用［18］。

（2）序列后退剔除法

序列后退剔除法（sequential selection elimination，SSE）可以克服序列前進(jìn)方法的缺點(diǎn)。這種方法的初始狀態(tài)是納入全部變量，每次計(jì)算評(píng)價(jià)函數(shù)決定是否剔除模型中的一個(gè)變量。相比之下，這種方法能夠更充分考慮變量間的組合作用，因此更為合理，也是目前使用比較多的一種方法。這種方法的主要問(wèn)題是，在高維數(shù)據(jù)情況下，計(jì)算量比較大，例如有2萬(wàn)個(gè)變量，需要擬合約2萬(wàn)個(gè)模型，如采用5折交叉驗(yàn)證，則需要擬合10萬(wàn)個(gè)模型。

（3）序列浮動(dòng)選擇法

序列浮動(dòng)選擇法（sequential floating selection）與前面兩種方法不同的是，在計(jì)算過(guò)程中變量并非逐個(gè)進(jìn)入或者剔除，而是以變量的子集形式進(jìn)入模型，在選擇方法方面可以采用前進(jìn)和后退兩種方式。例如可以通過(guò)對(duì)變量先行排序，然后使用0.618黃金分割比例的方法，選擇一定數(shù)量的變量組合擬合模型，并與之前的模型進(jìn)行比較，通過(guò)比較決定下一步分割的方向，在這個(gè)過(guò)程中，退出和進(jìn)入模型的變量數(shù)目可以不斷變化［19］。

需要注意:三種序列選擇方法都屬于貪心算法，即在對(duì)問(wèn)題求解時(shí)，做出在當(dāng)前看來(lái)是最好的選擇，導(dǎo)致篩選出的變量可能是局部最優(yōu)。

2.隨機(jī)性搜索算法

隨機(jī)算法是利用概率機(jī)制而非確定性的點(diǎn)描述迭代過(guò)程。隨機(jī)性封裝算法的優(yōu)點(diǎn)是可以避免局部最優(yōu)，可與分類(lèi)器結(jié)合進(jìn)行篩選；缺點(diǎn)是計(jì)算量大，變量選擇依賴(lài)于分類(lèi)器，與確定性學(xué)習(xí)算法相比具有更高的過(guò)擬合風(fēng)險(xiǎn)。目前，隨機(jī)性搜索方法主要有模擬退火算法（simulated annealing）［20］、遺傳算法（genetic algorithm）［21－22］和免疫遺傳算法（immune genetic algorithm，IGA）［23］等。

（1）模擬退火算法

模擬退火算法是基于蒙特卡洛（Monte-Carlo）迭代求解的一種隨機(jī)尋優(yōu)算法，其出發(fā)點(diǎn)是基于物理中固體物質(zhì)的退火過(guò)程與一般組合優(yōu)化問(wèn)題之間的相似性，即從某一較高初溫（粒子無(wú)序狀態(tài)）出發(fā)，隨溫度參數(shù)的不斷下降，結(jié)合粒子趨于平衡的變化概率，隨機(jī)尋找目標(biāo)函數(shù)的全局最優(yōu)解。這種算法的本質(zhì)是在貪心搜索算法的基礎(chǔ)上引入隨機(jī)因素，即以一定的概率來(lái)接受一個(gè)比當(dāng)前解要好的解，因此可以有效地避免局部的最優(yōu)解。這種方法的主要問(wèn)題是溫度管理（計(jì)算過(guò)程）參數(shù)難以控制。

（2）遺傳算法

遺傳算法（GA）是一種模擬生物的進(jìn)化過(guò)程而提出的啟發(fā)式搜索方法，即通過(guò)模擬生物界“適者生存”的遺傳進(jìn)化策略，不斷對(duì)染色體上的基因（變量）進(jìn)行篩選和重組，實(shí)現(xiàn)對(duì)高維數(shù)據(jù)進(jìn)行“最優(yōu)”變量組合的搜索。遺傳算法的特點(diǎn)是采用簡(jiǎn)單編碼技術(shù)表示復(fù)雜結(jié)構(gòu)，并通對(duì)編碼的遺傳操作（復(fù)制、交叉和變異）產(chǎn)生備選的變量組合解，通過(guò)優(yōu)勝劣汰的選擇機(jī)制進(jìn)行導(dǎo)向性搜索。遺傳算法的主要優(yōu)點(diǎn):能夠回避局部解的問(wèn)題，對(duì)變量的數(shù)目無(wú)限制，可以在大范圍內(nèi)進(jìn)行搜索；主要問(wèn)題表現(xiàn)為GA存在模式收斂性質(zhì)，由于局部強(qiáng)勢(shì)的染色體（變量組合）不斷復(fù)制，難以維持模式的多樣性，容易出現(xiàn)“早熟”或者“退化”的現(xiàn)象，影響變量篩選的優(yōu)化結(jié)果。

（3）免疫遺傳算法

免疫遺傳算法是將免疫算法和遺傳算法的優(yōu)點(diǎn)結(jié)合起來(lái)的優(yōu)化算法。為了使遺傳算法在染色體（變量組合）多樣化和群體收斂之間取得平衡，并克服遺傳算法的缺點(diǎn)，在遺傳算法中加入了免疫的思想，即在遺傳算法中加入免疫算子，使遺傳算法變成具有免疫功能的新算法。免疫算子在實(shí)現(xiàn)快速優(yōu)化的同時(shí)，通過(guò)不斷調(diào)節(jié)抗體（備選的變量組合）濃度維持多種抗體的并存（變量組合的多樣性），從而能夠根據(jù)抗原（需要解決的問(wèn)題）給出“最優(yōu)”的變量組合結(jié)果?？贵w濃度需要根據(jù)抗原-抗體、抗體-抗體的親和力計(jì)算，抗原-抗體親和力評(píng)價(jià)實(shí)際就是目標(biāo)函數(shù)值，抗體-抗體的親和力評(píng)價(jià)為抗體之間的相似度。這種算法的主要任務(wù)是設(shè)定特定的增強(qiáng)群體多樣性的免疫算子與遺傳算法相結(jié)合，避免出現(xiàn)“早熟”或者“退化”的現(xiàn)象?；诳贵w濃度的群體更新、保持模式多樣性是免疫算法的重要任務(wù)，也是這種算法的重要特征。另外，這種方法更適合多目標(biāo)的變量篩選。

嵌入式變量篩選方法

嵌入式變量篩選方法（embedded method）是針對(duì)特定的模型和算法，篩選出對(duì)模型有重要意義的變量組合，即在建立模型的同時(shí)，可以給出各變量重要性的得分值，從而用于分類(lèi)或預(yù)測(cè)［17］（圖3）。這種方法可以通過(guò)結(jié)合不同分類(lèi)算法來(lái)改善整體預(yù)測(cè)準(zhǔn)確性，主要有偏最小二乘回歸（partial least squares regression，PLSR）［24］、支 持 向 量 機(jī) （support vector machine，SVM）［25］、隨機(jī)森林（random forest，RF）［26］和懲罰回歸（penalized regression）［27］等方法。嵌入式變量篩選方法的特點(diǎn)是，變量篩選通常只需要擬合一個(gè)模型，與封裝式變量篩選相比需要的計(jì)算量更小。

圖3 基于嵌入式的變量篩選方法過(guò)程

1.偏最小二乘回歸

偏最小二乘回歸（PLSR）是一種將主成分分析和回歸分析結(jié)合在一起的方法［24］。這種方法與主成分回歸十分相似，即在自變量信息不變的條件下對(duì)其進(jìn)行主成分提取，但需要同時(shí)保證主成分提取時(shí)自變量的主成分與因變量之間的相關(guān)性最大化，在此基礎(chǔ)上間接擬合自變量與因變量數(shù)據(jù)之間的線性關(guān)系:

這里，E（Y）表示因變量Y的期望值，Zk為選定的PLS主成分，m為變量的個(gè)數(shù)，p（p＝1，2，…，m）為所取的PLS成分?jǐn)?shù)，為可視化通常取p≤3。變量篩選的依據(jù)是計(jì)算各變量的投影重要性評(píng)分統(tǒng)計(jì)量:

其中SSk為第k個(gè)PLS主成分的平方和，wkj為自變量Xj（j＝1，2，…，m）在第 k個(gè)主成分上載荷系數(shù)，說(shuō)明該自變量在第k個(gè)PLS成分中對(duì)因變量Y的影響，Y∈｛－1，1｝，wk＝（wk1，wk2，…，wkm）。

上式中的VIPj反映了某個(gè)自變量對(duì)于因變量和整個(gè)模型的貢獻(xiàn)大小。Wold建議，如果VIPj＞0.8則認(rèn)為變量的貢獻(xiàn)較大，實(shí)際中通常取VIPj≥1作為選擇變量的閾值。這一指標(biāo)的主要缺點(diǎn)是其值大小是相對(duì)的，只能說(shuō)明哪些自變量的作用更大一些，因此也有學(xué)者建議同時(shí)考慮回歸系數(shù)估計(jì)值和VIP值大小來(lái)進(jìn)行變量篩選。

需要注意:PLSR方法同樣可以用作過(guò)濾式和封裝式變量篩選。究竟屬于哪種方法，關(guān)鍵是看其是否最后要用PLSR作為分類(lèi)模型和是否具有迭代過(guò)程，如果主要目的僅是作為變量初篩選，則屬于過(guò)濾法；如果在變量組合尋優(yōu)的過(guò)程中使用PLSR模型作為分類(lèi)評(píng)價(jià)的標(biāo)準(zhǔn)，則屬于封裝式變量篩選方法。

2.支持向量機(jī)

支持向量機(jī)（SVM）是一種非常有效的分類(lèi)模型或機(jī)器學(xué)習(xí)方法［25］。這種方法首先構(gòu)造一個(gè)線性判別函數(shù) g（X）:

其中，X＝（X1，X2，…，Xm），φ（X）＝｛φ1（X），φ2（X），…，φd（X）｝T表示采用線性或非線性變換的方法將X映射到另一特征空間（通常d＞m），wj是需要估計(jì)的權(quán)重系數(shù)，W＝（w1，w2，…，wd）T，b0是與判別閾值有關(guān)的一個(gè)常量。對(duì)于每個(gè)樣品 Xi（i＝1，2，…，n）都屬于兩類(lèi)中的一類(lèi)，相應(yīng)的標(biāo)記為yi＝±1。

為了能夠?qū)嶋H應(yīng)用，在新的特征空間φ（X）中尋找能將類(lèi)別很好分開(kāi)的兩個(gè)平行的標(biāo)準(zhǔn)超平面，并使其間隔最大，落在標(biāo)準(zhǔn)超平面上的數(shù)據(jù)點(diǎn)稱(chēng)作支持向量，此時(shí)，式中 SV是所有的支持向量，αj是滿(mǎn)足一定條件并且符號(hào)為正的系數(shù)。將樣品數(shù)據(jù)代入下式，根據(jù)得出的符號(hào)即可完成對(duì)樣品的分類(lèi):

其中K（Xj，X）為核函數(shù)。由此看到，這里將變換后空間向量的內(nèi)積表示為原始變量空間對(duì)應(yīng)向量的內(nèi)積函數(shù)，即不需要明確知道φ的具體形式，而是通過(guò)計(jì)算核函數(shù)K（Xj，X）的值來(lái)計(jì)算內(nèi)積。SVM篩選變量的思想是，在選擇線性核函數(shù)情況下，根據(jù)SVM的權(quán)重向量確定各變量對(duì)于判別模型的重要程度。

需要注意的是，在高維情況下直接使用SVM嵌入式變量篩選方法，很難獲得理想的結(jié)果，通常需要結(jié)合封裝式算法。例如目前使用比較多的SVM-RFE使用的就是序列后退剔除法。

3.隨機(jī)森林

隨機(jī)森林（random forest，RF）是一種基于分類(lèi)樹(shù)算法的組合分類(lèi)模型［26］。RF的基本思想是，通過(guò)自助法（bootstrap）重抽樣技術(shù)從原始數(shù)據(jù)中有放回地隨機(jī)抽取Ntree個(gè)自助樣本，對(duì)每個(gè)樣本都建立一個(gè)二元遞歸分類(lèi)樹(shù)。按照這種做法，每個(gè)自助樣本平均不包含37%的原始數(shù)據(jù)，將這些數(shù)據(jù)稱(chēng)為袋外數(shù)據(jù)（OOB數(shù)據(jù)），并作為RF的測(cè)試樣本；最后，由訓(xùn)練樣本生成b個(gè)分類(lèi)樹(shù)組成隨機(jī)森林，根據(jù)分類(lèi)樹(shù)投票形成的分?jǐn)?shù)確定測(cè)試數(shù)據(jù)的分類(lèi)結(jié)果。RF具有很高的預(yù)測(cè)準(zhǔn)確率，對(duì)異常值和噪聲有很強(qiáng)的容忍度，能夠處理高維數(shù)據(jù)（變量個(gè)數(shù)遠(yuǎn)大于觀測(cè)個(gè)數(shù)），有效地分析非線性和交互作用的數(shù)據(jù)，并能夠在建立RF模型的同時(shí)給出變量重要性評(píng)分（variable importance measures，VIM）。變量的篩選可以依據(jù)不同的統(tǒng)計(jì)量和篩選過(guò)程，各變量 Xj（j＝1，2，…，m）VIMj值的計(jì)算方法有多種，但都是通過(guò)比較原始變量值和隨機(jī)打亂變量值后對(duì)RF預(yù)測(cè)的影響進(jìn)行估計(jì)，兩者差別越大說(shuō)明該變量越重要，VIMj值越大。

4.bagging方法

bagging是英文 bootstrap aggregating的縮寫(xiě)，該學(xué)習(xí)算法可以進(jìn)行多輪預(yù)測(cè)，每輪的訓(xùn)練集由從初始的樣本中重復(fù)抽取一定數(shù)量的訓(xùn)練樣本，從而得到對(duì)應(yīng)的預(yù)測(cè)函數(shù)，最終的預(yù)測(cè)函數(shù)為多輪預(yù)測(cè)函數(shù)分類(lèi)結(jié)果的綜合投票或計(jì)算平均值進(jìn)行排序，從而確定特征變量的重要性。例如變量捕獲（variable hunting）方法使用的就是bagging策略，其基本思想是利用重抽樣方法不斷抽取一定比例的樣本，同時(shí)在所有變量中抽取一定數(shù)量的變量進(jìn)行建模，然后利用檢驗(yàn)統(tǒng)計(jì)量的概率分布確定閾值，在此基礎(chǔ)上進(jìn)行變量篩選。上述過(guò)程重復(fù)多次，計(jì)算平均篩選變量的個(gè)數(shù)，再根據(jù)各變量被篩選出來(lái)的頻率進(jìn)行排序，選擇排列在前面的變量作為最終篩選出的重要變量。改變篩選變量過(guò)程的不同參數(shù)，可以獲得不同數(shù)量的“差異變量”。這里，用于篩選變量的預(yù)測(cè)模型可以使用任何一種基礎(chǔ)分類(lèi)模型（如PLSR、SVM和RF等）。理論上，這種方法可以應(yīng)用于任意高維變量的組學(xué)數(shù)據(jù)中，篩選變量的穩(wěn)定性非常好，而且使用其篩選出的變量進(jìn)行預(yù)測(cè)效果較優(yōu)，拓寬了各種分類(lèi)模型的應(yīng)用范圍［27］。

5.boosting方法

boosting方法是一種基于一系列弱基礎(chǔ)分類(lèi)器的組合分類(lèi)模型，這種方法需要不斷在內(nèi)部進(jìn)行迭代，在訓(xùn)練開(kāi)始時(shí)先為每一個(gè)樣品賦予一個(gè)相等的權(quán)值，接下來(lái)進(jìn)行N次迭代訓(xùn)練。每次訓(xùn)練中，根據(jù)每個(gè)樣品現(xiàn)有的權(quán)重，尋找一個(gè)最優(yōu)分類(lèi)模型，如果此分類(lèi)模型導(dǎo)致樣品被錯(cuò)分，則根據(jù)錯(cuò)分的情況重新計(jì)算樣品的權(quán)重，即在下次迭代中為其賦予更大的權(quán)重值。N次訓(xùn)練結(jié)束，每個(gè)單獨(dú)的分類(lèi)模型亦根據(jù)其對(duì)樣本的預(yù)測(cè)效果，賦予不同權(quán)重，預(yù)測(cè)效果越好，給予的權(quán)重越大，最后將所有分類(lèi)模型組合在一起。因此，這種算法使用的是一系列反映數(shù)據(jù)不同方面的加權(quán)分類(lèi)模型，最終產(chǎn)生一個(gè)分類(lèi)準(zhǔn)確度更高的組合分類(lèi)模型。變量篩選則可以通過(guò)對(duì)單個(gè)基礎(chǔ)分類(lèi)模型中變量重要性得分進(jìn)行平均實(shí)現(xiàn)。理論上，這種方法能夠獲得最優(yōu)的變量篩選和預(yù)測(cè)結(jié)果。

6.正則化回歸方法

正則化（regularization）是指對(duì)最小化經(jīng)驗(yàn)誤差函數(shù)加約束，即對(duì)其附加先驗(yàn)知識(shí)。典型的兩種正則化回歸是嶺回歸（ridge regression）和 lasso回歸［28］。兩種方法都是針對(duì)多元線性模型的問(wèn)題提出的，嶺回歸是在最小化殘差平方和上加一個(gè)正則化的L2范數(shù)項(xiàng)λ‖β收縮懲罰項(xiàng)，即對(duì)如下?lián)p失函數(shù)極小化:

通過(guò)使殘差平方和最小化的原則，求出各變量的回歸系數(shù)。使用嶺回歸主要解決自變量的共線問(wèn)題。lasso回歸則對(duì)回歸系數(shù)進(jìn)行了L1懲罰，即加入L1范數(shù)項(xiàng)

lasso回歸主要解決變量篩選問(wèn)題，通過(guò)調(diào)整正則化參數(shù)λ，能夠自動(dòng)將與分類(lèi)無(wú)關(guān)變量的回歸系數(shù)置接近于0，實(shí)現(xiàn)變量的自動(dòng)篩選。

從統(tǒng)計(jì)學(xué)角度，使用L2范數(shù)不僅可以避免共線以及在變量數(shù)目大于樣本量時(shí)出現(xiàn)病態(tài)矩陣求逆的問(wèn)題，同時(shí)能夠避免模型過(guò)擬合、防止算法陷入局部最小化，提高模型的外部預(yù)測(cè)能力。使用L1范數(shù)的好處是可以自動(dòng)實(shí)現(xiàn)變量選擇，同時(shí)保證模型具有可解釋性。正因如此，目前已根據(jù)這一原理提出了使用L1＋L2懲罰建立的各種算法，如彈性網(wǎng)算法、分組lasso算法、稀疏分組lasso算法等，以適應(yīng)更復(fù)雜的多組學(xué)高維數(shù)據(jù)分析。同理，上述原理也適用于logistic模型、偏最小二乘回歸（PLSR）和支持向量機(jī)（SVM）等模型。

總結(jié)和展望

本文對(duì)目前高維組學(xué)變量篩選的方法做了簡(jiǎn)單的描述和評(píng)述?；谧兞窟x擇的方式可以分成三類(lèi):過(guò)濾式方法、封裝式方法和嵌入式方法。過(guò)濾式方法是簡(jiǎn)單地根據(jù)重要性原則將變量排序，同時(shí)按照閾值來(lái)選擇特征變量。過(guò)濾式方法的主要缺點(diǎn):為了選擇變量子集需要設(shè)定閾值，因此變量篩選依賴(lài)閾值，并且沒(méi)有適合的交叉驗(yàn)證調(diào)整方法，很難得出較為可靠的結(jié)果。使用交叉驗(yàn)證方法能夠快速選擇閾值，將過(guò)濾式方法轉(zhuǎn)變?yōu)榉庋b式方法，這種方法將變量選擇封裝在模型中；為了提高模型的解釋性，篩選有意義的變量，這些方法需要反復(fù)對(duì)模型的預(yù)測(cè)準(zhǔn)確性進(jìn)行評(píng)價(jià)。封裝式方法的主要問(wèn)題是計(jì)算量大，并且需要調(diào)整大量復(fù)雜的參數(shù)。嵌入式方法以一種很好的結(jié)構(gòu)形式進(jìn)行變量篩選，將變量篩選與建模整合在一起。然而，很多的嵌入式方法通過(guò)內(nèi)部交叉驗(yàn)證選擇變量，這不可避免地在一定程度上減慢了計(jì)算的速度。

目前，很多研究者試圖比較各種變量選擇方法，通常是為了表明新的方法性能的提高，并未對(duì)大范圍的數(shù)據(jù)集進(jìn)行客觀的比較，給出最終的參考意見(jiàn)。因?yàn)榉椒ê蛿?shù)據(jù)性質(zhì)之間存在相互作用，在實(shí)際中，并沒(méi)有一種適合所有數(shù)據(jù)的最優(yōu)變量選擇方法。通過(guò)本文的綜述，希望讀者更好地了解文獻(xiàn)中報(bào)道方法之間的相似性和不同，能夠根據(jù)實(shí)際需要進(jìn)行選擇。

本文觀點(diǎn)，有三種方法特別值得關(guān)注，即bagging、boosting和正則化方法。前兩種方法屬于組合分類(lèi)器方法，主要是算法問(wèn)題。bagging方法的特點(diǎn)是對(duì)數(shù)據(jù)的維數(shù)完全沒(méi)有限制（如m＞300000），篩選變量的結(jié)果較其他方法更為穩(wěn)定；boosting方法在針對(duì)生物異質(zhì)性和亞組分析時(shí)，更顯現(xiàn)出其作用。正則化方法則在理論上相對(duì)更為完善，使用靈活，根據(jù)研究目的通過(guò)調(diào)整懲罰項(xiàng)和正則參數(shù)選擇合適的變量，其最大的特點(diǎn)是對(duì)變量的維數(shù)沒(méi)有限制，模型結(jié)構(gòu)性強(qiáng)、具有可解釋性。更深入地，上述三種方法結(jié)合調(diào)控網(wǎng)絡(luò)與生物實(shí)質(zhì)問(wèn)題相融合，有待進(jìn)一步發(fā)展。

［1］Hira ZM，Gillies DF.A Review of Feature Selection and Feature Extraction Methods Applied on M icroarray Data.Advances in bioinformatics，2015，2015:198363.

［2］Saeys Y，Inza I，Larranaga P.A review of feature selection techniques in bioinformatics.Bioinformatics，2007，23（19）:2507-2517.

［3］Bo TH，Jonassen I.New feature subset selection procedures for classification of expression profiles.Genome Biol，2002，3（4）:RESEARCH0017.

［4］Liu XX，Krishnan A，Mondry A.An Entropy-based gene selection method for cancer classification usingm icroarray data.BMC bioinformatics，2005；6:76.

［5］Tusher VG，TibshiraniR，Chu G.Significance analysis ofm icroarrays applied to the ionizing radiation response.Proceedings of the National Academy of Sciences of the United States of America，2001，98（9）:5116-5121.

［6］Tsai CA，Chen JJ.Significance analysis of ROC indices for comparing diagnosticmarkers:applications to genemicroarray data.Journal of biopharmaceutical statistics，2004，14（4）:985-1003.

［7］Hong WJ，Tibshirani R，Chu G.Local false discovery rate facilitates comparison of different m icroarray experiments.Nucleic acids research，2009，37（22）:7483-7497.

［8］Ooi CH，Chetty M，Teng SW.Differential prioritization between relevance and redundancy in correlation-based feature selection techniques for multiclass gene expression data.BMC bioinformatics，2006，7:320.

［9］Tan Y，Liu ZF.Feature selection and prediction with a Markov blanketstructure learning algorithm.BMC bioinformatics，2013，14（Suppl 17）:A3

［10］Borchani H，Bielza C，Martinez-Martin P，et al.Markov blanketbased approach for learningmulti-dimensional Bayesian network classifiers:An application to predict the European Quality of Life-5 Dimensions（EQ-5D）from the 39-item Parkinson′s Disease Questionnaire（PDQ-39）.Journal of biomedical informatics，2012，45（6）:1175-1184.

［11］Bui AT，Jun CH.Learning Bayesian network structure using Markov blanket decomposition.Pattern Recogn Lett，2012，33（16）:2134-2140.

［12］Xu M，Zhang AD.Boost feature subset selection:A new gene selection algorithm for m icroarray dataset.Lect Notes Comput Sc，2006，3992:670-677.

［13］Sakar CO，Kursun O，Gurgen F.A feature selection method based on kernel canonical correlation analysis and the m inimum Redundancy-Maximum Relevance filtermethod.Expert Syst Appl，2012，39:3432-3427.

［14］Peng HC，Ding C，Long FH.M inimum redundancy-Maximum relevance feature selection.Ieee Intell Syst，2005，20:70-71.

［15］Christin C，Hoefsloot HC，Sm ilde AK，et al.A critical assessment of feature selection methods for biomarker discovery in clinical proteom ics.Molecular＆cellular proteom ics:MCP，2013，12（1）:263-276.

［16］Liu B，Cui Q，Jiang T，et al.A combinational feature selection and ensemble neural networkmethod for classification of gene expression data.BMC bioinformatics，2004，5:136.

［17］Semmar N，Canlet C，Delplanque B，et al.Review and research on feature selectionmethods from NMR data in biological fluids.Presentation of an originalensemblemethod applied to atherosclerosis field.Current drug metabolism，2014，15（5）:544-556.

［18］Hatamikia S，Maghooli K，Nasrabadi AM.The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals.Journal of medical signals and sensors，2014，4（3）:194-201.

［19］Reneker J，Shyu CR.Applying sequential forward floating selection to protein structure prediction with a study of HIV-1 PR.AM IA Annual Symposium proceedings/AM IA Symposium AM IA Symposium，2006:1072.

［20］Ghosh P，Bagchi MC.QSAR modeling for quinoxaline derivatives using genetic algorithm and simulated annealing based feature selection.Current medicinal chem istry，2009，16（3）:4032-4048.

［21］Cho HW，Kim SB，Jeong MK，et al.Genetic algorithm-based feature selection in high-resolution NMR spectra.Expert Syst Appl，2008，35（3）:967-975.

［22］Sahiner B，Chan HP，WeiD，etal.Image feature selection by a genetic algorithm:application to classification of mass and normal breast tissue.Medical physics，1996，23（10）:1671-1684.

［23］Luo JW，Wang T.Motif discovery using an immune genetic algorithm.Journal of theoretical biology，2010，64（2）:319-325.

［24］Lee D，Lee Y，Paw itan Y，etal.Sparse partial least-squares regression for high-throughput survival data analysis.Statistics in medicine，2013，32（30）:5340-5352.

［25］Jiang Z，Yamauchi K，Yoshioka K，et al.Support vector machinebased feature selection for classification of liver fibrosis grade in chronic hepatitis C.Journal of medical systems，2006，30（5）:389-394.

［26］Saraswat M，Arya KV.Feature selection and classification of leukocytes using random forest.Medical＆biological engineering＆computing，2014，52（12）:1041-1052.

［27］Dettling M.Bag Boosting for tumor classification with gene expression data.Bioinformatics，2004，20（18）:3583-93.

［28］Breheny P，Huang J.Coordinate Descent Algorithms for Nonconvex Penalized Regression，with Applications To Biological Feature Selection.The annals of applied statistics，2011，5（1）:232-253.

國(guó)家自然科學(xué)基金資助（81573256，81473072），中國(guó)博士后基金面上項(xiàng)目（2015M 571445）

1.哈爾濱醫(yī)科大學(xué)衛(wèi)生統(tǒng)計(jì)學(xué)教研室（150081）

2.心血管醫(yī)學(xué)研究教育部重點(diǎn)實(shí)驗(yàn)室（哈爾濱醫(yī)科大學(xué)）

△通信作者:李康，E-mail:likang@ems.hrbmu.edu.cn

（責(zé)任編輯:郭海強(qiáng)）