基于Logistic回歸懲罰函數(shù)的疾病診斷*

福建農(nóng)林大學計算機與信息學院(350002) 莊虹莉 李立婷 林雨婷 溫永仙

本文通過蒙特卡洛模擬方法產(chǎn)生模擬數(shù)據(jù)，分別得到訓練集和測試集的分類精度，其中通過10折交叉驗證算法選擇訓練集和測試集，分析比較傳統(tǒng)的判別分析方法、SCAD-Logistic(簡稱SCAD-L)、Elastic net-Logistic(簡稱NET-L)、L2-Group MCP-Logistic(簡稱gMCP-L)和Group Bridge-Logistic(簡稱GB-L)的優(yōu)劣。由于變量選擇、參數(shù)估計和分類精度的結(jié)果受解釋變量的類型、分組情況和樣本量的影響，故本文分別設(shè)置了6組不同的模擬數(shù)據(jù)。

基于Logistic回歸懲罰函數(shù)的疾病診斷*

福建農(nóng)林大學計算機與信息學院(350002) 莊虹莉 李立婷 林雨婷 溫永仙△

疾病診斷問題的實際是從高維的解釋變量中篩選出比較重要的特征，輔助醫(yī)療人員進行疾病診斷，并且預(yù)測患者的危險狀態(tài)，其本質(zhì)也就是通過高維的解釋變量進行分類的問題。已有大量學者將判別分析和Logistic回歸應(yīng)用到生物醫(yī)學。比如田恒宇等[1]對膽總管結(jié)石的16種相關(guān)因素進行Logistic回歸分析，建立相應(yīng)的判別模型。然而隨著時代的進步和高維數(shù)據(jù)的來臨，傳統(tǒng)的分類方法往往得不到預(yù)期的效果，國內(nèi)大量的學者又對疾病診斷進行另一領(lǐng)域的研究。比如Inbarani等[2]基于粗糙集與粒子群優(yōu)化相結(jié)合的方法，提出了用于疾病診斷關(guān)鍵特征識別的方法。梁麗軍等[3]提出了結(jié)合彈性網(wǎng)和支持向量機算法的疾病診斷關(guān)鍵特征識別方法,該方法能夠得到較高的分類精度。

由于大數(shù)據(jù)時代的來臨，解釋變量眾多，變量之間復雜的關(guān)系[4]，使得疾病診斷的傳統(tǒng)方法失效。若改良后的方法能解決上述問題，則依然能夠得到期望的結(jié)果?；趹土P函數(shù)的變量選擇方法能夠有效的解決上述的問題，它主要有三類：單變量選擇方法(SCAD等)、組變量選擇方法(Group MCP等)和雙層變量選擇方法(Group Bridge等)。

本文比較[5]了基于Logistic模型的懲罰函數(shù)變量選擇方法。利用懲罰函數(shù)實現(xiàn)變量選擇和參數(shù)估計，通過十折交叉驗證得到分類精度。通過不同類型數(shù)據(jù)的模擬，得到基于Logistic模型的Group Bridge具有優(yōu)良的分類精度。

原理和方法

1.Logistic回歸模型

對于普通Logistic回歸模型，條件概率可表示為：

(1)

其中X=(X1,X2,…,Xn)T為設(shè)計矩陣，且Xj=(xj1,xj2,…,xjm)T，j=1,2,…,n,即X為n×m的解釋變量；p=prob(y=1|X)；y=(y1,y2,…,yn)T為響應(yīng)變量，且yi(i=1,2,…,n)為離散二元變量，其取值為0或1；成功概率向量，p=(p1,p2,…,pn)T,pi是指取第i次觀測值時因變量為1的概率；β0為截距，β=(β1,β2,…,βm)T為m維解釋變量的系數(shù)向量。

在Logistic回歸分析模型中，實現(xiàn)參數(shù)估計通常是通過最大似然法。最大似然法就是選取使得總體參數(shù)落在樣本觀察值鄰域內(nèi)概率達到最大的參數(shù)值作為其參數(shù)的估計值。Logistic回歸模型的似然函數(shù)：

(2)

在似然函數(shù)的目標函數(shù)中加入各種懲罰項，就得到了各式各樣基于懲罰函數(shù)的變量選擇方法。

2.懲罰函數(shù)

懲罰函數(shù)的變量選擇方法本質(zhì)是將與解釋變量不相關(guān)的解釋變量所對應(yīng)的系數(shù)向0壓縮，主要分三類：單變量選擇、組變量選擇和雙層變量選擇。本文從中挑選了四種方法進行研究。

(1) SCAD-Logistic

SCAD是由Fan和Li[6]提出的一種在Lasso基礎(chǔ)上發(fā)展的非凹的懲罰函數(shù)，是實現(xiàn)單個變量選擇方法，將SCAD懲罰加載到Logistic模型中，就得到SCAD-Logistic。

(3)

其中pλ(|βj|)是SCAD的懲罰項，定義如下：

其中λ>0為罰參數(shù)，α>2為調(diào)整參數(shù)。Fan提出α=3.7時，估計效果最好。

(2)Elastic Net-Logistic

(4)

其中α為罰參數(shù)，當α=1時，上式為嶺回歸；當α=0時，上式為Lasso回歸。所以說，Elastic Net回歸結(jié)合了Lasso回歸和嶺回歸的優(yōu)點，既能消除自變量間的多重共線性，又能進行變量選擇，以高預(yù)測精度選擇稀疏模型，還能處理群組效應(yīng)。

(3)L2-Group MCP-Logistic

當解釋變量存在組結(jié)構(gòu)時，我們希望對變量進行分組從而實現(xiàn)變量選擇。L2-Group MCP是Huang和Breheny[8]提出的基于MCP的組變量選擇方法，其組間的懲罰函數(shù)是MCP懲罰而組內(nèi)的懲罰函數(shù)類似于嶺回歸，因此只能實現(xiàn)變量的組間選擇而不能實現(xiàn)變量的組內(nèi)選擇。因此組變量的選擇方法在于考慮了變量的分組情況，可以實現(xiàn)對同一組的變量同時保留或是同時刪除。

假設(shè)已知分有J組變量，分別為A1,A2,…,AJ,每組的變量數(shù)為m1,m2,…,mJ。令βAj=(βj)j∈Aj是β相應(yīng)變量構(gòu)成的子向量，將Group MCP加載到Logistic模型中，就得到Group MCP-Logistic。

(5)

(4)GroupBridge-Logistic

雙層變量選擇方法的獨特之處在于篩選變量時考慮了變量的分組結(jié)構(gòu)，不僅能夠?qū)崿F(xiàn)篩選出重要分組，而且能夠?qū)崿F(xiàn)在組內(nèi)篩選出重要的單個變量。Huang等[8]提出實現(xiàn)雙層變量選擇的其中一種方法是復合懲罰，即可以看成是組間懲罰和組內(nèi)懲罰的一種復合函數(shù)，對第j組變量的懲罰項表示為：

其中Pouter是組間懲罰，Pinner為組內(nèi)懲罰。

Breheny和Huang[9]提出，只需在組內(nèi)和組間都選擇單個變量選擇的懲罰項，例如Lasso、SCAD、MCP懲罰等，就能實現(xiàn)組間和組內(nèi)的變量選擇。由此得到Group Bridge[10]變量選擇方法，它是組間進行Bridge懲罰，組內(nèi)進行Lasso懲罰。

(6)

其中，λ>0是罰參數(shù)，常數(shù)cj為βAj的調(diào)整參數(shù)，一般選擇cj∝=|Aj|1-γ,γ為Bridge的指標，當0<γ<1時，可同時實現(xiàn)單變量和組變量的選擇。

3.罰參數(shù)的選擇

調(diào)整合適的罰參數(shù)對模型的求解至關(guān)重要，目標是使得模型的預(yù)測精度達到最優(yōu)。本文通過10折交叉驗證(10-fold Cross-Validation)實現(xiàn)罰參數(shù)的選擇。10折交叉驗證的流程詳細見文獻[11]。

模擬研究

本文通過蒙特卡洛模擬方法產(chǎn)生模擬數(shù)據(jù)，分別得到訓練集和測試集的分類精度，其中通過10折交叉驗證算法選擇訓練集和測試集，分析比較傳統(tǒng)的判別分析方法、SCAD-Logistic(簡稱SCAD-L)、Elastic net-Logistic(簡稱NET-L)、L2-Group MCP-Logistic(簡稱gMCP-L)和Group Bridge-Logistic(簡稱GB-L)的優(yōu)劣。由于變量選擇、參數(shù)估計和分類精度的結(jié)果受解釋變量的類型、分組情況和樣本量的影響，故本文分別設(shè)置了6組不同的模擬數(shù)據(jù)。

1.模擬數(shù)據(jù)

假設(shè)數(shù)值分析的模型為：

模擬1：取Xi～N(0,1)且變量Xi和Xj之間的相關(guān)系數(shù)為Rij=0.1|i-j|，即變量之間存在弱相關(guān)關(guān)系且內(nèi)部不存在組結(jié)構(gòu)的數(shù)據(jù)，其中設(shè)定300個解釋變量對應(yīng)的參數(shù)(8個顯著變量)為：

β300×1=(-2,1,1,0.5,-1,1,2,3.5,0,0,…,0)T

模擬2和模擬3僅是將解釋變量之間的R0相關(guān)系數(shù)分別取值為0.5和0.8，使得解釋變量之間存在相關(guān)關(guān)系和強相關(guān)關(guān)系，其他與模擬1保持相同的設(shè)置。

模擬4：在模擬1的基礎(chǔ)上，加入了變量之間的多重共線性關(guān)系，使得：X1=2X2+4X3+2X4。

模擬5：考慮解釋變量之間存在組結(jié)構(gòu)、變量之間的多重共線性關(guān)系，且顯著變量組內(nèi)沒有零系數(shù)。這里模仿Wei和Huang[12]的方法給出。將變量分成60組，此時有X=(X1,X2,…,X60),其中Xi=(X5(i-1)+1,…,X5(i-1)+5),1≤i≤60即每組有5個變量。詳細的產(chǎn)生步驟見文獻。其中每組參數(shù)的系數(shù)為(10個顯著變量)：β1=(0.5,1,1.5,2,2.5)T,β2=(2,2,2,2,2)T,β3=…=β60=(0,0,0,0,0)T

模擬6：與模擬5不同的是變量之間的具體分組不一樣，且顯著變量的組內(nèi)存在零系數(shù)。數(shù)據(jù)的產(chǎn)生與模擬數(shù)據(jù)5類似，不同的是將解釋變量分成74組，前四組大小為5，后70組大小為4(15個顯著變量)，即

β1=(-3,-2,-1,1,2)T,β2=(-3,-2,-1,1,0)T,β3=β4=(0,0,0,0,0)T

β5=(2,-2,1,1.5)T,β6=(-1.5,1.5,0,0)T,β7=…=β74=(0,0,0,0)T

通過計算機分別模擬這6種不同的數(shù)據(jù)類型，樣本容量分別取n=1000,500,200，每種樣本容量下重復500次實驗。分別用傳統(tǒng)的Fisher判別分析、SCAD-L方法、ENT-L方法、gMCP-L方法和GB-L方法對模擬數(shù)據(jù)進行變量選擇和參數(shù)估計，并且得到訓練集和測試集的分類精度。主要借助R語言中的glmnet包(ENT-L)、ncvreg包(SCAD-L)和grpreg包(gMCP-L和GB-L)實現(xiàn)變量選擇和參數(shù)估計，進一步借助MATLAB得到訓練集和測試集的分類精度。

2.模擬結(jié)果分析

根據(jù)數(shù)據(jù)模擬方法得到不同的數(shù)據(jù)類型，對其分別進行分析。由表1可以得出結(jié)論：

表1 解釋變量之間存在各種相關(guān)且無組結(jié)構(gòu)(模擬1到模擬4)的分析結(jié)果

*：表中“0”表示將全部樣本y值為0的樣本判斷正確的精度，即對“0”的預(yù)測精度；表中“1”表示將全部樣本y值為1的樣本判斷正確的精度，即對“1”的預(yù)測精度；表中“總體”表示將全部樣本判斷正確的精度，即對“總體”的預(yù)測精度；表中“多重共線性”表示解釋變量之間存在多重共線性且無組結(jié)構(gòu)；表中“訓練集”表示將訓練集中的全部樣本判斷正確的精度；表中“測試集”表示將測試集中的全部樣本判斷正確的精度；表中“變量數(shù)”表示選擇的變量數(shù)量，F(xiàn)isher不能實現(xiàn)變量的選擇，因此用“-”表示。

(1)無論解釋變量之間的相關(guān)程度如何，所有的判別方法都是隨著樣本量的減少分類精度隨之變差，尤其 Fisher判別最為明顯，當n

(2)針對Fisher判別，當解釋變量存在相關(guān)關(guān)系時，其在訓練集的分類精度是最高的，但是在測試集的分類精度是最低的，而疾病診斷則是對患者進行疾病判別，因此該方法不適用；且當解釋變量存在多重共線性時，無論樣本量為多少，其測試集和訓練集的分類精度下降為60%左右，導致方法失效。

(3)針對SCAD-L，隨著解釋變量之間的相關(guān)程度的加強，分類精度明顯提高。在弱相關(guān)下SCAD-L的分類精度最高，但是在多重共線性下，分類精度不如其他的三種懲罰方法。

(4)針對NET-L，與SCAD-L相似，分類精度隨著解釋變量之間相關(guān)程度的增加而提高，甚至比SCAD-L高，主要是因為ENT-L適用于高度相關(guān)的變量選擇方法。

(5)針對gMCP-L，是組變量選擇，即只能實現(xiàn)變量的組間選擇而不能實現(xiàn)變量的組內(nèi)選擇。這里是通過普通聚類的方法得到分組變量，得到的分類精度不穩(wěn)定有可能是因為這里僅是通過普通的聚類方法實現(xiàn)變量的分組，聚類方法未使得變量準確的分組或是組變量存在零系數(shù)，從而影響分類精度。

(6)針對GB-L，是雙層變量選擇，即能夠同時實現(xiàn)變量的組間選擇和組內(nèi)選擇，因此相對于其他方法來說，均表現(xiàn)出優(yōu)良的性質(zhì)，具有最高或次高的分類精度和選擇穩(wěn)定且準確的變量數(shù)。

(7)綜合以上的分析，無論是解釋變量之間的相關(guān)程度、多重共線性，GB-L均表現(xiàn)出優(yōu)良的性質(zhì)，具有最高或次高的分類精度和選擇穩(wěn)定且準確的變量數(shù)。雖然在以上4種模擬中，gMCP-L在某些模擬下表現(xiàn)出優(yōu)良的性質(zhì)，但是它對解釋變量聚類的準確率要求較高，稍有不慎可能使得精度驟然下降，因此在解釋變量沒有組結(jié)構(gòu)或是不知具體分組的情況下，不建議使用gMCP-L。

當解釋變量存在組結(jié)構(gòu)時，由表2可以得出總體趨勢與之前分析結(jié)果類似，存在差異的有以下幾點：

(1)當組內(nèi)無零系數(shù)時，與模擬4相比，SCAD-L和NET-L分類精度明顯降低，主要是因為SCAD-L是針對單個變量的選擇方法，NET-L是針對高度相關(guān)的方法，并不適合解釋變量存在組結(jié)構(gòu)的數(shù)據(jù)類型。針對gMCP-L和GB-L，分類精度明顯提高，因為此時的解釋變量存在組結(jié)構(gòu)，采用具有分組效果的懲罰方法優(yōu)勢更加明顯；而gMCP-L的分類精度比GB-L高，可能是因為顯著變量沒有組內(nèi)的零系數(shù)，這相對于組變量選擇方法剛好可以完全選擇出來，但對于雙層變量選擇的特點，極有可能將組內(nèi)的顯著變量中系數(shù)較小的變量剔除了，同時也可能將不顯著變量組內(nèi)的某些變量篩選出來。

(2)當組內(nèi)存在零系數(shù)時，五種方法得到的分類精度比模擬5明顯降低，因為數(shù)據(jù)更為復雜。針對組變量懲罰方法gMCP-L，僅當樣本量逐漸減少的時候才出現(xiàn)比SCAD-L和NET-L分類精度高；與GB-L相比分類精度明顯較低，而且選擇的變量數(shù)較多，出現(xiàn)這個情況是因為gMCP-L只能進行組間變量選擇不能進行組內(nèi)變量選擇，當組內(nèi)存在零系數(shù)時，同一組中既存在顯著變量又存在不顯著變量，根據(jù)gMCP-L的特性會將一整組的變量選擇出來，于是增加gMCP-L的誤差，所選擇的變量數(shù)也就增多或減少了。

3.小結(jié)

通過對6種不同數(shù)據(jù)類型模擬分析，無論是解釋變量之間的相關(guān)程度、多重共線性、存在組變量或是組內(nèi)是否有零系數(shù)，GB-L均表現(xiàn)出優(yōu)良的性質(zhì)，這主要是因為GB-L是雙層變量選擇，既能實現(xiàn)變量的組間選擇又能實現(xiàn)組內(nèi)選擇，當變量無組結(jié)構(gòu)或是組內(nèi)有零系數(shù)時，并不會導致選擇過多或過少的變量數(shù)，從而沒有影響總體的分類精度；針對選擇的變量數(shù)，GB-L較其他三種方法選擇出更為準確的變量數(shù)；且在實際生活中，我們難以確認組內(nèi)是否有零系數(shù)，因此我們可以考慮選擇雙層變量選擇的方法，來保證各種數(shù)據(jù)類型的變量選擇和參數(shù)估計的效果。

表2 解釋變量之間存在組結(jié)構(gòu)(模擬5和模擬6)的分析結(jié)果

*：表中“組結(jié)構(gòu)且組內(nèi)無零系數(shù)”表示解釋變量存在組結(jié)構(gòu)且顯著變量沒有組內(nèi)零系數(shù)；表中“組結(jié)構(gòu)且組內(nèi)有零系數(shù)”表示解釋變量存在組結(jié)構(gòu)且顯著變量有組內(nèi)零系數(shù)。

材料與對象

本文采用了UCI 數(shù)據(jù)庫中Arrhythmia 數(shù)據(jù)集進行實證分析，該數(shù)據(jù)集有452個樣本，每個樣本有279個屬性，其中包括年齡、性別、心率、身高等。由于每個樣本的第14個屬性幾乎都是缺失的，因此將這一屬性剔除；接著查找每一個樣本，只要有數(shù)據(jù)缺失就把該樣本剔除。最后得到420個樣本，278個屬性。該數(shù)據(jù)集的屬性維度較高，而每個類別的樣本量又較少，有的甚至沒有樣本，因此將420個樣本分為兩類：心律失常病人和正常人，其中有183個心律失常的病人，并將此作為類別0 的數(shù)據(jù)集；237個正常人作為類別1的數(shù)據(jù)集。

結(jié)果與分析

1.五種方法的比較研究

表3 Arrhythmia 數(shù)據(jù)集實證分析結(jié)果

從表3可以看出，GB-L無論在訓練集還是在測試集均保持最好的分類精度，其中測試集的分類精度達77.9%，針對選擇的變量數(shù)：GB-L選擇了12個變量。這里的gMCP-L精度低和選擇的變量數(shù)多可能因為組內(nèi)存在零系數(shù)。實證分析結(jié)果與模擬實驗的結(jié)果大為相近，研究結(jié)果表明，GB-L方法的預(yù)測能力比其他模型高，具有有效的降維能力。

2.與其他方法的比較研究

梁麗軍等[3]以UCI 中Arrhythmia 數(shù)據(jù)集為例進行測試，運用彈性網(wǎng)-SVM對疾病診斷進行關(guān)鍵特征識別，十折交叉驗證得到分類精度為77.05%。而本文中的GB-L方法對疾病診斷進行關(guān)鍵特征識別的分類精度為77.9%，比彈性網(wǎng)-SVM的分類精度略好一點。由于本文也是通過十折交叉驗證獲取訓練集和測試集，因此在相同條件下具有可比性。

討 論

1.GB-L方法具有較高的預(yù)測能力

本文從模擬和實證的角度系統(tǒng)地將GB-L方法與Fisher判別、Net-L、SCAD-L、彈性網(wǎng)-SVM進行比較。從結(jié)果上看，GB-L方法具有一定的優(yōu)勢，能提高分類精度，實現(xiàn)變量的選擇。與模擬分析相比，GB-L預(yù)測精度下降了，因為實際數(shù)據(jù)比模擬數(shù)據(jù)有更加復雜的關(guān)系，而且重點影響總體預(yù)測精度的是對“0”預(yù)測，由于此時NET-L和gMCP-L對“0”具有較高的預(yù)測精度87.5%和78.3%均優(yōu)于GB-L對“0”預(yù)測57.1%，但是由于從模擬分析結(jié)果中得知NET-L及其的不穩(wěn)定性，因此考慮是否可以結(jié)合GB-L(對“1”的預(yù)測)和gMCP-L(對“0”的預(yù)測)，從而提高總體的預(yù)測精度。

2.基于懲罰函數(shù)的變量選擇方法的運用

目前，基于懲罰函數(shù)的變量選擇方法在各個領(lǐng)域中被廣泛運用。例如，方匡南等[13]提出在基于Lasso的Logistic模型上研究信用卡的違約問題；蔣士正等[14]提出Lasso和神經(jīng)網(wǎng)絡(luò)的組合模型來預(yù)測復雜路網(wǎng)短時交通流。因此，GB-L無論是對于疾病診斷問題，信用卡違約問題還是復雜路網(wǎng)短時交通流等問題都具有研究價值。GB-Logistic方法對于具有組效應(yīng)的高維問題可以進行有效地處理，這對大數(shù)據(jù)時代下的高維數(shù)據(jù)處理奠定了基礎(chǔ)。

[1]田恒宇,周漢新,鮑世韻,等.膽總管結(jié)石相關(guān)因素及指標的Logistic回歸判別分析.中國普通外科雜志,2007,16(5):483-485.

[2]Inbarani HH,Azar AT,Jothi G.Supervised hybrid feature selection based on PSO and rough sets for medical diagnosis.Computer methods and programs in biomedicine,2014,113(1):175-185.

[3]梁麗軍,劉子先,王化強.基于彈性網(wǎng)-SVM的疾病診斷關(guān)鍵特征識別.計算機應(yīng)用研究,2015(5):1301-1304.

[4]楊凱,侯艷,李康.條件推斷森林在高維組學數(shù)據(jù)分析中的應(yīng)用.中國衛(wèi)生統(tǒng)計,2016,(2)：215-218.

[5]華洋靜玲，洪金省，張海榮,等.三種方法構(gòu)建鼻咽癌患者營養(yǎng)指數(shù)模型的比較分析及其截斷點確定.中國衛(wèi)生統(tǒng)計,2016,(2)：194-197.

[6]Fan J,Li R.Variable Selection via Nonconcave Penalized Likelihood and its Oracle Properties.Journal of the American Statistical Association,2001,96(456):1348-1360.

[7]Hui Z,Trevor H.Regularization and variable selection via the elastic net.Journal of the Royal Statistical Society,2005,67(2):301-320.

[8]Huang J,Breheny P,Ma S.A Selective Review of Group Selection in High-Dimensional Models.Statistical Science,2012,27(4):481-499.

[9]Breheny P,Huang J.Penalized methods for bi-level variable selection.Statistics and its interface,2009,2(3):369-380.

[10]Huang J,Ma S,Xie H,et al.A group bridge approach for variable selection.Biometrika,2009,96(2):339-355.

[11]高少龍.幾種變量選擇方法的模擬研究和實證分析.山東大學,2014.

[12]Wei F,Huang J.Consistent group selection in high-dimensional linear regression.Bernoulli:official journal of the Bernoulli Society for Mathematical Statistics and Probability,2010,16(4):1369-1384.

[13]方匡南,章貴軍,張惠穎.基于Lasso-logistic模型的個人信用風險預(yù)警方法.數(shù)量經(jīng)濟技術(shù)經(jīng)濟研究,2014(2):125-136.

[14]蔣士正,許榕,陳啟美.基于變量選擇-神經(jīng)網(wǎng)絡(luò)模型的復雜路網(wǎng)短時交通流預(yù)測.上海交通大學學報,2015,49(2):281-286.

(責任編輯：劉 壯)

國家自然科學基金項目(31171448);國家自然科學基金項目(31571558);福建農(nóng)林大學數(shù)學建模實訓室(111ZS1503)

△通信作者：溫永仙，E-mail:wenyx9681@fafu.edu.cn