一種新特征評(píng)價(jià)方法在紅斑鱗狀皮膚病診斷中的應(yīng)用

謝娟英 雷金虎 謝維信

1(陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，西安 710062)

2(西安電子科技大學(xué)電子工程學(xué)院，西安 710071)

3(深圳大學(xué)信息工程學(xué)院，ATR國(guó)家重點(diǎn)實(shí)驗(yàn)室，深圳 518060)

引言

紅斑鱗狀皮膚病的鑒別診斷是皮膚病科的一個(gè)難題［1］。該類疾病包括牛皮癬、脂溢性皮炎、扁平苔蘚、玫瑰糠疹、克羅尼克皮炎、毛發(fā)紅糠疹六個(gè)類群。這些疾病是皮膚病診斷中常見(jiàn)的幾種疾病，有許多共同的病理特點(diǎn)，共享很多難以區(qū)分的臨床特征，一種疾病初期經(jīng)常呈現(xiàn)另一種疾病的特點(diǎn)，然后才顯示該種疾病的特點(diǎn)［2］。一般患者最初只有12個(gè)特征作為臨床診斷特征，進(jìn)一步的診斷增加了在顯微鏡下分析得到的22個(gè)病征特征［1］。

近年來(lái)國(guó)內(nèi)外諸多機(jī)器學(xué)習(xí)領(lǐng)域的學(xué)者關(guān)注于紅斑鱗狀皮膚病的診斷研究，并取得了諸多研究成果。übeyli和Güler于2005年提出了一種自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)來(lái)進(jìn)行紅斑鱗狀皮膚病的診斷，達(dá)到了 95.5% 的分類準(zhǔn)確率［3］。2006年，Luukka和Lepp?lampi使用模糊相似分類器進(jìn)行該皮膚病的診斷研究，取得了97.02%的分類正確率［4］。同年，Polat和 Güne提出基于模糊加權(quán)預(yù)處理、最近鄰加權(quán)預(yù)處理以及決策樹(shù)分類器來(lái)進(jìn)行紅斑鱗狀皮膚病的診斷研究，分別達(dá)到了88.18%、97.57%和99.00%的分類正確率［5］。Nanni于2006年應(yīng)用LSVM、RS、B1_5、B1_10、B1_15、B2_5、B2_10和B2_15算法對(duì)該疾病進(jìn)行分類研究，分別得到97.22%、97.22%、97.5%、98.1%、97.22%、97.5%、97.8%和 98.3% 的分類準(zhǔn)確率［6］。2007年，Luukka提出了基于 Yu’s范數(shù)相似性度量的相似性分類器對(duì)紅斑鱗狀皮膚病診斷進(jìn)行研究，達(dá)到的分類準(zhǔn)確率為 97.8%［7］。übeyli于2008年應(yīng)用帶有誤差修正輸出碼的多類支持向量機(jī)對(duì)鱗狀紅斑皮膚病診斷的分類準(zhǔn)確率達(dá)到了 98.32%［8］。2009年，Polat和Günes提出了基于 C4.5決策樹(shù)和一對(duì)其余多類分類方法的混合智能方法研究紅斑鱗狀皮膚病診斷，取得了96.71%的分類正確率［9］。同年，übeyli應(yīng)用聯(lián)合神經(jīng)網(wǎng)絡(luò)模型指導(dǎo)模型選擇對(duì)紅斑鱗狀皮膚病診斷進(jìn)行研究，取得了97.77%的分類準(zhǔn)確度［10］。Liu等人應(yīng)用基于動(dòng)態(tài)互信息的特征選擇算法，以樸素貝葉斯、1－最近鄰、C4.5和PIPPER四種分類器對(duì)紅斑鱗狀皮膚病進(jìn)行研究分別獲得了96.72%、92.18%、95.08%和92.20%的分類準(zhǔn)確率［11］。Karabatak和 Ince于 2009年提出了一種新的基于關(guān)聯(lián)規(guī)則和神經(jīng)網(wǎng)絡(luò)的特征選擇算法對(duì)紅斑鱗狀皮膚病的診斷進(jìn)行研究，從34個(gè)原始特征中選取了24個(gè)，達(dá)到了98.61%的識(shí)別率［12］。2010年 übey提出了基于 K－means聚類的紅斑鱗狀皮膚病診斷自動(dòng)檢測(cè)［13］。我們基于特征選擇思想，提出改進(jìn)的F－score來(lái)度量特征在多類之前的區(qū)分能力，也即特征的重要程度，在此基礎(chǔ)上，采用順序前向特征選擇策略、順序前向浮動(dòng)特征選擇策略進(jìn)行特征選擇，以支持向量機(jī)(support vector machines，SVM)為分類器提出兩種混合的特征選擇算法，并將這兩種算法應(yīng)用于紅斑鱗狀皮膚病的診斷研究，分別取得了很好的研究結(jié)果［14－15］。

SVM由Vapnik等人于20世紀(jì)90年初提出［16］。該理論基于統(tǒng)計(jì)學(xué)習(xí)理論的 VC維和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，優(yōu)于傳統(tǒng)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則，具有很好的泛化性能，是目前很好的機(jī)器學(xué)習(xí)方法之一。SVM通過(guò)核函數(shù)將低維輸入空間線性不可分的樣本映射到高維特征空間，使其在特征空間線性可分，并得到一個(gè)最大間隔的分類超平面。

分類問(wèn)題中的特征選擇原則是:選擇使得某種標(biāo)準(zhǔn)達(dá)到最優(yōu)的特征，剔除冗余的特征，或者對(duì)分類原則貢獻(xiàn)極小的特征［17］。SVM因?yàn)槠鋬?yōu)越的分類性能自然可以作為分類問(wèn)題中特征選擇的原則。近年來(lái)，基于SVM的特征選擇引起了不少學(xué)著的關(guān)注和研究［14，18－21］。將 SVM 引入到紅斑鱗狀皮膚病的診斷研究，以SVM為分類器，選擇使得分類器性能最佳的特征，對(duì)該類皮膚病的診斷研究非常有意義［14－15］。

文獻(xiàn)［14－15］將 F－score進(jìn)行推廣，用于多類問(wèn)題的特征區(qū)分度度量，將其作為特征重要性的度量準(zhǔn)則，以SVM為分類器，提出兩種混合的特征選擇方法，應(yīng)用于紅斑鱗狀皮膚病的診斷研究，取得了很好的診斷結(jié)果。但是，改進(jìn)的F－score準(zhǔn)則沒(méi)有考慮不同的特征測(cè)量量綱對(duì)特征區(qū)分度的影響，本文針對(duì)此問(wèn)題提出一種新的特征區(qū)分能力度量準(zhǔn)則D－score，避免不同特征的測(cè)量量綱對(duì)特征重要性的影響，度量特征在兩類或多類之間的區(qū)分能力;并結(jié)合 SFS(Sequential Forward Search，SFS)和 SFFS(Sequential Forward Floating Search，SFFS)搜索策略進(jìn)行特征選擇，以SVM分類器的分類準(zhǔn)確率作為特征子集的評(píng)價(jià)標(biāo)準(zhǔn)，引導(dǎo)特征選擇過(guò)程。十折交叉驗(yàn)證實(shí)驗(yàn)結(jié)果表明:基于 D－score和 SFS、SFFS的兩種混合型特征選擇算法所選擇的特征在紅斑鱗狀皮膚病的診斷中具有很好的分類效果，診斷準(zhǔn)確率優(yōu)于 F－score準(zhǔn)則。

1 支持向量機(jī)

支持向量機(jī)的基本思想是將輸入空間線性不可分的數(shù)據(jù)通過(guò)核函數(shù)映射到一個(gè)高維特征空間，通過(guò)在特征空間求解一個(gè)線性約束二次規(guī)劃問(wèn)題，尋找一個(gè)能將數(shù)據(jù)線性分割的最大間隔分類面［16］。

對(duì)于兩類分類問(wèn)題，支持向量機(jī)旨在尋求將兩類樣本分開(kāi)且保證分類間隔最大的最優(yōu)分類面。假設(shè)樣本集為 (x1，y2)，(x2，y2)，…，(xl，yl)，其中xi∈ RN，yi∈ {－ 1，+1}，i=1，2，…，l。引入核函數(shù)的支持向量機(jī)可描述為如下的優(yōu)化問(wèn)題:

此時(shí)SVM的決策函數(shù)為

不同核函數(shù)導(dǎo)致不同的支持向量機(jī)算法，目前采用的內(nèi)積核函數(shù)主要有4類:

(1)線性核函數(shù)

(2)多項(xiàng)式核函數(shù)函數(shù)

式中d是正整數(shù)

(3)徑向基核函數(shù):

其中γ是正實(shí)數(shù)

(4)S型核函數(shù):

對(duì)于多類分類問(wèn)題，SVM經(jīng)常將其轉(zhuǎn)化成多個(gè)兩類分類問(wèn)題來(lái)解決。從而達(dá)到使任意兩類間的分類間隔都最大。

2 D－score混合特征選擇方法

特征選擇在構(gòu)建分類系統(tǒng)中起重要作用［22－23］，它不但可以減少數(shù)據(jù)的維數(shù)，同時(shí)可以降低計(jì)算的復(fù)雜度，提高分類器的性能［24］。常用的特征選擇算法可以分為兩大類:Filter方法和 Wrapper方法［25－26］。Filter方法不需要分類器的信息反饋，獨(dú)立于分類器，依據(jù)相關(guān)的判斷準(zhǔn)則選擇對(duì)分類起重要作用的特征，間接評(píng)估分類器的性能，如:反映類間區(qū)分程度的距離方法。Wrapper方法依賴于分類器，基于分類器的分類性能評(píng)價(jià)所選特征子集的優(yōu)良，從而選擇對(duì)分類有重要貢獻(xiàn)的特征，它可能直觀地獲得更好的分類性能。但是Wrapper方法所選擇的特征依賴于所選用的分類器，且需要較長(zhǎng)的訓(xùn)練時(shí)間。Filter方法因?yàn)椴恍枰诸惼鞯姆答佇畔?，從而?xùn)練速度較快，但是分類精度可能不如Wrapper方法。因此，近年來(lái)出現(xiàn)了結(jié)合 Filter和Wrapper方法優(yōu)點(diǎn)的混合特征選擇方法［14－15，18－21］。

在文獻(xiàn)［14－15］基于改進(jìn)F－score和SVM 的紅斑鱗狀皮膚病研究基礎(chǔ)上，針對(duì)改進(jìn)F－score作為特征評(píng)價(jià)標(biāo)準(zhǔn)時(shí)，沒(méi)有考慮特征測(cè)量量綱對(duì)特征區(qū)分度可能帶來(lái)的影響這一缺陷，提出一種新的樣本特征區(qū)分度評(píng)價(jià)準(zhǔn)則D－score，依據(jù)該準(zhǔn)則評(píng)價(jià)特征的重要性，將特征降序排序;分別采用SFS和SFFS特征選擇策略，依次加入特征到被選特征子集，以SVM為分類器，評(píng)價(jià)選擇特征子集的分類性能，得到兩種混合的特征選擇算法。其中，在SFS策略中依次加入各個(gè)特征，直到所有的樣本特征都加入;在SFFS中每次嘗試加入剩余特征中排在最前面的特征，即加入剩余特征中最重要的特征，如果加入該特征導(dǎo)致分類器的分類正確率下降，則刪除該特征，即不加入該特征到被選擇特征子集。

2.1 傳統(tǒng)F-score與改進(jìn)的F-score

特征選擇是從眾多特征中選擇出對(duì)分類識(shí)別最有效的那些特征，來(lái)實(shí)現(xiàn)特征空間維數(shù)的壓縮。F－score由 Chen 等人提出［19］，是一種基于類間類內(nèi)距離的特征評(píng)價(jià)準(zhǔn)則，能夠衡量特征在分類中辨別能力的強(qiáng)弱，是一種簡(jiǎn)單有效的特征選擇方法。傳統(tǒng)F－score只能辨別特征在兩類問(wèn)題中辨識(shí)能力的大小。其描述如下。

給定訓(xùn)練樣本集 xk∈ Rm，k=1，2，…，n。其中正類和負(fù)類的樣本數(shù)分別為n+和n－。則訓(xùn)練樣本第i個(gè)特征的F－score定義為:

由于傳統(tǒng)F－score只能夠評(píng)估兩類分類問(wèn)題中樣本特征辨別能力的大小，為此，提出了改進(jìn)的 F－score［20］，將傳統(tǒng) F－score 推廣到了多類問(wèn)題，應(yīng)用于特征選擇，取得了很好的效果。改進(jìn)F－score的描述如下。

給定訓(xùn)練樣本集 xk∈ Rm，k=1，2，…，n;l(l≥2)為樣本類別數(shù)，nj為第j類的樣本個(gè)數(shù)，j=1，2，…，l。則訓(xùn)練樣本的第i個(gè)特征的F－score定義為

2.2 D－score特征評(píng)價(jià)準(zhǔn)則

2.1 中的F－score均是基于類內(nèi)類間距離的類別可分性評(píng)價(jià)準(zhǔn)則，沒(méi)有考慮不同特征的測(cè)量量綱對(duì)特征重要性，即特征區(qū)分度的影響?；诖怂枷耄岢?D－score特征評(píng)價(jià)準(zhǔn)則，以克服 2.1中 F－score的缺陷。D－score定義如下。

首先將式(4)除以l－1，得

式(5)中分子表示的是各類別之間的方差，此處以各個(gè)類的中心點(diǎn)代表相應(yīng)類，分母表示各個(gè)類別的類內(nèi)方差之和。分子越大，表明類間的差異越大;分母越小，表明類內(nèi)的差異越小。因此式(5)的值越大，表明相應(yīng)特征的分類能力越強(qiáng)，即類間越疏，類內(nèi)越密，分類效果越好，也就是此特征的辨別力越強(qiáng)。

方差反映了數(shù)據(jù)分散程度的絕對(duì)值，其數(shù)值的大小一方面取決于原變量值本身水平的高低，也就是與變量的均值大小有關(guān)，變量值絕對(duì)水平高的，離散程度的測(cè)度值自然也就大，絕對(duì)水平小的其離散程度的測(cè)度值自然也就小;另一方面，它們與原變量值的計(jì)量單位相同，采用不同計(jì)量單位計(jì)量的變量值，其離散程度的測(cè)度值也就不同［27］。為了消除均值和測(cè)量單位不同對(duì)離散程度統(tǒng)計(jì)量的影響，引入離散系數(shù)。離散系數(shù)是一組數(shù)據(jù)的標(biāo)準(zhǔn)差和其對(duì)應(yīng)的均值的比值，也稱為變異系數(shù)，用 v表示，定義為

受離散系數(shù)的啟示，為在一定程度上消除均值和不同量綱對(duì)離散程度的影響，將式(5)中的類內(nèi)類間方差分別除以各自的均值，得

2.3 順序前向搜索(SFS)

順序前向搜索由Whitney于1971年提出［28］，是一種自下而上的搜索方法。搜索過(guò)程從空集開(kāi)始，首先選擇最好的一個(gè)特征加入被選擇特征子集，然后選擇最好的一對(duì)特征加入被選擇特征子集，其中這個(gè)最好的特征對(duì)里包含已經(jīng)入選的那個(gè)最好特征。該過(guò)程一直進(jìn)行，每次從未被選擇的特征中選擇一個(gè)最好的特征，即該特征和已被選擇的特征子集組合具有最好的分類特性，直到達(dá)到指定數(shù)目特征或者滿足其他搜索停止條件。

SFS只需要逐步添加“最好”的一個(gè)特征，本文實(shí)驗(yàn)并不是每次選擇和已經(jīng)被選擇的特征子集組合具有最佳分類性能的特征，而是根據(jù)特征的 D－score值依次加入未被選擇的具有最高D－score值的特征。實(shí)驗(yàn)中選擇分類正確率開(kāi)始下降時(shí)，所對(duì)應(yīng)的被選擇特征子集為最優(yōu)特征子集。

2.4 順序前向浮動(dòng)搜索(SFFS)

SFS的缺點(diǎn)是:“子集嵌套”，一旦某個(gè)特征被選中，之后就沒(méi)有辦法剔除該特征，這樣僅能得到一個(gè)局部最優(yōu)的特征子集。Pudil等人于1994年提出順序前向浮動(dòng)搜索算法(SFFS)［29］，克服 SFS方法的特征子集嵌套的缺陷。

本研究借用順序前向浮動(dòng)搜索策略的思想，依次嘗試加入D－score值最好的特征，當(dāng)加入某一個(gè)特征后，若訓(xùn)練集的分類正確率沒(méi)有上升，則不加入當(dāng)前選擇的特征;否則則加入該特征。然后嘗試加入下一個(gè)D－score值最好的特征。直到所有的特征被掃描一遍結(jié)束。該方法能夠在一定程度上避免陷入局部最優(yōu)解，同時(shí)選取的特征數(shù)目一般會(huì)比SFS策略選取的特征數(shù)目少。

3 實(shí)驗(yàn)方法

3.1 數(shù)據(jù)的獲取與預(yù)處理

紅斑鱗狀皮膚病數(shù)據(jù)來(lái)自于UCI數(shù)據(jù)庫(kù)中的dermatology數(shù)據(jù)集，該數(shù)據(jù)集有34個(gè)特征，366個(gè)樣本，其中有8個(gè)樣本有缺失數(shù)據(jù)，本實(shí)驗(yàn)中剔除了這些有特征缺失的樣本，實(shí)際使用了358個(gè)樣本。為了使實(shí)驗(yàn)結(jié)果具有統(tǒng)計(jì)意義，采用10折交叉驗(yàn)證方法進(jìn)行實(shí)驗(yàn)，同時(shí)進(jìn)行10折交叉實(shí)驗(yàn)之前對(duì)樣本進(jìn)行了隨機(jī)打亂預(yù)處理;10折的分法為對(duì)每一類的樣本依次逐個(gè)加入到10個(gè)不同樣本集合中(初始時(shí)各樣本集合為空)，直到這一類的每一個(gè)樣本都被加入。這樣實(shí)現(xiàn)了樣本均勻劃分為10份的目的，以每一份分別作測(cè)試樣本，其余九份作訓(xùn)練樣本，實(shí)現(xiàn)10折交叉驗(yàn)證實(shí)驗(yàn)。文中對(duì)比實(shí)驗(yàn)在同樣劃分的同一數(shù)據(jù)集上進(jìn)行。

3.2 SVM核函數(shù)及參數(shù)選擇

實(shí)驗(yàn)中支持向量機(jī)的核函數(shù)采用徑向基核函數(shù)RBF［30］。為此，需要確定 SVM的懲罰因子和核函數(shù)參數(shù)γ。為了得到具有較好推廣性能的SVM模型，采用網(wǎng)格搜索和10折交叉驗(yàn)證相結(jié)合的方法來(lái)選擇最優(yōu)的 C 和 γ。其中，C ∈ {2－5，…，215}，γ ∈{2－15，…，25}。實(shí)驗(yàn)中對(duì)每一對(duì)(C，γ)參數(shù)組合，在訓(xùn)練集上進(jìn)行10折交叉驗(yàn)證實(shí)驗(yàn)確定該組C和γ對(duì)應(yīng)的分類正確率平均值，選取訓(xùn)練集平均分類正確率最佳的一組C和γ為SVM的最佳參數(shù)，構(gòu)建具有最大分類間隔的SVM分類模型。以此模型對(duì)相應(yīng)測(cè)試集進(jìn)行分類，得到測(cè)試集分類正確率。此處使用的SVM工具箱為臺(tái)灣林智仁教授等開(kāi)發(fā)的LibSvm 工具箱［31］。

3.3 D-score+SFS+SVM特征選擇

根據(jù)式(8)計(jì)算每個(gè)特征的D－score值，并依據(jù)D－score值對(duì)特征進(jìn)行降序排序;利用 2.3描述的SFS，每次從未被選取的特征中選擇一個(gè) D－score值最大的特征添加到被選特征集合(被選特征集合初始為空集);采用SVM對(duì)當(dāng)前選取的特征子集進(jìn)行評(píng)價(jià)，SVM參數(shù)的選擇依據(jù)3.2描述的訓(xùn)練集上的網(wǎng)格搜索和10折交叉驗(yàn)證進(jìn)行。迭代一直進(jìn)行，直到所有特征都加入被選特征子集。選擇分類效果最佳，即訓(xùn)練集分類正確率開(kāi)始下降時(shí)的特征子集，作為最優(yōu)特征子集，構(gòu)建分類模型，得到具有最大分類間隔的分類超平面。

為證明D－score特征評(píng)價(jià)準(zhǔn)則的有效性，對(duì)基于D－score特征評(píng)價(jià)準(zhǔn)則與 SFS的混合特征選擇方法和基于改進(jìn)F－score與SFS的混合特征選擇方法，在同樣劃分的紅斑鱗狀皮膚病數(shù)據(jù)集上進(jìn)行10折交叉驗(yàn)證的對(duì)比實(shí)驗(yàn)。

3.4 D-score+SFFS+SVM特征選擇

3.3中基于D－score與SFS，并以支持向量機(jī)的分類準(zhǔn)確率評(píng)估所選特征子集的混合特征選擇方法具有“子集嵌套”缺陷，即一旦某個(gè)特征入選，即使所加入的特征是冗余特征，后邊也無(wú)法再將其刪除。為了避免這種“子集嵌套”問(wèn)題，及其在紅斑鱗狀皮膚病診斷中所帶來(lái)的潛在缺陷，改變搜索策略，采用2.4所述的SFFS搜索策略，以SVM為分類工具，在特征加入過(guò)程中刪除(不加入)那些不重要的或冗余的對(duì)分類不起作用的特征。即每加入一個(gè)特征都進(jìn)行判斷，如果所加入的特征對(duì)分類正確率無(wú)正面影響，則將此特征不加入被選擇特征子集;否則，加入該特征到被選特征子集。該方法所選擇的特征未必具有較大的D－score值，但是考慮了特征之間的相關(guān)性，所選擇的特征子集具有最好的訓(xùn)練集分類正確率。

為驗(yàn)證基于 D－score準(zhǔn)則和 SFFS特征搜索策略的混合特征選擇方法在紅斑鱗狀皮膚病診斷中的有效性，將基于D－score和SFFS的混合特征選擇方法與基于改進(jìn)F－score和SFFS的混合特征選擇方法，在同樣劃分的紅斑鱗狀皮膚病數(shù)據(jù)集上進(jìn)行10折交叉驗(yàn)證的對(duì)比實(shí)驗(yàn)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 D-score+SFS+SVM實(shí)驗(yàn)結(jié)果分析

基于D－score準(zhǔn)則和 SFS搜索，以及 SVM的混合特征選擇方法在紅斑鱗狀皮膚病數(shù)據(jù)集的10折交叉驗(yàn)證實(shí)驗(yàn)結(jié)果，與基于改進(jìn) F－score準(zhǔn)則和SFS，以及SVM的混合特征選擇方法在同一數(shù)據(jù)集的10折交叉驗(yàn)證實(shí)驗(yàn)結(jié)果如圖1、2所示。圖1為訓(xùn)練集上10折交叉驗(yàn)證實(shí)驗(yàn)的平均分類正確率。圖2為相應(yīng)測(cè)試集的平均分類準(zhǔn)確率。曲線上的誤差棒為10折交叉驗(yàn)證的分類正確率標(biāo)準(zhǔn)差。從圖1、2可見(jiàn)基于 D－score準(zhǔn)則的特征選擇優(yōu)于基于改進(jìn)F－score準(zhǔn)則的特征選擇。按照訓(xùn)練集平均分類正確率開(kāi)始下降選擇最優(yōu)特征子集，改進(jìn)的F－score準(zhǔn)則選擇的最優(yōu)特征子集包含21個(gè)特征，訓(xùn)練集平均分類正確率為97.7967%，測(cè)試集平均分類正確率為97.4983%;D－score準(zhǔn)則對(duì)應(yīng)的最優(yōu)特征子集包含特征數(shù)為25個(gè)，訓(xùn)練集的平均分類正確率為98.8517%，測(cè)試集的平均正確率為98.6111%，均高于F－score準(zhǔn)則。由此可見(jiàn)本研究提出的 D－score特征評(píng)價(jià)準(zhǔn)則對(duì)紅斑鱗狀皮膚病具有更好的診斷效果。

4.2 D-score+SFFS+SVM實(shí)驗(yàn)結(jié)果分析

基于D－score、SFFS以及 SVM的混合特征選擇方法與基于改進(jìn) F－score、SFFS和 SVM的混合特征選擇方法在紅斑鱗狀皮膚病數(shù)據(jù)集的10折交叉驗(yàn)證實(shí)驗(yàn)結(jié)果分別如表1和表2，以及圖3所示。

圖1 訓(xùn)練集正確率比較Fig.1 The comparison of accuracy on training set

圖2 測(cè)試集正確率比較Fig.2 The comparison of accuracy on testing set

表1 F-score+SFFS與D-score+SFFS特征選擇結(jié)果Tab.1 The experiment results of F-score with SFFS and D-score with SFFS

表1顯示，D－score特征評(píng)價(jià)準(zhǔn)則選擇的特征個(gè)數(shù)平均在13.3左右，近似于改進(jìn) F－score準(zhǔn)則所選擇的特征數(shù);訓(xùn)練集的平均分類正確率為99.0998%，高于改進(jìn)F－score準(zhǔn)則的99.0693%;測(cè)試集的平均分類正確率為97.7778%，優(yōu)于改進(jìn)F－score準(zhǔn)則 97.5%的診斷效果。由此可見(jiàn)，D－score特征評(píng)價(jià)準(zhǔn)則無(wú)論在訓(xùn)練集還是測(cè)試集，其分類正確率都優(yōu)于改進(jìn)的 F－score準(zhǔn)則。因此，本研究提出的 D－score特征評(píng)價(jià)準(zhǔn)則實(shí)現(xiàn)了對(duì)紅斑鱗狀皮膚病特征的有效選擇，基于該準(zhǔn)則的混合特征選擇方法對(duì)診斷紅斑鱗狀皮膚病具有更好的診斷效果。

表2 F-score+SFFS與D-score+SFFS所選擇特征比較Tab.2 The features selected by F-score with SFFS and D-score with SFFS

表2對(duì)基于改進(jìn) F－score、SFFS和 SVM 的混合特征選擇方法，和本文基于D－score、SFFS與SVM的混合特征選擇方法所選擇的特征進(jìn)行比較。從表2的比較可以看出:兩種特征評(píng)價(jià)方法對(duì)同樣的訓(xùn)練集選擇出的特征不完全相同，但是第 31、20、15、22、14和5這六個(gè)特征是兩種不同的特征評(píng)價(jià)準(zhǔn)則所選擇的共同特征。另外，表2還顯示，D－score和改進(jìn)F－score兩種特征評(píng)價(jià)準(zhǔn)則的十折交叉驗(yàn)證實(shí)驗(yàn)的共同特征只有一個(gè)特征(第26個(gè)特征)的差異，其他6個(gè)共同特征一致。這表明，D-score準(zhǔn)則以不同的特征組合取得優(yōu)于改進(jìn)F－score準(zhǔn)則的分類效果。以上分析還表明，不同的特征組合可以得出同樣正確的診斷結(jié)果，這為紅斑鱗狀皮膚病的診斷提供了多種不同的診斷依據(jù)選擇。

圖3顯示，改進(jìn) F－score和 SFFS結(jié)合有第 5、14、15、20、22、26 和31 等6 個(gè)特征在10 個(gè)不同訓(xùn)練集上均被選擇，第33個(gè)特征的被選頻率90%，第28個(gè)特征的被選頻率為80%，第6、7個(gè)特征的被選頻率是70%，第16個(gè)特征的被選頻率為60%，其他特征的被選頻率均低于50%，因此在診斷中這些被選頻率低于50%的特征可以被忽略?；贒－score與SFFS 的混合特征選擇實(shí)驗(yàn)中第 5、14、15、20、22、31這5個(gè)特征被100%的選中;被90%選中的特征有:6、12、26;第7和第28個(gè)特征以80%的頻率被選中;其他特征被選擇的頻率均低于50%，成為可以被忽略的特征。由此可見(jiàn)，基于 D－score和 SFFS的混合特征選擇方法不僅提供了更準(zhǔn)確的診斷效果(由表1實(shí)驗(yàn)結(jié)果可知)，而且該方法提供了更多的診斷依據(jù)選擇，但是需要首先考慮的特征數(shù)只有5個(gè)，低于改進(jìn)F－score準(zhǔn)則結(jié)合SFFS策略的6個(gè)必須考慮特征，將第26個(gè)特征作為進(jìn)一步診斷的備選擇特征考慮。

5 討論和結(jié)論

圖3 F-score+SFFS與D-score+SFFS所選擇特征的被選頻數(shù)比較。(a)F-score+SFFS;(b)D-score+SFFSFig.3 The frequencies of selected features by F-score+SFFS(a)and D-score+SFFS(b)，respectively

本研究提出了一種新的不受特征測(cè)量量綱影響的特征評(píng)價(jià)準(zhǔn)則D－score，不但可以評(píng)價(jià)兩類分類問(wèn)題中特征的重要性，且能夠評(píng)價(jià)多類分類問(wèn)題中特征的分類辨識(shí)能力大小。將D－score準(zhǔn)則分別與SFS和SFFS特征選擇策略結(jié)合進(jìn)行特征選擇，以SVM為分類工具，對(duì)被選擇特征子集的分類性能進(jìn)行評(píng)價(jià)，引導(dǎo)特征選擇過(guò)程，得到兩種混合的特征選擇算法。該兩種混合特征選擇方法應(yīng)用于鱗狀紅斑皮膚病診斷研究，并與基于改進(jìn)F－score的相應(yīng)混合特征選擇方法進(jìn)行實(shí)驗(yàn)比較。10－折交叉驗(yàn)證的實(shí)驗(yàn)結(jié)果顯示，本研究提出的D－score特征評(píng)價(jià)準(zhǔn)則是一種有效的特征辨識(shí)能力評(píng)價(jià)準(zhǔn)則，基于該準(zhǔn)則的混合特征選擇方法實(shí)現(xiàn)了對(duì)鱗狀紅斑皮膚病的有效診斷，診斷準(zhǔn)確率優(yōu)于基于改進(jìn)F－score準(zhǔn)則的混合特征選擇方法;同時(shí) D－score準(zhǔn)則與SFFS特征搜索策略結(jié)合提供了更多的診斷依據(jù)選擇，而首先需要考慮的診斷特征只有5個(gè)，低于改進(jìn)F－score準(zhǔn)則與SFFS搜索策略結(jié)合所得的必須考慮的診斷特征個(gè)數(shù)。然而，D－score準(zhǔn)則與改進(jìn) F－score準(zhǔn)則一樣，對(duì)于特征辨識(shí)能力的度量只考慮了單個(gè)特征的辨識(shí)能力，沒(méi)有考慮特征之間的相關(guān)性，實(shí)驗(yàn)中特征之間的相關(guān)性依賴于特征選擇策略，而特征之間的相關(guān)性對(duì)特征選取有很大影響。如何在特征辨識(shí)能力評(píng)價(jià)準(zhǔn)則上考慮特征之間的相關(guān)性是我們正在進(jìn)一步研究的內(nèi)容。同時(shí)，使用SVM為分類工具，并以此評(píng)價(jià)所選擇特征子集的分類性能，需要確定SVM的最佳參數(shù)，以提高分類器的泛化性能，這增加了算法的時(shí)間復(fù)雜度。關(guān)于SVM最佳參數(shù)的選取方法，依然是SVM分類器的瓶頸。

［1］Güvenir HA，Demir?z G，˙Iter N.Learning differential diagnosis of erythemato－squamous diseases using voting feature intervals［J］.Artificial Intelligence in Medicine，1998，13(3):147 －165.

［2］Güvenir HA，Emeksiz N.An expert system for the differential diagnosis of erythemato－squamous diseases［J］.Expert Systems with Applications，2000，18(1):43 － 49.

［3］übeyliED，Güler˙I.Automaticdetectionoferythematosquamous diseases using adaptive neuro－fuzzy inference systems［J］.Computers in Biology and Medicine，2005，35(5):421 －433.

［4］Luukka P，Lepp?lampi T.Similarity classifier with generalized mean applied to medical data［J］.Computers in Biology and Medicine，2006，36(9):1026－1040.

［5］Polat K，Güne? S.The effect to diagnostic accuracy of decision tree classifier of fuzzy and k－NN based weighted pre－processing methods to diagnosis of erythemato－squamous diseases［J］.Digital Signal Processing 2006，16(6):922－930.

［6］Nanni L. An ensemble of classifiers for the diagnosisof erythemato－squamous diseases［J］.Neurocomputing 2006，69(7):842－845.

［7］Luukka P.Similarity classifier using similarity measure derived from Yu's norms in classification of medical data sets［J］.Computers in Biology and Medicine 2007，37(8):1133－1140.

［8］übeyli ED.Multiclass support vector machines for diagnosis of erythemato－squamous diseases ［J］. Expert Systems with Applications，2008，35(8):1733－1740.

［10］übeyliED. Combined neural networks for diagnosis of erythemato－squamous diseases ［J］. Expert Systems with Applications，2009，36(3):5107－5112.

［11］Liu Huawen，Sun Jigui，Liu Lei，et al.Feature selection with dynamic mutual information［J］.Pattern Recognition，2009，42(7):1330－1339.

［12］Karabatak M，Ince MC.A new feature selection method based on association rules for diagnosis oferythemato－squamous diseases［J］.Expert Systems with Applications，2009，36(10):12500－12505.

［13］übeyliED，DoˇgduE.Automaticdetectionoferythematosquamous diseases using k－means clustering ［J］.Journal of Medical System.2010，34(2):179－184.

［14］Xie Juanying，Xie Weixin，Wang Chunxia，et al.A novel hybrid feature selection method based on IFSFFS and SVM for the diagnosis of erythemato－squamous diseases［C］.//Diethe T，Cristianini N，Shawe－Taylor J，eds. JMLR Workshop and Conference Proceedings Volume 11:the First Workshop on Applications of Pattern Analysis.Cambridge:MIT Press，2010:142－151.

［15］Xie Juanying，Wang Chunxia.Using support vector machines with a novel hybrid feature selection method for diagnosis of erythemato－squamous diseases ［J］. Expert Systems with Applications，2011，38(5):5809－5815.

［16］Vapnik V.The Nature of Statistical Learning Theory［M］.(2nd edition).New York:Springer，1995.

［17］Fu KS，Min PJ，Li TJ.Feature selection in pattern recognition［J］.IEEE Transactions on Systems Science and Cybernetics，1970，SSC－6(1):33 －39.

［18］Liu Yi，Zheng Yuan.FS_SFS:A novel feature selection method for support vector machines［J］.Pattern Recognition，2006，39(7):1333－1345.

［19］Chen YL. Lin JL. CombiningSVMswith variousfeature selection strategies［C］ //Guyon S，Nikravesh M，Zadeh L，eds.Feature Extraction，F(xiàn)oundations and Applications.Berlin:Springer，2006:315 －324.

［20］謝娟英，王春霞.基于改進(jìn)的F－score與支持向量機(jī)的特征選擇方法［J］.計(jì)算機(jī)應(yīng)用，2010，30(4):993－996.

［21］Guyon I，Weston J，Barnhill S，et al.Gene selection for cancer classification using supportvectormachines［J］. Machine Learning，2002，46(1－3):389－422.

［22］Liu Huiqing，Li Jinyan，Wong Limsoon.A comparative study on feature selection and classification methods using gene expression profiles and proteomic patterns［J］.Genome Informatics，2002，13:51－60.

［23］Hua Jianping，Tembe WD，Dougherty ER.Performance of feature selection methods in the classification of high－dimension data［J］.Pattern Recognition，2009，42(3):409 － 424.

［24］Guyon I.Elisseeff A.An introduction to variable and feature selection［J］.Journal of Machine Learning Research，2003，3:1157－1182.

［25］Kohavi R.John G.Wrappers for feature selection［J］.Artificial Intelligence，1997，97(1－2):273－324.

［26］Blum A，Langley P.Selection of relevant features and examples in machine learning［J］，Artificial Intelligence，1997，97:245－271.

［27］劉春英，賈俊平等.統(tǒng)計(jì)學(xué)原理.北京:中國(guó)商務(wù)出版社，2008:99－101

［28］Whitney AW.A direct method of nonparametric measurement selection［J］.IEEE Transactions on Computers，1971，20:1100－1103.

［29］Pudil P，Novovicova J，Kittler J.Floating search method in feature selection［J］.Pattern Recognition Letters，1994，15(11):119－1254.

［30］Hsu CW，Chang CC，Lin CJ.A practical guide to support vector classification［R］. Technical Report，Department of Computer Science，National Taiwan University.July，2003.

［31］Chang CC，Lin CJ，LIBSVM:a library for support vector machines［CP］.http://www.csie.ntu.edu.tw/～ cjlin/libsvm.2010－04－01/2010－07－20.