一種新的最大相關(guān)最小冗余特征選擇算法

李順勇，王改變

（山西大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，山西 太原 030006）

特征選擇是數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和模式識(shí)別中的一項(xiàng)重要技術(shù)，是當(dāng)前信息領(lǐng)域的研究熱點(diǎn)之一[1-3]。它在數(shù)據(jù)分析和預(yù)處理過(guò)程中起著非常重要的作用。特征選擇在不改變特征原始表達(dá)的基礎(chǔ)上，僅從特征集中篩選最能代表數(shù)據(jù)特點(diǎn)的最優(yōu)特征子集。因此，不僅可以去除不相關(guān)和冗余信息，降低訓(xùn)練樣本的維度和分類樣本的復(fù)雜度，而且能很好地保持原始特征包含的信息，對(duì)于人們理解和判斷觀測(cè)來(lái)說(shuō)更加容易。特征選擇根據(jù)其是否與后續(xù)學(xué)習(xí)算法獨(dú)立可以分為過(guò)濾式和封裝式兩種。過(guò)濾式特征選擇方法獨(dú)立于后續(xù)的學(xué)習(xí)算法，通過(guò)數(shù)據(jù)的本質(zhì)屬性對(duì)所有特征進(jìn)行評(píng)分，在此評(píng)價(jià)過(guò)程中不會(huì)借用分類模型來(lái)完成[4-5]。其中具有代表性的方法有T 檢驗(yàn)(Ttest)[6]、Fisher score[7]、信息增益(information gain，IG)[8]等。但是，過(guò)濾式特征選擇方法往往會(huì)忽略特征之間的相關(guān)性。封裝式特征選擇算法與后續(xù)學(xué)習(xí)算法相關(guān)，利用學(xué)習(xí)算法的性能評(píng)價(jià)所選特征子集的好壞，因此在精度方面要優(yōu)于過(guò)濾式特征選擇[8-12]。基于特征選擇的目的，已經(jīng)有部分學(xué)者做了相關(guān)研究。例如，傳統(tǒng)的基于空間搜索的最大相關(guān)最小冗余(minimal redundancy maximal relevance，MRMR)[13]算法，使用互信息來(lái)度量特征之間的冗余度以及與類別之間的相關(guān)度，并且利用信息熵和信息差兩個(gè)函數(shù)來(lái)選取最優(yōu)特征子集。但是,由于冗余度和相關(guān)度的評(píng)價(jià)準(zhǔn)則單一，所以使得該特征選擇算法的使用范圍較窄。2018 年，郭凱文等[14]提出了基于特征選擇和聚類的分類算法，特征選擇標(biāo)準(zhǔn)采用的是傳統(tǒng)的基于空間搜索的最大相關(guān)最小冗余準(zhǔn)則，將信息差作為目標(biāo)函數(shù)來(lái)求解最優(yōu)特征子集。雖然該算法在目標(biāo)函數(shù)中增加了相關(guān)度和冗余度的權(quán)重因子，但是,在求解最優(yōu)特征子集的過(guò)程中需要對(duì)權(quán)重因子不斷地賦值以尋求最優(yōu)子集，計(jì)算量較大；2020 年，李純果等[15]提出的基于排序互信息的無(wú)監(jiān)督特征選擇，是基于排序互信息反應(yīng)的兩屬性之間的單調(diào)關(guān)系，用每個(gè)屬性與其他屬性之間的平均互信息，來(lái)衡量每個(gè)屬性與排序?qū)W習(xí)的相關(guān)度，平均互信息最高的視為排序最相關(guān)的屬性。但是，該算法忽略了特征與特征之間的冗余度，只在低維度且樣本量較少的模擬數(shù)據(jù)集上進(jìn)行了有效性驗(yàn)證，對(duì)真實(shí)數(shù)據(jù)集的特征選擇效果不明了；2020 年，劉云等[16]提出了混合蒙特卡羅搜索的特征選擇算法的優(yōu)化，根據(jù)蒙特卡羅樹搜索方法生成了一個(gè)初始特征子集,然后利用ReliefF 算法選擇前k個(gè)特征組成候選特征集，最后，用KNN 分類器的分類精度評(píng)估候選特征,選擇高精度的候選特征作為最佳特征子集。然而，ReliefF 算法是從同類和不同類中各選取k個(gè)近鄰樣本，求平均值得到各個(gè)特性權(quán)值，即特征與類別之間的相關(guān)性，并沒(méi)有考慮特征與特征之間的冗余度。2020 年，周傳華等[17]提出的最大相關(guān)與獨(dú)立分類信息最大化特征選擇算法，用互信息度量特征與類別之間的相關(guān)性,用獨(dú)立分類信息綜合衡量新分類信息和特征冗余，盡管在特征選擇過(guò)程中綜合考慮了特征與類別的相關(guān)性、特征之間的冗余性,以及特征包含的新分類信息，并結(jié)合最大最小準(zhǔn)則對(duì)特征的重要性進(jìn)行了非線性評(píng)價(jià)，但其目標(biāo)函數(shù)與傳統(tǒng)的MRMR 算法的目標(biāo)函數(shù)類似，依然不能根據(jù)客戶的實(shí)際需求進(jìn)行特征選擇。

針對(duì)上述特征選擇算法中存在的冗余度和相關(guān)度的度量準(zhǔn)則單一以及評(píng)價(jià)函數(shù)問(wèn)題，提出了新方案。在冗余度度量準(zhǔn)則方面引入了2 種不同的方法，在相關(guān)度度量準(zhǔn)則方面引入了4 種不同的方法，從而組合衍生出8 種特征選擇算法，提出了新的目標(biāo)函數(shù)。

1 新的特征選擇算法

MRMR 算法是最常用、最典型的基于空間搜索的特征選擇算法。其中，最大相關(guān)即特征與類別間的相關(guān)度要最大，最小冗余即特征與特征之間的相關(guān)度要最小[18-19]，該算法中，冗余度和相關(guān)度均是利用互信息作為度量準(zhǔn)則，就效能而言，比只考慮特征與類別之間的相關(guān)度，或者只考慮特征之間冗余度的特征選擇算法要好。但是，在現(xiàn)實(shí)生活中，我們面臨的數(shù)據(jù)往往紛繁復(fù)雜，面對(duì)不同的數(shù)據(jù)，MRMR 算法呈現(xiàn)出的效果有較大差異，從而降低了該算法的適用范圍。

針對(duì)MRMR 算法存在的問(wèn)題，提出一種新的最大相關(guān)最小冗余特征選擇算法(new algorithm for feature selection with maximum relation and minimum redundancy，New-MRMR)。這里New-MRMR 算法僅是新提出的一個(gè)特征選擇的框架，在度量特征與特征之間冗余度時(shí)選用了2 種評(píng)價(jià)準(zhǔn)則，在度量特征與特征之間相似度時(shí)選用了4 種評(píng)價(jià)準(zhǔn)則，從而衍生出8 種特征選擇算法，當(dāng)面對(duì)不同的用戶需求時(shí)，選用不同特征選擇算法，使得新提算法的適用范圍更廣。具體的特征選擇流程見圖1。

圖1 可以看出，特征選擇算法的基本流程為：先對(duì)原始數(shù)據(jù)集進(jìn)行預(yù)處理，將原始數(shù)據(jù)集分為測(cè)試集和訓(xùn)練集，然后，在訓(xùn)練集上選擇不同的冗余度和相關(guān)度評(píng)價(jià)準(zhǔn)則來(lái)訓(xùn)練模型，進(jìn)行特征選擇，得到最優(yōu)特征子集，最后，利用測(cè)試集來(lái)驗(yàn)證模型的有效性。

圖1 New-MRMR 特征選擇流程Fig.1 New-MRMR feature selection flow

1.1 冗余度評(píng)價(jià)準(zhǔn)則

特征選擇是為了去除原始特征集中的冗余特征，達(dá)到降維目的。因此，利用冗余度評(píng)價(jià)可以作為New-MRMR 特征選擇算法的一部分，其基本思想是：兩個(gè)特征的相關(guān)度越大，則這兩個(gè)特征冗余度也越高。但是，由于評(píng)價(jià)特征之間冗余度以及特征與類別之間相關(guān)度的準(zhǔn)則眾多，且目前缺乏相關(guān)研究給出具體哪種方法更適用于哪種數(shù)據(jù)類型。所以，本文新提出的算法僅采用了Pearson 相關(guān)系數(shù)[14]以及互信息[14]兩種準(zhǔn)則來(lái)度量特征之間的冗余度。

1.2 相關(guān)度評(píng)價(jià)準(zhǔn)則

在特征選擇過(guò)程中，通常優(yōu)先選擇與類別相關(guān)度較大的特征，而特征的重要度在一定程度上反映了與類別的相關(guān)度大小，因此，相關(guān)度的度量準(zhǔn)則就轉(zhuǎn)化成了特征重要度的衡量。衡量特征重要度的評(píng)價(jià)準(zhǔn)則有很多，例如：Fisher score[7]、信息增益(information gain，IG)[8]、Laplacian Score[20]、Chi-squar Test[21-22]等。Fisher score 主要是按照類內(nèi)距離小，類間距離大的原則，選出包含鑒別信息比較多的特征，其值越大，說(shuō)明該特征越重要，與類別的相關(guān)度越大；信息增益是通過(guò)計(jì)算某特征被使用前后的信息熵來(lái)為該特征進(jìn)行打分，信息增益越大，說(shuō)明該特征越重要，與類別的相關(guān)度越大；Laplacian Score 是根據(jù)拉普拉斯特征映射等對(duì)單個(gè)特征評(píng)分，然后選出方差和局部幾何結(jié)構(gòu)保持能力較強(qiáng)的特征，其分值越高，特征越重要。New-MRMR 算法也采用這4 種評(píng)價(jià)準(zhǔn)則作為相關(guān)度的度量準(zhǔn)則。

1.3 目標(biāo)函數(shù)

基于特征選擇和聚類的眾多分類算法中，目標(biāo)函數(shù)常采用加權(quán)的信息差方式，并且通過(guò)對(duì)權(quán)重信息不斷賦值來(lái)求解最優(yōu)特征子集，不能根據(jù)不同用戶實(shí)際需求的維度求解最優(yōu)特征子集。因此，本文提出了一種新的目標(biāo)函數(shù)，引入了一個(gè)指示向量 λ 以及參數(shù)k來(lái)表示所選的特征維度。具體目標(biāo)函數(shù)如下：

式中：k為用戶需求的實(shí)際數(shù)據(jù)維度；D為冗余度矩陣；C為特征與類別之間的相關(guān)性矩陣。λ=[λ1λ2··· λn]T，n為原始特征集的特征數(shù)。當(dāng)λi取值為0 時(shí)，說(shuō)明對(duì)應(yīng)的特征不會(huì)被選擇進(jìn)最終的特征子集，λi取值越大時(shí)，表明其對(duì)應(yīng)的特征越容易被選進(jìn)最終的特征子集。

對(duì)于該目標(biāo)函數(shù)的求解，與最優(yōu)化標(biāo)準(zhǔn)二次規(guī)劃問(wèn)題[23]相似，本文采用成對(duì)更新方法[24]來(lái)求解以上目標(biāo)函數(shù)的最優(yōu)解。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集信息及評(píng)價(jià)指標(biāo)

為驗(yàn)證New-MRMR 算法的有效性，本文使用了4 個(gè)真實(shí)的UCI 數(shù)據(jù)集。先利用新提出的算法處理原始特征，進(jìn)而使用支持向量機(jī)對(duì)所得到的特征子集進(jìn)行分類實(shí)驗(yàn)，最后比較各種算法在測(cè)試集上的分類準(zhǔn)確率(classification precision，CP)。相關(guān)定義如下：

式中：CC(correct classification，CC)為正確分類的樣本數(shù)量；Num 為樣本數(shù)量總數(shù)。

表1 為4 個(gè)UCI[25]數(shù)據(jù)集的具體信息:

表1 實(shí)驗(yàn)數(shù)據(jù)集Table 1 Experimental data set

實(shí)驗(yàn)中，與新提算法進(jìn)行對(duì)比的特征選擇算法分別是：Fisher Score、基于Information Gain 的方法、基于Laplacian Score 的方法、基于Chi-squar Test 的方法、基于MRMR 的方法。表2 列出了以上方法。

表2 新提出的8 種特征選擇算法與其他算法對(duì)比Table 2 Comparison of 8 newly proposed feature selection algorithms with other algorithms

2.2 實(shí)驗(yàn)結(jié)果對(duì)比分析

特征選擇過(guò)程是剔除原始數(shù)據(jù)集中的不相關(guān)以及冗余特征，達(dá)到數(shù)據(jù)降維目的。為驗(yàn)證以上各種算法在數(shù)據(jù)降維和用支持向量機(jī)分類后的分類準(zhǔn)確率，表3 給出了以上各種算法在數(shù)據(jù)集isolet上的實(shí)驗(yàn)結(jié)果，即經(jīng)支持向量機(jī)分類后，計(jì)算得到的分類準(zhǔn)確率達(dá)到最大時(shí)所選擇的特征數(shù)。

表3 分類準(zhǔn)確率最大時(shí)，數(shù)據(jù)集isolet 上各種算法分別所選擇的特征數(shù)Table 3 Number of features selected by various algorithms when the Classification precision is maximum on the isolet dataset

由表3 可以看出，由以上各種算法對(duì)數(shù)據(jù)集isolet 進(jìn)行特征選擇后，利用支持向量機(jī)對(duì)所選特征子集進(jìn)行分類，本文新提出的8 種特征選擇算法的分類準(zhǔn)確率，均高于傳統(tǒng)的5 種特征選擇算法，尤其是新提出的算法New-MRMR-IG-P，其分類準(zhǔn)確率達(dá)到了0.963 5，遠(yuǎn)高于傳統(tǒng)的5 種特征選擇算法。在保證準(zhǔn)確率的情況下，其所選的特征數(shù)也均小于傳統(tǒng)的5 種特征選擇算法?？梢?，本文新提出的特征選擇算法在數(shù)據(jù)降維方面效果更佳。

圖2 是在數(shù)據(jù)集isolet 上，本文新提出的特征選擇算法New-MRMR-F-NI、New-MRMR-F-P，傳統(tǒng)特征選擇算法MRMR、Fisher Score 在不同維度下的分類準(zhǔn)確率變化趨勢(shì)。

圖2 New-MRMR-F-NI、New-MRMR-F-P、Fisher-Score、MRMR 在數(shù)據(jù)集isolet 上分類準(zhǔn)確率的變化趨勢(shì)Fig.2 Correct classification trend of New-MRMR-F-NI,New-MRMR-F-P,Fisher-Score,MRMR on the dataset isolet

從圖2 可以看出，對(duì)于在不同維度下的分類準(zhǔn)確率，新提出的特征選擇算法New-MRMR-FNI、New-MRMR-F-P 明顯高于傳統(tǒng)算法Fisher Score、MRMR。所以，對(duì)于減少原始特征集中的冗余和不相關(guān)特征，New-MRMR-F-NI、New-MRMR-F-P 有更好的優(yōu)勢(shì)。

不同維度下，本文新提算法New-MRMR-KNI、New-MRMR-K-P，傳統(tǒng)算法MRMR、Chi-Square-Test 在數(shù)據(jù)集isolet 上的分類準(zhǔn)確率變化趨勢(shì)見圖3。

圖3 New-MRMR-K-NI、New-MRMR-K-P、Chi-Square-Test、MRMR 在數(shù)據(jù)集isolet 上分類準(zhǔn)確率的變化趨勢(shì)Fig.3 Correct classification trend of New-MRMR-K-NI、New-MRMR-K-P、Chi-Square-Test、MRMR on the dataset isolet

圖3 顯示，不同維度下，New-MRMR-K-P 的分類準(zhǔn)確率曲線明顯高于傳統(tǒng)特征選擇算法，并且，在所選特征子集數(shù)為289 時(shí)，其分類準(zhǔn)確率達(dá)到了最高，既很好地去除了原始特征集中的冗余和不相關(guān)特征，又保證了分類準(zhǔn)確率。此外，算法New-MRMR-K-P 除了在維度為195 時(shí)的分類準(zhǔn)確率與傳統(tǒng)算法MRMR 相近之外，在其他維度上的分類準(zhǔn)確率均高于Chi-Square-Test、MRMR。可見，本文新提出的特征選擇算法效果更佳。

不同維度下，新提出的特征選擇算法New-MRMR-L-NI、New-MRMR-L-P，傳統(tǒng)特征選擇算法MRMR、Laplacian-Score 的分類準(zhǔn)確率變化趨勢(shì)見圖4。

圖4 New-MRMR-L-NI、New-MRMR-L-P、Laplacian-Score、MRMR 在數(shù)據(jù)集isolet 上，分類正確的變化趨勢(shì)Fig.4 Correct classification trend of New-MRMR-L-NI、New-MRMR-L-P,Laplacian-Score,MRMR on the dataset isolet

圖4 顯示，在特征維度為342 的時(shí)候，算法New-MRMR-L-P 的分類準(zhǔn)確率就已經(jīng)達(dá)到了最高，并且大于傳統(tǒng)算法Laplacian-Score、MRMR 的最大分類準(zhǔn)確率。此外，在分類準(zhǔn)確率達(dá)到最高時(shí)，算法New-MRMR-L-NI 所選的特征子集數(shù)僅為288，遠(yuǎn)小于傳統(tǒng)算法Laplacian-Score、MRMR 所選的特征子集數(shù)。因此，新提出的算法New-MRMR-L-NI、New-MRMR-L-P 對(duì)于特征選擇效果更好。

不同維度下，新提出的特征選擇算法New-MRMR-IG-NI、New-MRMR-IG-P，傳統(tǒng)特征選擇算法MRMR、Laplacian-Score 的分類準(zhǔn)確率變化趨勢(shì)見圖5。

由圖5 可以看出，在不同維度下，算法New-MRMR-IG-NI、New-MRMR-IG-P 分類準(zhǔn)確率的曲線，均高于傳統(tǒng)的兩種特征選擇算法Information-Gain、MRMR 所代表的曲線。分類準(zhǔn)確率越高，表明所選特征子集越好?？梢?，新出的算法New-MRMR-IG-NI 以及New-MRMR-IG-P 在特征選擇方面更加有效。

圖5 New-MRMR-IG-NI、New-MRMR-IG-P、Information-Gain、MRMR 在數(shù)據(jù)集isolet 上，分類準(zhǔn)確率的變化趨勢(shì)Fig.5 Correct classification trend of New-MRMR-IG-NI,New-MRMR-IG-P,Information-Gain,MRMR on the dataset isolet

表4 給出了以上各種算法在數(shù)據(jù)集waveform 上的實(shí)驗(yàn)結(jié)果，即經(jīng)支持向量機(jī)分類后計(jì)算得到的分類準(zhǔn)確率達(dá)到最大時(shí)所選擇的特征數(shù)。

表4 顯示，在數(shù)據(jù)集waveform 上，本文新提出的算法New-MRMR-F-P 的最大分類準(zhǔn)確率達(dá)到了0.953 4，遠(yuǎn)大于傳統(tǒng)特征選擇算法的分類準(zhǔn)確率；并且New-MRMR-F-P 在分類準(zhǔn)確率達(dá)到最大時(shí)，所選的特征子集數(shù)僅為17，小于傳統(tǒng)的5 種特征選擇算法在分類準(zhǔn)確率達(dá)到最大時(shí)所選的特征子集數(shù)。除此之外，本文新提出的其余特征選擇算法的分類準(zhǔn)確率，也均大于傳統(tǒng)的特征選擇算法的分類準(zhǔn)確率，且所選特征子集數(shù)相對(duì)來(lái)說(shuō)較小。因此，綜合考慮分類準(zhǔn)確率以及所選特征子集維度兩個(gè)方面，本文新提算法特征選擇效果更加明顯。

表4 分類準(zhǔn)確率最大時(shí)數(shù)據(jù)集waveform 上各種算法分別所選擇的特征數(shù)Table 4 Number of features selected by various algorithms when the Classification precision is maximum on the waveform dataset

不同維度下，本文新提出的特征選擇算法New-MRMR-F-NI、New-MRMR-F-P，傳統(tǒng)特征選擇算法MRMR、Fisher Score 在數(shù)據(jù)集waveform 上的分類準(zhǔn)確率變化趨勢(shì)見圖6。

由圖6 看出，在數(shù)據(jù)集waveform 上，New-MRMR-F-P 的表現(xiàn)最好，其所代表的曲線遠(yuǎn)高于傳統(tǒng)的特征選擇算法MRMR、Fisher-Score 所代表的曲線。此外，雖然在維度為24 時(shí)，算法New-MRMR-F-NI的分類準(zhǔn)確率低于傳統(tǒng)算法MRMR、Fisher-Score。但是，在其余維度上，New-MRMR-F-NI 的分類準(zhǔn)確率均高于MRMR、Fisher-Score。綜合分析，本文新提算法New-MRMR-FNI、New-MRMR-F-P 的特征選擇效果更好。

圖6 New-MRMR-F-NI、New-MRMR-F-P、Fisher-Score、MRMR 在數(shù)據(jù)集waveform 上，分類準(zhǔn)確率的變化趨勢(shì)Fig.6 Correct classification trend of New-MRMR-F-NI New-MRMR-F-P,Fisher-Score,MRMR on the dataset waveform

不同維度下，算法New-MRMR-K-NI、New-MRMR-K-P 以及傳統(tǒng)特征選擇算法MRMR 以及Chi-Square-Test 在數(shù)據(jù)集waveform 上的分類準(zhǔn)確率變化趨勢(shì)見圖7。

圖7 顯示，維度為20 時(shí)，New-MRMR-K-NI 的分類準(zhǔn)確率就達(dá)到了最大，大于MRMR、Chi-Square-Test 的最大分類準(zhǔn)確率。并且其所選特征子集數(shù)小于MRMR、Chi-Square-Test 的最優(yōu)特征子集數(shù)。此外，算法New-MRMR-K-P 的分類準(zhǔn)確率曲線高于MRMR、Chi-Square-Test 的分類準(zhǔn)確率曲線。所以，在waveform 數(shù)據(jù)集上，本文新提出的算法New-MRMR-K-NI、New-MRMR-K-P 的特征選擇效果更好。

圖7 New-MRMR-K-NI、New-MRMR-K-P、Chi-Square-Test、MRMR 在數(shù)據(jù)集waveform 上，分類準(zhǔn)確率的變化趨勢(shì)Fig.7 Correct classification trend of New-MRMR-K-NI,New-MRMR-K-P,Chi-Square-Test,MRMR on the dataset waveform

不同維度下，算法New-MRMR-L-NI、New-MRMR-L-P，傳統(tǒng)特征選擇算法MRMR、Laplacian-Score 在數(shù)據(jù)集waveform 上的分類準(zhǔn)確率變化趨勢(shì)見圖8。

圖8 顯示，New-MRMR-L-NI 的分類準(zhǔn)確率高于傳統(tǒng)算法MRMR、Laplacian-Score。在分類準(zhǔn)確率達(dá)到最大時(shí)，New-MRMR-L-NI 所選特征子集數(shù)僅為20，小于MRMR、Laplacian-Score 的最優(yōu)特征子集數(shù)。另外，新提算法在多數(shù)維度上均大于傳統(tǒng)算法MRMR、Laplacian-Score 的分類準(zhǔn)確率。由于分類準(zhǔn)確率越高，特征選擇效果越好，所以，在數(shù)據(jù)集waveform 上，New-MRMR-L-NI、New-MRMR-L-P 的特征選擇效果更好。

圖8 New-MRMR-L-NI、New-MRMR-L-P、Laplacian-Score、MRMR 在數(shù)據(jù)集waveform 上，分類準(zhǔn)確率的變化趨勢(shì)Fig.8 Correct classification trend of New-MRMR-L-NI,New-MRMR-L-P,Laplacian-Score,MRMR on the dataset waveform

不同維度下，New-MRMR-IG-NI、New-MRMRIG-P、傳統(tǒng)算法MRMR、Information-Gain 在數(shù)據(jù)集waveform 上分類準(zhǔn)確率變化趨勢(shì)見圖9。

圖9 New-MRMR-IG-NI、New-MRMR-IG-P、Information-Gain、MRMR 在數(shù)據(jù)集waveform 上，分類準(zhǔn)確率的變化趨勢(shì)Fig.9 Correct classification trend of New-MRMR-IG-NI,New-MRMR-IG-P,Information-Gain,MRMR on the dataset waveform

圖9 顯示，在數(shù)據(jù)集waveform 上，算法New-MRMR-IG-NI 的分類準(zhǔn)確率的曲線高于傳統(tǒng)的算法MRMR、Information-Gain 的分類準(zhǔn)確率。且算法New-MRMR-IG-P 的分類準(zhǔn)確率在維度為24 時(shí)達(dá)到最大。維度為11 時(shí)，New-MRMR-IGP 的分類準(zhǔn)確率略低于MRMR、Information-Gain，但是，在其余維度上均大于MRMR、Information-Gain。綜上分析，在數(shù)據(jù)集waveform 上，本文新提出的特征選擇算法效果明顯。

表5 給出了以上各種算法在數(shù)據(jù)集clean 上的實(shí)驗(yàn)結(jié)果，即經(jīng)支持向量機(jī)分類后，得到的分類準(zhǔn)確率達(dá)到最大時(shí)所選擇的特征數(shù)。

表5 分類準(zhǔn)確率最大時(shí)數(shù)據(jù)集clean 上各種算法分別所選擇的特征數(shù)Table 5 Number of features selected by various algorithms when the Classification precision is maximum on the clean dataset

由表5 可以看出，在分類準(zhǔn)確率方面，本文新提出的算法的最大分類準(zhǔn)確率均高于5 種傳統(tǒng)的特征選擇算法。在分類準(zhǔn)確率達(dá)到最優(yōu)時(shí)所選的特征子集數(shù)方面，尤其是算法New-MRMR-K-NI，其所選的特征子集數(shù)僅20，遠(yuǎn)小于原始的特征子集數(shù)。所以，對(duì)于數(shù)據(jù)集clean 而言，本文新提出的特征選擇算法更加有效。

不同維度下，算法New-MRMR-F-NI、New-MRMR-F-P、傳統(tǒng)特征選擇算法MRMR、Fisher Score 在數(shù)據(jù)集clean 上的分類準(zhǔn)確率變化趨勢(shì)見圖10。

圖10 New-MRMR-F-NI、New-MRMR-F-P、Fisher-Score、MRMR 在數(shù)據(jù)集clean 上分類準(zhǔn)確率的變化趨勢(shì)Fig.10 Correct classification trend of New-MRMR-F-NI,New-MRMR-F-P,Fisher-Score,MRMR on the dataset clean

由圖10 可以看出，本文新提算法New-MRMRF-NI、New-MRMR-F-P 的分類準(zhǔn)確率曲線均MRMR、Fisher-Score 的分類準(zhǔn)確率的曲線之上。由此可見，在數(shù)據(jù)集claen 上，算法New-MRMR-FNI、New-MRMR-F-P 的特征選擇結(jié)果更優(yōu)。

不同維度下，算法New-MRMR-K-NI、New-MRMR-K-P、傳統(tǒng)特征選擇算法MRMR、Chi-Square-Test 在數(shù)據(jù)集clean 上的分類準(zhǔn)確率變化趨勢(shì)見圖11。

圖11 New-MRMR-K-NI、New-MRMR-K-P、Chi-Square-Test、MRMR 在數(shù)據(jù)集clean 上，分類準(zhǔn)確率的變化趨勢(shì)Fig.11 Correct classification trend of New-MRMR-K-NI,New-MRMR-K-P,Chi-Square-Test,MRMR on the dataset clean

圖11 中，New-MRMR-K-NI、New-MRMR-KP 的分類準(zhǔn)確率的曲線均在傳統(tǒng)的特征選擇算法MRMR、Chi-quare-Test 之上，尤其是New-MRMRK-NI，當(dāng)分類準(zhǔn)確率達(dá)到最大時(shí)，所選的特征子集數(shù)為20，遠(yuǎn)小于兩種傳統(tǒng)算法所選擇的最優(yōu)特征子集數(shù)。可見，在數(shù)據(jù)集clean 上，算法New-MRMRK-NI、New-MRMR-K-P 的特征選擇效果更優(yōu)。

不同維度下，算法New-MRMR-L-NI、New-MRMR-L-P、傳統(tǒng)特征選擇算法MRMR、Fisher Score 在數(shù)據(jù)集clean 上的分類準(zhǔn)確率變化趨勢(shì)見圖12。

圖12 New-MRMR-L-NI、New-MRMR-L-P、Laplacian-Score、MRMR 在數(shù)據(jù)集clean 上分類準(zhǔn)確率的變化趨勢(shì)Fig.12 Correct classification trend of New-MRMR-L-NI,New-MRMR-L-P,Laplacian-Score,MRMR on the dataset clean

圖12 可以看出，維度為40 時(shí)，算法New-MRMRL-NI 就達(dá)到了最大分類準(zhǔn)確率，且高于傳統(tǒng)算法MRMR、Laplacian-Score 的分類準(zhǔn)確率。此外，雖然在維度為110 時(shí)，New-MRMR-L-P 的分類準(zhǔn)確率略低于MRMR，但在其余維度上的分類準(zhǔn)確率均高于MRMR、Laplacian-Score 的分類準(zhǔn)確率。

可見，在數(shù)據(jù)集clean 上，新提算法New-MRMR-L-NI、New-MRMR-L-P 的特征選擇效果更好。

不同維度下，算法New-MRMR-IG-NI、New-MRMR-IG-P、傳統(tǒng)特征選擇算法MRMR、Fisher Score 在數(shù)據(jù)集clean 上的分類準(zhǔn)確率變化趨勢(shì)見圖13。

圖13 New-MRMR-IG-NI、New-MRMR-IG-P、Information-Gain、MRMR 在數(shù)據(jù)集clean 上分類準(zhǔn)確率的變化趨勢(shì)Fig.13 Correct classification trend of New-MRMR-IG-NI,New-MRMR-IG-P,Information-Gain,MRMR on the dataset clean

圖13 顯示，本文新提算法New-MRMR-IGNI、New-MRMR-IG-P 的分類準(zhǔn)確率曲線均在傳統(tǒng)算法的分類準(zhǔn)確率曲線之上。所以，對(duì)于數(shù)據(jù)集clean，本文新提出的兩種特征選擇算法New-MRMR-IG-NI、New-MRMR-IG-P 所選擇的特征子集更加有效。

表6 給出了以上各種算法在數(shù)據(jù)集Parkinson’s Disease 上的實(shí)驗(yàn)結(jié)果，即經(jīng)支持向量機(jī)分類后，得到的分類準(zhǔn)確率達(dá)到最大時(shí)所選擇的特征數(shù)。

表6 分類準(zhǔn)確率最大時(shí)，數(shù)據(jù)集Parkinson’s Disease 上各種算法分別所選擇的特征數(shù)Table 6 Number of features selected by various algorithms when the Classification precision is maximum on the Parkinson’s Disease dataset

續(xù)表 6

表6 顯示，算法New-MRMR-F-P 的分類準(zhǔn)確率高達(dá)0.912 4，且此時(shí)所選擇的特征子集數(shù)僅為150，遠(yuǎn)小于傳統(tǒng)的5 種算法的最優(yōu)特征子集數(shù)。另外，除了New-MRMR-K-P 的分類準(zhǔn)確率略低于傳統(tǒng)算法MRMR 的分類準(zhǔn)確率之外，新提出的其余算法均大于傳統(tǒng)特征選擇算法。由此可見，本文新提出的特征選擇算法在數(shù)據(jù)集Parkinson’s Disease 上的特征選擇效果更好。

不同維度下，算法New-MRMR-F-NI、New-MRMR-F-P，傳統(tǒng)特征選擇算法MRMR、Fisher-Score 在數(shù)據(jù)集Parkinson’s Disease 上的分類準(zhǔn)確率變化趨勢(shì)見圖14。

圖14 New-MRMR-F-NI、New-MRMR-F-P、Fisher-Score、MRMR 在數(shù)據(jù)集Parkinson’s Disease 上分類準(zhǔn)確率的變化趨勢(shì)Fig.14 Correct classification trend of New-MRMR-F-NI,New-MRMR-F-P,Fisher-Score,MRMR on the Parkinson’s Disease dataset

圖14 顯示，算法New-MRMR-F-NI 的分類準(zhǔn)確率曲線在傳統(tǒng)算法MRMR、Fisher-Score 的分類準(zhǔn)確率曲線之上。在維度為540 時(shí)，New-MRMRF-P 的分類準(zhǔn)確率略低于MRMR 的分類準(zhǔn)確率。但是，在其余維度上，New-MRMR-F-P 的分類準(zhǔn)確率均高于傳統(tǒng)算法MRMR、Fisher-Score 的分類準(zhǔn)確率。更重要的是，在達(dá)到最大分類準(zhǔn)確率時(shí)，New-MRMR-F-NI 所選的特征子集數(shù)僅為210，遠(yuǎn)低于MRMR、Fisher-Score 的最優(yōu)特征子集數(shù)。所以，在數(shù)據(jù)集Parkinson’s Disease 上，本文新提出的算法特征選擇效果更好。

不同維度下，本文新提算法New-MRMR-FNI、New-MRMR-F-P、傳統(tǒng)算法MRMR、Fisher-Score 在數(shù)據(jù)集Parkinson’s Disease 上的分類準(zhǔn)確率變化趨勢(shì)見圖15。

圖15 New-MRMR-K-NI、New-MRMR-K-P、Chi-Square-Test、MRMR 在數(shù)據(jù)集Parkinson’s Disease 上分類準(zhǔn)確率的變化趨勢(shì)Fig.15 Correct classification trend of New-MRMRK-NI,New-MRMR-K-P,Chi-Square-Test,MRMR on the Parkinson’s Disease dataset

由圖15 可見，在絕大多數(shù)維度上，New-MRMRF-NI、New-MRMR-F-P 的分類準(zhǔn)確率均高于MRMR、Chi-Square-Test 的分類準(zhǔn)確率。在維度為120 時(shí)，New-MRMR-F-NI 就已然達(dá)到了最大分類準(zhǔn)確率，大于MRMR、Chi-Square-Test 的最大分類準(zhǔn)確率。由此可見，在數(shù)據(jù)集Parkinson’s Disease 上，本文新提算法特征選擇效果更好。

不同維度下，本文新提出的特征選擇算法New-MRMR-F-NI、New-MRMR-F-P 以及傳統(tǒng)特征選擇算法MRMR 以及Fisher Score 在數(shù)據(jù)集Parkinson's Disease 上的分類準(zhǔn)確率變化趨勢(shì)見圖16。

由圖16 可以看出，算法New-MRMR-L-P 的分類準(zhǔn)確率的曲線高于傳統(tǒng)算法MRMR、Laplacian-Score 的分類準(zhǔn)確率曲線，并且，在維度為240 時(shí)，New-MRMR-L-NI 就已經(jīng)達(dá)到了最大分類準(zhǔn)確率，遠(yuǎn)小于MRMR 達(dá)到最大分類準(zhǔn)確率時(shí)所選擇的特征子集數(shù)(540)。由此可見，在數(shù)據(jù)集Parkinson’s Disease 上，本文新提算法特征選擇效果更好。

圖16 New-MRMR-L-NI、New-MRMR-L-P、Laplacian-Score、MRMR 在數(shù)據(jù)集Parkinson’s Disease上分類準(zhǔn)確率的變化趨勢(shì)Fig.16 Correct classification trend of New-MRMR-L-NI,New-MRMR-L-P,Laplacian-Score,MRMR on the Parkinson’s Disease dataset

不同維度下，本文新提算法New-MRMR-FNI、New-MRMR-F-P 以及傳統(tǒng)算法MRMR、Fisher Score 在數(shù)據(jù)集Parkinson’s Disease 上的分類準(zhǔn)確率變化趨勢(shì)見圖17。

由圖17 可以看出，在維度為120 和540 時(shí)，New-MRMR-IG-P 的分類準(zhǔn)確率與算法MRMR 的分類準(zhǔn)確率較為接近，但在其余維度上，其分類準(zhǔn)確率均大于MRMR 的分類準(zhǔn)確率。而且，在分類準(zhǔn)確率達(dá)到最大時(shí)，New-MRMR-IG-P 所選擇的特征子集數(shù)僅為180，遠(yuǎn)小于MRMR 的最優(yōu)特征子集數(shù)。此外，New-MRMR-IG-NI 的分類準(zhǔn)確率的曲線高于算法MRMR、Information-Gain 的分類準(zhǔn)確率曲線。由上述分析可知，針對(duì)數(shù)據(jù)集Parkinson’s Disease 而言，本文提出算法在整體上比傳統(tǒng)算法選擇結(jié)果更好。

圖17 New-MRMR-IG-NI、New-MRMR-IG-P、Information-Gain、MRMR 在數(shù)據(jù)集Parkinson’s Disease 上分類準(zhǔn)確率的變化趨勢(shì)Fig.17 Correct classification trend of New-MRMRIG-NI,New-MRMR-IG-P,Information-Gain,MRMR on the Parkinson’s Disease dataset

2.3 實(shí)驗(yàn)結(jié)果的T 檢驗(yàn)

為更加有效地證明本文新提的8 種特征選擇算法的有效性，以下采用成對(duì)單邊T 檢驗(yàn)來(lái)證明其有效性。原假設(shè)為：本文新提算法與傳統(tǒng)算法的特征選擇效果相同；備擇假設(shè)為：本文新提算法的特征選擇效果優(yōu)于傳統(tǒng)特征選擇算法。表7為假設(shè)檢驗(yàn)結(jié)果，其中包含了檢驗(yàn)的統(tǒng)計(jì)量，置信區(qū)間以及P值。

表7 新提算法與傳統(tǒng)算法的成對(duì)單邊T 檢驗(yàn)的檢驗(yàn)結(jié)果Table 7 Test results of paired unilateral T-test between the new algorithm and the traditional algorithm

由表7 可以看出，成對(duì)單邊T 檢驗(yàn)的P值均小于0.05，所以拒絕原假設(shè)，故認(rèn)為本文新提出的8 種特征選擇算法的特征選擇結(jié)果優(yōu)于傳統(tǒng)特征選擇算法的特征選擇結(jié)果。

綜上分析，從分類準(zhǔn)確率以及假設(shè)檢驗(yàn)的結(jié)果可以看出，本文新提出的8 種特征選擇算法所選擇的特征子集更優(yōu)，特征選擇效果更好。

3 結(jié)束語(yǔ)

雖然傳統(tǒng)的基于特征選擇的分類算法的理念已較為新穎，但是還是存在一定的提升空間。一方面，傳統(tǒng)的基于特征選擇的分類算法在特征選擇過(guò)程中采用的度量特征之間冗余度以及與類別的相關(guān)度的評(píng)價(jià)準(zhǔn)則單一；另一方面，它只考慮了特征與類別之間的相關(guān)度而忽略了冗余度；最后，其目標(biāo)函數(shù)也存在缺陷，不能根據(jù)用戶實(shí)際的維度需求來(lái)選擇特征子集。本文針對(duì)這些問(wèn)題引入了4 種不同的相關(guān)度評(píng)價(jià)準(zhǔn)則以及兩種不同的冗余度評(píng)價(jià)準(zhǔn)則，目標(biāo)函數(shù)中引入了指示向量λ來(lái)刻畫用戶實(shí)際的數(shù)據(jù)維度需求，從而組合成8 種新的特征選擇算法，利用支持向量機(jī)對(duì)這8 種算法選擇得到的特征子集分類。在4 個(gè)真實(shí)的UCI 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，利用分類準(zhǔn)確率和T 檢驗(yàn)驗(yàn)證了新提出的算法的有效性。

最后需要指出，評(píng)價(jià)特征冗余度和相關(guān)度的方法有多種，本文僅用了2 種評(píng)價(jià)冗余度的方法和4 種評(píng)價(jià)相關(guān)度的方法，但是其他評(píng)價(jià)冗余度和相關(guān)度的方法也可以適用于New-MRMR 框架，此外，新提特征選擇算法在不同數(shù)據(jù)集上表現(xiàn)性能不同。因此，后續(xù)研究中，會(huì)更深入地研究和挖掘數(shù)據(jù)本質(zhì)，嘗試?yán)米銐蚨嗟臄?shù)據(jù)集以及評(píng)價(jià)相關(guān)度和冗余度的方法來(lái)深入探索具體哪種算法更適合哪種領(lǐng)域。