基于稀疏學(xué)習(xí)的魯棒自表達(dá)屬性選擇算法

何 威 劉星毅 程德波 胡榮耀

1(廣西師范大學(xué)廣西多源信息挖掘與安全重點(diǎn)實(shí)驗(yàn)室 廣西 桂林 541004)2(廣西欽州學(xué)院 廣西 欽州 535000)

?

基于稀疏學(xué)習(xí)的魯棒自表達(dá)屬性選擇算法

何 威1劉星毅2*程德波1胡榮耀1

1(廣西師范大學(xué)廣西多源信息挖掘與安全重點(diǎn)實(shí)驗(yàn)室 廣西 桂林 541004)2(廣西欽州學(xué)院 廣西 欽州 535000)

受屬性選擇處理高維數(shù)據(jù)表現(xiàn)的高效性和低秩自表達(dá)方法在子空間聚類上成功運(yùn)用的啟發(fā)，提出一種基于稀疏學(xué)習(xí)的自表達(dá)屬性選擇算法。算法首先將每個屬性用其他屬性線性表示得到自表達(dá)系數(shù)矩陣；然后結(jié)合稀疏學(xué)習(xí)的理論(即整合L2,1-范數(shù)為稀疏正則化項(xiàng)懲罰目標(biāo)函數(shù))實(shí)現(xiàn)屬性選擇。在以分類準(zhǔn)確率和方差作為評價指標(biāo)下，相比其他算法，實(shí)驗(yàn)結(jié)果表明該算法可更高效地選擇出重要屬性，且顯示出非常好的魯棒性。

高維數(shù)據(jù) 屬性選擇 屬性自表達(dá) 稀疏學(xué)習(xí)

0 引 言

在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的分類任務(wù)中，往往需要處理大量的高維數(shù)據(jù)，其中無關(guān)或冗余的屬性會對分類性能產(chǎn)生嚴(yán)重影響。屬性選擇方法能選擇出小部分重要屬性作為新的屬性集，并能維持甚至提高分類性能[1]，因而在機(jī)器學(xué)習(xí)領(lǐng)域得到了廣泛的應(yīng)用。常見的屬性選擇方法有：有監(jiān)督方法、無監(jiān)督和半監(jiān)督方法[13]。有監(jiān)督的屬性選擇方法通過已知的類標(biāo)簽，對訓(xùn)練結(jié)果測試，從而進(jìn)行屬性的重要性評估，常見的方法有t檢驗(yàn)法和稀疏正則化線性回歸等[14]。無監(jiān)督的屬性選擇，沒有指導(dǎo)最小特征子集選擇的類標(biāo)簽信息。無監(jiān)督屬性選擇方法，主要使用一些評價指標(biāo)，如方差[5]、拉普拉斯算子分值[7]或秩比率[15]等，來評估每一個單獨(dú)的特征或特征子集，然后選擇最重要的前k個特征或最佳特征子集。這些指標(biāo)可評價聚類性能、冗余、信息損失、樣本相似性或流形結(jié)構(gòu)等。但是，在使用這些方法對所有屬性進(jìn)行搜索時，計算復(fù)雜度過高，不能適用于高維大數(shù)據(jù)。半監(jiān)督方法是有監(jiān)督與無監(jiān)督方法的結(jié)合，主要利用少量有標(biāo)簽樣本和大量的無標(biāo)簽樣本進(jìn)行訓(xùn)練和分類，如：自訓(xùn)練算法、多視圖算法[13]。本文研究無監(jiān)督屬性選擇方法。

在屬性選擇方法中，L2,1-范數(shù)的組稀疏正則化已被成功應(yīng)用，且在各種實(shí)際應(yīng)用中表現(xiàn)出了良好的性能[6]。在自然界中，自相似性是普遍存在的，即一個對象的一部分與其本身的其他部分相似。研究發(fā)現(xiàn)，擁有自相似性質(zhì)的對象，每個屬性可以近似表示為其自身屬性的線性組合，稱之為自表達(dá)?；趯ο蟮淖韵嗨菩缘男再|(zhì)，自表達(dá)性質(zhì)適用于大多數(shù)的高維數(shù)據(jù)，并已廣泛應(yīng)用于機(jī)器學(xué)習(xí)和計算機(jī)視覺領(lǐng)域[11]。而在無監(jiān)督的屬性選擇中，由于沒有類標(biāo)簽指導(dǎo)，很難獲得最小屬性子空間[4]。本文提出特征的自表達(dá)屬性方法，即每個屬性通過用其他屬性來表征，更好地利用了數(shù)據(jù)的內(nèi)部特征，從而解決了無監(jiān)督屬性選擇方法中，無類標(biāo)簽的特點(diǎn)?；谝陨峡紤]，本文利用特征的自我表達(dá)能力，特征矩陣代表本身尋找有代表性的特征成分，并結(jié)合稀疏學(xué)習(xí)以達(dá)到良好的效果。

1 相關(guān)理論背景及簡介

稀疏學(xué)習(xí)[2]最早應(yīng)用于圖形、圖像視覺等領(lǐng)域。由于具有強(qiáng)大的內(nèi)在理論及應(yīng)用價值，所以稀疏學(xué)習(xí)得到了迅速的發(fā)展，并在模式識別與機(jī)器學(xué)習(xí)等領(lǐng)域得到廣泛的應(yīng)用。

設(shè)W∈Rn×1是模型的參數(shù)向量，n是樣本數(shù)，其中，w1,w2,…,wn表示n個樣本參數(shù)，且W=[w1，w2，…，wn]。本質(zhì)上，數(shù)據(jù)的特點(diǎn)是由少量關(guān)鍵特征決定的。屬性選擇的目標(biāo)是找出一個有代表性的特征子集，所有屬性都能通過它來重建。鑒于稀疏學(xué)習(xí)可實(shí)現(xiàn)特征的自動選擇，為此本文算法采用稀疏學(xué)習(xí)的方法，來自動選擇重要的特征子集。在稀疏學(xué)習(xí)的基本理論中，首先通過對模型的參數(shù)向量w∈Rn進(jìn)行一種稀疏假設(shè)，再用訓(xùn)練樣本對參數(shù)w進(jìn)行擬合，主要實(shí)現(xiàn)的目標(biāo)函數(shù)為：

(1)

其中，f(x)是損失函數(shù)，φ(w)是正則化項(xiàng)，λ調(diào)節(jié)w的稀疏性，且λ越大，w越稀疏，反之亦然。

將稀疏學(xué)習(xí)應(yīng)用于屬性選擇算法當(dāng)中，能夠?qū)⒃紨?shù)據(jù)之間的系數(shù)權(quán)重作為重要的鑒別信息引入模型，通過稀疏約束來使得輸入數(shù)據(jù)進(jìn)行稀疏表示。這樣可以去除冗余和不相關(guān)屬性，同時保證重要屬性能夠被選擇[9]。鑒于稀疏學(xué)習(xí)的正則化因子通常選用能夠轉(zhuǎn)化為凸優(yōu)化問題來求解，故更能保證本文提出的模型求得唯一的全局最優(yōu)解[3]。在稀疏學(xué)習(xí)中，L0-范數(shù)是最有效的稀疏正則因子，但因其求解為NP難，故很多文獻(xiàn)均采用近似正則項(xiàng)L1-范數(shù)來替代L0-范數(shù)；而L2,1-范數(shù)能導(dǎo)致行稀疏，已經(jīng)被證明比L1-范數(shù)更適合于屬性選擇[18]。L2,1-范數(shù)正則化因子能用于稀疏表示來獲得組稀疏，因此本文采用L2,1-范數(shù)作為稀疏正則化因子來對屬性自表達(dá)進(jìn)行行稀疏處理，以達(dá)到剔除冗余和不相關(guān)屬性的目的，且能夠有效地減少離群點(diǎn)對結(jié)果的影響。

2 算法描述和優(yōu)化方法

基于低秩自表達(dá)方法在子空間聚類上的成功運(yùn)用，本文利用特征的自表達(dá)能力，提出了一種簡單而且十分有效的無監(jiān)督屬性選擇方法。通過屬性自表達(dá)來構(gòu)造自表達(dá)稀疏矩陣，然后采用稀疏學(xué)習(xí)的原理將冗余屬性和不相關(guān)屬性進(jìn)行稀疏化處理，從而本文算法能夠?qū)ふ页鲋匾奶卣鞒煞帧?/p>

假設(shè)給定訓(xùn)練集X∈Rn×m，其中，n和m分別表示樣本數(shù)和屬性數(shù)。xi代表第i個樣本，即X=[x1,x2,…,xn]，然后利用fj代表第j個屬性，即X=[f1,f2,…，fm]。早期的屬性選擇是利用一些度量來估計每個屬性，比如協(xié)方差、拉普拉斯算子[7]等，然后通過得到的權(quán)值對所有屬性進(jìn)行排序，取前面的一部分屬性作為新的屬性集。在目前的一些方法[3,4,6]中，通常是先計算樣本間的相似性或流行結(jié)構(gòu)，然后建立一個響應(yīng)矩陣Y=[y1,y2,…,ym]，使得屬性選擇問題轉(zhuǎn)化為一個多輸出的回歸問題：

(2)

其中，W是屬性權(quán)值矩陣，l(Y-XW)是損失函數(shù)，R(W)是關(guān)于W的正則化項(xiàng)，λ是正參數(shù)，用來調(diào)節(jié)對損失項(xiàng)的懲罰。

盡管式(2)是一種廣泛應(yīng)用的屬性選擇的方法，但在如何選取一個適當(dāng)?shù)捻憫?yīng)矩陣時往往比較困難。因此，本文提出一種SR_FS(Self-Representation for Feature Selection)的屬性選擇算法。本文的算法使用X作為響應(yīng)矩陣，其中Y=X，即利用屬性自表達(dá)的方法，使得每個屬性都能被全體屬性很好地表現(xiàn)出來。即X中的每個屬性fi，均能通過用全體屬性(包括自身)的線性組合來表示：

(3)

其中ei為誤差項(xiàng)，ωji為自表達(dá)系數(shù)。對于每個屬性，可以將式(3)重寫為：

X=XW+E

(4)

經(jīng)以上屬性自表達(dá)，可以得到自表達(dá)關(guān)系矩陣W。此時的W不能夠很好地選擇出重要的屬性，而且為使得剩余量E盡可能接近于0，故本文算法添加一個有效的稀疏學(xué)習(xí)正則化來輔助屬性選擇。因此本文算法的模型可以重寫為以下最小化問題：

(5)

最終由式(5)就可以得到目標(biāo)函數(shù)為：

(6)

其中，X∈Rn×d(n和d分別表示樣本數(shù)和屬性變量數(shù))為訓(xùn)練樣本，W∈Rd×d是關(guān)于X的系數(shù)矩陣，λ是調(diào)和參數(shù)。本文算法的偽代碼如下：

算法1SR_FS算法

輸入：訓(xùn)練樣本，正則化參數(shù)λ。

輸出：分類準(zhǔn)確率。

1. 通過訓(xùn)練樣本得出類指示矩陣X=[xi,k]；

3. 根據(jù)得到的W對原始屬性集X進(jìn)行屬性選擇，并將得到的屬性集作為樣本的新屬性集；

4. 最后，對新屬性集構(gòu)成的樣本采用SVM算法進(jìn)行分類。

本文提出的算法具有如下優(yōu)點(diǎn)：首先，由于算法采用了無監(jiān)督屬性選擇模型的屬性自表達(dá)方法，所以不需要標(biāo)簽矩陣Y來作為響應(yīng)矩陣；其次，有效地將自表達(dá)學(xué)習(xí)和稀疏學(xué)習(xí)理論結(jié)合，該模型既能消除輸入數(shù)據(jù)中的冗余和不相關(guān)的屬性，又可實(shí)現(xiàn)特征的自動選擇；最后，本文的目標(biāo)函數(shù)提出了一種區(qū)別于交替方向乘子法的求解方法，該優(yōu)化算法能保證目標(biāo)值在每次迭代過程中減小，并趨近于全局最優(yōu)解，最終求得全局最優(yōu)解。

3 優(yōu)化分析求解

由于式(6)的前半部分是凸的，且正則化項(xiàng)是非光滑的，本文設(shè)計了一種高效方法來求解式(6)。具體為，首先將式(6)對wi(1≤i≤m)求微分，且令其等于0，可以得到如下等式：

XTx(i)-XXTwi+λDiwi=0

(7)

wi=(λDi+XXT)-1XTx(i)

(8)

注意Di是未知的且取決于W。由以上分析，并根據(jù)文獻(xiàn)[12]和文獻(xiàn)[8],本文提出算法2，用一種迭代方法來優(yōu)化式(6)。

算法2優(yōu)化求解式(6)的偽代碼

輸入:X;

輸出: w(t)∈Rn×n;

1.初始化 W∈Rn×n,t=1;

2. while 未收斂 do

5.t=t+1;

6. 結(jié)束

證明：根據(jù)算法2可得到

(9)

由此得到：

Tr(XTW(t+1)-X)T(XTW(t+1)-X)+

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集和對比算法

本文用六個公開數(shù)據(jù)集測試提出的屬性選擇算法性能。為了測試本文算法的有效性和進(jìn)行屬性選擇的效果，使用有標(biāo)簽的數(shù)據(jù)集來測試算法，并與其他對比算法進(jìn)行比較測試。其中數(shù)據(jù)集madelon、DBWorld、train和musk來源于UCI數(shù)據(jù)集[15],TOX-171、warpAP10P來源于文獻(xiàn)[16]，數(shù)據(jù)集詳情如表1所示。

表1 數(shù)據(jù)集信息統(tǒng)計

本文實(shí)驗(yàn)是在Win7系統(tǒng)下的Matlab 2014a軟件上進(jìn)行編程實(shí)驗(yàn)。然后實(shí)驗(yàn)選擇四種公認(rèn)的有代表性的算法參與比較，包括:① NFS算法(Non Feature Selection)：對原始數(shù)據(jù)不做任何處理，直接使用LIBSVM工具箱[17]進(jìn)行SVM分類，并作為實(shí)驗(yàn)的基準(zhǔn)線；② PCA主成分分析方法(Principal Component Analysis)；③ LPP方法(Locality Preserving Projection)；④ RFS方法[9]：通過權(quán)值大小來表示屬性重要性的強(qiáng)弱，損失函數(shù)和正則化項(xiàng)兩者均采用L2,1-范數(shù)來約束。其中，NFS方法直接對原始數(shù)據(jù)集進(jìn)行SVM分類[10]，未對原始數(shù)據(jù)進(jìn)行任何處理，相比SR_FS等屬性約簡算法，不僅數(shù)據(jù)處理量大，而且結(jié)果容易受到冗余數(shù)據(jù)和噪音數(shù)據(jù)的影響；PCA考慮數(shù)據(jù)的主成分把數(shù)據(jù)從高維空間投影到低維空間，信息損失較為嚴(yán)重；LPP只考慮了數(shù)據(jù)的局部信息，沒有考慮數(shù)據(jù)內(nèi)部的整體情況，投影時信息損失也較為嚴(yán)重；RFS方法為產(chǎn)生稀疏系數(shù)矩陣，由此可以賦大權(quán)重給重要的屬性，賦小權(quán)重給不重要的屬性。在比較的算法中，PCA和LPP算法均屬于子空間學(xué)習(xí)方法，RFS算法屬于屬性選擇方法。

分析各算法的時間復(fù)雜度和空間復(fù)雜度。時間復(fù)雜度：本文SR_FS算法是稀疏學(xué)習(xí)與屬性自表達(dá)的最小二乘的有效組合,其時間復(fù)雜度與PCA、LPP及RFS算法一致，同為O(n3)(其中n是樣本量)；空間復(fù)雜度：本文算法與所有的對比算法均需存儲矩陣乘法的中間結(jié)果，空間復(fù)雜度為線性。

4.2 實(shí)驗(yàn)結(jié)果和分析

本文首先用不同的算法對數(shù)據(jù)進(jìn)行屬性選擇處理，然后用統(tǒng)一的方法對數(shù)據(jù)進(jìn)行分類，并采用分類準(zhǔn)確率作為評價指標(biāo)，分類準(zhǔn)確率越高表示算法效果越好，以此來檢測是否提出的SR_FS算法能夠具有很好的效果。實(shí)驗(yàn)通過10折交叉驗(yàn)證方法把原始數(shù)據(jù)劃分為訓(xùn)練集和測試集，運(yùn)用訓(xùn)練集通過算法來訓(xùn)練模型，用測試集測試模型的效果。實(shí)驗(yàn)采用SVM分類工具箱分類，得到分類準(zhǔn)確率。所有的算法均保證在同一實(shí)驗(yàn)環(huán)境下進(jìn)行，最后提取10次運(yùn)行的實(shí)驗(yàn)結(jié)果的均值加減方差來評估各算法的分類效果和魯棒性，具體各數(shù)據(jù)集實(shí)驗(yàn)結(jié)果見表2所示。為了比較不同數(shù)據(jù)量綱的各算法的魯棒性，本文采用變異系數(shù)(變異系數(shù)=(標(biāo)準(zhǔn)差/平均值)× 100%)作為評價指標(biāo)，統(tǒng)計結(jié)果見表3所示。為更直觀地比較各算法的效果，每一數(shù)據(jù)集各算法每次的實(shí)驗(yàn)結(jié)果對比如圖1-圖6所示。

首先，分析表2數(shù)據(jù)可以看出，其中，SR_FS算法在不同數(shù)據(jù)集上取得的準(zhǔn)確率均為最高，且與NFS算法比較平均提高了12.78%，效果最為明顯，與RFS算法比較平均提高了3.35%。其中，在train數(shù)據(jù)集上，SR_FS對比其他算法準(zhǔn)確率平均提升3.94%，為最低；而在musk數(shù)據(jù)集上效果最為顯著，SR_FS與其他對比算法相比平均提高14.08%，且與NFS相比提高了19.1%。這是因?yàn)镾R_FS算法不僅可以使屬性自表達(dá)，而且同時利用屬性自表達(dá)的表示方式，考慮到了全體不同屬性之間的相互關(guān)系；而PCA算法僅做了高維到低維的投影，RFS算法未考慮數(shù)據(jù)之間的關(guān)系，LPP算法只考慮了數(shù)據(jù)局部的關(guān)系。而SR_FS算法又結(jié)合了稀疏學(xué)習(xí)，彌補(bǔ)了單一方法的不足，因此能有效地選擇主要的類判別屬性和去除噪音屬性，顯著提高分類性能。根據(jù)圖1-圖6可以直觀地看出，SR_FS算法在各數(shù)據(jù)集上10次運(yùn)行的結(jié)果的折線大部分能在其他算法的上方，表明SR_FS算法表現(xiàn)出了更好的效果。

分析表2的方差統(tǒng)計結(jié)果可看出，SR_FS算法在各個數(shù)據(jù)集的10次運(yùn)行結(jié)果取得的方差與各對比算法相比，均能取得最小的方差。分析表3的變異系數(shù)統(tǒng)計結(jié)果可看出，SR_FS算法在各數(shù)據(jù)集上得到的變異系數(shù)均為最小。通過各算法10次運(yùn)行結(jié)果得到的方差(表2)和變異系數(shù)(表3)的比較可知，在多個不同數(shù)據(jù)集上，經(jīng)本文SR_FS算法屬性選擇后的數(shù)據(jù)，均能達(dá)到更加準(zhǔn)確和穩(wěn)定的分類效果。因此，本文SR_FS算法比對比算法有更好的魯棒性。

圖1 數(shù)據(jù)集madelon上各算法準(zhǔn)確率對比

圖2 數(shù)據(jù)集mask上各算法準(zhǔn)確率對比

圖3 數(shù)據(jù)集train上各算法準(zhǔn)確率對比

圖4 數(shù)據(jù)集warpAR10P上各算法準(zhǔn)確率對比

圖5 數(shù)據(jù)集TOX-171上各算法準(zhǔn)確率對比

圖6 數(shù)據(jù)集DBworld上各算法準(zhǔn)確率對比

表2 準(zhǔn)確率的均值統(tǒng)計結(jié)果(百分比%)

表3 各數(shù)據(jù)集十次結(jié)果的變異系數(shù)統(tǒng)計結(jié)果(百分比%)

5 結(jié) 語

本文提出一種新的屬性選擇算法SR_FS算法，即通過使用數(shù)據(jù)本身的性質(zhì)來構(gòu)建自表達(dá)系數(shù)矩陣，并整合L2,1-范數(shù)作為稀疏正則化項(xiàng)，來達(dá)到選擇重要屬性的目的。該算法有效地利用屬性的特性來構(gòu)造自表達(dá)系數(shù)矩陣并和稀疏屬性選擇有機(jī)融合在一起，達(dá)到了進(jìn)行自動屬性選擇的目的。其既擴(kuò)展了屬性自表達(dá)的理論應(yīng)用范疇，也彌補(bǔ)了稀疏學(xué)習(xí)在屬性選擇處理方面的不足。經(jīng)實(shí)驗(yàn)表明，本文算法能夠在分類準(zhǔn)確率和穩(wěn)定性上取得顯著提高。在后續(xù)的工作中，將嘗試在半監(jiān)督屬性選擇方面拓展驗(yàn)證本文提出的算法，并嘗試使用更先進(jìn)的技術(shù)改進(jìn)。

[1] Zhu X F,Suk H I,Shen D G.Matrix-Similarity Based Loss Function and Feature Selection for Alzheimer’s Disease Diagnosis[C]//Computer Vision and Pattern Recognition (CVPR),2014 IEEE Conference on.IEEE,2014:3089-3096.

[2] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[3] Zhao Z,Wang L,Liu H.Efficient spectral feature selection with minimum redundancy [C]//Proceedings of the Twenty-Fourth AAAI Conference on Artificial Intelligence,Atlanta,2010:673-678.

[4] Li Z C,Yang Y,Liu J,et al.Unsupervised feature selection using nonnegative spectral analysis [C]//Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence,Toronto,2012:1026-1032.

[5] Zhu X F,Huang Z,Yang Y,et al.Self-taught dimensionality reduction on the high-dimension-al small-sized data[J].Pattern Recognition,2013,46(1): 215-229.

[6] Yang Y,Shen H T,Ma Z G,et al.L2,1-norm regularized discriminative feature selection for unsupervised learning [C]//Proceedings of the Twenty-Second international joint conference on Artificial Intelligence,2011，2:1589-1594.

[7] Wan J W,Yang M,Chen Y J.Discriminative cost sensitive Laplacian score for face recognition[J].Neurocomputing,2015,152:333-344.

[8] Zhu X F,Huang Z,Yang Y,et al.Self-taught dimensionality reduction on the high-dimensional small-sized data[J].Pattern Recognition,2013,46(1):215-229.

[9] Nie F P,Huang H,Cai X,et al.Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization[C]//Advances in Neural Information Processing Systems,2010:1813-1821.

[10] Yao L,Zhang X J,Li D H,et al.An interior point method for L1/2-SVM and application to feature selection in classification[J].Journal of Applied Mathematics,2014(1):1-16.

[11] Zhu P F,Zuo W M,Zhang L,et al.Unsupervised feature selection by regularized self-representation[J].Pattern Recognition,2015,48(2):438-446.

[12] Zhu X F,Huang Z,Shen H T,et al.Linear cross-modal hashing for efficient multimedia search[C]//MM 2013-Proceedings of the 2013 ACM International Conference on Multimedia， 2013:143-152.

[13] Zhao Z,Wang L,Liu H,et al.On Similarity Preserving Feature Selection[J].IEEE Transactions on Knowledge and Data Engineering,2013,25(3):619-632.

[14] Mitra P,Murthy C A,Pal S K.Unsupervised feature selection using feature similarity[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(3):301-312.

[15] Nie F P,Xiang S M,Jia Y Q,et al.Trace ratio criterion for feature selection[C]//AAAI’08,2008,2:671-676.

[16] Feature selection datasets[EB/OL].[2015-04-10].http://featureselection.asu.edu/datasets.php.

[17] LIBSVM—A Library for Support Vector Machines.[EB/OL].[2015-04-10]. http://www.csie.ntu.edu.tw/～cjlin/libsvm.

[18] Yang Y,Shen H T,Ma Z G,et al.l2,1-norm regularized discriminative feature selection for unsupervised learning[C]//Proceedings of the Twenty-Second international joint conference on Artificial Intelligence.AAAI Press,2011,2:1589-1594.

[19] Zhu X F,Zhang L,Huang Z.A sparse embedding and least variance encoding approach to hashing[J].IEEE Transactions on image processing,2014,23(9):3737-3750.

FEATURE SELECTION ALGORITHM WITH ROBUST SELF-REPRESENTATION BASED ON SPARSE LEARNING

He Wei1Liu Xingyi2*Cheng Debo1Hu Rongyao1

1(GuangxiKeyLabofMulti-sourceInformationMiningandSecurity,GuangxiNormalUniversity,Guilin541004,Guangxi，China)2(QinzhouUniversity,Qinzhou535000,Guangxi，China)

Inspired by the high efficiency of feature selection in dealing with high-dimensional data and the success application of low-rank self-representation in subspace clustering,we proposed a sparse learning-based self-represented feature selection algorithm.The algorithm first represents every feature in other feature linearity to obtain the self-representation coefficient matrix; then in combination with sparse learning theory (i.e.to integrate the L2,1-norm as a sparse regularisation punishment object function) it implements feature selection.With the evaluation indexes of classification accuracy and variance,and compared with the algorithms to be contrasted,experimental results indicated that the proposed algorithm could be more efficient in selecting important features and showed excellent robustness as well.

High-dimensional data Feature selection Featrue self-representation Sparse learning

2015-07-27。國家自然科學(xué)基金項(xiàng)目(61170131，61263035，61363009)；國家高技術(shù)研究發(fā)展計劃項(xiàng)目(2012AA011005)；國家重點(diǎn)基礎(chǔ)研究發(fā)展計劃項(xiàng)目(2013CB329404)；廣西自然科學(xué)基金項(xiàng)目(2012GXNSFGA060004)；廣西高?？茖W(xué)技術(shù)研究重點(diǎn)項(xiàng)目(2013 ZD041)；廣西研究生教育創(chuàng)新計劃項(xiàng)目(YCSZ2015095，YCSZ2015096)。何威，碩士，主研領(lǐng)域：數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)。劉星毅，碩士。程德波，碩士。胡榮耀，碩士。

TP181

A

10.3969/j.issn.1000-386x.2016.11.045