最大熵和?2,0 范數(shù)約束的無監(jiān)督特征選擇算法

周婉瑩，馬盈倉，續(xù)秋霞，鄭 毅

西安工程大學(xué) 理學(xué)院，西安710600

1 引言

特征選擇作為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的重要組成部分[1-2]，受到越來越多的關(guān)注[3-4]。特征選擇的目的是選擇最能代表原始特征空間的最優(yōu)特征子集[5-6]，減小特征維數(shù)，緩和維數(shù)災(zāi)難，縮短模型訓(xùn)練時(shí)間，提高性能，增強(qiáng)模型的泛化能力[7-8]。根據(jù)類標(biāo)簽信息的可用性，特征選擇方法可分為有監(jiān)督方法和無監(jiān)督方法。監(jiān)督特征選擇是在類標(biāo)簽信息的指導(dǎo)下，搜索最具鑒別性的特征子集[9-10]。這類特征選擇方法具有清晰的充分的信息，能夠有效地找到學(xué)習(xí)任務(wù)的最優(yōu)特征子集[11]。然而，多數(shù)情況，標(biāo)記所有樣本往往是費(fèi)時(shí)且昂貴的，這要求以無監(jiān)督的方式學(xué)習(xí)算法，選擇最相關(guān)的特征子集。由于缺少類標(biāo)簽信息，無監(jiān)督特征選擇旨在探索數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，學(xué)習(xí)到的特定結(jié)構(gòu)作為偽監(jiān)督信息，尋找最優(yōu)特征子集[12-13]。由于學(xué)習(xí)到的結(jié)構(gòu)信息往往是不確定的、不充分的、模糊的，因此無監(jiān)督特征選擇是一個(gè)具有挑戰(zhàn)性的任務(wù)[14-15]。

根據(jù)搜索策略，特征選擇方法可分為過濾式方法、包裝式方法、嵌入式方法[16-17]。其中，嵌入式方法最常用，它將特征選擇和模型訓(xùn)練結(jié)合，模型優(yōu)化期間直接評(píng)估特征重要性。近年來，隨著稀疏性研究的發(fā)展，理論和實(shí)證都表明稀疏性是真實(shí)數(shù)據(jù)的內(nèi)在屬性，稀疏正則化也應(yīng)用到特征選擇模型中[18]。根據(jù)范數(shù)結(jié)構(gòu)，稀疏性可以從以下兩種特征選擇正則項(xiàng)中獲得：平滑稀疏性通過?1范數(shù)或?0范數(shù)正則化選擇單個(gè)特征；結(jié)構(gòu)稀疏性通過?2,1范數(shù)、?2,∞范數(shù)或?2,0范數(shù)選擇組特征。

將結(jié)構(gòu)化稀疏正則項(xiàng)嵌入到無監(jiān)督特征選擇中，它可以在所有具有稀疏性的類中選擇特征。從稀疏性角度看，雖然?2,0范數(shù)更理想，但由于其非凸性和非光滑性會(huì)在優(yōu)化中產(chǎn)生很大困難，學(xué)者們更喜歡凸的?2,1范數(shù)作正則項(xiàng)[19-20]。而?2,1范數(shù)的正則化參數(shù)沒有明確含義，對(duì)于不同的數(shù)據(jù)，可能會(huì)發(fā)生顯著變化，需要研究者仔細(xì)調(diào)整其值[21]。本文提出了一種高效、魯棒、實(shí)用的特征選擇模型，直接用?2,0范數(shù)約束解決原始稀疏問題，而不采用它的松弛或近似方法，且令?2,0范數(shù)約束的值等于選擇特征的數(shù)量，賦予其實(shí)際意義。并提出一種有效的算法解決本文提出的無監(jiān)督特征選擇模型，在四個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，該算法優(yōu)于其他幾種常用的無監(jiān)督特征選擇算法。

2 模型建立

給定輸入數(shù)據(jù)集X={ x1,x2,…,xn} ∈?d×n，其中xi∈?d×1表示第i 個(gè)樣本，且這些數(shù)據(jù)點(diǎn)屬于c 類。使用經(jīng)典最小二乘回歸模型，優(yōu)化以下函數(shù)：

其中，W={w1;w2;…;xd} ∈?d×c是特征權(quán)重矩陣，表示對(duì)X 的特征加權(quán)，wi是W 的第i 行，d 是數(shù)據(jù)維數(shù)。1=(1 ,1,…,1)T∈?n×1是全1 列向量。b ∈?c×1是偏差，Y ∈?n×c是標(biāo)簽矩陣或已知類結(jié)構(gòu)。是Frobenius 范數(shù)，定義為，其中Tr(· )是跡。第二項(xiàng)是正則化項(xiàng)，λ 是正則化參數(shù)。為了獲得更精確的模型，使用?2,0范數(shù)約束且不將它作為正則項(xiàng)[22]。使用以下目標(biāo)函數(shù)來選擇多類問題的特征：

其中，k 是選擇特征的數(shù)量，當(dāng)W 的?2,0范數(shù)等于選擇特征的數(shù)量時(shí)，意味著特征權(quán)重矩陣W 只有k個(gè)非零行，該k 個(gè)非零行的索引序列即可確定數(shù)據(jù)集中要選擇的特征。M ∈?m×n。

遺憾的是，這種回歸模型很難直接應(yīng)用到無監(jiān)督特征選擇中。Y 作為未知變量，需要在模型（1）中進(jìn)行優(yōu)化，且當(dāng)W=0，b=(1 ,0,…,0)T，Y=(1 ,0,…,0 )時(shí)，可能會(huì)引發(fā)平凡解。為避免上述情況并特別利用最小二乘回歸模型進(jìn)行無監(jiān)督特征選擇，故采用下面優(yōu)化模型：

其中，F(xiàn)={ f1,f2,…,fn} ∈?n×c是輸入數(shù)據(jù)的指示矩陣，fi是c 維流形中第i 個(gè)樣本的指示向量。通過對(duì)F 施加正交約束FTF=I ，使模型在優(yōu)化過程中保持?jǐn)?shù)據(jù)結(jié)構(gòu)，避免奇異解。

模型（2）執(zhí)行流形學(xué)習(xí)并利用最小二乘回歸探索數(shù)據(jù)低維結(jié)構(gòu)。然而，這種流形學(xué)習(xí)只在歐氏空間中進(jìn)行，不能發(fā)現(xiàn)數(shù)據(jù)的局部幾何結(jié)構(gòu)[23]。譜分析表明，局部幾何結(jié)構(gòu)可通過數(shù)據(jù)點(diǎn)的最近鄰圖有效地建模。考慮模型（2）中的指示矩陣F 在低維空間的數(shù)據(jù)結(jié)構(gòu)。很自然地想到，如果兩個(gè)數(shù)據(jù)點(diǎn)xi和xj鄰近，它們的指示向量fi和fj也應(yīng)該鄰近?；诖?，構(gòu)造圖正則項(xiàng)，將數(shù)據(jù)的局部幾何結(jié)構(gòu)嵌入到流形學(xué)習(xí)中。采用譜分析中一個(gè)基本但重要的等式：將模型（2）優(yōu)化為：

為了自適應(yīng)地構(gòu)造相似矩陣，采用一種相似矩陣信息熵最大化的思想。信息熵也稱香農(nóng)熵表示某種特定信息的出現(xiàn)概率，定義如下：

通過上述分析。給出基于最大熵和?2,0范數(shù)約束的無監(jiān)督特征選擇算法（ENUF）的模型如下：

其中，β 是正則項(xiàng)參數(shù)。

3 模型求解及算法

3.1 模型重構(gòu)

模型（6）的優(yōu)化涉及四個(gè)變量：W，F(xiàn)，S 和b。顯然，b 不受任何約束。根據(jù)KKT 定理[24]，變量b 的最優(yōu)解可通過模型（6）的拉格朗日函數(shù)的一階導(dǎo)數(shù)確定。模型（6）關(guān)于b 的拉格朗日函數(shù)表示如下：

其中，R(W,F,S)表示拉格朗日函數(shù)中與b 無關(guān)的項(xiàng)。

b 的最優(yōu)解推導(dǎo)如下：

將b 的最優(yōu)解代入模型（6），模型簡化為：

模型（7）的優(yōu)化涉及三個(gè)變量：W，F(xiàn) 和S。根據(jù)文獻(xiàn)[25]，采用增廣拉格朗日函數(shù)法（ALM）求解模型（7），引入一個(gè)松弛變量V ，令V=W ，則模型（7）可重新表示為：

化簡得：

其中，Y 是拉格朗日乘子，μ ＞0 是懲罰參數(shù)。下面介紹一種基于ALM的交替迭代優(yōu)化算法求解模型（8）。

3.2 模型求解

（1）固定W ，F(xiàn) 和V ，更新S

當(dāng)W ，F(xiàn) 和V 固定時(shí)，模型（8）變?yōu)椋?/p>

結(jié)合譜分析中的重要等式（3），問題（9）的拉格朗日函數(shù)可以表示如下：

其 中，Φ={φi|i=1,2,…,n} 和Π={πij|i,j=1,2,…,n} 是拉格朗日乘子。根據(jù)優(yōu)化理論，問題（9）的拉格朗日函數(shù)必須滿足以下KKT條件：

通過求解（10），可以得到：

其中，ri是r( )φi的縮寫，表示依賴φi的變量。

由于fi是第i 個(gè)樣本的指示向量，因此當(dāng)兩個(gè)樣本鄰近時(shí)，由等式（12）計(jì)算出的樣本間的相似性更高。

（2）固定W ，S 和V ，更新F

當(dāng)模型（8）的W 和S 固定時(shí)，F(xiàn) 的優(yōu)化等于解決以下問題：

根據(jù)矩陣的性質(zhì)，問題（13）滿足下面推導(dǎo)：

由于W 是固定的，經(jīng)上述推導(dǎo)，問題（13）等價(jià)于求解：

其中，A=H+αLS，B=HXTW 。

因?yàn)閱栴}（14）與Stiefel 流形的二次問題的標(biāo)準(zhǔn)形式一致，所以它可以通過文獻(xiàn)[26]中提出的一種有效算法解決，該算法稱為廣義冪迭代算法。詳細(xì)算法在算法1中給出。

算法1 解決問題（14）

輸入：矩陣A ∈?n×n和B ∈?n×c

初始化：隨機(jī)矩陣F ∈?n×c滿足FTF=I ，正定矩陣A?=υI-A ∈?n×c，υ 為任意常數(shù)

Repeat：

1.更新M ←2A?F+2B

2.通過M 的緊致奇異值分解計(jì)算USVT=M ，其中

U ∈?n×c，S ∈?c×c，V ∈?c×c

3.更新F ←UVT

Until 收斂

輸出：指示矩陣F ∈?n×c

（3）固定F，S 和V ，更新W

當(dāng)F，S 和V 固定時(shí)，模型（8）變?yōu)椋?/p>

求W 的導(dǎo)數(shù)并將其設(shè)置為0，得：

則：

其中，I ∈?d×d是單位矩陣。

（4）固定W ，F(xiàn) 和S，更新V

當(dāng)模型（8）的W ，F(xiàn) 和S 固定時(shí)，V 的優(yōu)化等價(jià)于求解下面問題：

其求解過程在算法2中總結(jié)。

算法2 解決問題（17）

輸入：矩陣W ∈?d×c，Y ∈?d×c；參數(shù)μ；選擇特征的個(gè)數(shù)k

Process：

2.計(jì)算向量p ∈?d×1，其中每個(gè)元素定義為?i=1,2,…,d

3.對(duì)p 排序，找出前k 個(gè)項(xiàng)對(duì)應(yīng)的索引q=( q1,q2,…,qk)T

4.如果i ∈q，則把W 的第i 行賦給V

如果i ?q，則把零向量0T∈?1×c賦給V輸出：松弛變量矩陣V ∈?d×c

根據(jù)上述分析，在算法3中總結(jié)了算法ENUF。

算法3 ENUF

輸入：數(shù)據(jù)矩陣X ∈?d×n；中心矩陣H ∈?n×n；參數(shù)α，β 和k

初始化：相似矩陣S ∈?n×n，隨機(jī)矩陣F ∈?n×c滿足FTF=I ，隨機(jī)矩陣W ∈?d×c

Repeat：

1.通過等式（12）更新S

3.通過算法1更新F

4.通過等式（16）更新W

5.通過算法2更新V

Until 收斂

征作為特征子集

3.3 算法分析

盡管模型（8）不是凸問題，但本文算法是有效的，在每次迭代中，給定Y 和μ，算法3 都能找到其局部解。ALM算法的收斂性在文獻(xiàn)[25]中得到證明和討論。

在ENUF算法中模型（8）的優(yōu)化分為交替迭代解決問題（9）、問題（14）、問題（15）和問題（16）。通過求解問題（12）進(jìn)一步解決子問題（9），計(jì)算復(fù)雜度為O( n2)；子問題（14）的計(jì)算復(fù)雜度為O( n2d )；通過求解（16）解決子問題（15），計(jì)算復(fù)雜度為O( d3)；子問題（17）的計(jì)算復(fù)雜度為O( n )。因此，NSUF的計(jì)算復(fù)雜度為O(d3+n2d+n2+n )，其中，n 和d 分別是樣本數(shù)和特征數(shù)。

4 實(shí)驗(yàn)

為了驗(yàn)證本文提出的無監(jiān)督特征選擇算法的有效性和優(yōu)越性，使用四個(gè)常用的真實(shí)數(shù)據(jù)集進(jìn)行綜合實(shí)驗(yàn)。本章重點(diǎn)評(píng)估ENUF 算法在SRBCT、JAFFE、ORL和COIL20 數(shù)據(jù)集上的實(shí)驗(yàn)效果，并與幾種常用的無監(jiān)督特征選擇算法在相同數(shù)據(jù)集上的結(jié)果進(jìn)行比較，統(tǒng)一使用K-means 聚類算法對(duì)所選擇的特征進(jìn)行精確度（ACC）和歸一化互信息（NMI）評(píng)價(jià)。

4.1 數(shù)據(jù)集

本文在生物數(shù)據(jù)集SRBCT、表情數(shù)據(jù)集JAFFE[27]、人臉圖像數(shù)據(jù)集ORL[28]和物體圖像數(shù)據(jù)集COIL20[29]上進(jìn)行實(shí)驗(yàn)。表1總結(jié)了這些數(shù)據(jù)集的細(xì)節(jié)。

表1 數(shù)據(jù)集描述

SRBCT：由83 個(gè)樣本組成，共分為4 類，分別為29個(gè)、11個(gè)、18個(gè)和25個(gè)。每個(gè)樣本都包含2 308個(gè)基因。

JAFFE：共有213張圖像組成。選取了10名日本女學(xué)生，每個(gè)人做出7 種表情。7 種表情包括憤怒、厭惡、恐懼、高興、悲傷、驚訝、中性。

ORL：由40個(gè)不同年齡、不同性別和不同種族的人的人臉圖像組成。每個(gè)人10幅圖像，共計(jì)400幅灰度圖像，圖像尺寸是92×112，圖像背景為黑色。其中人臉部分表情和細(xì)節(jié)均有變化，例如笑或不笑、眼睛睜著或閉著，戴或不戴眼鏡等，人臉姿態(tài)也有變化，其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達(dá)20°，人臉尺寸也有最多10%的變化。該庫是目前使用最廣泛的標(biāo)準(zhǔn)人臉數(shù)據(jù)庫。

COIL20：哥倫比亞物體圖像庫是一種多類圖像分類數(shù)據(jù)集，由20個(gè)物體的1 440幅灰度圖像組成。包含對(duì)20個(gè)物體從不同角度的拍攝，每隔5°拍攝一幅圖像，每個(gè)物體72張圖像。

4.2 實(shí)驗(yàn)設(shè)置

4.2.1 對(duì)比算法

為了驗(yàn)證ENUF的有效性，將其與五種常用的無監(jiān)督特征選擇方法進(jìn)行比較，包括拉普拉斯評(píng)分法（LS）[30]、多聚類特征選擇（MCFS）[31]、無監(jiān)督判別特征選擇（UDFS）[32]、魯棒無監(jiān)督特征選擇（RUFS）[33]、魯棒圖正則化無監(jiān)督特征選擇（SOGFS）[34]。下面對(duì)這些方法進(jìn)行詳細(xì)描述。

LS：通過構(gòu)建樣本拉普拉斯近鄰圖，以特征局部保持能力為準(zhǔn)則對(duì)樣本特征權(quán)重進(jìn)行排序，采用啟發(fā)式策略逐個(gè)選取最優(yōu)特征構(gòu)成特征子集。

MCFS：通過譜分析捕獲局部流形結(jié)構(gòu)，對(duì)特征權(quán)重施加?1范數(shù)正則化使得特征呈現(xiàn)有效的稀疏化特性，然后選擇最能保持聚類結(jié)構(gòu)的特征，提高特征局部保持能力。

UDFS：采用局部類間散度最大化與類內(nèi)散度最小化的策略以獲取最優(yōu)特征子集，將判別分析和?2,1范數(shù)結(jié)合到無監(jiān)督特征選擇中。

RUFS：使用靈活流形嵌入，非負(fù)矩陣分解和?2,1范數(shù)同時(shí)執(zhí)行魯棒聚類和魯棒特征選擇。

SOGFS：自適應(yīng)地確定相似矩陣，同時(shí)進(jìn)行局部結(jié)構(gòu)學(xué)習(xí)和特征選擇。

4.2.2 參數(shù)設(shè)置

在相同策略中設(shè)置所有方法的參數(shù)以使實(shí)驗(yàn)足夠公平，即搜索網(wǎng)格{10-4，10-3，10-2，10-1，1，101，102，103，104}，并記錄最優(yōu)結(jié)果，為消除K-means聚類方法引起的隨機(jī)效應(yīng)，執(zhí)行25 次隨機(jī)起點(diǎn)的K-means 聚類，并且最終報(bào)告平均值。使用數(shù)據(jù)集的類數(shù)作為K-means 聚類中的參數(shù)K 。所選的特征數(shù)量在{50，100，150，200，250，300}中變化。還使用所有特征執(zhí)行K-means作為基線。

4.2.3 評(píng)價(jià)指標(biāo)

為了評(píng)估所選特征的性能，本文使用兩種廣泛使用的評(píng)價(jià)指標(biāo)，即精確度（ACC）和歸一化互信息（NMI）來評(píng)估特征選擇的性能。ACC 和NMI 的值越大，代表特征選擇的效果越好。

ACC的定義如下：

其中，N 是數(shù)據(jù)集的類別數(shù)；yi和ci分別是數(shù)據(jù)點(diǎn)xi的真實(shí)類別標(biāo)簽和預(yù)測(cè)類別標(biāo)簽；δ( )yi,c 是一個(gè)函數(shù)，如果y=c，則等于1，反之等于0；map()?是最優(yōu)映射函數(shù)，將每個(gè)類別標(biāo)簽映射到Hungarian算法[35]的類別中。給定兩個(gè)變量P 和Q，NMI定義為：

其中，H( P )和H( Q )分別是P 和Q 的熵，I( P,Q )是P 和Q 之間的互信息。對(duì)于本文算法，P 和Q 分別是K-means聚類結(jié)果和真實(shí)標(biāo)簽。NMI反映了K-means聚類結(jié)果和真實(shí)標(biāo)簽之間的一致性。

4.3 實(shí)驗(yàn)結(jié)果

把使用聚類算法得到的類別標(biāo)簽與數(shù)據(jù)集提供的類別標(biāo)簽比較后進(jìn)行算法評(píng)估。表2～表9 分別展示了不同數(shù)據(jù)集上幾種無監(jiān)督特征選擇算法在選取最優(yōu)參數(shù)的情況下選擇不同特征數(shù)的最佳結(jié)果，表中加粗項(xiàng)表示在選擇特征數(shù)相同時(shí)該算法的效果最優(yōu)，下劃線項(xiàng)表示該算法的效果排第二位。為驗(yàn)證所提出的算法在數(shù)據(jù)降維上的有效性，與選擇所有特征（Baseline）作為實(shí)驗(yàn)特征數(shù)進(jìn)行實(shí)驗(yàn)對(duì)比。

表2 不同算法在SRBCT數(shù)據(jù)集上的精確度%

表3 不同算法在JAFFE數(shù)據(jù)集上的精確度%

表4 不同算法在ORL數(shù)據(jù)集上的精確度%

表5 不同算法在COIL20數(shù)據(jù)集上的精確度%

表6 不同算法在SRBCT數(shù)據(jù)集上的歸一化互信息

表7 不同算法在JAFFE數(shù)據(jù)集上的歸一化互信息

表8 不同算法在ORL數(shù)據(jù)集上的歸一化互信息

表9 不同算法在COIL20數(shù)據(jù)集上的歸一化互信息

從表1對(duì)數(shù)據(jù)集的介紹和表2～表9的結(jié)果分析，得出以下結(jié)論：一般來說，隨著選擇特征數(shù)的增加，特征選擇方法的性能并不總是增加，而是呈現(xiàn)先增加后減小的趨勢(shì)。真實(shí)數(shù)據(jù)集總是包含許多冗余特征，因此必要的信息只包含在小部分特征集中。如果過度增加特征子集的大小，很多噪聲特征將進(jìn)入最終結(jié)果，這肯定會(huì)降低算法性能。該趨勢(shì)間接驗(yàn)證了特征選擇方法的有效性。

通過特征選擇，獲得包含更有價(jià)值的精確數(shù)據(jù)。與使用所有特征執(zhí)行K-means的基線相比，在大多數(shù)情況下使用所選特征的結(jié)果會(huì)變得更好。特別是本文提出的ENUF方法，平均有超過13%的改進(jìn)。驗(yàn)證了所提算法降維的有效性，直接說明特征選擇提高了數(shù)據(jù)質(zhì)量。

具體來說，以精確度作為評(píng)價(jià)指標(biāo)時(shí)，本文提出的ENUF方法的性能超過其他方法。在SRBCT數(shù)據(jù)集中，與第二種最優(yōu)方法相比，有大約4%的改進(jìn)。在JAFFE數(shù)據(jù)集中，與第二種最優(yōu)方法SOGFS相比，有大約2.4%的改進(jìn)。在ORL 數(shù)據(jù)集中，當(dāng)所選特征數(shù)為100、150、200和300時(shí)，都達(dá)到了最優(yōu)效果，與第二種最優(yōu)方法相比，有大約1.3%的改進(jìn)。在COIL20 數(shù)據(jù)集中，與第二種最優(yōu)方法RUFS相比，有大約3.8%的改進(jìn)。以歸一化互信息作為評(píng)價(jià)指標(biāo)時(shí)，所提出的NSUF方法的性能也超過其他方法。在SRBCT 數(shù)據(jù)集中，與第二種最優(yōu)方法相比，有大約2.8%的改進(jìn)。在JAFFE數(shù)據(jù)集中，當(dāng)所選特征數(shù)為100、150、200、250 和300 時(shí)，達(dá)到了最優(yōu)效果，與第二種最優(yōu)方法相比，有大約1.7%的改進(jìn)。在ORL 數(shù)據(jù)集中，當(dāng)所選特征數(shù)為100、150、200、250 和300時(shí)，NSUF方法達(dá)到了最優(yōu)效果。在COIL20數(shù)據(jù)集中，與第二種最優(yōu)方法相比，有大約2%的改進(jìn)。平均來說ENUF實(shí)現(xiàn)了相當(dāng)好的性能。

圖1 選擇不同特征數(shù)的4個(gè)數(shù)據(jù)集的精確度

圖2 選擇不同特征數(shù)的4個(gè)數(shù)據(jù)集的歸一化互信息

圖3 算法的收斂曲線

綜合上述實(shí)驗(yàn)結(jié)果，圖1 和圖2 分別展示了幾種不同的特征選擇算法在不同數(shù)據(jù)集上的效果。圖1和圖2更明確地展示了上述結(jié)論。

4.4 收斂性

現(xiàn)用實(shí)驗(yàn)驗(yàn)證算法收斂。通過兩個(gè)數(shù)據(jù)集ORL和COIL20顯示結(jié)果。目標(biāo)值的收斂曲線如圖3所示。參數(shù)α 取0.01，β 取0.001，選擇特征的數(shù)量k 取150。可以看到，隨著迭代次數(shù)不斷增加，目標(biāo)函數(shù)值逐漸減小，最后趨于平穩(wěn)，表明該算法是收斂的。

5 結(jié)語

本文提出了一種無監(jiān)督特征選擇算法，用于解決?2,0范數(shù)約束的優(yōu)化問題，通過譜分析獲得最優(yōu)的局部結(jié)構(gòu)，并結(jié)合最大熵原理自適應(yīng)地構(gòu)造相似矩陣。因?2,0范數(shù)約束具有唯一確定的含義，即選擇特征的數(shù)量，不涉及參數(shù)的選取，所以避免了一部分正則化參數(shù)的調(diào)整工作。未來的工作之一是，考察相似矩陣對(duì)特征選擇的影響，提出更優(yōu)的構(gòu)造相似矩陣的方法，實(shí)現(xiàn)更好的特征選擇效果。