• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    最大熵和?2,0 范數(shù)約束的無監(jiān)督特征選擇算法

    2020-06-09 07:18:28周婉瑩馬盈倉續(xù)秋霞
    關(guān)鍵詞:特征選擇范數(shù)集上

    周婉瑩,馬盈倉,續(xù)秋霞,鄭 毅

    西安工程大學(xué) 理學(xué)院,西安710600

    1 引言

    特征選擇作為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的重要組成部分[1-2],受到越來越多的關(guān)注[3-4]。特征選擇的目的是選擇最能代表原始特征空間的最優(yōu)特征子集[5-6],減小特征維數(shù),緩和維數(shù)災(zāi)難,縮短模型訓(xùn)練時(shí)間,提高性能,增強(qiáng)模型的泛化能力[7-8]。根據(jù)類標(biāo)簽信息的可用性,特征選擇方法可分為有監(jiān)督方法和無監(jiān)督方法。監(jiān)督特征選擇是在類標(biāo)簽信息的指導(dǎo)下,搜索最具鑒別性的特征子集[9-10]。這類特征選擇方法具有清晰的充分的信息,能夠有效地找到學(xué)習(xí)任務(wù)的最優(yōu)特征子集[11]。然而,多數(shù)情況,標(biāo)記所有樣本往往是費(fèi)時(shí)且昂貴的,這要求以無監(jiān)督的方式學(xué)習(xí)算法,選擇最相關(guān)的特征子集。由于缺少類標(biāo)簽信息,無監(jiān)督特征選擇旨在探索數(shù)據(jù)的內(nèi)在結(jié)構(gòu),學(xué)習(xí)到的特定結(jié)構(gòu)作為偽監(jiān)督信息,尋找最優(yōu)特征子集[12-13]。由于學(xué)習(xí)到的結(jié)構(gòu)信息往往是不確定的、不充分的、模糊的,因此無監(jiān)督特征選擇是一個(gè)具有挑戰(zhàn)性的任務(wù)[14-15]。

    根據(jù)搜索策略,特征選擇方法可分為過濾式方法、包裝式方法、嵌入式方法[16-17]。其中,嵌入式方法最常用,它將特征選擇和模型訓(xùn)練結(jié)合,模型優(yōu)化期間直接評(píng)估特征重要性。近年來,隨著稀疏性研究的發(fā)展,理論和實(shí)證都表明稀疏性是真實(shí)數(shù)據(jù)的內(nèi)在屬性,稀疏正則化也應(yīng)用到特征選擇模型中[18]。根據(jù)范數(shù)結(jié)構(gòu),稀疏性可以從以下兩種特征選擇正則項(xiàng)中獲得:平滑稀疏性通過?1范數(shù)或?0范數(shù)正則化選擇單個(gè)特征;結(jié)構(gòu)稀疏性通過?2,1范數(shù)、?2,∞范數(shù)或?2,0范數(shù)選擇組特征。

    將結(jié)構(gòu)化稀疏正則項(xiàng)嵌入到無監(jiān)督特征選擇中,它可以在所有具有稀疏性的類中選擇特征。從稀疏性角度看,雖然?2,0范數(shù)更理想,但由于其非凸性和非光滑性會(huì)在優(yōu)化中產(chǎn)生很大困難,學(xué)者們更喜歡凸的?2,1范數(shù)作正則項(xiàng)[19-20]。而?2,1范數(shù)的正則化參數(shù)沒有明確含義,對(duì)于不同的數(shù)據(jù),可能會(huì)發(fā)生顯著變化,需要研究者仔細(xì)調(diào)整其值[21]。本文提出了一種高效、魯棒、實(shí)用的特征選擇模型,直接用?2,0范數(shù)約束解決原始稀疏問題,而不采用它的松弛或近似方法,且令?2,0范數(shù)約束的值等于選擇特征的數(shù)量,賦予其實(shí)際意義。并提出一種有效的算法解決本文提出的無監(jiān)督特征選擇模型,在四個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明,該算法優(yōu)于其他幾種常用的無監(jiān)督特征選擇算法。

    2 模型建立

    給定輸入數(shù)據(jù)集X={ x1,x2,…,xn} ∈?d×n,其中xi∈?d×1表示第i 個(gè)樣本,且這些數(shù)據(jù)點(diǎn)屬于c 類。使用經(jīng)典最小二乘回歸模型,優(yōu)化以下函數(shù):

    其中,W={w1;w2;…;xd} ∈?d×c是特征權(quán)重矩陣,表示對(duì)X 的特征加權(quán),wi是W 的第i 行,d 是數(shù)據(jù)維數(shù)。1=(1 ,1,…,1)T∈?n×1是全1 列向量。b ∈?c×1是偏差,Y ∈?n×c是標(biāo)簽矩陣或已知類結(jié)構(gòu)。是Frobenius 范數(shù),定義為,其中Tr(· )是跡。第二項(xiàng)是正則化項(xiàng),λ 是正則化參數(shù)。為了獲得更精確的模型,使用?2,0范數(shù)約束且不將它作為正則項(xiàng)[22]。使用以下目標(biāo)函數(shù)來選擇多類問題的特征:

    其中,k 是選擇特征的數(shù)量,當(dāng)W 的?2,0范數(shù)等于選擇特征的數(shù)量時(shí),意味著特征權(quán)重矩陣W 只有k個(gè)非零行,該k 個(gè)非零行的索引序列即可確定數(shù)據(jù)集中要選擇的特征。M ∈?m×n。

    遺憾的是,這種回歸模型很難直接應(yīng)用到無監(jiān)督特征選擇中。Y 作為未知變量,需要在模型(1)中進(jìn)行優(yōu)化,且當(dāng)W=0,b=(1 ,0,…,0)T,Y=(1 ,0,…,0 )時(shí),可能會(huì)引發(fā)平凡解。為避免上述情況并特別利用最小二乘回歸模型進(jìn)行無監(jiān)督特征選擇,故采用下面優(yōu)化模型:

    其中,F(xiàn)={ f1,f2,…,fn} ∈?n×c是輸入數(shù)據(jù)的指示矩陣,fi是c 維流形中第i 個(gè)樣本的指示向量。通過對(duì)F 施加正交約束FTF=I ,使模型在優(yōu)化過程中保持?jǐn)?shù)據(jù)結(jié)構(gòu),避免奇異解。

    模型(2)執(zhí)行流形學(xué)習(xí)并利用最小二乘回歸探索數(shù)據(jù)低維結(jié)構(gòu)。然而,這種流形學(xué)習(xí)只在歐氏空間中進(jìn)行,不能發(fā)現(xiàn)數(shù)據(jù)的局部幾何結(jié)構(gòu)[23]。譜分析表明,局部幾何結(jié)構(gòu)可通過數(shù)據(jù)點(diǎn)的最近鄰圖有效地建模。考慮模型(2)中的指示矩陣F 在低維空間的數(shù)據(jù)結(jié)構(gòu)。很自然地想到,如果兩個(gè)數(shù)據(jù)點(diǎn)xi和xj鄰近,它們的指示向量fi和fj也應(yīng)該鄰近?;诖?,構(gòu)造圖正則項(xiàng),將數(shù)據(jù)的局部幾何結(jié)構(gòu)嵌入到流形學(xué)習(xí)中。采用譜分析中一個(gè)基本但重要的等式:將模型(2)優(yōu)化為:

    為了自適應(yīng)地構(gòu)造相似矩陣,采用一種相似矩陣信息熵最大化的思想。信息熵也稱香農(nóng)熵表示某種特定信息的出現(xiàn)概率,定義如下:

    通過上述分析。給出基于最大熵和?2,0范數(shù)約束的無監(jiān)督特征選擇算法(ENUF)的模型如下:

    其中,β 是正則項(xiàng)參數(shù)。

    3 模型求解及算法

    3.1 模型重構(gòu)

    模型(6)的優(yōu)化涉及四個(gè)變量:W,F(xiàn),S 和b。顯然,b 不受任何約束。根據(jù)KKT 定理[24],變量b 的最優(yōu)解可通過模型(6)的拉格朗日函數(shù)的一階導(dǎo)數(shù)確定。模型(6)關(guān)于b 的拉格朗日函數(shù)表示如下:

    其中,R(W,F,S)表示拉格朗日函數(shù)中與b 無關(guān)的項(xiàng)。

    b 的最優(yōu)解推導(dǎo)如下:

    將b 的最優(yōu)解代入模型(6),模型簡化為:

    模型(7)的優(yōu)化涉及三個(gè)變量:W,F(xiàn) 和S。根據(jù)文獻(xiàn)[25],采用增廣拉格朗日函數(shù)法(ALM)求解模型(7),引入一個(gè)松弛變量V ,令V=W ,則模型(7)可重新表示為:

    化簡得:

    其中,Y 是拉格朗日乘子,μ >0 是懲罰參數(shù)。下面介紹一種基于ALM的交替迭代優(yōu)化算法求解模型(8)。

    3.2 模型求解

    (1)固定W ,F(xiàn) 和V ,更新S

    當(dāng)W ,F(xiàn) 和V 固定時(shí),模型(8)變?yōu)椋?/p>

    結(jié)合譜分析中的重要等式(3),問題(9)的拉格朗日函數(shù)可以表示如下:

    其 中,Φ={φi|i=1,2,…,n} 和Π={πij|i,j=1,2,…,n} 是拉格朗日乘子。根據(jù)優(yōu)化理論,問題(9)的拉格朗日函數(shù)必須滿足以下KKT條件:

    通過求解(10),可以得到:

    其中,ri是r( )φi的縮寫,表示依賴φi的變量。

    由于fi是第i 個(gè)樣本的指示向量,因此當(dāng)兩個(gè)樣本鄰近時(shí),由等式(12)計(jì)算出的樣本間的相似性更高。

    (2)固定W ,S 和V ,更新F

    當(dāng)模型(8)的W 和S 固定時(shí),F(xiàn) 的優(yōu)化等于解決以下問題:

    根據(jù)矩陣的性質(zhì),問題(13)滿足下面推導(dǎo):

    由于W 是固定的,經(jīng)上述推導(dǎo),問題(13)等價(jià)于求解:

    其中,A=H+αLS,B=HXTW 。

    因?yàn)閱栴}(14)與Stiefel 流形的二次問題的標(biāo)準(zhǔn)形式一致,所以它可以通過文獻(xiàn)[26]中提出的一種有效算法解決,該算法稱為廣義冪迭代算法。詳細(xì)算法在算法1中給出。

    算法1 解決問題(14)

    輸入:矩陣A ∈?n×n和B ∈?n×c

    初始化:隨機(jī)矩陣F ∈?n×c滿足FTF=I ,正定矩陣A?=υI-A ∈?n×c,υ 為任意常數(shù)

    Repeat:

    1.更新M ←2A?F+2B

    2.通過M 的緊致奇異值分解計(jì)算USVT=M ,其中

    U ∈?n×c,S ∈?c×c,V ∈?c×c

    3.更新F ←UVT

    Until 收斂

    輸出:指示矩陣F ∈?n×c

    (3)固定F,S 和V ,更新W

    當(dāng)F,S 和V 固定時(shí),模型(8)變?yōu)椋?/p>

    求W 的導(dǎo)數(shù)并將其設(shè)置為0,得:

    則:

    其中,I ∈?d×d是單位矩陣。

    (4)固定W ,F(xiàn) 和S,更新V

    當(dāng)模型(8)的W ,F(xiàn) 和S 固定時(shí),V 的優(yōu)化等價(jià)于求解下面問題:

    其求解過程在算法2中總結(jié)。

    算法2 解決問題(17)

    輸入:矩陣W ∈?d×c,Y ∈?d×c;參數(shù)μ;選擇特征的個(gè)數(shù)k

    Process:

    2.計(jì)算向量p ∈?d×1,其中每個(gè)元素定義為?i=1,2,…,d

    3.對(duì)p 排序,找出前k 個(gè)項(xiàng)對(duì)應(yīng)的索引q=( q1,q2,…,qk)T

    4.如果i ∈q,則把W 的第i 行賦給V

    如果i ?q,則把零向量0T∈?1×c賦給V輸出:松弛變量矩陣V ∈?d×c

    根據(jù)上述分析,在算法3中總結(jié)了算法ENUF。

    算法3 ENUF

    輸入:數(shù)據(jù)矩陣X ∈?d×n;中心矩陣H ∈?n×n;參數(shù)α,β 和k

    初始化:相似矩陣S ∈?n×n,隨機(jī)矩陣F ∈?n×c滿足FTF=I ,隨機(jī)矩陣W ∈?d×c

    Repeat:

    1.通過等式(12)更新S

    3.通過算法1更新F

    4.通過等式(16)更新W

    5.通過算法2更新V

    Until 收斂

    征作為特征子集

    3.3 算法分析

    盡管模型(8)不是凸問題,但本文算法是有效的,在每次迭代中,給定Y 和μ,算法3 都能找到其局部解。ALM算法的收斂性在文獻(xiàn)[25]中得到證明和討論。

    在ENUF算法中模型(8)的優(yōu)化分為交替迭代解決問題(9)、問題(14)、問題(15)和問題(16)。通過求解問題(12)進(jìn)一步解決子問題(9),計(jì)算復(fù)雜度為O( n2);子問題(14)的計(jì)算復(fù)雜度為O( n2d );通過求解(16)解決子問題(15),計(jì)算復(fù)雜度為O( d3);子問題(17)的計(jì)算復(fù)雜度為O( n )。因此,NSUF的計(jì)算復(fù)雜度為O(d3+n2d+n2+n ),其中,n 和d 分別是樣本數(shù)和特征數(shù)。

    4 實(shí)驗(yàn)

    為了驗(yàn)證本文提出的無監(jiān)督特征選擇算法的有效性和優(yōu)越性,使用四個(gè)常用的真實(shí)數(shù)據(jù)集進(jìn)行綜合實(shí)驗(yàn)。本章重點(diǎn)評(píng)估ENUF 算法在SRBCT、JAFFE、ORL和COIL20 數(shù)據(jù)集上的實(shí)驗(yàn)效果,并與幾種常用的無監(jiān)督特征選擇算法在相同數(shù)據(jù)集上的結(jié)果進(jìn)行比較,統(tǒng)一使用K-means 聚類算法對(duì)所選擇的特征進(jìn)行精確度(ACC)和歸一化互信息(NMI)評(píng)價(jià)。

    4.1 數(shù)據(jù)集

    本文在生物數(shù)據(jù)集SRBCT、表情數(shù)據(jù)集JAFFE[27]、人臉圖像數(shù)據(jù)集ORL[28]和物體圖像數(shù)據(jù)集COIL20[29]上進(jìn)行實(shí)驗(yàn)。表1總結(jié)了這些數(shù)據(jù)集的細(xì)節(jié)。

    表1 數(shù)據(jù)集描述

    SRBCT:由83 個(gè)樣本組成,共分為4 類,分別為29個(gè)、11個(gè)、18個(gè)和25個(gè)。每個(gè)樣本都包含2 308個(gè)基因。

    JAFFE:共有213張圖像組成。選取了10名日本女學(xué)生,每個(gè)人做出7 種表情。7 種表情包括憤怒、厭惡、恐懼、高興、悲傷、驚訝、中性。

    ORL:由40個(gè)不同年齡、不同性別和不同種族的人的人臉圖像組成。每個(gè)人10幅圖像,共計(jì)400幅灰度圖像,圖像尺寸是92×112,圖像背景為黑色。其中人臉部分表情和細(xì)節(jié)均有變化,例如笑或不笑、眼睛睜著或閉著,戴或不戴眼鏡等,人臉姿態(tài)也有變化,其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達(dá)20°,人臉尺寸也有最多10%的變化。該庫是目前使用最廣泛的標(biāo)準(zhǔn)人臉數(shù)據(jù)庫。

    COIL20:哥倫比亞物體圖像庫是一種多類圖像分類數(shù)據(jù)集,由20個(gè)物體的1 440幅灰度圖像組成。包含對(duì)20個(gè)物體從不同角度的拍攝,每隔5°拍攝一幅圖像,每個(gè)物體72張圖像。

    4.2 實(shí)驗(yàn)設(shè)置

    4.2.1 對(duì)比算法

    為了驗(yàn)證ENUF的有效性,將其與五種常用的無監(jiān)督特征選擇方法進(jìn)行比較,包括拉普拉斯評(píng)分法(LS)[30]、多聚類特征選擇(MCFS)[31]、無監(jiān)督判別特征選擇(UDFS)[32]、魯棒無監(jiān)督特征選擇(RUFS)[33]、魯棒圖正則化無監(jiān)督特征選擇(SOGFS)[34]。下面對(duì)這些方法進(jìn)行詳細(xì)描述。

    LS:通過構(gòu)建樣本拉普拉斯近鄰圖,以特征局部保持能力為準(zhǔn)則對(duì)樣本特征權(quán)重進(jìn)行排序,采用啟發(fā)式策略逐個(gè)選取最優(yōu)特征構(gòu)成特征子集。

    MCFS:通過譜分析捕獲局部流形結(jié)構(gòu),對(duì)特征權(quán)重施加?1范數(shù)正則化使得特征呈現(xiàn)有效的稀疏化特性,然后選擇最能保持聚類結(jié)構(gòu)的特征,提高特征局部保持能力。

    UDFS:采用局部類間散度最大化與類內(nèi)散度最小化的策略以獲取最優(yōu)特征子集,將判別分析和?2,1范數(shù)結(jié)合到無監(jiān)督特征選擇中。

    RUFS:使用靈活流形嵌入,非負(fù)矩陣分解和?2,1范數(shù)同時(shí)執(zhí)行魯棒聚類和魯棒特征選擇。

    SOGFS:自適應(yīng)地確定相似矩陣,同時(shí)進(jìn)行局部結(jié)構(gòu)學(xué)習(xí)和特征選擇。

    4.2.2 參數(shù)設(shè)置

    在相同策略中設(shè)置所有方法的參數(shù)以使實(shí)驗(yàn)足夠公平,即搜索網(wǎng)格{10-4,10-3,10-2,10-1,1,101,102,103,104},并記錄最優(yōu)結(jié)果,為消除K-means聚類方法引起的隨機(jī)效應(yīng),執(zhí)行25 次隨機(jī)起點(diǎn)的K-means 聚類,并且最終報(bào)告平均值。使用數(shù)據(jù)集的類數(shù)作為K-means 聚類中的參數(shù)K 。所選的特征數(shù)量在{50,100,150,200,250,300}中變化。還使用所有特征執(zhí)行K-means作為基線。

    4.2.3 評(píng)價(jià)指標(biāo)

    為了評(píng)估所選特征的性能,本文使用兩種廣泛使用的評(píng)價(jià)指標(biāo),即精確度(ACC)和歸一化互信息(NMI)來評(píng)估特征選擇的性能。ACC 和NMI 的值越大,代表特征選擇的效果越好。

    ACC的定義如下:

    其中,N 是數(shù)據(jù)集的類別數(shù);yi和ci分別是數(shù)據(jù)點(diǎn)xi的真實(shí)類別標(biāo)簽和預(yù)測(cè)類別標(biāo)簽;δ( )yi,c 是一個(gè)函數(shù),如果y=c,則等于1,反之等于0;map()?是最優(yōu)映射函數(shù),將每個(gè)類別標(biāo)簽映射到Hungarian算法[35]的類別中。給定兩個(gè)變量P 和Q,NMI定義為:

    其中,H( P )和H( Q )分別是P 和Q 的熵,I( P,Q )是P 和Q 之間的互信息。對(duì)于本文算法,P 和Q 分別是K-means聚類結(jié)果和真實(shí)標(biāo)簽。NMI反映了K-means聚類結(jié)果和真實(shí)標(biāo)簽之間的一致性。

    4.3 實(shí)驗(yàn)結(jié)果

    把使用聚類算法得到的類別標(biāo)簽與數(shù)據(jù)集提供的類別標(biāo)簽比較后進(jìn)行算法評(píng)估。表2~表9 分別展示了不同數(shù)據(jù)集上幾種無監(jiān)督特征選擇算法在選取最優(yōu)參數(shù)的情況下選擇不同特征數(shù)的最佳結(jié)果,表中加粗項(xiàng)表示在選擇特征數(shù)相同時(shí)該算法的效果最優(yōu),下劃線項(xiàng)表示該算法的效果排第二位。為驗(yàn)證所提出的算法在數(shù)據(jù)降維上的有效性,與選擇所有特征(Baseline)作為實(shí)驗(yàn)特征數(shù)進(jìn)行實(shí)驗(yàn)對(duì)比。

    表2 不同算法在SRBCT數(shù)據(jù)集上的精確度%

    表3 不同算法在JAFFE數(shù)據(jù)集上的精確度%

    表4 不同算法在ORL數(shù)據(jù)集上的精確度%

    表5 不同算法在COIL20數(shù)據(jù)集上的精確度%

    表6 不同算法在SRBCT數(shù)據(jù)集上的歸一化互信息

    表7 不同算法在JAFFE數(shù)據(jù)集上的歸一化互信息

    表8 不同算法在ORL數(shù)據(jù)集上的歸一化互信息

    表9 不同算法在COIL20數(shù)據(jù)集上的歸一化互信息

    從表1對(duì)數(shù)據(jù)集的介紹和表2~表9的結(jié)果分析,得出以下結(jié)論:一般來說,隨著選擇特征數(shù)的增加,特征選擇方法的性能并不總是增加,而是呈現(xiàn)先增加后減小的趨勢(shì)。真實(shí)數(shù)據(jù)集總是包含許多冗余特征,因此必要的信息只包含在小部分特征集中。如果過度增加特征子集的大小,很多噪聲特征將進(jìn)入最終結(jié)果,這肯定會(huì)降低算法性能。該趨勢(shì)間接驗(yàn)證了特征選擇方法的有效性。

    通過特征選擇,獲得包含更有價(jià)值的精確數(shù)據(jù)。與使用所有特征執(zhí)行K-means的基線相比,在大多數(shù)情況下使用所選特征的結(jié)果會(huì)變得更好。特別是本文提出的ENUF方法,平均有超過13%的改進(jìn)。驗(yàn)證了所提算法降維的有效性,直接說明特征選擇提高了數(shù)據(jù)質(zhì)量。

    具體來說,以精確度作為評(píng)價(jià)指標(biāo)時(shí),本文提出的ENUF方法的性能超過其他方法。在SRBCT數(shù)據(jù)集中,與第二種最優(yōu)方法相比,有大約4%的改進(jìn)。在JAFFE數(shù)據(jù)集中,與第二種最優(yōu)方法SOGFS相比,有大約2.4%的改進(jìn)。在ORL 數(shù)據(jù)集中,當(dāng)所選特征數(shù)為100、150、200和300時(shí),都達(dá)到了最優(yōu)效果,與第二種最優(yōu)方法相比,有大約1.3%的改進(jìn)。在COIL20 數(shù)據(jù)集中,與第二種最優(yōu)方法RUFS相比,有大約3.8%的改進(jìn)。以歸一化互信息作為評(píng)價(jià)指標(biāo)時(shí),所提出的NSUF方法的性能也超過其他方法。在SRBCT 數(shù)據(jù)集中,與第二種最優(yōu)方法相比,有大約2.8%的改進(jìn)。在JAFFE數(shù)據(jù)集中,當(dāng)所選特征數(shù)為100、150、200、250 和300 時(shí),達(dá)到了最優(yōu)效果,與第二種最優(yōu)方法相比,有大約1.7%的改進(jìn)。在ORL 數(shù)據(jù)集中,當(dāng)所選特征數(shù)為100、150、200、250 和300時(shí),NSUF方法達(dá)到了最優(yōu)效果。在COIL20數(shù)據(jù)集中,與第二種最優(yōu)方法相比,有大約2%的改進(jìn)。平均來說ENUF實(shí)現(xiàn)了相當(dāng)好的性能。

    圖1 選擇不同特征數(shù)的4個(gè)數(shù)據(jù)集的精確度

    圖2 選擇不同特征數(shù)的4個(gè)數(shù)據(jù)集的歸一化互信息

    圖3 算法的收斂曲線

    綜合上述實(shí)驗(yàn)結(jié)果,圖1 和圖2 分別展示了幾種不同的特征選擇算法在不同數(shù)據(jù)集上的效果。圖1和圖2更明確地展示了上述結(jié)論。

    4.4 收斂性

    現(xiàn)用實(shí)驗(yàn)驗(yàn)證算法收斂。通過兩個(gè)數(shù)據(jù)集ORL和COIL20顯示結(jié)果。目標(biāo)值的收斂曲線如圖3所示。參數(shù)α 取0.01,β 取0.001,選擇特征的數(shù)量k 取150。可以看到,隨著迭代次數(shù)不斷增加,目標(biāo)函數(shù)值逐漸減小,最后趨于平穩(wěn),表明該算法是收斂的。

    5 結(jié)語

    本文提出了一種無監(jiān)督特征選擇算法,用于解決?2,0范數(shù)約束的優(yōu)化問題,通過譜分析獲得最優(yōu)的局部結(jié)構(gòu),并結(jié)合最大熵原理自適應(yīng)地構(gòu)造相似矩陣。因?2,0范數(shù)約束具有唯一確定的含義,即選擇特征的數(shù)量,不涉及參數(shù)的選取,所以避免了一部分正則化參數(shù)的調(diào)整工作。未來的工作之一是,考察相似矩陣對(duì)特征選擇的影響,提出更優(yōu)的構(gòu)造相似矩陣的方法,實(shí)現(xiàn)更好的特征選擇效果。

    猜你喜歡
    特征選擇范數(shù)集上
    Cookie-Cutter集上的Gibbs測(cè)度
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    復(fù)扇形指標(biāo)集上的分布混沌
    基于加權(quán)核范數(shù)與范數(shù)的魯棒主成分分析
    矩陣酉不變范數(shù)H?lder不等式及其應(yīng)用
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    一類具有準(zhǔn)齊次核的Hilbert型奇異重積分算子的范數(shù)及應(yīng)用
    基于特征選擇和RRVPMCD的滾動(dòng)軸承故障診斷方法
    基于二元搭配詞的微博情感特征選擇
    久热久热在线精品观看| 日韩制服丝袜自拍偷拍| 国产男人的电影天堂91| 少妇高潮的动态图| 精品亚洲成国产av| av女优亚洲男人天堂| av天堂久久9| 天堂中文最新版在线下载| tube8黄色片| 国产男人的电影天堂91| 日本免费在线观看一区| 精品亚洲乱码少妇综合久久| 18禁在线无遮挡免费观看视频| 十分钟在线观看高清视频www| 国产淫语在线视频| 春色校园在线视频观看| 亚洲一级一片aⅴ在线观看| 午夜福利在线观看免费完整高清在| 亚洲国产精品国产精品| 咕卡用的链子| 亚洲国产欧美在线一区| 九九在线视频观看精品| 成年av动漫网址| 高清欧美精品videossex| 色哟哟·www| 国产女主播在线喷水免费视频网站| 成人综合一区亚洲| 国产精品久久久久久精品古装| 夜夜骑夜夜射夜夜干| 哪个播放器可以免费观看大片| 亚洲精品国产av成人精品| 国产极品粉嫩免费观看在线| 亚洲人成77777在线视频| 午夜影院在线不卡| 午夜激情av网站| 青春草亚洲视频在线观看| 日韩精品有码人妻一区| 午夜福利网站1000一区二区三区| 在线观看免费视频网站a站| 欧美3d第一页| 午夜福利视频精品| 日韩中文字幕视频在线看片| 久久国产精品大桥未久av| 午夜福利影视在线免费观看| av片东京热男人的天堂| av.在线天堂| 国产午夜精品一二区理论片| 国产一级毛片在线| 国产精品久久久久成人av| 国产日韩一区二区三区精品不卡| 午夜福利网站1000一区二区三区| 精品99又大又爽又粗少妇毛片| 亚洲国产精品成人久久小说| 日本wwww免费看| 精品熟女少妇av免费看| 久久人人97超碰香蕉20202| 2021少妇久久久久久久久久久| 日本猛色少妇xxxxx猛交久久| 日韩精品有码人妻一区| 国产精品国产三级专区第一集| 国产精品一区二区在线观看99| 少妇的逼水好多| 国产精品国产三级国产专区5o| av国产久精品久网站免费入址| 黄片播放在线免费| 欧美精品国产亚洲| 中文字幕人妻熟女乱码| 成人毛片60女人毛片免费| 国产成人精品福利久久| 18禁国产床啪视频网站| av黄色大香蕉| 天堂俺去俺来也www色官网| 亚洲欧洲日产国产| 亚洲伊人久久精品综合| 亚洲欧美一区二区三区黑人 | 肉色欧美久久久久久久蜜桃| 久久这里有精品视频免费| 国产一级毛片在线| 精品久久久精品久久久| xxxhd国产人妻xxx| 制服诱惑二区| 夫妻性生交免费视频一级片| 高清视频免费观看一区二区| 国产精品久久久av美女十八| 国产无遮挡羞羞视频在线观看| 久久 成人 亚洲| 国产一区二区在线观看日韩| 日本黄大片高清| 国产毛片在线视频| 99久久人妻综合| 熟女人妻精品中文字幕| 欧美性感艳星| 欧美日韩精品成人综合77777| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 精品少妇内射三级| 亚洲精品日韩在线中文字幕| 日韩成人伦理影院| 内地一区二区视频在线| 18禁在线无遮挡免费观看视频| 九色成人免费人妻av| av在线观看视频网站免费| 国产成人精品在线电影| 久久久精品免费免费高清| 久热久热在线精品观看| 亚洲精品av麻豆狂野| 国产国拍精品亚洲av在线观看| 只有这里有精品99| 欧美日本中文国产一区发布| 欧美精品高潮呻吟av久久| 日日摸夜夜添夜夜爱| 一边亲一边摸免费视频| 少妇人妻 视频| 久久久久久久国产电影| 2022亚洲国产成人精品| 日韩 亚洲 欧美在线| 人妻人人澡人人爽人人| 91国产中文字幕| 一级片免费观看大全| 国产有黄有色有爽视频| 成人免费观看视频高清| 国产精品人妻久久久久久| 涩涩av久久男人的天堂| av天堂久久9| 丰满迷人的少妇在线观看| 国产日韩一区二区三区精品不卡| 亚洲精品乱码久久久久久按摩| 深夜精品福利| 在线观看免费视频网站a站| 热re99久久精品国产66热6| av国产久精品久网站免费入址| 嫩草影院入口| 制服人妻中文乱码| 成人国语在线视频| 亚洲精品久久久久久婷婷小说| 国产精品国产av在线观看| 久久精品久久久久久久性| 制服人妻中文乱码| 69精品国产乱码久久久| 成人亚洲欧美一区二区av| 飞空精品影院首页| 欧美日韩国产mv在线观看视频| 成人漫画全彩无遮挡| 久久人人爽人人爽人人片va| 国产一区二区在线观看日韩| 全区人妻精品视频| 精品亚洲乱码少妇综合久久| 久久精品国产a三级三级三级| 亚洲精品国产av成人精品| 两个人看的免费小视频| 成人国语在线视频| 超色免费av| 男的添女的下面高潮视频| 最近中文字幕2019免费版| 在线观看人妻少妇| 亚洲精品中文字幕在线视频| 男人爽女人下面视频在线观看| 综合色丁香网| 日韩av免费高清视频| 一级黄片播放器| 卡戴珊不雅视频在线播放| 日本av手机在线免费观看| 啦啦啦视频在线资源免费观看| 黑人欧美特级aaaaaa片| 色哟哟·www| 国产亚洲欧美精品永久| 视频区图区小说| 两性夫妻黄色片 | 最近的中文字幕免费完整| 欧美国产精品一级二级三级| 爱豆传媒免费全集在线观看| 91aial.com中文字幕在线观看| 寂寞人妻少妇视频99o| 国产成人精品久久久久久| 亚洲av电影在线进入| 深夜精品福利| 男女无遮挡免费网站观看| 狂野欧美激情性bbbbbb| 国产黄色视频一区二区在线观看| av国产久精品久网站免费入址| 成人18禁高潮啪啪吃奶动态图| 九色成人免费人妻av| 黄片无遮挡物在线观看| 国产探花极品一区二区| 国产精品久久久久久精品古装| 中文字幕av电影在线播放| 色哟哟·www| 亚洲欧洲日产国产| videossex国产| 精品第一国产精品| 亚洲av福利一区| xxx大片免费视频| 大码成人一级视频| 街头女战士在线观看网站| 纵有疾风起免费观看全集完整版| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲国产看品久久| 午夜福利视频在线观看免费| av在线app专区| 十八禁高潮呻吟视频| av在线app专区| 一级黄片播放器| 亚洲精品成人av观看孕妇| 人人澡人人妻人| 爱豆传媒免费全集在线观看| www.色视频.com| 在线观看免费日韩欧美大片| 一级毛片黄色毛片免费观看视频| 日本黄色日本黄色录像| 亚洲精品一二三| 两个人免费观看高清视频| 国产精品国产av在线观看| 午夜免费男女啪啪视频观看| 久久久精品免费免费高清| 18禁动态无遮挡网站| 久久人人97超碰香蕉20202| 日本欧美国产在线视频| 国产在视频线精品| 欧美日韩国产mv在线观看视频| 免费久久久久久久精品成人欧美视频 | 亚洲欧美一区二区三区国产| 免费av中文字幕在线| 久久久国产一区二区| 少妇人妻 视频| 久久久久久久久久人人人人人人| 黄色配什么色好看| 晚上一个人看的免费电影| 国内精品宾馆在线| 97超碰精品成人国产| 午夜福利乱码中文字幕| 久久久久国产网址| 纵有疾风起免费观看全集完整版| 免费观看a级毛片全部| 日韩大片免费观看网站| 一级a做视频免费观看| 午夜福利网站1000一区二区三区| 亚洲第一区二区三区不卡| 99国产精品免费福利视频| 丝袜喷水一区| 一区二区日韩欧美中文字幕 | 久久精品国产鲁丝片午夜精品| 成年av动漫网址| 国产日韩欧美亚洲二区| 成年女人在线观看亚洲视频| 欧美人与善性xxx| av不卡在线播放| 亚洲欧美中文字幕日韩二区| 欧美亚洲日本最大视频资源| 亚洲人成网站在线观看播放| 在线天堂中文资源库| av网站免费在线观看视频| 国产 一区精品| 丰满乱子伦码专区| 婷婷色综合www| 韩国高清视频一区二区三区| 十八禁高潮呻吟视频| 青春草视频在线免费观看| 久久久亚洲精品成人影院| 少妇的逼好多水| 免费观看性生交大片5| 国内精品宾馆在线| 婷婷色av中文字幕| 成年动漫av网址| 免费高清在线观看日韩| 18在线观看网站| 少妇人妻 视频| 久久青草综合色| 热99国产精品久久久久久7| 国产爽快片一区二区三区| 日韩在线高清观看一区二区三区| 国产高清不卡午夜福利| 视频在线观看一区二区三区| 亚洲精品色激情综合| 日日爽夜夜爽网站| 下体分泌物呈黄色| 欧美97在线视频| 香蕉丝袜av| 色吧在线观看| 日本爱情动作片www.在线观看| 99热这里只有是精品在线观看| 成年女人在线观看亚洲视频| 在线天堂最新版资源| 七月丁香在线播放| 精品少妇久久久久久888优播| 韩国高清视频一区二区三区| 精品一区二区三卡| 免费女性裸体啪啪无遮挡网站| 亚洲一码二码三码区别大吗| 成人国语在线视频| 国产免费一区二区三区四区乱码| 熟妇人妻不卡中文字幕| 国产在线免费精品| 国产国语露脸激情在线看| 毛片一级片免费看久久久久| 国产精品久久久久久精品古装| 中国美白少妇内射xxxbb| 美女大奶头黄色视频| 精品午夜福利在线看| 午夜老司机福利剧场| 男人舔女人的私密视频| av有码第一页| 日本色播在线视频| 高清不卡的av网站| 丝袜在线中文字幕| 免费大片黄手机在线观看| 七月丁香在线播放| 亚洲欧美日韩另类电影网站| 国产成人午夜福利电影在线观看| 你懂的网址亚洲精品在线观看| 亚洲欧洲国产日韩| 午夜老司机福利剧场| 极品少妇高潮喷水抽搐| 久久久久久久久久人人人人人人| 两性夫妻黄色片 | 国产精品久久久久成人av| 久久精品国产a三级三级三级| 黑丝袜美女国产一区| 日韩制服骚丝袜av| 亚洲精品国产色婷婷电影| 亚洲人与动物交配视频| av视频免费观看在线观看| 国产精品国产三级专区第一集| 免费不卡的大黄色大毛片视频在线观看| 亚洲综合精品二区| 在线观看一区二区三区激情| 国产有黄有色有爽视频| 美女国产视频在线观看| 欧美国产精品va在线观看不卡| 一级爰片在线观看| 伊人亚洲综合成人网| 九色成人免费人妻av| 大香蕉97超碰在线| 日韩欧美一区视频在线观看| 午夜福利网站1000一区二区三区| 极品人妻少妇av视频| 午夜老司机福利剧场| 久久久久久久国产电影| 宅男免费午夜| 大香蕉久久成人网| 久久久久久伊人网av| 91精品国产国语对白视频| 亚洲欧美日韩另类电影网站| 男女无遮挡免费网站观看| 国产精品 国内视频| 91久久精品国产一区二区三区| 51国产日韩欧美| 男女无遮挡免费网站观看| 精品人妻偷拍中文字幕| 成人国语在线视频| 最近手机中文字幕大全| 国产在线一区二区三区精| 五月开心婷婷网| 亚洲伊人久久精品综合| av在线播放精品| 香蕉精品网在线| 国产毛片在线视频| 波多野结衣一区麻豆| av卡一久久| 狠狠精品人妻久久久久久综合| 亚洲经典国产精华液单| 黄片无遮挡物在线观看| 精品久久国产蜜桃| a级毛色黄片| 国产xxxxx性猛交| 宅男免费午夜| 满18在线观看网站| 亚洲色图 男人天堂 中文字幕 | 老司机亚洲免费影院| 久久久精品免费免费高清| 国产高清国产精品国产三级| 九色亚洲精品在线播放| 国产精品不卡视频一区二区| 国产黄频视频在线观看| 黄色毛片三级朝国网站| 精品亚洲乱码少妇综合久久| 最近中文字幕2019免费版| 亚洲成国产人片在线观看| 欧美精品亚洲一区二区| 两个人免费观看高清视频| 久久99蜜桃精品久久| 久久99热这里只频精品6学生| 国产乱人偷精品视频| 狠狠婷婷综合久久久久久88av| 五月玫瑰六月丁香| 亚洲欧美一区二区三区国产| 亚洲在久久综合| 久久人人爽人人爽人人片va| 亚洲成人一二三区av| 亚洲国产日韩一区二区| 美女主播在线视频| 我要看黄色一级片免费的| 老熟女久久久| 满18在线观看网站| 两个人看的免费小视频| 自线自在国产av| 国产精品.久久久| 大码成人一级视频| 熟女人妻精品中文字幕| 欧美+日韩+精品| 日韩大片免费观看网站| 欧美成人午夜精品| 成人免费观看视频高清| 亚洲国产欧美在线一区| 亚洲五月色婷婷综合| www.av在线官网国产| 草草在线视频免费看| 曰老女人黄片| av有码第一页| 欧美国产精品一级二级三级| 晚上一个人看的免费电影| 亚洲国产精品一区二区三区在线| 久久影院123| av黄色大香蕉| 国产黄色免费在线视频| 成人无遮挡网站| 热99久久久久精品小说推荐| 中文字幕人妻熟女乱码| 国产精品熟女久久久久浪| 宅男免费午夜| 亚洲伊人久久精品综合| 国产精品一区www在线观看| 18+在线观看网站| 菩萨蛮人人尽说江南好唐韦庄| 人妻少妇偷人精品九色| 亚洲经典国产精华液单| 伦理电影免费视频| 精品亚洲乱码少妇综合久久| 亚洲精品日韩在线中文字幕| 国产免费视频播放在线视频| 成年动漫av网址| 午夜福利网站1000一区二区三区| 精品午夜福利在线看| 三级国产精品片| 精品人妻在线不人妻| 大香蕉久久成人网| 在现免费观看毛片| 成年人免费黄色播放视频| 午夜激情久久久久久久| 超碰97精品在线观看| 成年美女黄网站色视频大全免费| 亚洲色图综合在线观看| 免费在线观看完整版高清| 又粗又硬又长又爽又黄的视频| 极品少妇高潮喷水抽搐| 黄片无遮挡物在线观看| 国内精品宾馆在线| 欧美激情极品国产一区二区三区 | 秋霞伦理黄片| 国产精品秋霞免费鲁丝片| 色哟哟·www| 国产精品熟女久久久久浪| 久久精品国产亚洲av涩爱| 一本—道久久a久久精品蜜桃钙片| 美女内射精品一级片tv| 一个人免费看片子| 永久网站在线| 亚洲国产精品专区欧美| 国产亚洲欧美精品永久| 国产亚洲午夜精品一区二区久久| 菩萨蛮人人尽说江南好唐韦庄| 欧美bdsm另类| 国产 一区精品| 啦啦啦中文免费视频观看日本| 亚洲国产毛片av蜜桃av| 一级,二级,三级黄色视频| 毛片一级片免费看久久久久| 成人午夜精彩视频在线观看| 亚洲欧洲国产日韩| 97人妻天天添夜夜摸| 亚洲国产日韩一区二区| 午夜久久久在线观看| 在线亚洲精品国产二区图片欧美| 交换朋友夫妻互换小说| 欧美日韩视频高清一区二区三区二| 国产乱人偷精品视频| 亚洲精品视频女| 最后的刺客免费高清国语| 宅男免费午夜| xxx大片免费视频| 亚洲精品456在线播放app| 中文字幕人妻丝袜制服| 国产综合精华液| 国产免费又黄又爽又色| 婷婷色综合大香蕉| 水蜜桃什么品种好| 人人妻人人澡人人爽人人夜夜| av天堂久久9| 久久久久久久亚洲中文字幕| 91aial.com中文字幕在线观看| 欧美 亚洲 国产 日韩一| 捣出白浆h1v1| 男女高潮啪啪啪动态图| 久久精品国产鲁丝片午夜精品| 亚洲精品自拍成人| www日本在线高清视频| 日本黄色日本黄色录像| 少妇的逼好多水| 久久精品国产鲁丝片午夜精品| 如日韩欧美国产精品一区二区三区| 老司机影院成人| 亚洲经典国产精华液单| 一边亲一边摸免费视频| 精品亚洲成a人片在线观看| 波多野结衣一区麻豆| xxxhd国产人妻xxx| av视频免费观看在线观看| 大码成人一级视频| 成年av动漫网址| 亚洲精品,欧美精品| 亚洲国产色片| 欧美日韩综合久久久久久| 色哟哟·www| 自线自在国产av| av在线观看视频网站免费| 一本大道久久a久久精品| 亚洲中文av在线| 欧美性感艳星| 国产又爽黄色视频| 婷婷色综合大香蕉| 国产片特级美女逼逼视频| 黄色一级大片看看| 久久97久久精品| 成年女人在线观看亚洲视频| 99久久中文字幕三级久久日本| 亚洲av在线观看美女高潮| 69精品国产乱码久久久| videossex国产| 在线观看人妻少妇| 寂寞人妻少妇视频99o| 一区二区三区四区激情视频| 日韩精品免费视频一区二区三区 | 大码成人一级视频| 黄网站色视频无遮挡免费观看| 国产有黄有色有爽视频| 亚洲精品久久午夜乱码| 一个人免费看片子| 日本午夜av视频| 亚洲国产精品成人久久小说| 夫妻性生交免费视频一级片| 亚洲 欧美一区二区三区| 久久婷婷青草| 国产欧美日韩综合在线一区二区| 亚洲欧美中文字幕日韩二区| 少妇高潮的动态图| 在线观看国产h片| 精品视频人人做人人爽| 亚洲综合色网址| av在线app专区| 99久久中文字幕三级久久日本| 亚洲av在线观看美女高潮| 国产 一区精品| 美女国产高潮福利片在线看| 精品人妻熟女毛片av久久网站| 欧美另类一区| 一级爰片在线观看| 中国三级夫妇交换| 国产深夜福利视频在线观看| 亚洲精品,欧美精品| 一二三四在线观看免费中文在 | 国产 一区精品| 下体分泌物呈黄色| 日本黄大片高清| 少妇猛男粗大的猛烈进出视频| 国产成人一区二区在线| 国产精品欧美亚洲77777| 亚洲第一av免费看| 日韩大片免费观看网站| 日日啪夜夜爽| 日韩不卡一区二区三区视频在线| 精品99又大又爽又粗少妇毛片| 日韩一本色道免费dvd| 成年人午夜在线观看视频| 大陆偷拍与自拍| 男男h啪啪无遮挡| 大香蕉久久网| 日日爽夜夜爽网站| 日本黄色日本黄色录像| 丰满乱子伦码专区| 亚洲欧美色中文字幕在线| 亚洲av.av天堂| 日韩制服丝袜自拍偷拍| 日韩精品有码人妻一区| 欧美 日韩 精品 国产| 亚洲精品日韩在线中文字幕| a 毛片基地| 国产熟女欧美一区二区| 一本久久精品| av.在线天堂| 午夜福利影视在线免费观看| 性高湖久久久久久久久免费观看| 两个人看的免费小视频| 亚洲国产精品999| 两个人看的免费小视频| 人妻 亚洲 视频| 丰满乱子伦码专区| 18+在线观看网站| 国国产精品蜜臀av免费| 极品少妇高潮喷水抽搐| 少妇的丰满在线观看| 又黄又爽又刺激的免费视频.| 黑人高潮一二区| 国产日韩欧美在线精品| 国产成人精品婷婷| 国产又爽黄色视频| 啦啦啦在线观看免费高清www| 国产一区有黄有色的免费视频| 日韩大片免费观看网站| 亚洲精品一区蜜桃| 免费播放大片免费观看视频在线观看| 婷婷色av中文字幕| 日韩中字成人| 极品少妇高潮喷水抽搐| 亚洲欧洲国产日韩| 91成人精品电影| 18禁裸乳无遮挡动漫免费视频| 免费黄频网站在线观看国产|