基于加權(quán)最大邊緣間距準(zhǔn)則MMC的特征選擇問題

董乃銘，洪振杰

(溫州大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，浙江溫州 325035)

基于加權(quán)最大邊緣間距準(zhǔn)則MMC的特征選擇問題

董乃銘，洪振杰?

(溫州大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，浙江溫州 325035)

特征選擇是模式識(shí)別經(jīng)典而重要的課題．由于不同類別樣本之間存在邊緣樣本點(diǎn)，其分布區(qū)域互相交叉重疊，經(jīng)典的MMC（Maximize Marginal Criterion）方法簡(jiǎn)單地采用最大化類中心距離，不利于樣本分類．針對(duì)此問題，給出了一種基于加權(quán)最大邊緣間距準(zhǔn)則（加權(quán) MMC）并改進(jìn)了的特征選擇算法，該方法考慮了不同類別數(shù)據(jù)邊緣樣本點(diǎn)在模式分類中的作用，建立了基于最大邊緣間距的新型特征評(píng)分準(zhǔn)則，提高了邊緣樣本點(diǎn)在衡量特征判別能力時(shí)的作用．在公開數(shù)據(jù)集 PIE和MIT-CBCL3000標(biāo)準(zhǔn)人臉圖像庫上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，該算法與經(jīng)典的MMC特征選擇算法相比較具有明顯的優(yōu)勢(shì)．

模式識(shí)別；加權(quán)MMC；邊緣樣本點(diǎn)

模式分類主要任務(wù)是處理高維數(shù)據(jù)．由于高維數(shù)據(jù)計(jì)算量大且復(fù)雜，從而導(dǎo)致運(yùn)算時(shí)間變長，且不相關(guān)或者冗余特征往往干擾分類結(jié)果，不利于樣本數(shù)據(jù)分類，因此，如何將高維數(shù)據(jù)降維，從而減少運(yùn)行時(shí)間，降低冗余特征對(duì)樣本分類的不利影響，成為處理高維數(shù)據(jù)面臨的一個(gè)重要問題[1-2]．在處理高維數(shù)據(jù)中，特征選擇是一種非常重要的方法．根據(jù)樣本類別標(biāo)簽信息，特征選擇算法可以粗略地分成三類：無監(jiān)督特征選擇算法，半監(jiān)督特征選擇算法，監(jiān)督特征選擇算法．這些特征選擇算法可以被歸到Filter和Wrapper類中．Wrapper是特殊的分類，是基于特定分類器的特征子集選擇方法；而 Filter獨(dú)立分類，特征子集的選擇基于定義好的分類器．通常，Wrapper可以取得比Filter更好的結(jié)果，因?yàn)閃rapper直接關(guān)系到特定分類器的算法結(jié)果．但是，Wrapper比Filter更耗費(fèi)計(jì)算量，同時(shí)缺乏良好的泛化能力[3-4]．

Fisher score和laplaceian score是運(yùn)用很廣泛的Filter形式的特征選擇算法，它們同屬于一般的全局特征選擇框架，在這個(gè)框架中，特征子集的選擇是基于整個(gè)特征全集的評(píng)分，評(píng)分是根據(jù)特定形式給出的．

計(jì)算評(píng)分有很多種方法，通常會(huì)采用散度比和散度差的形式．散度比應(yīng)用在特征選擇上時(shí)，由于樣本個(gè)數(shù)相對(duì)于樣本維數(shù)而言要少很多，那么在計(jì)算中就會(huì)出現(xiàn)小樣本問題，導(dǎo)致模式分類出現(xiàn)異常．因此，在評(píng)分算法中，采用散度差的形式來計(jì)算特征評(píng)分，從而避免小樣本問題，同時(shí)，在模式分類中，可以取得與散度比相差無幾，甚至超過散度比的結(jié)果．

人臉識(shí)別技術(shù)，由于其在日常生活中的巨大應(yīng)用前景，出現(xiàn)了越來越多的研究成果，he xiaofei等人在文獻(xiàn)[5]中提出的基于laplacian score的特征選擇算法，在實(shí)驗(yàn)上取得了很好的效果，在文獻(xiàn)[6]中提出的基于laplacian準(zhǔn)則的最小協(xié)方差標(biāo)準(zhǔn)[6]，取得了較高的精確度；Li Haifeng等人提出的基于最大間距準(zhǔn)則（MMC）算法[7]，克服了fisher算法中的奇異值問題，取得了較好的效果．

本文研究方法基于最大間距準(zhǔn)則特征選擇算法．最大間距準(zhǔn)則算法對(duì)于克服 Sw奇異值問題取得了很好的效果．該算法主要考慮樣本間的中心距離，如圖 1（a）所示，但是對(duì)于圖 1（b）所示樣本的分布情形，邊緣樣本點(diǎn)相距很小，但屬于不同的樣本類，在分類過程中可能會(huì)被歸為一類，從而導(dǎo)致分類錯(cuò)誤．邊緣樣本交叉，不利于樣本的分類，因此在分類過程中若考慮到邊緣樣本點(diǎn)在分類中的作用，則可克服樣本邊緣交叉帶來的分類誤差．

圖1 樣本分布

1 MMC score特征選擇算法

MMC score特征選擇算法，是求平均類間邊緣的特征選擇方法，在分類識(shí)別方面優(yōu)于PCA算法，并與LDA算法有近似的分類效果，有效地克服了小樣本導(dǎo)致Sw奇異的問題，有較高的穩(wěn)定性和可靠性．

2 加權(quán)MMC score特征選擇算法

在樣本數(shù)據(jù)中，考慮到距離樣本中心的邊緣樣本點(diǎn)可能在分類過程中會(huì)起到關(guān)鍵的作用，同時(shí)，距離同類樣本中心較遠(yuǎn)的樣本點(diǎn)，在數(shù)據(jù)分類中可能發(fā)揮更大的作用，因此，在類間散度和類內(nèi)散度前加個(gè)權(quán)重，并考慮不同類樣本邊緣樣本數(shù)據(jù)點(diǎn)之間的距離，增強(qiáng)邊緣樣本點(diǎn)在模式分類中的作用，從而讓類間散度更大，而類內(nèi)散度更小，得到比MMC score、LDA score更好的實(shí)驗(yàn)結(jié)果，這就是本文所要探討的基于最大邊緣間距準(zhǔn)則的特征選擇算法，即加權(quán)MMC score特征選擇算法KMMC score．

本文定義的類間散度、類內(nèi)散度如下：

3）根據(jù)評(píng)分結(jié)果，對(duì)特征進(jìn)行排序，按評(píng)分順序挑選識(shí)別特征；

4）用最小近鄰分類器對(duì)樣本分類，得出精確度．

實(shí)驗(yàn)一：本實(shí)驗(yàn)在PIE標(biāo)準(zhǔn)人臉庫上進(jìn)行，該人臉庫包含68位志愿者的41 368幅多姿態(tài)、光照和表情的面部圖像，其中的姿態(tài)和光照變化圖像也是在嚴(yán)格控制的條件下采集的，目前已經(jīng)逐漸成為人臉識(shí)別領(lǐng)域的一個(gè)重要的測(cè)試集合．圖2是從PIE人臉圖像庫上采集的4人40副經(jīng)過處理的人臉圖像．

圖2 來自PIE人臉圖像庫的人臉圖像

本文采用90到130個(gè)特征值，取r=1,k=3和r=1,k=5，得到如下實(shí)驗(yàn)結(jié)果（圖3）．

圖3 實(shí)驗(yàn)一的結(jié)果

實(shí)驗(yàn)二：本實(shí)驗(yàn)在MIT-CBCL3000標(biāo)準(zhǔn)人臉庫上進(jìn)行，MIT-CBCL3000人臉庫專門用于人臉檢測(cè)，包含2 429個(gè)人臉樣本，4 548個(gè)非人臉樣本，其中的姿態(tài)和光照變化圖像也是在嚴(yán)格控制的條件下采集的，目前已經(jīng)逐漸成為人臉識(shí)別領(lǐng)域的一個(gè)重要的測(cè)試集合．

本文采用50到300個(gè)特征值，取r=1,k=3和r=1,k=5，橫坐標(biāo)表示特征值個(gè)數(shù)，縱坐標(biāo)表示識(shí)別率，得到如圖4的實(shí)驗(yàn)結(jié)果．

通過在PIE和MIT-CBCL3000實(shí)驗(yàn)庫上的實(shí)驗(yàn)，并且與MMC score算法、LDA score算法比較，結(jié)果表明，基于加權(quán)MMC最大邊緣間距準(zhǔn)則算法KMMC score的精確度明顯要比MMC score、LDA score高．

本文提出的基于加權(quán)MMC最大邊緣間距準(zhǔn)則特征選擇方法KMMC score的識(shí)別率整體上是最高的，在圖3（b）中，KMMC score算法的識(shí)別率有些波動(dòng)，這是由于數(shù)據(jù)庫存在噪聲，導(dǎo)致不穩(wěn)定，但整體識(shí)別是上升的，故基于最大邊緣間距準(zhǔn)則算法具有較好的穩(wěn)定性，也說明，經(jīng)過基于加權(quán)最大邊緣間距準(zhǔn)則算法特征選擇，在最大程度上實(shí)現(xiàn)了同類樣本的集中和異類樣本之間的分離．

圖4 實(shí)驗(yàn)二的結(jié)果

3 結(jié) 語

本文提出的基于加權(quán)MMC的最大邊緣間距準(zhǔn)則的人臉識(shí)別方法，在改變特征個(gè)數(shù)和樣本個(gè)數(shù)時(shí)，取得的實(shí)驗(yàn)效果均比MMC score、LDA score的要好．實(shí)驗(yàn)表明，本文采用的加權(quán)方式，是一個(gè)比較有效的加權(quán)方法．如何找到一個(gè)最優(yōu)的加權(quán)函數(shù)及合理的邊緣樣本點(diǎn)個(gè)數(shù)，是后續(xù)研究工作的重點(diǎn)．

[1] 蔣勝利. 高維數(shù)據(jù)的特征選擇和特征提取研究[D]. 西安: 西安電子科技大學(xué)理學(xué)院, 2011: 7-11.

[2] 李勇智. 圖像特征提取方法及其在人臉識(shí)別中的應(yīng)用[D]. 南京: 南京理工大學(xué)理學(xué)院, 2009: 12-14.

[3] 馮宗翰. 特征選擇新算法研究[D]. 無錫: 江南大學(xué)理學(xué)院, 2011: 10-11.

[4] 計(jì)智偉, 胡珉, 尹建. 特征選擇算法綜述[J]. 電子設(shè)計(jì)工程, 2011, 19(9): 46-51.

[5] He X F, Cai D, Niyogi P. Laplacian Score for Feature Selection [J]. IEEE transaction on pattern analysis and machine intelligence, 2006, 27(3): 507-514.

[6] He X F, Yan S C , Hu Y X, et al. Face Recognition Using Laplacianfaces [J]. IEEE transaction on pattern analysis and machine intelligence, 2005, 27(3): 328-340.

[7] Li H F, Tao J, Zhang K S. Efficient and Robust Feature Extraction by Maximum Margin Criterion [J]. Neural Networks, IEEE Transactions on Neural Networks, 2006, 17(1): 157-165.

[8] Wang H X, Zheng W M, Hu Z L, et al. Local and Weighted Maximum Margin Discriminant Analysis [J]. IEEE Conference on Computer Vision and Pattern Recognition, 2007, DOI: 10.1109/CVPR.2007.383039.

On Feature Selection of Weighted MMC Distance Based on the Maximum Margin Criterion

DONG Naiming, HONG Zhenjie
(School of Mathematics and Information Science, Wenzhou University, Wenzhou, China 325035)

Feature selection is a classical and important subject of pattern recognition. Due to the edge points among different samples whose regional distributions are overlapping, the classical MMC method is not conducive to the sample classification by simply using the maximum center distance. Therefore, a feature selection algorithm based on weighted Maximize Marginal Criterion ( MMC ) is proposed, considering the roles of edge sample points of different types of data in the pattern classification , establishing a new feature score criterion based on maximum edge distance, and improving the functions of marginal sample points in measuring feature discrimination ability. The experiments on public data set PIE and MIT-CBCL3000 face image database show that the proposed feature selection algorithm in this paper has obvious advantages compared with the classic MMC method.

Pattern Recognition; Weighted MMC; Edge Sample Points

TP391.41

A

1674-3563(2014)01-0025-06

10.3875/j.issn.1674-3563.2014.01.004 本文的PDF文件可以從xuebao.wzu.edu.cn獲得

(編輯：王一芳)

2013-04-01

浙江省研究生創(chuàng)新活動(dòng)計(jì)劃(YK2010093)

董乃銘(1987- )，男，浙江溫州人，碩士研究生，研究方向：優(yōu)化算法．? 通訊作者，hong@wzu.edu.cn