基于投票極限學(xué)習(xí)機(jī)的人臉識(shí)別混合算法研究

陳鐵軍，蔡金收，郭　麗

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

?

基于投票極限學(xué)習(xí)機(jī)的人臉識(shí)別混合算法研究

陳鐵軍，蔡金收，郭麗

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

摘要：針對(duì)小波分析在處理多維圖形時(shí)不能充分利用數(shù)據(jù)本身特有幾何特征的缺陷，使用第二代曲波變換(the second generation of curvelet transform, SGCT)方法進(jìn)行人臉圖像的處理，選取具有最大標(biāo)準(zhǔn)差的尺度層系數(shù)，以完成對(duì)人臉圖像的特征提取，同時(shí)結(jié)合基于雙向二維主成分分析(bidirectional two dimensional principal component analysis, B2DPCA)的數(shù)據(jù)降維，構(gòu)造一種基于混合投票機(jī)制極限學(xué)習(xí)機(jī)(voting extreme learning machine,VELM)的人臉識(shí)別算法.通過(guò)與其他算法的分類結(jié)果對(duì)比，證明該算法具有更高的識(shí)別正確率.

關(guān)鍵詞：曲波變換；B2DPCA；投票；ELM；人臉識(shí)別

0引言

隨著計(jì)算機(jī)技術(shù)模式識(shí)別領(lǐng)域的不斷發(fā)展，生物特征識(shí)別技術(shù)得到越來(lái)越多的關(guān)注.而其中的人臉識(shí)別技術(shù)正因其易于接受、采集方便等特點(diǎn)廣泛應(yīng)用于安全驗(yàn)證系統(tǒng)、視頻會(huì)議、人機(jī)交互、公安系統(tǒng)[1]等領(lǐng)域，人臉識(shí)別方法的研究成為模式識(shí)別和人工智能的一個(gè)重要方面.

人臉識(shí)別的技術(shù)很多，如基于面部幾何特征的方法、基于模板匹配的方法、基于子空間分析的方法，另外還有基于神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和變換域的方法[2]等.其中變換域方法中的小波變換，其變換系數(shù)不僅能反映對(duì)應(yīng)頻率分量的強(qiáng)度，而且也能反映其時(shí)間位置，即能提供精準(zhǔn)的時(shí)域定位和頻域定位[3]，因此廣泛應(yīng)用于人臉特征的提取.文獻(xiàn)[4-7]介紹了多種將小波變換與其他方法相結(jié)合的人臉識(shí)別算法.

由于二維可分離小波僅能表示一維數(shù)據(jù)的點(diǎn)奇異性，不能最優(yōu)地表示二維圖像的奇異曲線[2]，而曲波變換不僅具有小波變換的多分辨率特性和時(shí)頻局域特性，還具有非常強(qiáng)的方向性和各向異性[8]，可以很好地提取二維圖像的幾何特征，保持對(duì)曲線的敏感性和對(duì)二維圖像奇異曲線的跟蹤，并將圖像分解為不同尺度、不同方向的層次，因而受到廣泛關(guān)注.利用曲波變換實(shí)現(xiàn)圖像分解，結(jié)合主成分分析、二維主成分分析或者核主成分分析對(duì)人臉或其他研究對(duì)象特征進(jìn)行降維，進(jìn)而可使用神經(jīng)網(wǎng)絡(luò)(neutral network, NN)、BP神經(jīng)網(wǎng)絡(luò)(back propagation neutral network, BPNN)進(jìn)行分類[9-11].該類方法在分類時(shí)存在不同程度的學(xué)習(xí)速度慢及泛化能力較弱的缺陷，且需人為設(shè)置大量的網(wǎng)絡(luò)訓(xùn)練參數(shù)，很容易產(chǎn)生局部最優(yōu)解.

綜上所述，為了充分利用曲波變換的圖像分解結(jié)果，最大程度地利用圖像有效信息,降低數(shù)據(jù)維度，實(shí)現(xiàn)人臉的快速識(shí)別分類.筆者將曲波變換和雙向二維主成分分析相結(jié)合，然后使用基于投票機(jī)制的極限學(xué)習(xí)機(jī)進(jìn)行分類，繼而使用人臉數(shù)據(jù)庫(kù)ORL、Yale等進(jìn)行試驗(yàn)，并將該算法與其他使用基本手段的算法進(jìn)行比較.

1算法描述

1.1曲波變換

曲波變換用來(lái)將圖像映射到多尺度多方向上，圖像的信息包含在變換后所得的各尺度層系數(shù)中.第二代曲波變換是曲波變換的一種快速算法，筆者用到的是快速離散曲波變換(fast discrete curvelet transform,FDCT).FDCT有兩種實(shí)現(xiàn)方法：USFFT和Wrap算法[13].Wrap算法比USFFT算法去噪效果更好，且運(yùn)行速度較高，故筆者選用Wrap算法.Wrap算法的主要思想是圍繞原點(diǎn)Wrap計(jì)算，在對(duì)任一區(qū)域?qū)崿F(xiàn)時(shí)，需要用周期化技術(shù)映射到原點(diǎn)的放射區(qū)域中，且具有一一對(duì)應(yīng)的映射關(guān)系.

通過(guò)Wrap算法進(jìn)行曲波變換，并計(jì)算各層系數(shù)標(biāo)準(zhǔn)差，選定具有最大標(biāo)準(zhǔn)差的尺度層系數(shù)作為特征臉，保留原有大部分圖像信息，以產(chǎn)生初始特征向量，并以最小的混疊影響加強(qiáng)高頻成分定位.下面以人臉庫(kù)中選定個(gè)體圖像為例進(jìn)行曲波變換系數(shù)分析.其中參數(shù)設(shè)置為3個(gè)尺度層、8個(gè)角度方向，經(jīng)過(guò)對(duì)圖像進(jìn)行曲波變換，得到變換后的曲波系數(shù).即原始圖像經(jīng)傅里葉變換后變換到頻域，按頻率可將圖像分為3個(gè)部分[14]：Coarse層、Detail層和Fine層.Coarse層包含的是最內(nèi)層低頻系數(shù)；Detail層包含中間層的中高頻系數(shù)；Fine層包含最外層的高頻系數(shù).表1分別給出了ORL及Yale人臉庫(kù)中的第一個(gè)個(gè)體圖像的各層系數(shù)標(biāo)準(zhǔn)差，包含Coarse層、Fine層和Detail層8個(gè)角度.結(jié)果表明：低頻系數(shù)標(biāo)準(zhǔn)差最大，遠(yuǎn)大于其他各層、各角度的標(biāo)準(zhǔn)差，它包含了圖像概貌.其中圖1為原始圖像、Coarse層及Fine層系數(shù)重構(gòu)圖像，圖2給出了Detail層中任選4個(gè)角度的系數(shù)重構(gòu)圖像.從圖1和圖2給出的原始圖像及各層重構(gòu)圖像也可知，Coarse層最能表示圖像的概況，而Fine層表示的是圖像高頻輪廓信息.故Coarse層尺度系數(shù)作為B2DPCA的特征輸入數(shù)據(jù)是合理的.

表1　不同數(shù)據(jù)庫(kù)各層平均標(biāo)準(zhǔn)差

圖1　原始圖像、Coarse層及Fine層重構(gòu)圖

圖2　Detail層系數(shù)4個(gè)方向系數(shù)重構(gòu)圖

1.2雙向二維主成分分析(B2DPCA)

B2DPCA由YANG等人提出[15]，是2DPCA的改進(jìn)算法，它克服了2DPCA在表示圖像時(shí)需要更多的協(xié)同系數(shù)、不利于圖像數(shù)據(jù)存取的弱點(diǎn).其主要思想是在行和列2個(gè)方向上各執(zhí)行1次2DPAC運(yùn)算，大大消除了人臉圖像行和列的相關(guān)度.運(yùn)用新準(zhǔn)則選取了更適合于分類的主分量，大大壓縮特征的維數(shù)，將其應(yīng)用于人臉識(shí)別，可減少計(jì)算復(fù)雜度，同時(shí)提高分類速度.B2DPCA是在2DPCA算法的基礎(chǔ)上實(shí)現(xiàn)的，處理過(guò)程如圖3所示.

圖3　B2DPCA處理過(guò)程

1.3投票機(jī)制的極限學(xué)習(xí)機(jī)(VELM)

傳統(tǒng)優(yōu)化技術(shù)的學(xué)習(xí)速度很慢，為克服這一缺點(diǎn)，黃廣斌等[16]提出了一種單隱層前饋神經(jīng)網(wǎng)絡(luò)極限學(xué)習(xí)機(jī).極限學(xué)習(xí)機(jī)參數(shù)設(shè)置簡(jiǎn)單，求解直接，并具有學(xué)習(xí)速度快且泛化性能好等優(yōu)點(diǎn).但ELM的隱節(jié)點(diǎn)隨機(jī)設(shè)定，并且在訓(xùn)練過(guò)程中保持不變，因此會(huì)導(dǎo)致錯(cuò)誤劃分.為降低錯(cuò)誤劃分幾率,文獻(xiàn)[17]中提出了一種投票機(jī)制的極限學(xué)習(xí)機(jī).使用多個(gè)具有相同隱層節(jié)點(diǎn)和相同激活函數(shù)的單個(gè)極限學(xué)習(xí)機(jī)進(jìn)行訓(xùn)練，而其學(xué)習(xí)參數(shù)是隨機(jī)獨(dú)立初始化的.測(cè)試結(jié)果為投票數(shù)最多的類標(biāo)簽.

如VELM中有K個(gè)獨(dú)立ELM，隱節(jié)點(diǎn)均設(shè)為L(zhǎng)，激活函數(shù)相同，隨機(jī)初始化學(xué)習(xí)參數(shù)，利用所有的訓(xùn)練樣本對(duì)每個(gè)ELM進(jìn)行訓(xùn)練，得出輸出權(quán)值；對(duì)于一個(gè)測(cè)試樣本，用每個(gè)訓(xùn)練過(guò)的ELM進(jìn)行測(cè)試，得出K個(gè)預(yù)測(cè)結(jié)果，相同的結(jié)果累計(jì)記錄，最后將投票最多的類標(biāo)簽視為該測(cè)試樣本的分類結(jié)果.該算法過(guò)程偽代碼如表2所示.

表2　VELM算法

2人臉數(shù)據(jù)庫(kù)簡(jiǎn)介

ORL人臉庫(kù)由英國(guó)劍橋Olivetti實(shí)驗(yàn)室拍攝的一系列人臉圖像組成，共有40個(gè)不同年齡、不同性別和不同種族的被拍對(duì)象.每個(gè)對(duì)象有10幅圖像，共計(jì)400幅，圖像尺寸是92×112，圖像背景為黑色.其中人臉部分表情、細(xì)節(jié)和姿態(tài)均有變化，其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達(dá)20°，人臉尺寸也有最多10%的變化.該庫(kù)是目前使用最廣泛的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，它含有大量的比較結(jié)果.

Yale數(shù)據(jù)庫(kù)由耶魯大學(xué)計(jì)算視覺(jué)與控制中心創(chuàng)建，包含15位志愿者的165張圖片，包含光照、表情和姿態(tài)的變化.圖像尺寸是100×100.FERET人臉庫(kù)由FERET項(xiàng)目創(chuàng)建，包含14 051張多姿態(tài)，均為帶光照的灰度人臉圖像，是人臉識(shí)別領(lǐng)域應(yīng)用最廣泛的人臉數(shù)據(jù)庫(kù)之一.其中多數(shù)人是西方人，每個(gè)人所包含的人臉圖像的變化比較單一.除此之外，GTech也是常用人臉庫(kù)之一.

3實(shí)驗(yàn)設(shè)置及結(jié)果分析

3.1實(shí)驗(yàn)設(shè)置

先讀取所有圖像，將其灰度化處理，維度縮放為原來(lái)的一半；繼而進(jìn)行曲波變換時(shí)的參數(shù)設(shè)置：尺度層為3、角度方向?yàn)?個(gè)，獲得曲波系數(shù)；取Coarse層系數(shù)進(jìn)行B2DPCA運(yùn)算，獲得維數(shù)壓縮后的特征向量；分別取50%作為訓(xùn)練樣本，50%作為測(cè)試樣本，當(dāng)個(gè)體擁有圖像數(shù)目為奇數(shù)時(shí)，取中間數(shù)作為訓(xùn)練樣本個(gè)數(shù)；所有樣本進(jìn)行歸一化處理，激活函數(shù)選取sigmoid.其中ELM的第一層權(quán)值為隨機(jī)產(chǎn)生，其個(gè)數(shù)和隱層節(jié)點(diǎn)數(shù)通過(guò)實(shí)驗(yàn)來(lái)確定.

下面以O(shè)RL數(shù)據(jù)庫(kù)為例進(jìn)行實(shí)驗(yàn)，并取運(yùn)行10次的平均結(jié)果進(jìn)行分析，如圖4所示.由圖4可知，隱節(jié)點(diǎn)數(shù)從100開(kāi)始遞增時(shí)，精度提高較大，超過(guò)700后，增幅較小，且將隱節(jié)點(diǎn)設(shè)置越大，時(shí)間開(kāi)銷越多，因此筆者將其設(shè)為700.

圖4　不同隱節(jié)點(diǎn)的測(cè)試精度

在此基礎(chǔ)上對(duì)VELM中單個(gè)ELM個(gè)數(shù)的設(shè)置進(jìn)行實(shí)驗(yàn).以700為隱層節(jié)點(diǎn)數(shù)，圖5記錄了不同ELM個(gè)數(shù)下的測(cè)試精度.由圖5可知，個(gè)數(shù)大于8后無(wú)太大改善.當(dāng)單個(gè)ELM個(gè)數(shù)增大時(shí)，時(shí)間開(kāi)銷大大增加，故將其個(gè)數(shù)設(shè)置為8較為合理.

圖5　不同ELM個(gè)數(shù)的測(cè)試精度

通過(guò)實(shí)驗(yàn)對(duì)比可得，設(shè)定ELM個(gè)數(shù)和隱層節(jié)點(diǎn)數(shù)分別為8和700，對(duì)比算法有Curvelet+B2DPCA+ELM和Curvelet+2DPCA+VELM；ELM隱層節(jié)點(diǎn)數(shù)和激活函數(shù)與VELM設(shè)為一致；所有算法均運(yùn)行50次取平均分類精度.

3.2實(shí)驗(yàn)結(jié)果分析

首先通過(guò)不同人臉數(shù)據(jù)庫(kù)的測(cè)試精度和標(biāo)準(zhǔn)差比較3種不同算法的性能，其次將Curvelet+2DPCA+VELM和Curvelet+B2DPCA+ELM的50次測(cè)試精度分別與Curvelet+B2DPCA+VELM的精度作Wilcoxon秩和檢驗(yàn)，顯著性水平設(shè)為0.05，以充分比較分類精度的差異性，Wilcoxon秩和檢驗(yàn)結(jié)果標(biāo)識(shí)于對(duì)比算法測(cè)試精度后側(cè)，如表3所示.由表3可知，Curvelet+B2DPCA+VELM算法在4個(gè)人臉數(shù)據(jù)庫(kù)中均取得了最高的測(cè)試精度，但與Curvelet+B2DPCA+ELM方法相比，在ORL和Yale人臉庫(kù)上的測(cè)試精度無(wú)明顯差異，但在RET和GTech上的測(cè)試結(jié)果中則是勝出的.其中Curvelet+2DPCA+VELM精度最差，4組人臉數(shù)據(jù)的測(cè)試精度均明顯低于筆者所提出的算法.由此可見(jiàn)，使用VELM和ELM分類器對(duì)分類結(jié)果影響不大，而2DPCA和B2DPCA的使用可帶來(lái)大約5%的精度差，由此可知，B2DPCA的利用在該算法中起到了重要作用.除此之外，從標(biāo)準(zhǔn)差上來(lái)看，筆者所提出的方法在測(cè)試穩(wěn)定性方面和另外兩個(gè)方法相比沒(méi)有明顯差別.

為進(jìn)一步驗(yàn)證筆者算法的性能，下面將Curvelet+B2DPCA+VELM與基于白化PCA圖像重構(gòu)的特征補(bǔ)償人臉識(shí)別方法(記為WPCAR)[18]進(jìn)行比較.圖像預(yù)處理、運(yùn)行次數(shù)及樣本選取比例與前文保持一致.對(duì)比結(jié)果如表4所示.由表4可知，就測(cè)試精度而言，WPCAR算法除在RET上的測(cè)試精度優(yōu)于筆者算法外，其余3類測(cè)試精度均較差；RET測(cè)試上的Wilcoxon秩和檢驗(yàn)結(jié)果有同樣結(jié)論，2種算法所得結(jié)果差異明顯.就標(biāo)準(zhǔn)差而言，除在RET上的標(biāo)準(zhǔn)差兩者相同外，筆者算法能夠獲得更小數(shù)值，因此筆者算法具有更高的穩(wěn)定性.

表3　不同算法的測(cè)試精度和標(biāo)準(zhǔn)差

注：精度后“+”、“-”及 ” ≈”分別表示該算法與Curvelet+B2DPCA+VELM相比，有明顯差異且好于該算法、有明顯差異且次于該算法、無(wú)明顯差異.

表4　與WPCAR對(duì)比結(jié)果

4結(jié)論

針對(duì)小波變換和2DPCA在人臉識(shí)別上存在的缺陷，筆者提出了一種將第二代曲波變換、B2DPCA和投票機(jī)制的極限學(xué)習(xí)機(jī)相結(jié)合的人臉識(shí)別算法.通過(guò)試驗(yàn)可知，第二代曲波變換對(duì)二維及以上圖像可以更好地提取其特征，而B(niǎo)2DPCA具有較好的降維效果，且筆者算法在測(cè)試精度和穩(wěn)定性方面整體表現(xiàn)良好.

參考文獻(xiàn)：

[1]田曉亮. 基于Gabor小波變換和子空間的人臉識(shí)別技術(shù)研究[D]. 太原:太原理工大學(xué)信息工程學(xué)院, 2010.

[2]時(shí)培培. 基于第二代曲波變換結(jié)合改進(jìn)子空間技術(shù)的人臉識(shí)別技術(shù)研究[D]. 北京:北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院, 2012.

[3]LIN J, LI J P, JI M. Robust face recognition by wavelet features and model adaptation[C]//Wavelet analysis and pattern recognition, 2007. Piscataway, NJ: IEEE Computer Society, 2007: 1638-1643.

[4]王憲,陸友桃,宋書(shū)林,等. 基于Gabor小波變換與分塊PCA的人臉識(shí)別[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012(3): 176-178，231.

[5]王朝陽(yáng),達(dá)飛鵬. 基于多尺度哈爾小波變換的三維人臉識(shí)別方法[J]. 系統(tǒng)仿真學(xué)報(bào), 2013(7): 1442-1445.

[6]趙煥利,王玉德,張學(xué)志,等. 小波變換和特征加權(quán)融合的人臉識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào), 2012(12): 1522-1527.

[7]李孔震,王炳和,婁昊,等. 基于小波變換和二維非負(fù)矩陣分解的人臉識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用研究, 2013(4): 1275-1277,1280.

[8]賈西貝. 基于曲波變換的人臉識(shí)別算法研究[D]. 哈爾濱:哈爾濱工程大學(xué)理學(xué)院, 2011.

[9]朱世交,張南華. 一種基于曲波變換的手勢(shì)特征提取新方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2006(33): 50-52.

[10]YE J H, HU D, XIA G M, et al. An advanced BPNN face recognition based on curvelet transform and 2DPCA[C]//Computer science & education, 2013. Piscataway, NJ: IEEE computer society, 2013: 1019-1022.

[11]MA H, HU F S. The study of human face recognition based curvelet transform and 2DPCA[C]//Information science and engineering, 2010. Piscataway, NJ: IEEE computer society, 2010: 5512-5515.

[12]MOHAMMED A A, WU Q M J, SID-AHMED M A. Systems application of bidirectional two-dimensional principal component analysis to curvelet feature based face recognition[C]//Systems, man and cybernetics, 2009. Piscataway, NJ: IEEE computer society, 2009: 4124-4130.

[13]CANDES E, DEMANET L, DONOHO D, et al. Fast discrete curvelet transforms [J]. Multiscale modeling & simulation, 2006, 5(3): 861-899.

[14]趙陽(yáng). 曲波變換在人臉識(shí)別中的應(yīng)用[D].西安:西安理工大學(xué)自動(dòng)化與信息工程學(xué)院, 2011.

[15]YANG J, ZHANG D. Two-dimensional PCA: a new approach to appearance-based face representation and recognition [J]．IIEEE Trans. PAMI, 2004, 26(1): 131-137.

[16]HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1-3): 489-501.

[17]CAO J W, LIN Z P, HUANG G B, et al. Voting based extreme learning machine [J]. Information sciences, 2012, 185(1): 66-77.

[18]陳素根,尹賀峰. 基于白化PCA圖像重構(gòu)的特征補(bǔ)償人臉識(shí)別新方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2015, 32(9): 2853-2856.

Research on Hybrid Face Recognition Algorithm Based on Voting Extreme Learning Machine

CHEN Tiejun, CAI Jinshou, GUO Li

(School of Electrical Engineering, Zhengzhou University, Zhengzhou 450001, China)

Abstract:In view of the deficiency of wavelet transform that geometrical characteristic of the data can not be fully atilized when multidimensional images’ features are detected, this paper applies the second generation of curvelet transform to process facial images. The procedure extracts images’ features through choosing the subband coefficient with the maximum standard deviation. Then data dimensionality is reduced using the bidirectional two-dimensional principal component analysis (B2DPCA). Combining with the two methods above, this paper constructs a face recognition algorithm based on hybrid voting extreme learning machine(VELM). The experimental results show that the algorithm presents improved performance compared with other algorithms mentioned in terms of recognition accuracy.

Key words:curvelet transform; B2DPCA; voting; ELM; face recognition

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

doi:10.3969/j.issn.1671-6833.201505016

作者簡(jiǎn)介:陳鐵軍(1954—)，男，河南信陽(yáng)人，鄭州大學(xué)教授，博士，博士生導(dǎo)師，主要從事復(fù)雜系統(tǒng)控制與理論研究，E-mail:tchen@zzu.edu.cn.

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(41174127)；教育部博士點(diǎn)基金資助項(xiàng)目(20114101110005)

收稿日期:2015-05-07；

修訂日期：2015-08-11

文章編號(hào):1671-6833(2016)02-0037-05

引用本文：陳鐵軍，蔡金收，郭麗.基于投票極限學(xué)習(xí)機(jī)的人臉識(shí)別混合算法研究[J].鄭州大學(xué)學(xué)報(bào)(工學(xué)版)，2016,37(2):37-41．