基于局部二元模式和重采樣雙向2DLDA的人臉識(shí)別算法

蘇立明,王 瑩,姜園媛,李文輝

(1. 長(zhǎng)春工業(yè)大學(xué) 基礎(chǔ)科學(xué)學(xué)院,長(zhǎng)春 130012；2. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,長(zhǎng)春 130012)

線性判別分析(linear discriminant analysis,LDA)[1]在最小化類內(nèi)距離的同時(shí)可最大化類間距離,從而得到最優(yōu)的投影方向,產(chǎn)生最好的分類結(jié)果. 但LDA算法具有一定的局限性,主要表現(xiàn)在小樣本問(wèn)題[2-3]和光照、 表情等變化而帶來(lái)的識(shí)別率下降問(wèn)題.

小樣本問(wèn)題(small sample size problem,SSS)是指樣本的特征維數(shù)遠(yuǎn)大于樣本數(shù)量,使得樣本間距離度量失效,引起LDA算法中的類內(nèi)離散度矩陣奇異. 目前解決小樣本問(wèn)題的主要方法是直接在二維圖像矩陣上進(jìn)行二維線性鑒別分析,即2DLDA[4]或擴(kuò)展2DLDA(E2DLDA),同時(shí)利用兩個(gè)方向上的判別信息算法[5-8].

除SSS問(wèn)題外,光照、 表情等變化也會(huì)導(dǎo)致圖像像素產(chǎn)生較大變化,從而影響基于表觀[9]的識(shí)別算法性能,盡管局部二值模式(local binary pattern,LBP)[10]引入人臉識(shí)別后能較好地抑制這種影響,但由于光照、 表情等變化的多樣性和人臉樣本采集的難度,基本不可能采集到所有變化情況下的樣本. 目前主要有兩類方法解決上述問(wèn)題: 1) 利用已有訓(xùn)練樣本進(jìn)行虛擬圖像的變換構(gòu)建[11],其缺點(diǎn)是計(jì)算量和存儲(chǔ)量無(wú)均較大；2) 引入集成技術(shù),在設(shè)計(jì)人臉?lè)诸惼鲿r(shí),利用重采樣集成人臉弱分類器[12],構(gòu)建強(qiáng)分類器,以提高分類器的識(shí)別性能.

本文根據(jù)文獻(xiàn)[13]中對(duì)2DLDA和E2DLDA具有判別信息互補(bǔ)性的特征,提出一種新的人臉識(shí)別算法LBP-RB2DLDA. 該算法先通過(guò)LBP算子提取人臉圖像的LBP圖譜,然后利用重采樣技術(shù)融合2DLDA和E2DLDA提取雙向特征,獲得更優(yōu)的識(shí)別效果. 本文算法的優(yōu)點(diǎn)：1) 利用LBP特征提取人臉圖像的細(xì)節(jié)信息,可有效降低光照、 表情和姿態(tài)變化的影響;2) 算法始終在二維空間中進(jìn)行,能夠保留圖像空間上的結(jié)構(gòu)關(guān)系,提取到的水平和垂直方向的判別信息,充分利用了兩類信息的互補(bǔ)性;3) 重采樣技術(shù)能擴(kuò)充現(xiàn)有樣本,從而提高分類器的識(shí)別性能.

1 2DLDA和E2DLDA定義

2DLDA的目的是找到投影方向:

(1)

E2DLDA求解的最佳投影方向R可類似定義：

(2)

2 LBP-RB2DLDA算法

2.1 LBP人臉特征圖譜

(3)

(A) 原始圖像 (B) LBP人臉特征圖譜圖1 LBP特征圖譜提取結(jié)果Fig.1 Result of LBP feature map

Ahonen等[15]將LBP算子應(yīng)用于人臉識(shí)別并取得了較好的識(shí)別率. 本文借鑒U-LBP編碼方式,提取樣本圖像的LBP人臉特征圖譜,如圖1所示,并將該結(jié)果作為后續(xù)2DLDA/E2DLDA的輸入樣本圖像集合X.

2.2 2DLDA和E2DLDA提取信息的一致性和互補(bǔ)性

因此,經(jīng)過(guò)2DLDA和E2DLDA后,二者共同的方差信息為圖像對(duì)應(yīng)像素間的方差信息. 此外,經(jīng)過(guò)2DLDA的其余方差信息為相同列上不同像素間的方差信息,經(jīng)過(guò)E2DLDA后的其余方差信息為相同行上不同像素間的方差信息,即其余方差信息完全不同. 從矩陣的角度考慮,2DLDA利用了垂直方向的判別信息,E2DLDA則利用水平方向的判別信息,即2DLDA和E2DLDA中所使用的判別信息具有一定的一致性和信息互補(bǔ)性,為融合兩個(gè)方向的判別信息、 提高分類器的識(shí)別率提供了理論基礎(chǔ).

2.3 重采樣

在人臉識(shí)別中,訓(xùn)練樣本的變化會(huì)導(dǎo)致識(shí)別結(jié)果受到較大影響,使識(shí)別結(jié)果不穩(wěn)定. 本文在分類器的設(shè)計(jì)中引入重采樣算法,不直接使用有限的訓(xùn)練樣本,在訓(xùn)練樣本集中進(jìn)行隨機(jī)采樣,利用被采樣的若干子訓(xùn)練樣本集進(jìn)行分類器訓(xùn)練,得到識(shí)別性能相對(duì)較低的弱分類器,然后集成多個(gè)弱分類器,得到識(shí)別性能更優(yōu)的人臉強(qiáng)分類器. 雖然單個(gè)分類器的識(shí)別性能下降,但集成后會(huì)獲得更好的識(shí)別效果,同時(shí)提高了在受到光照變化、 表情變化影響下分類器的魯棒性和穩(wěn)定性.

基于2DLDA/E2DLDA的識(shí)別算法中使用了類內(nèi)和類間離散度矩陣,所以本文的重采樣算法并不是在整個(gè)訓(xùn)練樣本集上進(jìn)行,而是在每個(gè)類別中進(jìn)行隨機(jī)采樣,并保證每個(gè)類別中采集到的樣本數(shù)一致,從而得到若干樣本數(shù)一致的子訓(xùn)練樣本集.

通過(guò)重采樣訓(xùn)練樣本集得到若干子樣本集后,在這些子樣本集上進(jìn)行2DLDA和E2DLDA的訓(xùn)練,得到若干基于歐式距離的最近鄰分類器,將若干分類器進(jìn)行集成從而得到最終的人臉?lè)诸惼? 目前的集成方法主要有總和規(guī)則和最大規(guī)則兩種. 一般子樣本集個(gè)數(shù)足夠多時(shí),才能得到更準(zhǔn)確的分類結(jié)果.

2.4 LBP-RB2DLDA流程

算法流程如圖2所示.

圖2 RB2DLDA流程Fig.2 RB2DLDA framework

1) 提取人臉圖像的LBP特征圖譜,作為訓(xùn)練樣本集X;

2) 利用重采樣從樣本數(shù)為N的樣本集X分別獨(dú)立地選出K個(gè)子樣本集{T1,T2,…,TK},每個(gè)子樣本集Ti中的每個(gè)類別都采樣S個(gè)樣本,保證隨機(jī)選擇且無(wú)重復(fù),每個(gè)子樣本集Ti中的總樣本個(gè)數(shù)N′

3) FORK=1∶K

對(duì)于TK,使用2DLDA算法訓(xùn)練得到相應(yīng)的基于歐式距離的最近鄰分類器；

對(duì)于TK,使用E2DLDA算法訓(xùn)練得到相應(yīng)的基于歐式距離的最近鄰分類器；

END;

4) 對(duì)訓(xùn)練得到的K×2個(gè)分類器進(jìn)行集成,得到最終的分類器C. 因?yàn)楸疚闹性O(shè)置的2DLDA和E2DLDA投影后的維數(shù)并不相同,因此采用最大規(guī)則能獲得較好的識(shí)別效果,余弦距離越大,表明匹配度越高.

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)樣本及方法

使用AR人臉庫(kù)進(jìn)行測(cè)試. AR庫(kù)中每人包含2個(gè)Session的26張圖像,其中每個(gè)Session均包含表情變化、 光照變化和遮擋等情況. 本文主要關(guān)注存在表情、 光照變化下的識(shí)別情況,為了平衡性別對(duì)識(shí)別的影響,選擇庫(kù)中100人(50名男性,50名女性)在Session 1的圖像,分別為正常、 微笑、 生氣、 左側(cè)光照、 右側(cè)光照、 兩側(cè)光照,如圖3所示,即樣本總類別為100,每類6張,共600張圖片,統(tǒng)一縮放至24×33.

圖3 AR庫(kù)中的實(shí)驗(yàn)樣本Fig.3 Samples from AR face database

采用交叉驗(yàn)證法中的留一法進(jìn)行識(shí)別率測(cè)試,即依次從6張樣本中留下1張用于測(cè)試,剩余5張用于訓(xùn)練. 例如: 測(cè)試樣本為左側(cè)光照的識(shí)別情況,則從不含左側(cè)光照的剩余5張樣本中隨機(jī)選擇若干張進(jìn)行訓(xùn)練,如此實(shí)驗(yàn)50次,2DLDA和E2DLDA的累計(jì)貢獻(xiàn)率均設(shè)定為60%,其平均識(shí)別率作為分類器最終的識(shí)別結(jié)果. 實(shí)驗(yàn)?zāi)康氖强紤]到實(shí)際應(yīng)用中可能采集的樣本情況并不相同,且測(cè)試樣本極可能會(huì)出現(xiàn)訓(xùn)練樣本庫(kù)中未采集到的情況. 實(shí)驗(yàn)包括兩部分：1) 對(duì)表情變化、 光照變化及同時(shí)存在表情變化和光照變化這3種情況進(jìn)行識(shí)別實(shí)驗(yàn),并觀察子訓(xùn)練樣本集數(shù)K每類訓(xùn)練樣本數(shù)S不同對(duì)識(shí)別結(jié)果的影響；2) 綜合分析算法的識(shí)別性能.

3.2 K,S不同時(shí)對(duì)識(shí)別結(jié)果的影響

不同K,S對(duì)LBP-RB2DLDA識(shí)別率的影響如圖4所示. 由圖4可見(jiàn),多數(shù)情況下隨著子訓(xùn)練樣本集數(shù)K的增加,識(shí)別率呈上升趨勢(shì),表明算法在多數(shù)情況下均能利用雙向判別信息提高分類器的識(shí)別性能及穩(wěn)定性；但在雙側(cè)光照情況下,隨著K值增加,識(shí)別率有較大波動(dòng),表明光照對(duì)識(shí)別情況具有較大影響. 同時(shí),與其他線性鑒別分析算法識(shí)別性能類似,隨著訓(xùn)練樣本數(shù)增加,算法識(shí)別的正確率有較大提高.

圖4 不同K,S對(duì)LBP-RB2DLDA識(shí)別率的影響Fig.4 Recognition accuracy of LBP-RB2DLDA with different values of K,S

3.3 不同算法在不同情況下的識(shí)別結(jié)果比較

表1分別列出了在正常、 存在表情變化、 存在單側(cè)光照變化、 存在兩側(cè)光照變化的情況下,LBP-RB2DLDA與其他同類鑒別分析算法的對(duì)比識(shí)別結(jié)果. 其中LBP-RB2DLDA算法取K=6的識(shí)別結(jié)果,累計(jì)貢獻(xiàn)率均設(shè)定為60%；而其他對(duì)比算法均為1張測(cè)試,5張訓(xùn)練,累計(jì)貢獻(xiàn)率均設(shè)定為90%.

表1 不同算法的識(shí)別率(%)Table 1 Recognition accuracy of different methods (%)

由表1可見(jiàn),正常情況和存在輕微表情變化的情況下,2DLDA/E2DLDA能利用兩個(gè)方向的信息互補(bǔ)性,提高識(shí)別效果. 而存在光照變化時(shí),E2DLDA算法的識(shí)別率較差. 這是由于E2DLDA利用水平方向上的信息進(jìn)行識(shí)別,但光照變化,特別是雙側(cè)光照變化,使所有行上水平方向的判別信息產(chǎn)生了較大變化,從而影響了E2DLDA的識(shí)別結(jié)果. 對(duì)于單側(cè)光照變化2DLDA表現(xiàn)出較好的識(shí)別結(jié)果,因?yàn)锳R庫(kù)中這種左右側(cè)的光照變化并不會(huì)影響所有列上的垂直方向信息,從而有足夠多的正確信息保證得到正確的識(shí)別結(jié)果. 增加了LBP特征提取后,在存在表情和光照變化下,LBP-RB2DLDA算法的識(shí)別性能顯著提高,優(yōu)于其他鑒別分析類算法.

綜上,本文證明了2DLDA和E2DLDA這兩個(gè)方向上的信息具有一致性和互補(bǔ)性,因此融合兩個(gè)方向上的判別信息,可獲得較好的識(shí)別性能. 同時(shí),通過(guò)提取LBP特征和引入重采樣算法進(jìn)行2DLDA和E2DLDA特征的融合,進(jìn)一步提升了算法性能. 在AR人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明,LBP-RB2DLDA算法具有更好的魯棒性,特別當(dāng)存在表情變化和光照變化的情況時(shí),能取得較好的識(shí)別效果.

[1] Belhumeur P N,Hespanha J,Kriegman D J. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7): 711-720.

[2] Raudys S J,Jain A K. Small Sample Size Effects in Statistical Pattern Recognition: Recommendations for Practitioners [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(3): 252-264.

[3] HUANG Rui,LIU Qing-shan,LU Han-qing,et al. Solving the Small Sample Size Problem of LDA [C]//Proceedings of the 16th International Conference on Pattern Recognition. Piscataway: IEEE Press,2002: 29-32.

[4] XIONG Hui-lin,Swamy M N S,Ahmad M O. Two-Dimensional FLD for Face Recognition [J]. Pattern Recognition,2005,38(7): 1121-1124.

[5] KONG Hui,WANG Lei,Teoh E K. A Framework of 2D Fisher Discriminant Analysis: Application to Face Recognition with Small Number of Training Samples [C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press,2005: 1083-1088.

[6] YE Jie-ping,Janardan R,LI Qi. Two-Dimensional Linear Discriminant Analysis [J]. Neurocomputing,2005,69(1/2/3): 224-231.

[7] YANG Jian,Zhang D,YONG Xu,et al. Two-Dimensional Discriminant Transform for Face Recognition [J]. Pattern Recognition,2005,38(7): 1125-1129.

[8] Noushath S,Kumar G H,Shivakumara P. (2D)2LDA: An Efficient Approach for Face Recognition [J]. Pattern Recognition,2006,39(7): 1369-1400.

[9] Roth P M,Winter M. Survey of Appearance-Based Methods for Object Recognition [R]. Graz: Graz University of Technology,2008.

[10] Ojala T,Pietikainen M,Harwood D. A Comparative Study of Texture Measures with Classification Based on Feature Distributions [J]. Pattern Recognition,1996,29(1): 51-59.

[11] LIU Jun,CHEN Song-can,ZHOU Zhi-hua. Single Image Subspace for Face Recognition [C]//Proceedings of the 3rd International Conference on Analysis and Modeling of Faces and Gestures(AMFG’07). Heidelberg: Springer-Verlag,2007: 205-219.

[12] LIU Jun,CHEN Song-can. Resampling LDA/QR and PCA+LDA for Face Recognition [C]//Proceedings of Australian Conference on Artificial Intelligence. Berlin: Springer,2005: 1221-1224.

[13] LI Wen-hui,JIANG Yuan-yuan,WANG Ying,et al. A Face Recognition Algorithm Using a Fusion Method Based on Resampling Bidirectional 2DLDA [J]. Acta Electronica Sinica,2011,39(11): 2526-2533. (李文輝,姜園媛,王瑩,等. 一種基于重采樣雙向2DLDA融合的人臉識(shí)別算法 [J]. 電子學(xué)報(bào),2011,39(11): 2526-2533.)

[14] Ojala T,Pietikainen M,Maenpaa M. Multiresolution Gray-Scale and Rotation Invariant Texture Classification Width Local Binary Patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7): 971-987.

[15] Ahonen T,Hadid A,Pietikainen M. Face Description with Local Binary Patterns: Application to Face Recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12): 2037-2041.