基于LBP和PCA特征提取的人臉識別

熊承義，李丹婷，笪邦友

(中南民族大學(xué)電子信息工程學(xué)院，武漢430074)

人臉識別是生物特征識別領(lǐng)域甚至人工智能領(lǐng)域最困難的研究課題之一，它涉及模式識別、圖像處理、計算機視覺、生理學(xué)、心理學(xué)等諸多學(xué)科的知識背景.其中，人臉表達(dá)是一個關(guān)鍵步驟，其有效性與識別結(jié)果密切相關(guān).目前，人臉識別的研究重點逐漸集中于人臉表達(dá)，其研究具有較強的現(xiàn)實意義及相當(dāng)?shù)膶嵱脙r值.

人臉表達(dá)的實質(zhì)即為特征提取.數(shù)10年以來，基于全局特征提取的子空間方法取得了巨大的成功，主要包括主成分分析(PCA)、線性鑒別分析(LDA)、獨立分量分析(ICA)等 .Kirby［1］和 Turk［2］等人提出的PCA方法通過線性變換找到在最小均方意義下最能代表原始人臉圖像的正交基，使得圖像數(shù)據(jù)從高維空間壓縮到低維空間，不僅得到了原始數(shù)據(jù)的緊致表達(dá)，而且大大降低了計算復(fù)雜度.Belhumeur［3］等人提出的Fisher LDA以樣本可分性為目標(biāo)使得樣本類間離散度與類內(nèi)離散度比值最大，但在小樣本情況下不足以描述人臉變化.Bartlett［4］等人提出的ICA方法是基于所有階統(tǒng)計意義下的去相關(guān)，它的計算復(fù)雜度要高于PCA，且在識別率上沒有優(yōu)勢.不僅如此，基于全局特征的人臉表達(dá)對于光照、姿態(tài)、表情等因素的影響較為敏感.

相對來說，基于局部特征的人臉表達(dá)對于光照、姿態(tài)的變化更為魯棒，1997年，Wiskott等人提出的彈性圖匹配(EBGM)算法［5］，他們用一組描述人臉局部特征的Gabor小波變換系數(shù)對人臉圖像各部分進(jìn)行最佳匹配，但它對特征點的選擇和配準(zhǔn)有較高要求，且計算復(fù)雜.2004年，Ahonen等人提出基于LBP特征的人臉表達(dá)方法［6，7］，在FERET人臉庫上得到了最好的識別結(jié)果.2008年，Zhao等人提出的將LBP和Gabor相結(jié)合的算法在表情識別上取得了相對于其他算法較好的效果［8］.Tang等人提出的Haar LBP算法在姿態(tài)、表情、光照變化上取得了不錯的結(jié)果［9］.但其得到的人臉表達(dá)往往具有較高的維數(shù)，直接影響了識別速度.

為能有效地降低計算復(fù)雜度，本文在分析局部二元模式在人臉表達(dá)具有優(yōu)勢的基礎(chǔ)上，通過利用主成分分析能夠降低人臉特征維數(shù)的特點，提出了將主成分分析與局部二元模式相結(jié)合的方法.該方法首先對人臉圖像進(jìn)行分塊，然后對分塊后的人臉圖像進(jìn)行直方圖特征向量提取，再對直方圖特征向量進(jìn)行降維處理.實驗結(jié)果表明，該方法保留了LBP特征的良好特性，同時又有效地降低了計算復(fù)雜度.

1 基于局部二元模式的人臉表達(dá)

LBP算子的基本思想是將中心像素點的灰度值設(shè)為閾值，其圓形鄰域內(nèi)的像素點與之作比較得到二進(jìn)制碼用來表述局部紋理特征.它計算簡單，分類能力強，在描述紋理特征提取方面有著顯著的效果.LBP算子通常由參數(shù)(P，R)來表示，其中P表示鄰域內(nèi)包含的像素個數(shù)，R表示鄰域半徑.對于不同的(P，R)值對，LBP算子也不相同，圖1為3種不同的LBP算子.

圖1 不同P、R值對應(yīng)的LBP算子Fig.1 Circularly symmetric neighbor sets for different(P，R)

對于任意的LBP算子，它的編碼公式為:

式中，gi(i=0，…，P－1)表示P個以中心像素gc為圓心，R為半徑的圓周上的像素值.具體的LBP算子計算過程如圖2所示.將圖2左邊模板閾值化，使各鄰域像素點與中心像素作比較，大于0置1，小于0置0，得到圖2中圖，確定各像素點的權(quán)重，得到圖2右圖，則LBP算子即為閾值化后各像素與對應(yīng)權(quán)重的點積.

圖2 基本LBP算子Fig.2 Basic LBP operator

人臉圖像經(jīng)過LBP算子運算后，對其做直方圖統(tǒng)計，得到直方圖特征向量.可定義為:

將原始圖像fl(x，y)劃分成區(qū)域R0，R1，Rm－1，對分塊后的子圖像進(jìn)行LBP直方圖統(tǒng)計，各分塊子圖像直方圖表達(dá)式為:

然后將這些子區(qū)域直方圖連接起來構(gòu)成人臉特征向量，并對直方圖特征向量進(jìn)行統(tǒng)一模式轉(zhuǎn)換.圖3為LBP直方圖人臉表達(dá)示意圖.本文利用χ2統(tǒng)計量來度量兩個LBP特征之間的距離，用(4)式計算:

其中S、M分別為兩個直方圖特征向量.

圖3 基于LBP的人臉表達(dá)Fig.3 Face expression based on LBP

2 主成分分析

基于主成分分析(PCA)的人臉識別方法最初由Kirby提出［1］，Turk后來把它成功地發(fā)展為特征臉(Eigenface)方法［2］，該方法的基本思想來源于K-L變換，其通過將人臉作為一個整體處理，利用線性變換提取其中的主元，而去除其次要的分量，最后構(gòu)成特征臉空間.識別時將測試圖像投影到此空間，得到一組投影系數(shù)，用于表達(dá)人臉.主成分分析最顯著的優(yōu)點在于通過降低特征維數(shù)，使得特征表達(dá)更為緊湊，利于分類，并降低計算強度.

假設(shè)訓(xùn)練圖像有N幅，圖像大小為m×n，圖像維數(shù)為M=m×n，將第i幅訓(xùn)練圖像轉(zhuǎn)化為一維的列向量xi，則N幅訓(xùn)練樣本集為:

訓(xùn)練集的樣本均值為:

顯然，協(xié)方差矩陣S為實對稱矩陣，大小為M×M.

PCA提取的主元方向即為協(xié)方差矩陣S的特征向量.因協(xié)方差矩陣S為實對稱矩陣，其特征值均為實數(shù)，將其M個特征值按大小進(jìn)行排序，即λ1≥λ2≥…≥λM，則前m個最大特征值對應(yīng)的特征向量即為所需的主元方向.

3 結(jié)合PCA的LBP特征降維

基于LBP和PCA的人臉識別過程如圖4所示，本文工作主要集中在特征提取階段.主要包括以下步驟:(1)在提取LBP描述子前，對原始圖像進(jìn)行分塊;(2)計算各分塊LBP描述子，統(tǒng)計分塊圖像的LBP直方圖，并將每個子圖像LBP直方圖特征連接成一維向量;(3)采用PCA方法對LBP直方圖向量進(jìn)行降維，最終得到人臉圖像的特征表達(dá).

圖4 基于LBP和PCA的人臉識別流程圖Fig.4 Flow chart of face recognition based on LBP and PCA

流程圖中特征提取的3個步驟為:

Step1圖像分割.

在提取LBP描述子前，選擇分塊方式，將圖像分割成為大小相等的方塊，以利用LBP進(jìn)行特征提取.

Step2求取各分塊的LBP直方圖.

分割完圖像后，對每個分塊進(jìn)行LBP特征向量提取，得到該分塊的LBP直方圖表示形式.基本思想是定義一個模板，對于各分塊中除去邊緣的點，使其鄰域內(nèi)的像素值與中心像素值進(jìn)行差值比較，對不同的比較結(jié)果賦予不同的權(quán)值，變換圖像中的點就為各位置比較結(jié)果的加權(quán)和.為了獲得特征值的分布情況，需要對特征值矩陣進(jìn)行直方圖統(tǒng)計，將得到一個2p－1的直方圖向量.

Step3對直方圖向量降維.

在PCA降維階段，對所有直方圖向量求解平均向量，構(gòu)建協(xié)方差矩陣，計算協(xié)方差矩陣的特征值和特征向量，將特征值由大到小排列，保留前n個特征值及其對應(yīng)的特征向量.

在識別階段，采用最近鄰分類器來計算測試樣本與訓(xùn)練樣本的相似度.

4 實驗分析

本文采用FERET人臉庫［10］對結(jié)合算法和均勻LBP進(jìn)行比較驗證.目前FERET人臉庫包含1199個人的14051張灰度圖像，這些圖像包含不同光照、不同面部表情、不同年齡、不同位置角度等，本實驗僅考慮正面人臉，即位置角度為0，這些人臉圖像分為5類:

標(biāo)準(zhǔn)正面fa集(1196幅)，即圖庫集gallery，包含1196個人的正面人臉圖像，一人一張;

表情fb集(1195幅)，與fa在同條件下拍攝，不同表情的人臉圖像集;

光照fc集(194幅)，不同光照條件下的人臉圖像集;

年齡dup1集(722幅)，相對于gallery中的圖像0～18個月后拍攝的圖像;

年齡dup2集(234幅)，它是dup1子集，它所包含的圖像相對于gallery中的圖像超過18個月.

4.1 LBP人臉表達(dá)的最優(yōu)分塊方法

Ahonen在其人臉識別實驗中，綜合考慮識別性能與計算復(fù)雜度，選定分塊方式為7×7，顯然更多的分塊數(shù)能有效提高識別率.本實驗的目的在于測試不同分塊情況下LBP特征對于人臉識別的有效性.如圖5所示.

圖5 不同分塊數(shù)下測試集fb、fc、dup1、dup2的CMC曲線Fig 5 Rank curves for fb、fc、dup1 and dup2 probe setswith different patitions

實驗結(jié)果表明，不同的分塊方式在測試集fb上的識別效果基本一致，但在其它的測試集，如fc、dup1、dup2上，隨著分塊數(shù)的增加，識別率有較顯著提高.鑒于的分塊數(shù)能在各數(shù)據(jù)測試集上取得最佳的性能，本文最終選擇該尺度進(jìn)行進(jìn)一步的實驗.

4.2 結(jié)合PCA降維方法與LBP人臉表達(dá)的識別結(jié)果

通過前一個實驗，將人臉圖像分為個子塊，對各子塊提取LBP直方圖后連接起來，構(gòu)成人臉的特征表達(dá)，在對其分別降維到700、300后，最后采用最近鄰分類器進(jìn)行識別.與分塊數(shù)為7×7的傳統(tǒng)LBP方法在測試集fc、dup2上的實驗比較結(jié)果如圖6所示.

圖6 兩種算法在測試集fc、dup2上的CMC曲線Fig.6 Rank curves for fc and dup2 probe sets among 2 algorithms

由圖6可知，在測試集fc上，分塊數(shù)為11(原維數(shù)7139)降維至700的結(jié)合算法比分塊數(shù)為7(原維數(shù)2891)的傳統(tǒng)LBP算法要好，而在測試集dup2上，分塊數(shù)為11降維至300的結(jié)合算法同樣要比分塊數(shù)為7的傳統(tǒng)算法優(yōu)越，這說明結(jié)合后的算法在光照變化集和年齡變化集上保持并有更好的識別效果.

5 結(jié)語

通過分析局部二元模式特征提取的過程，利用主成分分析低維向量表示原始數(shù)據(jù)的特點，提出了一種結(jié)合局部二元模式和主成分分析的算法.該算法與原有的局部二元模式算法相比，在保證較高的識別率的條件下，有效地降低了人臉識別階段的計算復(fù)雜度.

［1］Kirby M，Sirovich L.Application of the Karhunen-Loeve procedure for the characterization of human faces［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1990，12(1):103-108.

［2］Turk M，Pentland A.Eigenfaces for recognition［J］.Journal of Cognitive Neuroscience，1991，3(1):72-86.

［3］Belhumeur PN，Hespanha JP，Kriegman D J.Eigenfaces vs fisherface:recogniton using class special linear projection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):711-720.

［4］Bartlett M S，Lades H M，Sejnowski T J.Independent component representations for face recognition［J］.Proceedings of SPIE，1998，3299(3):528-539.

［5］Wiskott L，F(xiàn)ellous JM，Malsburg C.Face recognition by elastic bunch graph matching［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):775-779.

［6］Ahonen T，Hadid A，Pietikainen M.Face recognition with local binary patterns［C］//ECCV.8th European Conference on Computer Vision.Prague:ECCV，2004:469-481.

［7］Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns:Application to face recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(12):2037-2041.

［8］Zhao Q Y，Pan BC，Pan JJ，etal.Facial expression recognition based on fusion of Gabor and LBP features［C］//ICWAPR.6th International Conference onWavelet Analysis and Pattern Recognition.Hong Kong:ICWAPR，2008:362-367.

［9］Tang H L，Sun Y F，Yin B C，et al.Face recognition based on Haar LBP histogram［J］.ICACTE，2010，6:235-238.

［10］Phillips P J，Moon H，Rizvi S，et al.The feret evaluation methodology for face recognition algorithms［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(10):1090-1104.