基于局部特征和全局特征相融合的人臉識別技術(shù)研究

徐 飛

（閩西職業(yè)技術(shù)學(xué)院，福建龍巖 364030）

人臉識別是綜合模式識別和計算機(jī)視覺的識別技術(shù)。在識別領(lǐng)域，通常把面部信息作為判別身份依據(jù)。盡管人類數(shù)目極其龐大，同人的指紋類似，人臉最顯著的特性就是具有唯一性，世界上不存在一模一樣的臉，因此人臉識別技術(shù)對于身份鑒別具有重大的意義〔1〕。人臉識別技術(shù)已經(jīng)滲透在人們出行、辦公、生活中。數(shù)字化、便捷化和信息化是社會發(fā)展的趨勢，研究人臉識別技術(shù)不僅有利于保障公民信息安全，同時也促進(jìn)計算機(jī)視覺、神經(jīng)生理學(xué)、腦神經(jīng)學(xué)等學(xué)科發(fā)展〔2〕。目前國際常用的靜態(tài)人臉圖像識別方法有特征臉方法、幾何特征分析法、彈性匹配方法、人工神經(jīng)網(wǎng)絡(luò)方法、局部特征分析法和柔性形狀模型分析法等〔3-4〕。諸多外界因素同時或者單獨(dú)影響著識別效率和準(zhǔn)確度〔5〕。人臉表情識別過程包括圖像輸入、圖像定位、圖像匹配。識別工作大部分都會受到光照、表情姿勢、尺度大小的影響，因此需要對人臉圖像進(jìn)行歸一化、灰度變換和去噪等處理，將外界的影響降至最低〔6〕。設(shè)計一個具有魯棒性的人臉識別系統(tǒng)是最關(guān)鍵的任務(wù)。本文采用主成分分析（principal compoent analysis，PCA）、K-L（Karhunen-Loeve）變換和局部二值模式（local binary pattern，LBP）算法提取紋理特征，將局部特征和全局特征融合，實現(xiàn)人臉圖像的特征值提取，利用Matlab軟件設(shè)計圖形用戶GUI界面，并進(jìn)行測試，為復(fù)雜人臉識別技術(shù)的研究與利用提供理論基礎(chǔ)。

1 相關(guān)理論概述與實現(xiàn)過程

1.1 PCA特征提取

1.1.1 基于K-L變換的特征值矩陣K-L變換，由Karhunen和Loeve等提出〔7〕，是一種特殊的正交變換，可以將離散或者連續(xù)信息變換為一組不相關(guān)數(shù)列；變換的核心由圖像陣列的協(xié)方差矩陣的特征值和特征向量決定。假設(shè)一幅N×N的圖像在傳輸過程中受到干擾，接收到的圖像數(shù)字集合為{f（1x，y），f（2x，y），…，f（nx，y） }，寫成向量形式，令{f（1x，y），f（2x，y），…，f（nx，y） }＝{X1，X2，…，Xn}。因此X向量的協(xié)方差矩陣定義為：

Cf是一個n×n階實對稱矩陣，E為求期望，平均值向量mf＝E{X}。對于M幅數(shù)字圖像，可以采用近似法求?。?/p>

定義Cf特性向量正交變換矩陣為A矩陣，得到K-L變換表達(dá)式：

可以得到Y(jié)向量的協(xié)方差矩陣CY：

X-mf得到中心化圖像向量，協(xié)方差CY矩陣是對角矩陣，對角線上的元素等于Cf的特征值λi；CY非對角線上的元素為0，Cf非對角線上的元素不為0。

1.1.2 PCA提取全局特征PCA提取全局特征〔8〕，理論基礎(chǔ)是K-L變換。首先對于一個訓(xùn)練樣本，變換圖像的矩陣，新矩陣的第一個向量為原矩陣最大特征值對應(yīng)的特征向量，第二個向量為原矩陣第二大特征值對應(yīng)的特征向量，按照此規(guī)律，可以發(fā)現(xiàn)新的矩陣的特征向量按照從大到小的順序排列，圖像的特征臉信息大部分在新矩陣前面幾個向量中，越往后的特征向量所含有的信息可以忽略不計。因此選擇排列靠前信息量較大的來代表整個圖像數(shù)據(jù)，這就完成了降維處理。運(yùn)用線性運(yùn)算，得到了新的特征序列，將原始矩陣和新矩陣轉(zhuǎn)置相乘，得到新方陣，求方陣特征值，得到最大特征值對應(yīng)的特征向量，叫第一主成分，所包含的圖像信息也是最多的；依次定名特征值對應(yīng)的特征向量為第二主成分、第三主成分直至第N個主成分〔9〕。

1）設(shè)d維空間有n個訓(xùn)練樣本，由向量構(gòu)成樣本訓(xùn)練集{X1，X2，X3，…，Xn}，d=寬×高。假如一幅圖像的像素為50×60，那么d=3 000，樣本像素點(diǎn)的灰度值可以用d行向量表示，比如一個3×3維向量可以表示成：X=［3 5 2 1 6 7 9 4 8］T。這就是訓(xùn)練圖片的原始數(shù)據(jù)庫。

3）求投影矩陣：求S的特征向量λi，特征值αi，大小排序λi、λi{λ1＞λ2＞λ3＞…＞λd，（?1，?2，?3，…，?）n}。選取其中最大k個特征向量作為一個列向量，組成一個新的特征向量矩陣U=（α1，α2，α3，…，αk）。矩陣U為k×d階，定義為投影矩陣，每一幅樣本圖像可以投影在矩陣U構(gòu)成的特征子空間中；特別注意如果圖像的維度很大，會導(dǎo)致計算機(jī)處理計算量較大，耗時較多，因此可以使用奇異值分解定理，求取BTB的特征值和特征向量來獲取BBT的特征值和特征向量。

4）特征矩陣：降維后，B的轉(zhuǎn)置矩陣乘上投影矩陣U得到降維后矩陣V：V=BTU，每一行的k個數(shù)據(jù)代表一幅圖像的主成分特征信息。

5）檢測：待識別對象圖像的檢測，只需要重復(fù)步驟1）的過程，得到一個含有圖像數(shù)據(jù)的d×1階矩陣X，X矩陣減去后用（X-）轉(zhuǎn)置乘上投影矩陣U，求得1×k階特征矩陣Y：

這時矩陣Y所含有的數(shù)據(jù)就是訓(xùn)練圖像的主要特征，運(yùn)用分類器，和數(shù)據(jù)庫的特征進(jìn)行對比輸出。

1.2 LBP算法提取局部特征LBP算子是以分割目標(biāo)圖像成局部3×3鄰域，以各鄰域的中間值為對比參數(shù)對象，對比中心的周圍8個像素灰度值，如果周圍某個像素點(diǎn)的灰度值大于中心點(diǎn)的值，則該像素位置用1進(jìn)行標(biāo)記，否則用0進(jìn)行標(biāo)記。這樣的規(guī)律表示，該局部區(qū)域3×3鄰域生成8位的二進(jìn)制數(shù)，然后將二進(jìn)制轉(zhuǎn)十進(jìn)制得到256個灰度值，即可得到該局部區(qū)域中心像素的LBP值，可以使用公式表示計算〔10〕：

其中，N為鄰域中心相鄰的像素個數(shù)，X為中心元素，gi為像素中心第i個鄰域的灰度值，gX為中心像素的灰度值。S（x）是符號函數(shù)：

1.3 實現(xiàn)過程 檢測出待識別目標(biāo)的圖像信息，為了達(dá)到準(zhǔn)確識別的效果，在采樣中考慮正面特征和側(cè)面特征，在特征空間內(nèi)的特征向量會含有很多的人臉信息，因此就需要一些處理提取有用信息，排除掉無用的特征向量。首先，對于訓(xùn)練樣本變換圖像的矩陣，運(yùn)用PCA算法語句將按照從大到小排列的K個特征值對應(yīng)的K個特征向量提取出來，組成一個新的向量矩陣U=（α1，α2，α3，…，αk）。矩陣U為k×d階，這樣完成人臉信息投影在新的特征向量矩陣上，實現(xiàn)全局特征的提取。然后，提取人臉圖像的LBP特征。圖像分成m×n個小區(qū)域，讀取每一子塊人臉圖像的LBP算子，得到1×N維行向量，將各個子塊的LBP特征向量按照一定的順序合并為一個新的特征向量，用它代表人臉的紋理信息。整個圖像的LBP特征向量是N個m×n維向量集合。最后，將人臉圖像的PCA、LBP特征向量集合成新矩陣，完成融合，用支持向量機(jī)（support vector machines，SVM）決策分類識別，輸出目標(biāo)臉身份信息。

2 結(jié)果分析

2.1 數(shù)據(jù)來源 本文實驗測試基于ORL（olivetti research laboratory）數(shù)據(jù)庫（由英國劍橋大學(xué)AT&T實驗室創(chuàng)建）進(jìn)行〔11〕，因為ORL人臉庫包含40位志愿者，合計400張人臉圖像，每張照片均十分具有代表性，他們來自不同的國家，不同的年齡、性別、表情，部分示例人臉圖見圖1。在不同姿勢角度下采集，并且通過大小歸一為92×112。它的維度不高，ORL人臉圖是使用最多的人臉數(shù)據(jù)庫，在這個庫測試到的識別正確率高，特別適合檢驗各算法的魯棒性。本次設(shè)計需要提取局部和全局特征融合識別，利用SVM分類器把訓(xùn)練圖像和測試圖像相結(jié)合，進(jìn)行分類。通過數(shù)據(jù)分析直觀得到單獨(dú)運(yùn)行PCA和PCA+LBP算法融合后的特性的提取，最后與測試樣本進(jìn)行匹配輸出識別結(jié)果。

圖1 ORL數(shù)據(jù)庫部分示例人臉圖

2.2 識別結(jié)果

2.2.1 不同維度下識別結(jié)果 從圖2可知，PCA算法在低維（維度為30～70）時，識別率在60.0%左右；當(dāng)圖像維度在80以上時，識別率可以達(dá)到70.0%乃至以上?？梢缘贸鼋Y(jié)論：采用PCA算法，維度越大時識別率越高。而采用PCA+LBP提取全局和局部特征在低維時，識別率在70.0%～80.0%；當(dāng)圖像維度在80以上時，識別率可以達(dá)到80.0%乃至以上。因此可以得出結(jié)論：采用局部和全局特征相融合能夠提高識別準(zhǔn)確度，維度越高越精確。

圖2 不同維度下算法的識別率

2.2.2 不同樣本數(shù)下識別結(jié)果 從表1可以分析得到：采集人臉的全局特征，用SVM也能夠識別出來，但是識別率并不是特別高，均在85.0%以下；加入LBP算法后，彌補(bǔ)了PCA不能采集到紋理特征的缺點(diǎn)。PCA降維過后，結(jié)合LBP紋理特征，在低維空間用SVM，隨著訓(xùn)練樣本的增加系統(tǒng)正確性逐漸提高。在樣本數(shù)為6時，PCA+LBP+SVM算法的識別率達(dá)到95.0%。因此在實際應(yīng)用中，可以通過增加訓(xùn)練樣本來提高識別率。但是在訓(xùn)練耗時方面，PCA+LBP+SVM算法比PCA+SVM耗時更長。主要是因為增加LBP算法，從而增加了圖像局部特征提取的過程。

表1 不同樣本數(shù)下算法的識別結(jié)果

2.3 構(gòu)建人臉識別系統(tǒng) 利用Matlab進(jìn)行人臉識別系統(tǒng)的GUI為圖像用戶界面設(shè)計。用戶界面共包括以下幾部分：靜態(tài)文本框中顯示用戶界面的標(biāo)題“PCA+LBP+SVM”；軸模塊區(qū)域顯示載入的測試圖片、預(yù)處理后的圖片，界面上分別有訓(xùn)練、測試、打開圖片、識別結(jié)果4個按鍵，實現(xiàn)分類器訓(xùn)練，測試，打開待識別對象圖像輸入顯示并輸出識別結(jié)果。當(dāng)按鈕被點(diǎn)擊時，圖形會凹陷，執(zhí)行對應(yīng)的回調(diào)子函數(shù)。打開待測目標(biāo)圖像首先訓(xùn)練，讀入測試集合，載入訓(xùn)練參數(shù)的結(jié)果見圖3。

圖3 示例識別結(jié)果

3 結(jié)語

本文結(jié)合PCA算法和LBP算法提取局部與全局特征，提高人臉識別的準(zhǔn)確率。首先將人臉圖像進(jìn)行預(yù)處理。其次通過PCA算法以及K-L變換，將圖像信息通過低維的向量集來表達(dá)，求取協(xié)方差，在特征空間線性提取到能夠代表人臉的特征向量。使用PCA算法提取全局特征，在訓(xùn)練樣本維數(shù)高、數(shù)量多的情況下正確率高，但是當(dāng)人臉表情、姿態(tài)、光照度等變化時，對一張人臉圖預(yù)處理識別，它的局部發(fā)生變化而人臉整體并沒有變化，這時可能會提取無益特征向量，導(dǎo)致分類器匹配人臉庫時所輸出的結(jié)果不準(zhǔn)確。因此需要結(jié)合LBP算法局部特征，將人臉圖像分割，通過數(shù)學(xué)的矩陣變換分析得到人臉的紋理等局部特征，有效彌補(bǔ)PCA算法的不足。但PCA加上LBP來識別人臉費(fèi)時費(fèi)力，因此就需要更多的線性、非線性算法，提取面部特征和紋理信息，對不同光照、姿態(tài)、表情、尺度、圖像質(zhì)量等其他因素干擾下的人臉圖像進(jìn)行有效特征值提取。此外，在訓(xùn)練樣本基數(shù)較多時，需要考慮改進(jìn)SVM投票策略或者選擇其他分類器。