少數(shù)民族面部特征提取方法研究

劉文輝 許瑞

摘 ?要：針對(duì)少數(shù)民族人臉識(shí)別效果的關(guān)鍵在于能否有效提取該民族面部特征的問(wèn)題，文章提出了將3種特征提取方法——PCA、LBP和Gabor小波應(yīng)用于少數(shù)民族人臉圖像特征提取的方法。首先，對(duì)少數(shù)民族人臉圖像預(yù)處理歸一化，以便消除光照姿態(tài)等影響，然后運(yùn)用3種方法提取維吾爾族和哈薩克族人臉圖像的特征，最后使用K近鄰分類(lèi)算法對(duì)所提取的民族特征進(jìn)行了驗(yàn)證，Gabor小波提取的民族特征有最好的效果，2個(gè)民族識(shí)別率達(dá)到了96.75%和97.02%。

關(guān)鍵詞：特征提取;PCA;LBP;Gabor小波

中圖分類(lèi)號(hào)：TP391.41 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）21-0088-03

Research on Facial Feature Extraction of Ethnic Minorities

LIU Wenhui，XU Rui

（School of Information Sciences and Technology，Xinjiang Teachers College，Urumqi ?830043，China）

Abstract：In view of the problem that the key to the effect of minority face recognition is whether the facial features can be extracted effectively，the article proposes a method to apply three feature extraction methods——PCA，LBP and Gabor wavelet to the feature extraction of minority face images. Firstly，the minority face image is preprocessed and normalized to eliminate the influence of illumination and posture. Then，three methods are used to extract the features of Uygur and Kazakh face images. Finally，the K-nearest neighbor classification algorithm is used to verify the extracted ethnic features. Gabor wavelet has the best effect，and the recognition rate of the two ethnic minorities reaches 96.75% and 97.02%.

Keywords：feature extraction;PCA;LBP;Gabor wavelet

0 ?引 ?言

少數(shù)民族面部特征研究屬于人臉識(shí)別研究的重要內(nèi)容。研究表明不同民族之間存在面部特征的差異。即使同一民族在不同地域之間也會(huì)表現(xiàn)出細(xì)微的差異，研究這些差異有助于深化人臉識(shí)別技術(shù)，并可以作為歷史演變的重要依據(jù)。新疆地處祖國(guó)大西北，戰(zhàn)略地位極為重要。其中該地區(qū)主要民族成分是少數(shù)民族，具有較為獨(dú)特的面部特征。該地區(qū)人臉特征與鄰近我國(guó)的幾個(gè)國(guó)家的人臉特征有許多相似之處，因此研究該地區(qū)少數(shù)民族的人臉識(shí)別技術(shù)對(duì)促進(jìn)新疆信息技術(shù)的發(fā)展有重要意義[1]。研究少數(shù)民族人臉識(shí)別，首先要考慮如何有效提取各民族典型人臉特征的數(shù)字化問(wèn)題。近年來(lái)人臉識(shí)別中已經(jīng)出現(xiàn)了一批經(jīng)典人臉特征提取方法，比如：PCA和KPCA方法、Gabor小波特征、LBP特征提取、面部膚色特征提取、聚類(lèi)特征等[1-3]，但是人臉圖像的特征很容易被光照、表情、眼鏡、胡須等影響和干擾，因此將這些方法應(yīng)用到提取人臉圖像民族特征時(shí)，需要考慮如何對(duì)圖像進(jìn)行預(yù)處理，如何取消非均勻光照影響、降低表情干擾和局部遮擋影響，如何壓縮和選取特征等問(wèn)題[1]，為此，本研究團(tuán)隊(duì)預(yù)備在這方面做一些有益探索，比如少數(shù)民族人臉圖像雙眼定位基準(zhǔn)問(wèn)題、歸一化民族圖像問(wèn)題、少數(shù)民族人臉圖像五官的特征提取方法等?？紤]到可以將現(xiàn)有人臉識(shí)別的一些方法應(yīng)用于面部的民族特征提取，本研究將把PCA、LBP和Gabor小波3種特征提取方法引入到少數(shù)民族人臉圖像的特征提取上來(lái)，分析各種方法之間的差異性，揭示各個(gè)少數(shù)民族人臉圖像民族特征的基本方法。

1 ?幾種常用臉部圖像特征提取方法

人臉識(shí)別準(zhǔn)確率的高低主要取決于對(duì)圖像有效特征的提取，其次才是具體的識(shí)別算法。研究表明人臉的特征既有反映人臉整體的全局性特征，也有反映人臉細(xì)節(jié)和局部信息的局部性特征。從人臉圖像提取方法角度來(lái)看，主要有兩類(lèi)特征提取方法。一類(lèi)是以反映人臉中五官位置信息的特征，我們稱(chēng)之為幾何特征，這類(lèi)特征提取方法主要有：特征點(diǎn)選取、膚色特征、距離特征等，幾何特征屬于高層特征，與人類(lèi)識(shí)別的方法類(lèi)似，但是提取特征時(shí)要考慮輪廓和匹配問(wèn)題，自動(dòng)化特征提取較為困難;一類(lèi)是以人臉圖像矩陣為基礎(chǔ)進(jìn)行各類(lèi)變換，提取矩陣的統(tǒng)計(jì)特征，我們稱(chēng)之為代數(shù)特征，這類(lèi)特征提取方法主要有：PCA、傅里葉變換特征;小波特征（Gabor特征）等。其中人臉圖像的代數(shù)特征提取方法不需要考慮圖像對(duì)準(zhǔn)匹配等操作，更適應(yīng)自動(dòng)化大規(guī)模操作，從而該類(lèi)方法稱(chēng)為當(dāng)前研究的主流。本文也是選取代數(shù)特征提取方法為主來(lái)提取少數(shù)民族人臉圖像的特征。

1.1 ?PCA特征提取方法

主成分分析法（principle component analysis），該方法是將所有訓(xùn)練樣本組成原始矩陣，然后對(duì)該矩陣進(jìn)行正交變換[1]。具體過(guò)程如下：

將k個(gè)圖像樣本堆疊為k行，n列的矩陣：S={S1×n，S2×n，…，Sk×n}，其中Si×n為第i個(gè)樣本圖像。S的協(xié)方差矩陣為：

（1）

令：

J（X）=tr（G） ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

J為投影變換，則取Max（J（X））的投影方向X即為特征向量，即：

Y=SX ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

Y為最大方差投影方向，是包含信息最多的方向。通常可以選取其中d個(gè)較大特征值，其對(duì)應(yīng)特征向量X1，X2，…，Xd，即為投影方向，進(jìn)而可以大幅度壓縮維度。

1.2 ?LBP特征

為了進(jìn)一步減少光照對(duì)人臉特征的影響，Timo等學(xué)者提出了LBP特征提取方法，并在人臉識(shí)別領(lǐng)域取得了較好的效果。該方法的主要思路是以圖像每個(gè)中心點(diǎn)像素灰度值為閾值，以r為半徑，包含p個(gè)像素點(diǎn)圓形區(qū)域，比較該鄰域中像素點(diǎn)灰度值與中心點(diǎn)灰度值，從而構(gòu)造二進(jìn)制碼，即LBP值，如圖1所示。

LBP特征可以很好反映圖像的紋理特征，且具有較強(qiáng)的光照魯棒性，其統(tǒng)計(jì)直方圖往往可以作為人臉的紋理特征[2]。

1.3 ?Gabor小波特征

Daugman最早把Gabor小波用于提取圖像特征，并發(fā)現(xiàn)了Gabor小波與人類(lèi)視覺(jué)細(xì)胞對(duì)光信號(hào)的刺激方式有很多相似之處，且該特征對(duì)方向圖像邊緣變化響應(yīng)靈敏。Gabor變換為：

（4）

其中，h（x，y）為二維Gabor濾波器，θ為Gabor濾波器的方向，σu和σv分別為高斯包絡(luò)在u軸和v軸上的標(biāo)準(zhǔn)差（u軸平行于θ、v軸垂直于θ）， 為調(diào)制頻率。h（x，y）可以進(jìn)行旋轉(zhuǎn)變換和尺度變換，讓圖像與濾波器h（x，y）做卷積操作，將產(chǎn)生一系列Gabor小波。可以將Gabor函數(shù)分解為實(shí)部R（x，y）和虛部I（x，y）兩個(gè)分量，則該復(fù)函數(shù)的模就可以作為使用Gabor小波提取的圖像特征[3]。

2 ?新疆少數(shù)民族面部特征提取方法

建立高質(zhì)量和大數(shù)量的少數(shù)民族人臉圖像庫(kù)是研究少數(shù)民族人臉特征的關(guān)鍵基礎(chǔ)，本研究在相關(guān)基金的支持下，構(gòu)建了一個(gè)新疆少數(shù)民族人臉圖像庫(kù)，主要選取居住在祖國(guó)邊疆地區(qū)縣鄉(xiāng)的維吾爾族、哈薩克族等民族的人臉圖像，如圖2所示。

一般來(lái)說(shuō)，原始圖像都存在光照、姿態(tài)、遮擋等干擾噪聲，如果不對(duì)其進(jìn)行處理，將會(huì)大幅度增加特征噪聲，甚至使得特征掩蓋于噪聲中，因此需要對(duì)原始圖像做預(yù)處理工作。少數(shù)民族人臉圖像的預(yù)處理工作主要有圖像的灰度歸一化和幾何歸一化兩個(gè)方面的工作?；叶葰w一化工作的主要目的是消除光照影響，常用的方法有直方圖均衡化等方法;幾何歸一化主要消除姿態(tài)影響，主要有圖像配準(zhǔn)方法等。

2.1 ?少數(shù)民族人臉圖像的PCA特征提取

選取維吾爾族、哈薩克族人臉圖像各600幅為樣本圖像。首先對(duì)圖像歸一化預(yù)處理，圖像大小為120×100，為消除光照影響，對(duì)圖像做直方圖均衡化處理。構(gòu)建樣本矩陣S1、S2和S。S1為維吾爾族人臉圖像矩陣（600×12 000），S2為哈薩克族人臉圖像矩陣（600×12 000），S為2個(gè)民族混合人臉圖像矩陣（1 200×12 000）。其中S1中任取500個(gè)樣本作為訓(xùn)練樣本，100個(gè)樣本作為測(cè)試樣本;S2按照S1同樣處理。PCA方法的主要特點(diǎn)是將全部人臉圖像向某個(gè)特征向量方向投影，即最大信息熵方向，為此采用如下方法投影壓縮：

對(duì)S1使用PCA算法進(jìn)行維數(shù)壓縮。按照特征值大小順序排列，貢獻(xiàn)率設(shè)置為90.00%，這樣獲得矩陣，則取W1=E（），E為數(shù)學(xué)期望，即的均值向量作為維吾爾族人臉特征。

對(duì)S2類(lèi)似處理，取W2=E（），即 ?的均值向量作為哈薩克族人臉特征。

對(duì)全體樣本矩陣S使用PCA壓縮，壓縮維數(shù)與S1相同。

樣本距離計(jì)算取歐氏距離，設(shè)x和xi為任意2個(gè)樣本向量，即：

d=‖x-xi‖ ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

分類(lèi)算法使用K近鄰分類(lèi)算法，計(jì)算待分類(lèi)圖像特征到所有圖像的歐式距離，以周?chē)呀?jīng)分類(lèi)圖像的類(lèi)別為本圖像的分類(lèi)類(lèi)別。算法循環(huán)執(zhí)行100次，識(shí)別率取均值，則維吾爾族識(shí)別率為94.63%，哈薩克族識(shí)別率為96.41%。

2.2 ?少數(shù)民族人臉圖像的LBP特征提取

在上面2個(gè)民族人臉圖像中各自選取200幅圖像，其中每個(gè)民族人臉圖像選取150幅作為訓(xùn)練樣本，50幅作為測(cè)試樣本，預(yù)處理同上操作。首先需要標(biāo)注少數(shù)民族人臉圖像關(guān)鍵點(diǎn)16處：即額頭3點(diǎn)、眉毛3點(diǎn)、眼睛1點(diǎn)、鼻尖1點(diǎn)、臉頰2點(diǎn)、嘴巴3點(diǎn)、下巴3點(diǎn)，然后對(duì)這16個(gè)關(guān)鍵點(diǎn)使用LBP算子計(jì)算，如圖3所示。

樣本距離計(jì)算還是取歐氏距離，即式（5）。分類(lèi)算法使用K近鄰分類(lèi)算法，分類(lèi)算法循環(huán)執(zhí)行100次，識(shí)別率取均值，則維吾爾族識(shí)別率為92.52%，哈薩克族識(shí)別率為94.18%。可以看出LBP特征提取的識(shí)別率略低于PCA，這主要是由于本方法僅僅標(biāo)注了16個(gè)關(guān)鍵點(diǎn)，對(duì)面部特征的全局信息丟失較多的緣故。

2.3 ?少數(shù)民族人臉圖像的Gabor小波特征提取

按照上面方式選取維吾爾族、哈薩克族人臉圖像各300幅，共計(jì)600幅人臉圖像。選取每族100幅作為測(cè)試樣本，其余作為訓(xùn)練樣本。預(yù)處理操作與前面相同。

在上面Gabor變換式（4）中，令：

k=kve-jφμ

kv=kmax/f v ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

其中，f v為頻率尺度，φμ為采樣方向角度。本文采用φμ={0，π/8，π/4，3π/8，π/2，5π/8，3π/4，7π/8}8個(gè)方向，v={0，1，2，3，4}5個(gè)尺度頻率。因此，每幅圖像有40個(gè)Gabor特征圖像，將這40個(gè)特征圖像依次展開(kāi)為1個(gè)樣本特征，這樣維吾爾族人臉特征圖像矩陣的階數(shù)為：300× 480 000;哈薩克族人臉圖像類(lèi)似處理。采用PCA壓縮特征和取矩陣均值作為2個(gè)民族人臉的Gabor特征代表，最后使用樣本距離計(jì)算，取歐氏距離，即式（5），分類(lèi)算法使用K近鄰分類(lèi)算法，分類(lèi)算法循環(huán)執(zhí)行100次，識(shí)別率取均值，則維吾爾族識(shí)別率為96.75%，哈薩克族識(shí)別率為97.02%?？梢钥闯鯣abor小波特征提取的民族特征識(shí)別率較高，這是因?yàn)镚abor小波特征提取特征較為全面，既包含圖像局部信息，也包含全局信息，但是所提取的特征維數(shù)較高。

3 ?結(jié) ?論

本文將人臉識(shí)別中常用的3種特征提取方法：PCA、LBP、Gabor小波，運(yùn)用于少數(shù)民族人臉特征提取。探索了在使用這3種方法時(shí)，如何進(jìn)行少數(shù)民族人臉圖像預(yù)處理、標(biāo)識(shí)和標(biāo)注關(guān)鍵點(diǎn)等問(wèn)題，在此基礎(chǔ)上使用3種方法提取圖像中的民族特征，并運(yùn)用K近鄰算法進(jìn)行分類(lèi)，以確定提取的民族特征的有效性。經(jīng)研究發(fā)現(xiàn)維吾爾族與哈薩克族人臉特征區(qū)別明顯，特別是采用Gabor小波提取民族特征效果較好，有一定實(shí)用價(jià)值。當(dāng)然另一方面由于時(shí)間所限，我們僅僅研究了2個(gè)民族的情形，如果是較多民族情形特征提取的有效性還有待進(jìn)一步驗(yàn)證。

參考文獻(xiàn)：

[1] 劉文輝，許瑞，劉華詠，等.基于分塊KPCA集成的人臉民族特征提取研究 [J].計(jì)算機(jī)科學(xué)，2014，41（9）：294-297+319.

[2] 張敦鳳，高寧化，王姮，等.基于分塊LBP融合特征和SVM的人臉識(shí)別算法 [J].傳感器與微系統(tǒng)，2019，38（5）：154-156+160.

[3] LI C，WEI W，LI J X，et al.A cloud-based monitoring system via face recognition using Gabor and CS-LBP features [J].The Journal of Supercomputing，2017，73（4）：1532-1546.

作者簡(jiǎn)介：劉文輝（1969—），男，漢族，河北深州人，畢業(yè)于華中師范大學(xué)，副教授，碩士，研究方向：圖像處理、模式識(shí)別、人臉識(shí)別等;許瑞（1967—），女，漢族，甘肅高臺(tái)人，畢業(yè)于新疆大學(xué)，副教授，碩士，研究方向：中文信息處理、模式識(shí)別等。