基于特征融合的人臉圖像識(shí)別方法研究

梅蓉

（南京森林警察學(xué)院偵查系,江蘇南京210023）

基于特征融合的人臉圖像識(shí)別方法研究

梅蓉

（南京森林警察學(xué)院偵查系,江蘇南京210023）

為了提高人臉識(shí)別率,研究了一種基于邊緣二值圖像特征向量提取的方法.通過局部二值模式提取特征向量,考慮到邊緣二值圖像特征向量與局部二值模式提取的特征向量的區(qū)別,提出了將這兩類特征向量通過PCA方法融合實(shí)現(xiàn)人臉識(shí)別的方法.實(shí)驗(yàn)結(jié)果表明基于兩類特征向量融合的人臉識(shí)別方法可以有效地提高識(shí)別率.

人臉識(shí)別；邊緣特征向量；局部二值模式；主成分分析

人臉識(shí)別研究雖然經(jīng)過了幾十年的發(fā)展,仍然方興未艾,是模式識(shí)別、計(jì)算機(jī)視覺等領(lǐng)域研究的熱點(diǎn)課題[1-2].隨著人臉識(shí)別技術(shù)研究的深入和計(jì)算機(jī)運(yùn)算能力的大幅度提高,人臉識(shí)別準(zhǔn)確性和實(shí)時(shí)性得到了大大提高,人臉識(shí)別技術(shù)也逐漸從理論研究向應(yīng)用研究發(fā)展.隨著經(jīng)濟(jì)的發(fā)展和人口大流動(dòng),各種社會(huì)矛盾日益顯露,社會(huì)治安面臨著嚴(yán)峻挑戰(zhàn),公安部門承受著巨大壓力.傳統(tǒng)的偵查措施和手段已經(jīng)不能完全適應(yīng)新的犯罪形勢(shì)的需要,公安人員需要借助高科技手段打擊和預(yù)防犯罪.為了快速、準(zhǔn)確打擊和預(yù)防各類違法犯罪,公安部提出科技強(qiáng)警策略,公安視頻監(jiān)控系統(tǒng)普及就是其中舉措之一,而視頻監(jiān)控系統(tǒng)中的自動(dòng)識(shí)別技術(shù)如車牌照識(shí)別在公安工作中發(fā)揮著重要的作用.

人臉自動(dòng)識(shí)別技術(shù)一直是很多領(lǐng)域研究的熱點(diǎn)課題,由于光照條件、成像角度、人臉豐富的表情等,使得人臉自動(dòng)識(shí)別技術(shù)成為具有挑戰(zhàn)性的研究課題.雖然人臉識(shí)別技術(shù)在人臉特征提取、人臉檢測(cè)方面取得了喜人的成果,但在復(fù)雜情況下的人臉自動(dòng)識(shí)別技術(shù)還沒有取得突破的成果,因此就談不上運(yùn)用到公安和其它領(lǐng)域,這是目前甚至將來我們必須要攻克的難題,此項(xiàng)技術(shù)必然會(huì)在公共安全、軍隊(duì)、公安等領(lǐng)域發(fā)揮超乎想象的作用.

人臉識(shí)別的關(guān)鍵技術(shù)就是特征提取,特征提取的好壞直接影響人臉識(shí)別的效果.目前,國(guó)內(nèi)外學(xué)者提出了很多人臉特征提取的方法,有線性特征提取和非線性特征提取兩類,其中線性特征提取有PCA方法[3]、LDA方法[4]、ICA方法[5]、奇異值分解法[6]等；非線性特征提取有SIFT方法[7]、二維Gabor函數(shù)法[8]、DCT法[9]等.由于一種特征提取方法提取的特征具有局限性,不能充分體現(xiàn)人臉的全部特征,影響人臉識(shí)別的精度,因此又有學(xué)者提出將多個(gè)特征融合來彌補(bǔ)單一方法提取特征的不足,實(shí)驗(yàn)結(jié)果也表明了有利于識(shí)別,識(shí)別精度明顯提高[10-11].

本文提出了一種基于局部二值模式的特征向量與邊緣二值圖像的特征向量的融合識(shí)別算法、局部二值模式主要側(cè)重于人臉紋理信息的提取,而邊緣二值圖像的特征向量提取側(cè)重于對(duì)人臉邊緣信息的描述,將二者有機(jī)結(jié)合,可以更好地表現(xiàn)人臉特征,有利于人臉識(shí)別.

1 基于特征融合的人臉識(shí)別方法研究

1.1 子圖像劃分

將圖像進(jìn)行劃分的方法很多,有基于人臉器官特征的劃分、人臉局部區(qū)域的劃分、人臉結(jié)構(gòu)分布的劃分等.人臉器官特征的劃分是根據(jù)人臉的眼鏡、鼻子、嘴巴等進(jìn)行劃分；人臉局部區(qū)域劃分一般都是將圖像劃分為大小相等的若干個(gè)不重疊的區(qū)域；人臉結(jié)構(gòu)分布的劃分則是根據(jù)人臉器官分布規(guī)律進(jìn)行劃分,一般劃分為大小不相等的區(qū)域.

假設(shè)測(cè)試樣本圖像大小為m×n,作如下分塊,見圖1.

圖1 子圖像的劃分Fig.1 Division of sub-image

該分塊方法是將圖像分成了若干了大小逐增、呈金字塔狀的若干子圖像.若共獲得子圖像u個(gè),假設(shè)第一級(jí)子圖像為分布在最中間最小子圖像,大小為（m/u）（n/u）.第二級(jí)圖像為第一級(jí)圖像外圍環(huán)矩形,以此類推,可以獲得u個(gè)大小不等的圖像.如,ORL人臉數(shù)據(jù)庫中一張圖片可以劃分為如下的4個(gè)子圖像,見圖2.

圖2 一張人臉圖片的子圖像劃分Fig.2 Division of sub-image of one face

1.2 基于局部二值模式的特征向量提取

為了減少運(yùn)算量,降低維數(shù),人為降低圖像的分辨率,再將低分辨率圖像進(jìn)行局部二值模式（LBP）的特征向量提取[12].局部二值模式最早用來描述紋理特征,由于計(jì)算簡(jiǎn)單、灰度平移不變性等特點(diǎn),得到了很多研究者的關(guān)注,已經(jīng)被廣泛運(yùn)用于紋理特征提取、人臉檢測(cè)、物體檢測(cè)、圖像識(shí)別等領(lǐng)域.局部二值模式的基本思想就是選取33窗口,將圍繞中心的值與中心值相比較,得到8位0或者1組成的數(shù)碼,再按照一定的順序組成二進(jìn)制碼,將二進(jìn)制碼轉(zhuǎn)換為十進(jìn)碼值即LBP值.LBP取值范圍為[0,255],獲取LBP直方圖,可以統(tǒng)計(jì)出所有LBP值存在的數(shù)量,將這些數(shù)量形成1256維的特征向量.

1.3 基于邊緣二值圖像的特征向量提取

1.3.1 獲取邊緣二值圖根據(jù)人眼對(duì)物體認(rèn)識(shí)的規(guī)律,只要有物品輪廓,就能對(duì)物體進(jìn)行比較準(zhǔn)確地識(shí)別.同樣地,對(duì)人臉進(jìn)行識(shí)別也一樣,通過獲取人臉的邊緣輪廓線,再提取特征進(jìn)行識(shí)別.

獲取邊緣的算子很多,比較成熟的有Roberts邊緣算子、Sobel邊緣算子、Prewitt邊緣算子、Laplacian邊緣算子、Log邊緣算子、Canny邊緣算子等.Canny邊緣算子雖然最為復(fù)雜,但目前是所有算子中最為優(yōu)秀的,在許多圖像處理領(lǐng)域得到廣泛應(yīng)用.該算子首先對(duì)要處理的圖像進(jìn)行平滑濾波,抑制圖像噪聲；其次采用一種非極值抑制的技術(shù),細(xì)化平滑后的圖像矩陣；最后通過雙閾值遞歸尋找圖像邊緣點(diǎn),實(shí)現(xiàn)邊緣提取.該方法不僅能夠找到強(qiáng)邊緣而且還能夠找到真正的弱邊緣.通過該算子,可以很好地提取出人臉邊緣.

1.3.2 特征向量的提取特征提取的好壞直接影響著識(shí)別的結(jié)果,因此特征提取至關(guān)重要.下面詳細(xì)介紹由Canny邊緣算子獲得的人臉邊緣二值圖的特征向量提取方法.

由于獲取的各個(gè)子圖像均為二值圖像,參照LBP算子理論,引出一個(gè)33模塊,見圖3.

圖3 33模塊Fig.3 33 Module

若二值圖像中有一33小塊圖像如圖4.

圖4 二值圖像中某一33圖像區(qū)域Fig.4 One 3×3 image area of binary image

將33模塊與33小塊圖像相運(yùn)算,可得圖5.

圖5 運(yùn)算結(jié)果Fig.5 Operation result

不考慮中心的數(shù)值,獲取二進(jìn)制碼為00010101,轉(zhuǎn)換為十進(jìn)制數(shù)值為21.值得注意的是,每個(gè)二進(jìn)碼選取的順序保持一致.

將子圖像與3×3模塊進(jìn)行如上運(yùn)算,可以獲得0-255之間的任意數(shù)值的矩陣M.再計(jì)算矩陣M的直方圖,橫坐標(biāo)為0～255,縱坐標(biāo)為對(duì)應(yīng)橫坐標(biāo)數(shù)值的個(gè)數(shù),那么可以得到1256維的特征向量.由于共有u個(gè)子圖像,那么最終可以得到人臉有1（256×u）維特征向量.其中,特征概率高的數(shù)值最為體現(xiàn)人臉顯著特征,因此選取最大出現(xiàn)頻率對(duì)應(yīng)的橫坐標(biāo)值作為一個(gè)特征.那么可以獲得人臉有1（257×u）維特征向量.

1.4 特征向量的融合

特征向量融合的算法很多,有基于CCA（典型相關(guān)分析）方法、有神經(jīng)網(wǎng)絡(luò)方法、有主成分分析（PCA）方法等.在已有的文獻(xiàn)中,PCA方法更多地是運(yùn)用在人臉特征向量提取方面,通過PCA方法獲取特征臉空間,再將測(cè)試樣本投影到特征臉空間進(jìn)行識(shí)別.而在本文中,考慮到特征向量維數(shù)很大,PCA方法可以實(shí)現(xiàn)降維,抽取主要成分,所以采用該方法獲取降維的融合特征向量.PCA思想如下：

假設(shè)二值模式的特征向量為w1,基于邊緣二值圖像的特征向量為w2,那么融合特征向量為W=（w1；w2）,計(jì)算W的協(xié)方差矩陣,可以獲得該矩陣的特征值和特征向量,取前v個(gè)最大的特征值求解對(duì)應(yīng)的特征向量,將這些特征向量組成投影矩陣X,將樣本特征向量W做變換Y=XTW,得到降維的特征向量.

1.5 近鄰方法分類判決

近鄰方法分類判決是指按照最近距離原則對(duì)測(cè)試樣本進(jìn)行分類.

將測(cè)試圖像樣本提取特征向量,再進(jìn)行特征融合,將融合的特征向量與訓(xùn)練圖像樣本的融合特征向量進(jìn)行近鄰運(yùn)算,從而判斷屬于哪一類人臉圖片.其中訓(xùn)練樣本獲得的融合特征向量為Yi,i表示第i個(gè)訓(xùn)練樣本；測(cè)試樣本獲得的融合特征向量為γ.近鄰方法分類見式（1）.

2 仿真與分析

為了驗(yàn)證文中所提算法的有效性和可行性,選用了Yale和ORL人臉數(shù)據(jù)庫中的若干張圖片作為訓(xùn)練樣本和測(cè)試樣本,在matlab7.0中進(jìn)行仿真實(shí)驗(yàn).Yale數(shù)據(jù)庫共有165張圖片,共有15個(gè)對(duì)象,每一對(duì)象有11張圖片.在此數(shù)據(jù)庫中隨機(jī)抽取了每個(gè)對(duì)象7張圖片作為訓(xùn)練樣本,剩下的每個(gè)對(duì)象4張圖片作為測(cè)試樣本.ORL人臉數(shù)據(jù)庫共有圖片400張,共有40個(gè)對(duì)象,每一對(duì)象有10張圖片.在此數(shù)據(jù)庫中隨機(jī)抽取每一對(duì)象6張圖片作為訓(xùn)練樣本,剩下的每個(gè)對(duì)象4張圖片作為測(cè)試樣本,具體實(shí)驗(yàn)步驟如下.

（1）為了消除光照對(duì)人臉識(shí)別的影響,將所有樣本進(jìn)行直方圖均衡化處理（見圖6）；

圖6 ORL數(shù)據(jù)庫中部分圖片的直方圖均衡化處理Fig.6 Histogram equalization processing of part of the picture in ORL database

（2）將所有樣本進(jìn)行二維bior小波分解,小波一次分解的過程就是去除高頻部分,主要顯示低頻部分信息,小波二次分解就是在一次分解的基礎(chǔ)上再進(jìn)行分解,獲取更為低頻的信息.實(shí)驗(yàn)顯示,一次分解的效果比較好,分辨率大概為原來的,二次分解分辨率很低,視覺效果來說并不是很佳.因此只實(shí)現(xiàn)一次分解獲取低分辨率的圖片.對(duì)低分辨率圖片提取局部二值模式的特征向量.

（3）將經(jīng)過直方圖均衡化處理過的圖像通過canny算子獲取二值邊緣圖像（見圖7）,再按照上文所提出的子圖像分塊的方法,將所有樣本分為4塊,根據(jù)上文給出的算法,提取邊緣二值圖像的特征向量；

圖7 ORL數(shù)據(jù)庫中部分圖片的二值圖像Fig.7 Binary image of part of the picture in ORL database

（4）將提取到的兩類特征向量通過PCA方法融合；選取前v個(gè)特征值,v的取值按照前v個(gè)特征值和與整個(gè)特征值和比例為80%以上.

（5）將同類型的訓(xùn)練樣本特征向量取均值,再通過近鄰方法分類判斷得出結(jié)果.通過仿真實(shí)驗(yàn),得出Yale和ORL人臉數(shù)據(jù)庫識(shí)別率見表1.

表1 Yale和ORL人臉數(shù)據(jù)庫識(shí)別率Tab.1 Recognition rate in Yale and ORL face database%

由表1可知,采用局部二值模式的特征向量進(jìn)行分類,識(shí)別效果沒有利用邊緣二值圖像的特征向量進(jìn)行分類效果好.因此,人臉輪廓特征在識(shí)別效果上要好于人臉紋理特征.將兩類特征向量融合進(jìn)行分類判斷,發(fā)現(xiàn)識(shí)別效果比利用任何一類特征向量識(shí)別效果好.由此可以得出結(jié)論,特征向量的選取對(duì)識(shí)別結(jié)果具有重要作用.

3 小結(jié)

考慮到人臉輪廓和紋理特征對(duì)識(shí)別的重要性,提出了一種基于邊緣二值圖像特征向量提取方法,并在此基礎(chǔ)上將局部二值模式特征向量和邊緣二值圖像特征向量融合來提高識(shí)別率.選用ORL和Yale人臉數(shù)據(jù)庫中所有樣本,通過matlab仿真驗(yàn)證,實(shí)驗(yàn)結(jié)果也表明了算法的有效性,對(duì)實(shí)際人臉識(shí)別應(yīng)用提供了參考.算法存在的不足就是側(cè)重于局部特征的提取,并沒有充分考慮全局特征的提取情況.但本文將不同局部特征進(jìn)行融合,彌補(bǔ)了對(duì)全局信息欠利用,得到了比較理想的識(shí)別結(jié)果.

[1]Turk M,Pentand A.Eigenfaces for recognition[J].Journal of cognitive neuroscience,1991,3（1）：71-86.

[2]朱玉蓮,陳松燦.特征采樣和特征融合的子圖像人臉識(shí)別方法[J].軟件學(xué)報(bào),2012,23（12）：3209-3220.

[3]Wang Y,Wu Y.Face recognition using intrinsicfaces[J].Pattern Recognition,2010,43（1）：3580-3590.

[4]Jelsovka D,Hudec R,Breznan M.Face recognition on FERET face database using LDA and CCA methods[J].IEEE Conference publications,2011,34：570-574.

[5]Lei J J,Lu C,Pan Z K.Enhancement of components in ICA for face recognition[J].IEEE Conference publications,2011,6：33-38.

[6]Cheng Y Q,Liu K,Yang J Y.A novel feature extraction method for image recognition based on similar discriminant function[J]. Pattern Recognition,1993,26（1）：116-125.

[7]Lowe D G.Distinctive image feature from scale-invariant keypoints[J].International journal of computer vision,2004,60（2）：91-110.

[8]戚大方,吳成東.基于Gabor小波變換與支持向量機(jī)的人臉識(shí)別[J].科技信息,2009（35）：31-32.

[9]尹洪濤,付平,沙學(xué)軍.基于DCT和線性判別分析的人臉識(shí)別[J].電子學(xué)報(bào),2009,37（10）：2211-2214.

[10]魯鵬,陳毅松,陳文廣.基于級(jí)聯(lián)的多特征融合人臉檢測(cè)算法[J].計(jì)算機(jī)工程,2011,37（2）：7-9.

[11]舒暢,丁曉青,方馳.多特征局部與全局融合的人臉識(shí)別方法[J].計(jì)算機(jī)工程,2011,37（19）：145-147,156.

[12]戴金波,肖宵,趙宏偉.基于低分辨率局部二值模式的人臉識(shí)別[J].吉林大學(xué)學(xué)報(bào)：工學(xué)版,2013,43（2）：435-438.

（責(zé)任編輯：盧奇）

Study of face recognition method based on feature fusion

Mei Rong
（Criminal Investigation Department,Nanjing Forest Police College,Nanjing 210023,China）

To improve the face recognition rate,a feature vector extraction method has been studied based on edge binary image.The feature vector has been extracted by local binary model and the method of face recognition by fusion of PCA for the two kinds of feature vectors has been proposed taking into account the difference between edge binary feature vector and partial binary feature vector.The experimental results showed that the face recognition method based on the fusion of two kinds of feature vectors can effectively improve the recognition rate.

face recognition；edge feature vector；partial binary model；PCA

TP301.6

A

1008-7516（2014）04-0070-05

10.3969/j.issn.1008-7516.2014.04.017

2014-04-22

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目（LGZD201325）

梅蓉（1978-）,女,江蘇海安人,博士,副教授.主要從事模式識(shí)別與保密通信研究.