融合主動外觀模型與局部二元模式的人臉識別

葉奇明，梁根

(1.茂名學院 理學院,廣東 茂名 525000；2.茂名學院 教育信息技術中心，廣東 茂名 525000)

計算機人臉識別技術是指利用計算機分析人臉圖像，進而從中提取出有效的識別信息，用來辨認“身份”的一門技術.人臉識別的第一步必須在圖片中確定人臉區(qū)域，即人臉定位或檢測.Viola和Jones[1]提出的基于Haar-Like特征的AdaBoost人臉檢測方法，能夠高效的從圖片中檢測出人臉.另外，Cootes根據(jù)形變物體的特性，提出了基于主動形狀模型ASM(active shape model)[2]和主動外觀模型AAM(active appearance model)[3]的人臉特征點檢測方法.上述的人臉以及人臉特征點定位方法都取得了很好的效果，得到了廣泛的推廣.

Martinez[4]比較了人臉多個特征點在識別過程中所起的作用，并據(jù)此賦予它們不同的權值.王蘊紅[5]首先利用主成分分析提取人臉全局特征，然后劃分人臉區(qū)域將各局部特征進行加權組合已達到人臉識別的目的.然而這些方法只是采用的一種籠統(tǒng)的加權策略，這無疑會在實際識別的過程中丟失許多獨特信息.

在本文中提出的識別算法是基于主動外觀模型AAM和局部二元模式LBP[6]的兩者的有機融合.首先利用AAM提取出人臉五官特征得到全局紋理特征，然后對面部主要器官(眉毛、眼睛、鼻子、嘴)的局部LBP特征進行加權組合.為了反映各局部特征之間的相對位置關系信息，采用模糊綜合的思想融合全局特征分類器的輸出，在XM2VTS人臉庫[6]上的實驗結果表明這兩者的融合策略能很好地結合人臉圖像全局和局部的互補信息，識別效果優(yōu)于各單一模塊的分類性能.

1 人臉識別中的特征提取

1.1基于主動外觀模型的全局特征提取AAM(active appearance model)模型是對象的表觀模型，表觀是形狀和紋理的組合，表觀模型是在形狀模型的基礎上結合對象的紋理模型而建立的.其中形狀模型使用點分布模型表示人臉上主要特征點的相對位置與空間關系，然后對所有的形狀進行歸一化處理，接著采用主成分分析的方法對形狀歸一化后的數(shù)據(jù)進行處理，得到平均形狀S0和按特征值大小排序后的前k個形狀特征向量Si.形狀模型描述了平均形狀和由各種原因引起的形狀變化模式，其表示如下：

(1)

(2)

其中，A0(x)、Ai(x)是應用PCA之后的平均表觀和特征值排序的前m個表觀特征變化向量.

在實驗中，AAM通過20個人的240張靜態(tài)圖像來構建，每幅圖像手工標定68個點.為了進一步提高算法的魯棒性及效率，采用三層金字塔的策略來實現(xiàn)由粗到精的搜索.圖1顯示了AAM搜索的過程示意圖：(a)為原始圖像，(b)為應用人臉檢測后的初始化形狀，(c)為迭代3次后的效果，(d)為經過13次迭代的最終收斂結果.

圖1 AAM匹配過程

給定一張人臉圖像，首先AAM定位出人臉的特征點，其相應的紋理A(x)也隨之而得.隨后，我們通過該紋理向量在其紋理子空間上的投影得到一個相對低維向量表示λ，這樣就可以計算其與圖像庫中第i個人臉的距離di：

(3)

1.2基于LBP的局部特征的提取到目前為止，大多數(shù)人臉識別方法主要的依據(jù)還只是待識別者面部的全局特征.不可否認，人臉局部特征在整個識別過程中起著舉足輕重的地位與作用.有關心理學與神經科學的研究表明，全局特征和局部特征對于人臉感知與識別都是不可或缺的；全局特征描述通常作為感知的前端輸入信息.如果待識別者擁有特別明顯的局部特征，則全局描述就會退居到一個比較次要的地位.

圖2 基本的LBP算子

局部二元模式LBP(local binary pattern)[7]是描述圖像紋理特征的一種優(yōu)秀算子，它通過對圖像任一點與其周圍點的灰度值大小的準確描述來表征圖像中的局部紋理的空間結構，具有一定的抗旋轉、亮度變化等能力.LBP的計算過程如圖2所示：以該點位為中心，3×3大小為窗口，窗口中的每個像素點與中心點相比較，大于等于中心點灰度值的用1表示，反之用0，然后根據(jù)順時針方向將這些值進行二進制編碼，此編碼值就是該點的LBP值.最后以直方圖的形式統(tǒng)計出整個區(qū)域中每個特征值的數(shù)量，由此作為對圖像的紋理特征的描述.

圖3是將人臉分解成左眼、右眼、鼻、嘴共4個局部區(qū)域，它們包含了面部的主要信息.這些局部區(qū)域的分割依賴于人臉特征點的準確定位，而在AAM定位人臉特征點的時候，可以準確獲知這些關鍵特征點的位置.如圖3所示，我們分別計算每個區(qū)域的LBP直方圖，然后將所有的融合成一個整體直方圖.

圖3 局部特征表示

在識別過程中，我們采用加權卡方距離作為測試樣本和模板之間的直方圖差異的度量工具：

(4)

其中，ωj為局部區(qū)域對應的權重，S為待識別人臉圖像的LBP直方圖，M代表庫中某個人臉圖像的LBP直方圖.當該待識別圖像與庫中某張人臉圖像的卡方距離最小時，則表明這兩張圖像屬于同一個人.

2 特征融合

通過AAM和LBP的介紹，分別得到了人臉描述的全局特征和局部特征，并分別用最近鄰分類進行了第一級的識別.在本節(jié)中，我們研究如何將兩者結合起來以提高最終的識別率.

模糊集理論是由Zadeh提出的，他認為每一個元素可以以一定的程度屬于某個集合，也能以不同的程度同時屬于幾個集合.由于模糊集大量使用日常生活中一些含義確定但又不準確的概念，提供了非常彈性的描述，因此它被認為是解決常識性問題的最合適的數(shù)學工具.從人的認知角度出發(fā)，同一個人臉的不同圖像當然屬于一個確定集合.然而由于各種因素的干擾，同一個人樣本之間的差異有可能大于不同人樣本之間的差異，就是說它們在人臉空間中的分布并不能很好地滿足緊致性.所以我們需要得到模糊的分類結果，或者說是分類結果模糊化.

設在人臉識別的特征提取階段，我們得到樣本庫的具體表示：

Ω=xij|i=1,2,…,C,j=1,2,…,Nc

(5)

(6)

其中，mi為第i類的均值向量.

假定每個類近似服從于高斯分布，待識別圖像的特征表示為y，則其相對于各類人臉的隸屬度為：

(7)

我們分別對全局特征和局部特征做上述模糊識別，得到兩組模糊結果：

(8)

將這兩組結果根據(jù)文獻[8]的模糊綜合的原理得到結果作為最終的判別依據(jù)(k為大于1的任意實數(shù))：

(9)

3 實驗結果與分析

圖4 人臉識別原型系統(tǒng)演示

在X86 PC Microsoft Visual C++環(huán)境下進行原型系統(tǒng)設計，其運行的過程如圖4所示.左邊一欄是待識別人臉圖像，右邊一欄是從訓練庫中識別出來的人臉，每張人臉下面顯示了待識別人臉與圖像庫中人臉的匹配程度.系統(tǒng)的運行速度不到1 s，滿足在線要求.

為檢驗本文算法的有效性，對XM2VTS人臉庫中的樣本進行了實驗.XM2VTS包含了295人在4個不同時間段的圖像.其中大多數(shù)均為正面人臉,包含了各種表情、光照、平面內旋轉、小幅度俯仰姿態(tài)、深度旋轉.我們從中挑選了沒有戴眼鏡以及遮擋的212人共1 800張圖作為我們的實驗樣本，圖5顯示了XM2VTS庫中的代表圖像.

為了驗證本文中的兩種特征的融合算法的有效性，比較了幾種典型的人臉識別方法，其中包括基于AAM的全局特征、基于LBP的局部特征、基于PCA和LDA的子空間方法、基于Gabor特征的識別、以及本文中的基于AAM和LBP的模糊融合等方法.在實驗中，把每個人的人臉圖像分成兩份，其中一份用來訓練，另外一份用作識別.表1列出了識別率結果.由此可以看出，本文中的識別算法相比較其他算法而言是比較有效的.

圖5 XM2VTS人臉庫示例圖

方法AAM全局特征LBP局部特征PCA+LDAGabor特征AAM+LBP+Fuzzy識別率0.8840.8910.8760.9150.928

圖6 AAM、LBP、PCA+LDA、Gabor 以及AAM+LBP+Fuzzy的識別率比較

為了進一步說明本文算法的有效性，我們借助于另一種比分類誤差更通用的分類性能度量是ROS(rank order statistic)，該方法首先在FERET臉像識別算法的評估協(xié)議中被提出，它定義為一個測試度量的實際類別在它的最前k個匹配值之間的累積概率.性能統(tǒng)計特性以累積匹配分值(cumulative match scores)來報告，階次k畫在橫軸上，而垂直軸是正確匹配的累計百分比.我們也使用ROS評估了算法的性能.圖6是上述5種識別算法在XM2VTS庫上的更為詳細的實驗結果比較.(注意，表1的分類精度實質上等價于rank=1).

從圖6中可以看出，只使用全局特征或者是某些局部特征的識別效果略微有些不盡如人意，一方面，是因為每一局部特征區(qū)域的面積很小，包含的信息有限；另一方面,全局特征實質上依賴于圖像像素灰度之間的相關信息，對幾何校準的精確度十分敏感.通過組合各局部特征，識別效果有明顯的提高.另外注意到，本文中的算法相比較Gabor特征，識別率有一定的提高，也能有效處理光照的變化情況.

4 結論

在本文中提出的一種融合主動外觀模型AAM與局部二元模式LBP的人臉識別算法，既考慮到人臉整體構型的全局信息，又兼顧每一局部區(qū)域的個性信息，以構造更加準確、魯棒的識別系統(tǒng).為此，我們首先利用AAM進行人臉特征點提取，獲得人臉紋理特征的全局描述；然后依據(jù)人面部局部特征的重要程度采用加權的LBP進行直方圖匹配；最后采用基于模糊綜合對上兩階段的分類結果進行有效融合.在XM2VTS人臉庫上的實驗結果表明：通過數(shù)據(jù)融合使人臉識別率有了顯著提高，可以達到大約93%.同時與其他識別方法的比較也進一步說明了本文算法的優(yōu)越性.但對于非標準人臉庫圖象的識別，由于受到表情、光照、角度等多方面影響，如何提升真實環(huán)境下的人臉識別效果還有待進一步研究.

參考文獻：

[1]Viola P,Jones M.Rapid object detection using a boosted cascade of simple features[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Kauai,Hawaii,2001:1511-1518.

[2] Cootes T F,Taylor C J,Cooper D H,et al.Active shape models their training and application[J].Computer Vision and Image Understanding,1995,61(1):38-59.

[3] Cootes T F,Edwards G,Taylor C J. Active appearance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(6):681-685.

[4] Martinez A,Kak A.PCA versus LDA[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(2):228-233.

[5] 王蘊紅，范偉，譚鐵牛.融合全局和局部子空間的人臉識別算法[J].計算機學報，2005,28(10):1657-1663.

[6] Messer K, Matas J, Kittler J,et al.XM2VTSDB: the extended M2VTS database[C].Second International Conference on Audio and Video-based Biometric Person Authentication,Washington DC,USA,1999:72-77.

[7] Ahonen T, Hadid A, Pietik M ainen.Face recognition with local binary patterns[C].Proceedings of the 8th European Conference on Computer Vision,2004:469-481.

[8] Odeberg H.Fusion sensor information using fuzzy measures[J].Robotica,1989,31:217-242.