一種多角度的人臉識(shí)別方法*

楊 凡， 余水映， 周祥明

(浙江師范大學(xué) 數(shù)理與信息工程學(xué)院,浙江 金華 321004)

0 引 言

人臉角度、光照和面部表情中任一因素的變化都會(huì)對(duì)人臉識(shí)別系統(tǒng)的識(shí)別率產(chǎn)生較大的影響.大多數(shù)人臉識(shí)別系統(tǒng)只有在特定環(huán)境下才會(huì)取得令人滿意的結(jié)果，對(duì)沒(méi)有任何約束條件下的人臉進(jìn)行識(shí)別是一項(xiàng)極具挑戰(zhàn)性的工作.

基于多角度的人臉識(shí)別方法大致可以分為2類：基于2D的方法和基于3D的方法.筆者曾提出過(guò)一種基于RP-LDA的人臉識(shí)別方法[1]，它對(duì)不同光照條件下的人臉具有較好的識(shí)別率.1994年，文獻(xiàn)[2]提出了基于多角度特征空間的識(shí)別方法,通過(guò)計(jì)算輸入圖像到多個(gè)特征空間的距離，然后根據(jù)距離選取某一角度的特征空間，這樣輸入的人臉圖像就可以用該特征空間的向量合成;文獻(xiàn)[3]提出了多角度的AAM算法，其基本思想是通過(guò)一些特征點(diǎn)描述一個(gè)人臉的形狀并得到該形狀內(nèi)的紋理信息,且已證明該方法是可行的，也驗(yàn)證了在人臉發(fā)生旋轉(zhuǎn)時(shí)能夠?qū)ζ溥M(jìn)行很好的跟蹤；文獻(xiàn)[4]提出了一種基于靜態(tài)分析的仿射變換算法，并在FERET人臉庫(kù)上進(jìn)行了測(cè)試，雖然該方法與那些沒(méi)有進(jìn)行姿態(tài)矯正的算法相比在識(shí)別率上有所提高，但總體的識(shí)別率還是較低，特別當(dāng)人臉的旋轉(zhuǎn)角度超過(guò)30°時(shí)，識(shí)別率只有50%左右.受文獻(xiàn)[3]基于多角度的人臉跟蹤算法的啟發(fā)，本文提出了一種多角度的人臉識(shí)別方法，它可以把任意角度的人臉轉(zhuǎn)化為正面人臉.實(shí)驗(yàn)表明:該方法在人臉旋轉(zhuǎn)角度較大時(shí)，與PCA等方法相比具有較高的識(shí)別率.

1 AAM算法

1998年，Cootes[5]提出了AAM算法，它是在對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的基礎(chǔ)上建立模型，然后利用先驗(yàn)?zāi)Ｐ蛯?duì)圖像中的目標(biāo)物體進(jìn)行匹配運(yùn)算.AAM不僅利用形狀信息,而且對(duì)重要的臉部紋理信息也進(jìn)行了統(tǒng)計(jì)分析，并試圖找出形狀與紋理之間的聯(lián)系.

AAM一般分為2個(gè)部分:模型建立和對(duì)應(yīng)的擬合計(jì)算.

1.1 AAM建模

AAM是對(duì)象的動(dòng)態(tài)表觀模型，表觀是形狀和紋理的組合，表觀模型是在形狀模型的基礎(chǔ)上結(jié)合對(duì)象的紋理而建立的.AAM模型實(shí)例就是將AAM的紋理通過(guò)仿射變換的形式映射到對(duì)應(yīng)的形狀實(shí)例中去，得到描述當(dāng)前對(duì)象的模型.所以,實(shí)現(xiàn)AAM表觀建模首先要實(shí)現(xiàn)形狀和紋理建模.

實(shí)現(xiàn)形狀建模，首先對(duì)訓(xùn)練圖像手工標(biāo)記V個(gè)特征點(diǎn)，并讓這些點(diǎn)的位置集合構(gòu)成形狀S(S=(x1,y1;x2,y2;…;xV,yV))；其次對(duì)所有訓(xùn)練圖像對(duì)應(yīng)的形狀進(jìn)行歸一化處理，歸一化是指以某個(gè)形狀為基準(zhǔn)，對(duì)其他形狀進(jìn)行旋轉(zhuǎn)、縮放和平移，使得其盡可能地與基準(zhǔn)形狀的整體位置相接近；最后用主成分分析法(PCA)對(duì)形狀歸一化后的數(shù)據(jù)進(jìn)行處理，得到平均形狀S0和按特征值大小排序后的前n個(gè)形狀特征向量Si.因而,AAM中形狀S可以用線性方程表達(dá)，即

(1)

所以,在給定任意一組形狀參數(shù)bs后就能得到一個(gè)S.這就是AAM的形狀模型實(shí)例.當(dāng)根據(jù)人臉圖像的形狀進(jìn)行訓(xùn)練得到平均形狀S0和形狀特征向量Si后，就完成了對(duì)形狀的建模.

當(dāng)完成形狀建模后，得到了對(duì)應(yīng)的AAM的形狀特征向量Si和平均形狀S0.先將S0和訓(xùn)練集中的人臉形狀分別Delaunay三角化，然后通過(guò)分段線形仿射的方法將訓(xùn)練人臉形狀中的紋理映射到S0中，實(shí)現(xiàn)對(duì)紋理歸一化采樣，再對(duì)歸一化后的紋理信息進(jìn)行PCA處理,得到平均紋理A0和按特征值大小排序后的前m個(gè)紋理特征向量Ai.紋理與AAM的形狀非常相似，也可以用線性表達(dá)式表示

(2)

因此，在任意設(shè)置一組紋理參數(shù)bg后，通過(guò)式(2)就能得到一個(gè)紋理模型實(shí)例.

表觀模型則是進(jìn)一步將式(1)定義的形狀模型和式(2)定義的紋理模型融合起來(lái)，即將bs和bg串連起來(lái)得到表觀向量

(3)

式(3)中對(duì)角陣ws用來(lái)調(diào)整bs和bg之間綱量的不同.對(duì)得到的b進(jìn)行PCA處理，進(jìn)一步消除形狀和紋理之間的相關(guān)性，從而得到表觀模型

(4)

1.2 AAM擬合

基于上述建立好的AAM表觀模型，輸入一幅新的人臉圖像In，AAM對(duì)其進(jìn)行特征配準(zhǔn)的基本思路就是對(duì)一個(gè)表觀模型系數(shù)c的最優(yōu)化過(guò)程，以最終達(dá)到模型紋理與輸入紋理的最佳匹配.具體的是要最優(yōu)化下式的目標(biāo)函數(shù)：

Δ=|δg|2=|gs-gm|2.

(5)

式(5)中：gm通過(guò)式(2)計(jì)算得到；gs則是輸入圖像根據(jù)當(dāng)前形狀S形變到平均形狀得到的紋理.

盡管上述優(yōu)化過(guò)程比較清晰明了，但通常來(lái)說(shuō)表觀模型參數(shù)可能有數(shù)十個(gè)之多，因此，一般優(yōu)化算法的速度不夠快.Cootes等進(jìn)一步提出了一種基于紋理預(yù)測(cè)參數(shù)變化的啟發(fā)式參數(shù)搜索策略[5]，這種策略利用了輸入模型紋理差別δg,模型參數(shù)變化δc及相似變換參數(shù)變化δ?之間存在的一定程度的線性關(guān)系.因此,可以通過(guò)線性回歸進(jìn)行參數(shù)預(yù)測(cè)，即

δc=Rcδg;

(6)

δ?=R?δb.

(7)

其中線性回歸變換矩陣Rc和R?可以在訓(xùn)練階段通過(guò)人為加擾的方法得到.

AAM搜索流程如下：

1)初始化t=0,模型參數(shù)初始化為c=0；

2)計(jì)算模型紋理和當(dāng)前紋理之差δg=gs-gm；

3)利用線性回歸模型預(yù)測(cè)參數(shù)變化δc=Rcδg；

4)嘗試新的模型參數(shù)c′t=ct-kδc,k=1;

5)重新計(jì)算誤差函數(shù)δ′g；

6)比較‖δg‖，‖δ′g‖的大??；

7)如果‖δ′g‖<‖δg‖，則接受c′t作為新的參數(shù)，否則就轉(zhuǎn)4)，嘗試k=1.5，0.5，0.25等；

8)t=t+1，如果|‖δ′g‖-‖δg‖|<ξ或者迭代次數(shù)t超過(guò)預(yù)定次數(shù)，則退出，否則轉(zhuǎn)2).

2 合成正面人臉

2.1 多角度模型和姿態(tài)的估計(jì)

根據(jù)Cootes等在文獻(xiàn)[3]中提出的方法，首先，假設(shè)模型表觀參數(shù)可以由人臉旋轉(zhuǎn)的角度線性表示

c=c0+cxcosθ+cysinθ.

(8)

式(8)中的向量c0,cx和cy是從訓(xùn)練樣本中估計(jì)得到的.這里只考慮人臉在x軸方向的旋轉(zhuǎn)(在y方向的角度變化也可以用相似的方法得到).

當(dāng)?shù)玫揭环氯四槇D像的模型表觀參數(shù)c后，由式(8)可得

(9)

根據(jù)式(9)就可以估計(jì)人臉旋轉(zhuǎn)的角度.

假設(shè)(cx,cy)的逆可以由R-1c表示，則式(9)可以變?yōu)?/p>

(10)

2.2 正面人臉的合成

本文分別建立±45°,±25°和0°共5個(gè)AAM.當(dāng)有一幅人臉圖像輸入的時(shí)候，首先用這5個(gè)模型進(jìn)行擬合；然后取gm和gs之間誤差最小所對(duì)應(yīng)的表觀參數(shù)，進(jìn)而根據(jù)式(10)估計(jì)人臉旋轉(zhuǎn)的角度；最后定義cres為剩余向量，它不能被多角度模型所表示，可以根據(jù)下式計(jì)算得到:

cres=c-(c0+cxcosθ+cysinθ).

(11)

根據(jù)下式，就能夠重構(gòu)任意角度α的人臉?biāo)鶎?duì)應(yīng)的表觀參數(shù):

c(α)=c0+cxcosα+cysinα+cres.

(12)

因?yàn)楸疚闹恍枰铣烧娴娜四?，所以取?0°即可，則式(12)可以變?yōu)?/p>

c(0)=c0+cx+cres.

(13)

根據(jù)式(4)就可以得到0°時(shí)所對(duì)應(yīng)的紋理參數(shù)bg和形狀參數(shù)bs，從而根據(jù)紋理參數(shù)bg合成正面的人臉.圖1所示分別為一個(gè)人的側(cè)面人臉、由側(cè)面人臉經(jīng)過(guò)以上算法合成的正面人臉、正面人臉以及正面人臉影射到平均形狀的人臉.從圖1可以看出，合成的正面人臉與正面人臉差別并不大.

圖1 側(cè)面人臉、合成的正面人臉、正面人臉以及正面人臉影射到平均形狀的人臉

3 AAM和LDA的人臉識(shí)別

假設(shè)一共有M幅人臉圖像，每幅人臉圖像的大小是N×N.基于AAM-LDA算法的人臉識(shí)別可根據(jù)以下步驟來(lái)實(shí)現(xiàn)：

1)根據(jù)第1部分提到的算法訓(xùn)練得到5個(gè)不同角度的AAM模型，以及對(duì)應(yīng)的紋理參數(shù)和表觀參數(shù).

2)用訓(xùn)練圖像的表觀參數(shù)估計(jì)得c0,cx和cy.

3)把訓(xùn)練圖像的紋理系數(shù)當(dāng)作降維處理后的人臉圖像yi，并用來(lái)計(jì)算平均人臉

(14)

(15)

(16)

6)把降維后的人臉圖像yi投影到W上,即

fi=WTyi.

(17)

訓(xùn)練集中的每一個(gè)人臉經(jīng)過(guò)上面的變換后，可以由投影系數(shù)fi來(lái)表示.在進(jìn)行人臉識(shí)別時(shí)，輸入的人臉也須經(jīng)過(guò)AAM和多角度模型處理，首先得到合成正面人臉?biāo)枰募y理參數(shù),然后通過(guò)LDA變換得到系數(shù)f,最后用最鄰近準(zhǔn)則來(lái)判別待測(cè)試的人臉圖像與它最近的樣本圖像是否屬于同一類.

4 實(shí) 驗(yàn)

本文用自己拍攝的人臉圖像進(jìn)行實(shí)驗(yàn)，在光照條件變化較小的情況下，對(duì)20個(gè)人進(jìn)行拍攝，每人60幅，共1 200張圖像，正面、左側(cè)面和右側(cè)面的人臉圖像分別為400幅.同時(shí),對(duì)300幅(每人每個(gè)方向各5幅)人臉圖像進(jìn)行特征點(diǎn)標(biāo)記，每幅人臉圖像中有46個(gè)特征點(diǎn)(如圖2所示).然后用特征點(diǎn)標(biāo)記好的300幅人臉圖像訓(xùn)練得到5個(gè)不同角度的AAM模型，并根據(jù)訓(xùn)練得到的表觀參數(shù)估計(jì)c0,cx和cy.最后用剩余的900幅不同角度的人臉圖像進(jìn)行測(cè)試，分別記錄用AAM-LDA算法和用PCA算法的識(shí)別率.

從圖3可以看出，當(dāng)人臉旋轉(zhuǎn)角度為0°(也就是正面人臉圖像)時(shí)，AAM-LDA與原始的PCA算法的識(shí)別率都能達(dá)到90%左右，但還是AAM-LDA的識(shí)別率稍好一些.當(dāng)人臉旋轉(zhuǎn)角度為±25°時(shí)，AAM-LDA算法的識(shí)別率明顯比PCA的高.這是由于通過(guò)AAM和多角度模型能夠獲得合成正面人臉?biāo)枰募y理系數(shù)，然后用該紋理系數(shù)通過(guò)LDA獲取最佳分類特征.

圖2 進(jìn)行特征點(diǎn)標(biāo)記圖像

圖3 AAM-LDA和PCA的識(shí)別率

本文提出了一種較魯棒的多角度人臉識(shí)別算法.從實(shí)驗(yàn)結(jié)果可知，當(dāng)人臉旋轉(zhuǎn)角度較大時(shí)，用AAM-LDA算法進(jìn)行識(shí)別，識(shí)別率與PCA相比具有較大的優(yōu)勢(shì).

[1]Yang Fan,Zhou Xiangming,Duanmu C J.Face Recognition Method Based on RP and LDA[J].Journal of Information and Computational Science,2008,7(11):885-894.

[2]Pentland A V,Moghaddam B,Starner T.View-based and Modular Eigenspace for face recognition[C]//Proc of IEEE Conference on CVPR ’94.Seattle:PAMI TC,1994:84-91.

[3]Cootes T F,Walker K,Taylor C J.View-based Active Appearance Models[M]//IEEE Proc of the 4th IEEE International Conference on AFGR 2000.Los Alamitos:IEEE Computer Society Press,2000:227-232.

[4]Chai Xiujian,Shan Shiguang,Gao Wen.Pose normalization for robust face recognition based on statistical affine transformation[C]//Information,Communication and Signal Processing,and the 4th Pacific Rim Conference on Multimedia.Singapore:PCM,2003:1413-1417.

[5]Cootes T F,Edwards G J,Taylor C J.Active Appearance Models[M]//Burkhard H,Neumann B.Proc of the 5th European Conference on Computer Vision.Heidelberg:Springer,1998:484-498.