基于面部表情GEM和稀疏立方矩陣的三維人臉識(shí)別方法

易唐唐，董朝賢

(1.湖南女子學(xué)院 信息技術(shù)系，湖南 長(zhǎng)沙 410004; 2.三門(mén)峽職業(yè)技術(shù)學(xué)院 信息傳媒學(xué)院，河南 三門(mén)峽 472000)

基于面部表情GEM和稀疏立方矩陣的三維人臉識(shí)別方法

易唐唐1，董朝賢2

(1.湖南女子學(xué)院 信息技術(shù)系，湖南 長(zhǎng)沙 410004; 2.三門(mén)峽職業(yè)技術(shù)學(xué)院 信息傳媒學(xué)院，河南 三門(mén)峽 472000)

針對(duì)姿態(tài)和表情變化對(duì)3D人臉識(shí)別影響較大的問(wèn)題，提出一種基于面部表情通用彈性模型(generic elastic models, GEM)和稀疏立方矩陣的3D人臉識(shí)別方法。利用面部表情通用彈性模型構(gòu)造3D人臉數(shù)據(jù)庫(kù)，3D重建模型為所有人臉姿態(tài)創(chuàng)建稀疏立方矩陣(sparse cubic matrix， SCM)，并利用自動(dòng)頭部姿態(tài)估計(jì)法獲得人臉圖像中三元組角度的初始估計(jì)值；為每個(gè)子集估計(jì)的三元組角度選擇SCM的陣列；通過(guò)稀疏表示從SCM中選擇陣列與探針圖像。在FERET,CMU PIE和LFW數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)驗(yàn)證了提出方法的有效性。與幾種優(yōu)秀3D人臉識(shí)別方法相比，提出的方法識(shí)別率更高，當(dāng)姿態(tài)變化角度較大時(shí)尤為明顯。此外，對(duì)于480×640圖像，LFW數(shù)據(jù)庫(kù)上，預(yù)處理、人臉檢測(cè)和分類的總平均處理時(shí)間僅為89.4 ms。

3D人臉識(shí)別；面部表情通用彈性模型；稀疏立方矩陣；三元組角度；實(shí)時(shí)性

0 引 言

大多數(shù)人臉識(shí)別方法在約束條件下，即人臉姿態(tài)變化小、光照等外部條件影響弱時(shí)，均能表現(xiàn)出較好的識(shí)別性能[1]。但是，當(dāng)拍攝角度大幅度變化時(shí)，性能下降非常明顯[2]。盡管最近幾年，將魯棒性融入到頭部姿態(tài)變化已經(jīng)有了一些改進(jìn)，但真實(shí)世界的姿態(tài)不變?nèi)四樧R(shí)別[3]依然是計(jì)算機(jī)視覺(jué)領(lǐng)域中最困難和最具挑戰(zhàn)的任務(wù)之一。

姿態(tài)不變?nèi)四樧R(shí)別方法主要分為2種類型：①二維(two-dimensional, 2D)方法，包括基于子空間的方法，即在2D空間中提取人臉姿態(tài)[4]；②基于三維(three dimensional, 3D)模型的方法是利用3D模型表示人臉姿態(tài)[1,5]。本文主要討論3D模型。

文獻(xiàn)[6]提出了3D形變模型(3D morphable model, 3DMM)，在該模型中，每張人臉用3D模型的線性組合表示，利用綜合分析框架重建結(jié)構(gòu)和紋理參數(shù)。其主要缺點(diǎn)是圖像重建擬合參數(shù)的計(jì)算復(fù)雜度較高。

文獻(xiàn)[7]提出了一種快速魯棒識(shí)別方法，可在非限制環(huán)境下運(yùn)行。首先生成3D形變模型，根據(jù)人臉特征提取人臉圖像的姿態(tài)和形狀變換的Gabor濾波，然后在適應(yīng)Gabor特征的姿態(tài)上應(yīng)用主成分分析(principal component analysis，PCA)以消除冗余。然而，并沒(méi)有給出拍攝角度大幅度變化時(shí)的解決方法。

文獻(xiàn)[8]針對(duì)姿態(tài)不變?nèi)四樧R(shí)別提出了一種判別多耦合潛在子空間的方法，在不同視野中，相同子集的投影圖像與其潛在子空間最相關(guān)。其中，人工模擬的姿態(tài)誤差判別對(duì)由于錯(cuò)誤評(píng)估引起的姿態(tài)誤差具有一定魯棒性。同時(shí)，文獻(xiàn)[8]給出了3種常見(jiàn)潛在空間學(xué)習(xí)方法：潛子空間的有偏最小二乘法(partial least squares, PLS)、雙線性模型(bilinear model, BLM)和標(biāo)準(zhǔn)相關(guān)分析(canonical correlation analysis, CCA)，并對(duì)這些方法進(jìn)行比較分析。

文獻(xiàn)[9]提出了一種基于馬爾可夫隨機(jī)場(chǎng)(Markov random field, MRF)的分類方法，該方法將已匹配圖像間的能量作為標(biāo)準(zhǔn)，將合并圖像匹配方法作為識(shí)別過(guò)程的一部分，使得系統(tǒng)對(duì)適度的全局空間轉(zhuǎn)換更加魯棒。同時(shí)，通過(guò)基于多尺度超級(jí)耦合轉(zhuǎn)換，加快了加權(quán)信息傳遞和推理速度。然而，在匹配之前沒(méi)有利用形狀統(tǒng)計(jì)，使得系統(tǒng)對(duì)虛假結(jié)構(gòu)和離群值的魯棒性不佳。

文獻(xiàn)[10]利用稀疏表征的多分類器融合，對(duì)人臉圖像進(jìn)行多分辨率分塊操作，根據(jù)每個(gè)子塊的識(shí)別率確定各自權(quán)重，計(jì)算獲得后驗(yàn)概率估值，然后利用加權(quán)融合準(zhǔn)則和多分類器融合進(jìn)行人臉識(shí)別。但是，稀疏表征的多分類器融合不能保證聯(lián)合優(yōu)化產(chǎn)生的字典具有原子性。

本文利用正面人臉圖像創(chuàng)建3D模型，采用面部表情通用彈性模型(facial expression generic elastic model, FE-GEM)。將圖庫(kù)中每張3D重建人臉合成為所有可能的視圖，并基于每個(gè)人臉姿態(tài)的三元組角度(包括偏航、傾斜和轉(zhuǎn)動(dòng))，生成稀疏立方矩陣(sparse cube matrix, SCM)，利用稀疏表示和3D重建深度識(shí)別人臉。該文主要貢獻(xiàn)總結(jié)如下。

1)提出一種處理臉部表情變化的FE-GEM方法，重建模型比原始通用彈性模型(generic elastic models, GEM)方法更精確；

2)為了在現(xiàn)實(shí)場(chǎng)景中執(zhí)行姿態(tài)不變?nèi)四樧R(shí)別，基于每個(gè)圖庫(kù)人臉姿態(tài)的角度，通過(guò)3D人臉重建和稀疏表示生成SCM；

3)提出的方法速度迅速，接近實(shí)時(shí)。

1 利用2D圖像構(gòu)造3D數(shù)據(jù)庫(kù)

為了在現(xiàn)實(shí)場(chǎng)景中構(gòu)造來(lái)自圖像的3D數(shù)據(jù)庫(kù)，將GEM[11]進(jìn)行擴(kuò)展，提出了FE-GEM。

1.1 利用GEM進(jìn)行3D人臉重建

對(duì)于正面人臉的3D重建，文獻(xiàn)[11]提出的GEM方法可在不同光照條件和局部人臉姿態(tài)中重建3D人臉，更多內(nèi)容可以參考文獻(xiàn)[11]。圖1所示為GEM方法。在此基礎(chǔ)上，首先利用人臉特征檢測(cè)人臉，將每張人臉劃分為多邊形的網(wǎng)格(P)。相應(yīng)地，將人臉的通用深度模型(D)劃分為來(lái)自臉部標(biāo)點(diǎn)的網(wǎng)格(M)。

圖1 來(lái)自單一正面人臉圖像的3D人臉重建方法Fig.1 3D face reconstruction method using single frontal face image

為了獲得近似深度數(shù)據(jù)，利用分段仿射變換將M人臉特征中取樣的變形深度圖像(depth-image, D)映射到多邊形網(wǎng)格上。在輸入的人臉圖像中，每個(gè)像素都在深度模型中有一個(gè)對(duì)應(yīng)像素，且深度模型的密度用于評(píng)估輸入人臉圖像的深度。最后，將具有2D人臉特征的輸入圖像插入到3D模型中。

利用GEM方法的3D人臉模型表示為

Tr=I(P(x,y,z))=(Px,y,z,Gx,y,z,Bx,y,z)

(1)

1.2 面部表情通用彈性模型FE-GEM

本節(jié)測(cè)量3D人臉模型的面部表情深度變化，在GEM框架中應(yīng)用3種模型，圖2給出了這3種模型，包括驚訝平均模型(surprised mean model, SMM)、中立平均模型(neutral mean model, NMM)和高興平均模型(happy mean model, HMM)，這3種模型通過(guò)本文方法從Bosphorus數(shù)據(jù)庫(kù)中生成，在文獻(xiàn)[11]中用以生成通用模型。本文側(cè)重點(diǎn)是人臉姿態(tài)的變化，而非表情變化，且較多的表情將使期望模型((2)式)更加復(fù)雜，無(wú)益于人臉姿態(tài)變化的研究，故隨機(jī)選取6種表情中的3種，這里選取驚訝、中立和高興。

圖2 深度圖像的3種通用模型Fig.2 Three general models of depth images

根據(jù)相似系數(shù)使用GEM框架的3種通用模型以形成期望模型。該模型形式為

D=S×DS+N×DN+H×DH

(2)

(2)式中:D表示新的深度模型；DS為GEM的“驚訝”表情輸出深度模型；DN為GEM的“中立”表情輸出深度模型；DH為“高興”表情輸出深度模型；S，N和H分別為“驚訝”“中立”和“高興”的系數(shù)。

通過(guò)2D人臉圖像和相關(guān)深度圖像，計(jì)算2D人臉輸出圖像中的距離比(DR)以獲得重構(gòu)系數(shù)

(3)

(3) 式中:dCR-CL為臉頰右地標(biāo)(CR)和臉頰左地標(biāo)(CL)之間的距離；dSU-SD為口點(diǎn)上地標(biāo)(SU)和口點(diǎn)下地標(biāo)(SD)之間的距離。如圖3所示，利用臉頰左地標(biāo)標(biāo)記(cheek left marking, CLM)的72種標(biāo)記方案。

圖3 利用CLM的72種標(biāo)記方案Fig.3 72 mark programs using CLM

相似參數(shù)(SP)定義為

SPi=±1-(DRi-DR),i=S,N,H

(4)

(4)式中：DRi為“驚訝”平均模型(i=S)、“中立”平均模型(i=N)和“高興”平均模型(i=H)中的距離比；DR為2D人臉輸入圖像中的距離比，并在0和1之間歸一化DR和DRi值。在(4)式中，當(dāng)DRi-DR為肯定或否定時(shí)，分別使用+1或-1表示。

因此，重構(gòu)系數(shù)為

(5)

(6)

(7)

(5)-(7)式中:S+N+H=1，S，N和H可能為正，也可能為負(fù)。為了從2D輸入人臉中獲得優(yōu)化系數(shù)S，N和H，通過(guò)重建3D人臉，計(jì)算深度誤差(zE)，對(duì)人臉樣本的重建結(jié)果進(jìn)行比較。進(jìn)行比較是為了獲得3D期望模型。每個(gè)像素的深度誤差為

(8)

(8)式中:zGT(x,y)表示真實(shí)3D掃描深度值；zrec(x,y)為重建模型的深度值。

1.3 沒(méi)有限制面部表情的3D人臉重建

為了在現(xiàn)實(shí)場(chǎng)景中，從有/無(wú)人臉表情的正面圖像中重建3D數(shù)據(jù)庫(kù)，采用FE-GEM方法。為了重建3D數(shù)據(jù)庫(kù)，為每個(gè)人注冊(cè)一個(gè)2D正面圖像，用于重建3D數(shù)據(jù)庫(kù)的2D圖像包括任何表情的正面圖像。從已注冊(cè)的任意正面人臉中重建3D人臉數(shù)據(jù)庫(kù)的可視化例子如圖4所示。圖4為基于已注冊(cè)2D正面人臉，重建3D人臉并制作3D人臉數(shù)據(jù)庫(kù)的視覺(jué)圖像。

圖4 從三元組正面人臉中創(chuàng)建3D人臉數(shù)據(jù)庫(kù)的視覺(jué)圖像Fig.4 Creating visual images of 3D face database using the front faces of three tuple

2 提出的姿態(tài)不變3D人臉識(shí)別

第1節(jié)主要介紹了面部通用彈性模型FE-GEM，利用2D人臉圖像創(chuàng)建3D人臉數(shù)據(jù)庫(kù)，直接作用于各種姿勢(shì)的矩陣參數(shù)描述，同時(shí)也為后續(xù)稀疏字典矩陣的構(gòu)建作鋪墊。本節(jié)首先提出稀疏表示，接著，利用稀疏表示從3D數(shù)據(jù)庫(kù)中提取特征，并生成SCM。

2.1 稀疏表示

文獻(xiàn)[12]描述了一種基于稀疏表示人臉識(shí)別，由k個(gè)離散類給出已標(biāo)記的訓(xùn)練樣本集合。令A(yù)i=[vi,1,vi,2,…,vi,ni]為第i類的m×ni訓(xùn)練矩陣。在矩陣Ai中，每個(gè)列向量vi,j是灰度圖像或灰度圖像的向量化形式。如果第i個(gè)類中有足夠多的樣本，則可用矩陣Ai的列向量線性組合的形式來(lái)估計(jì)來(lái)自同一個(gè)類的樣本y。

(9)

(9)式中，標(biāo)量ai,j∈R,j=1,2,…,ni，由于樣本y未知，且矩陣A是訓(xùn)練樣本集合，因此，有(10)式

(10)

可繼續(xù)將(9)式改寫(xiě)為

y=Ax

(11)

(11)式中，x=[0,…,0,…,αi,1,…,αi,ni,…,0,…,0]T為系數(shù)向量，且第i類系數(shù)向量的相關(guān)陣列不是零，但其余陣列均為零，目標(biāo)是通過(guò)新測(cè)試樣本y和矩陣A中獲得x。在人臉識(shí)別中，新測(cè)試樣本y和矩陣A提供了樣本識(shí)別的特殊信息。由于線性系統(tǒng)的稀疏性，因此，正確分類的樣本可線性表出測(cè)試樣本，這里，如果A中樣本的數(shù)量足夠大，會(huì)使得x非常稀疏。無(wú)論x多稀疏，研究表明稀疏性都會(huì)改善未標(biāo)記測(cè)試樣本的識(shí)別，因此，有如下優(yōu)化問(wèn)題：

‖x‖1，約束于Ax=y

(12)

2.2 利用LBP和稀疏表示進(jìn)行特征提取

本文方法的流程圖如圖5所示，過(guò)程總結(jié)如下。

1)輸入：將局部二值模式(local binary pattern, LBP)[13]應(yīng)用到3D紋理人臉中；

2)通過(guò)姿態(tài)合成3D人臉，并在姿態(tài)矩陣Si(Y,P,R)中和人臉任一側(cè)上(偏航、傾斜和滾動(dòng)這3個(gè)方向處)，利用5°的步長(zhǎng)提取人臉?biāo)凶藨B(tài)中的可能視野。其中，Si(Y,P,R)是長(zhǎng)、寬、高均為x的立方矩陣。事實(shí)上，在人臉姿態(tài)的三元組立方矩陣Si(Y,P,R)中，Y，P和R分別為立方矩陣的相關(guān)維度(偏航、傾斜和滾動(dòng))的陣列數(shù)量(圖5)，為了覆蓋人臉的所有姿態(tài)，傾斜和滾動(dòng)角在-90°到90°之間。Si(Y,P,R)的尺寸為x=180/s=180/5=36，其中，s為步長(zhǎng)，180°為人臉姿態(tài)每個(gè)方向上的覆蓋姿態(tài)角。例如，Si(Y=5,P=4,R=6)表示人臉的姿態(tài)角yall=5×5(s=5)=25°，pitch=4×5=20°和roll=6×5=30°。

3)每個(gè)三元組選擇尺寸為3×3×3(ni= 27)的子訓(xùn)練矩陣，其中，ni為中心(y,p,r)周圍的Si(Y,P,R)的總陣列數(shù)，Si(Y,P,R)的子訓(xùn)練矩陣可以表示如下：Si=(y,p,r)=Si(Y=y-1:y+1,P=p-1:p+1,R=r-1:r+1)

4)稀疏表示法主要是基于字典A中的每個(gè)分類多重采樣的可用性。本文利用人臉姿態(tài)的三元組角度生成稀疏字典A的立方矩陣，并將字典A保存于各列。對(duì)于每種精確姿態(tài)(y,p,r)，Ai(Y=y,P=p,R=r)以Si=(y,p,r)中生成稀疏字典的方式創(chuàng)建Ai(Y=y,P=p,R=r)陣列。對(duì)于來(lái)自第i類的訓(xùn)練圖像，樣本滿足：Ai=[vi,1,vi,2,…,vi,ni]=[si(y-i,p-1,r-1),…,si(y,p,r),…,]si(y+i,p+1,r+1)。即在(y,p,r)姿態(tài)中，將來(lái)自Si=(y,p,r)的稀疏字典保存在Ai(Y=y,P=p,R=r)中。同理，對(duì)于所有姿態(tài)和Si=(y,p,r)陣列，重復(fù)該方法。

5)輸出：

根據(jù)(10)式，i為數(shù)據(jù)庫(kù)中主題的數(shù)量，該過(guò)程生成稀疏立方矩陣SCM。

圖5 生成3D數(shù)據(jù)庫(kù)的主題i，創(chuàng)建SCMFig.5 Generate theme i of 3D database and create SCM

2.3 人臉識(shí)別

提出的方法分為離線和在線2個(gè)階段運(yùn)行。離線階段是從有效2D數(shù)據(jù)庫(kù)中注冊(cè)每個(gè)人的單張正面人臉圖像。接著，對(duì)于每張已注冊(cè)的圖像，利用FE-GEM執(zhí)行3D人臉識(shí)別，以產(chǎn)生3D人臉數(shù)據(jù)庫(kù)。然后，進(jìn)行特征提取，為每個(gè)人創(chuàng)建SCM。

在線階段，對(duì)于每張檢測(cè)圖像，首先進(jìn)行人臉檢測(cè)。利用CLM頭部姿態(tài)估計(jì)法估計(jì)人臉的姿態(tài)角。對(duì)于每個(gè)人，利用姿態(tài)估計(jì)的角度(包括偏航、傾斜和滾動(dòng))來(lái)選擇SCM矩陣(Ai(Y=yaw,P=pitch,R=roll))。另一方面，在圖像檢測(cè)時(shí)應(yīng)用LBP，即給定一個(gè)測(cè)試LBP樣本y和訓(xùn)練矩陣，有：A(Y=yaw,P=pitch,R=roll)=[A1(Y=yaw,P=pitch,R=roll),A2(Y=yaw,P=pitch,R=roll),…,Ai(Y=yaw,P=pitch,R=roll)]

3 實(shí) 驗(yàn)

在3個(gè)數(shù)據(jù)庫(kù)上評(píng)估本文方法對(duì)姿態(tài)不變?nèi)四樧R(shí)別的性能：CMU-PIE[14]、FERET[15]和LFW[16]。在配置為Intel 酷睿i3雙核處理器、2.19 GHz主頻、4 GB RAM的PC機(jī)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)測(cè)試平臺(tái)為MATLAB 2011b，部分函數(shù)用到了opencv2.49庫(kù)，采用C和MATLAB混合編程。

3.1FERET數(shù)據(jù)庫(kù)

FERET數(shù)據(jù)庫(kù)在偏航方向上，包含9種人臉不同姿態(tài)200個(gè)主題。這9個(gè)姿態(tài)包括：(bi=-60°)，(bh=-40°)，(bg=-25°)，(bf=-15°)，(ba：0°)，(be=+15°)，(bd=+25°)，(bc=+40°)和(bb=+60°)。本文用ba表示的200張正面圖像作為圖庫(kù)，剩余姿態(tài)中的8種作為探針，共有1 600(200×8)張圖像。為了評(píng)估在FERET數(shù)據(jù)庫(kù)上本文方法的精度，將本文方法與其他4種方法進(jìn)行比較，用于比較的4種方法的結(jié)果已經(jīng)給出：3D姿態(tài)歸一化(3DPN)[4]、3D形變模型(3DMM)[6]、姿態(tài)自適應(yīng)濾波(PAF)[7]和對(duì)應(yīng)潛在子空間(CLS)[8]。表1為FERET數(shù)據(jù)庫(kù)上本文方法(SCM+FE-GEM)的識(shí)別率結(jié)果比較?？梢钥闯?，對(duì)于FERET數(shù)據(jù)庫(kù)中8種姿態(tài)的人臉識(shí)別，本文方法的整體性能優(yōu)于其他4種。同時(shí)，表1還表明本文方法非常適合于處理像bb和bi大角度中的姿態(tài)變化。此外，本文還評(píng)估了FE-GEM 3D人臉重建的影響，其在FERET數(shù)據(jù)庫(kù)上的結(jié)果如表1所示。出于此目的，本文不使用FE-GEM方法，取而代之的是利用GEM的重建模型。并將其命名為SCM+GEM。從表1可以看出FE-GEM的優(yōu)勢(shì)。

表1 FERET數(shù)據(jù)庫(kù)上，各方法的識(shí)別率

3.2CMU-PIE數(shù)據(jù)庫(kù)

CMU-PIE數(shù)據(jù)庫(kù)包括68個(gè)主題，在偏航方向上有8種不同姿態(tài)，在傾斜方向上有2中不同姿態(tài)，在偏航和傾斜方向上有2種不同的姿態(tài)。這12種姿態(tài)分別表示為c34(偏航=-90°)，c31(偏航=-67.5°，傾斜=+22.5°)，c14(偏航=-67.5°)，c14(偏航=-67.5°)，c11(偏航=-45°)，c09(傾斜=+22.5°)、c07(傾斜=-45°)，c05(偏航=+22.5°)，c37(傾斜=+45°)，c25(偏航=+67.5°，傾斜=+22.5°)、c02(偏航=+67.5°)和c22(偏航=+90°)。本文將c27(正面)的68種正面人臉用作圖庫(kù)，作為探針的12種姿態(tài)中，總共有816(68×12)張圖像。4種比較的方法分別為3DPN[4]，PAF[7]，CLS[8]和基于MRF的分類[9]。表2為CMU-PIE數(shù)據(jù)庫(kù)上本文方法(SCM+FE-GEM)的識(shí)別率與其他,4種方法的比較。從表2可知，對(duì)于12種姿態(tài)的人臉識(shí)別和CMU-PIE數(shù)據(jù)庫(kù)的68種主題，SCM+FE-GEM的總性能優(yōu)于其他方法，包括：12種姿態(tài)和34個(gè)主題上的CLS、12種姿態(tài)和68個(gè)主題上的MRF和PAF。盡管3DPN的總識(shí)別率(99%)較高于SCM+FEGEM方法，但是，3DPN只是在6種姿態(tài)上進(jìn)行評(píng)估的，為此，SCM+FE-GEM在6種姿態(tài)中的總識(shí)別率為100%。SCM+FE-GEM與下面方法有一定的可比性：c25，c37，c05，c07，c09，c29和c11中的PAF方法，c37，c05，c07，c09，c29和c11中的CLS方法，c05，c09和c29中的3DPN方法，及c25，c09中的MRF方法。

表2結(jié)果表明，在處理大角度中的姿態(tài)變化時(shí)，特別是在c22，c02，c25，c14，c31和c34中，SCM+FE-GEM優(yōu)于其他4種方法。同時(shí)也說(shuō)明了FE-GEM優(yōu)于GEM。

表2 CMU PIE數(shù)據(jù)庫(kù)上，各方法的識(shí)別率

3.3LFW數(shù)據(jù)庫(kù)

LFW是最具挑戰(zhàn)性的數(shù)據(jù)庫(kù)，在包含現(xiàn)實(shí)情景中人臉圖像所有變化(如姿態(tài)變化、光照變化等)，LFW包括13 233張人臉圖像，這些圖像來(lái)自5 749種不同年齡、性別等的不同主題。文獻(xiàn)[17]中LFW數(shù)據(jù)庫(kù)有兩個(gè)不相交的集：“視野1”用于圖庫(kù)，“視野2”用于探針。本文應(yīng)用含有5 749個(gè)不同主題的LFW 數(shù)據(jù)庫(kù)集合，每個(gè)人只有兩張圖像(“視野1”和“視野2”)。因此，在3D人臉重建的圖庫(kù)集中，每個(gè)主題有一張圖像，這在探針集中用于在線過(guò)程。為了評(píng)估不同姿態(tài)下的人臉識(shí)別性能，本文在非限制環(huán)境下除了姿態(tài)還使用LFW數(shù)據(jù)庫(kù)。由于應(yīng)用SCM+FE-GEM方法是一種無(wú)監(jiān)督方法，將其與同一基準(zhǔn)類別的方法進(jìn)行比較，用于比較方法有：PAF[7]，I-LQP方法的最優(yōu)結(jié)果[17]和CLS方法[8]。

LFW數(shù)據(jù)庫(kù)視野2上各方法的識(shí)別率如表3所示，結(jié)果表明，采用SCM-FE-GEM的本文方法的性能優(yōu)于PAF, CLS和I-LQP[17]。此外，本文方法還評(píng)估了FE-GEM 3D人臉重建的影響，相比于3D 人臉重建的GEM方法，使用FE-GEM方法可以提高識(shí)別率。這種結(jié)果的差異是由于表情不變的3D人臉重建。

表3 LFW數(shù)據(jù)庫(kù)上各方法的識(shí)別率

3.4 參數(shù)的影響

在SCM+FE-GEM方法中，對(duì)于姿態(tài)不變?nèi)四樧R(shí)別，本文采用子訓(xùn)練矩陣Si(Y,P,R)(n=ni)n=27，梯度尺寸s=5的稀疏立方矩陣。為了進(jìn)一步深入了解這些參數(shù)的影響，在LFW數(shù)據(jù)庫(kù)上同時(shí)改變n和s值的大小。其影響如圖6所示。由圖6可知，在s等于5，6和7時(shí)出現(xiàn)最高識(shí)別率，這是由于含有估計(jì)誤差的估計(jì)器精度少于10%。

3.5 運(yùn)行速度

對(duì)于姿態(tài)不變的人臉識(shí)別，本文方法處理速度非常快。在LFW數(shù)據(jù)庫(kù)中，對(duì)于480×640圖像，總平均處理時(shí)間為89.4 ms，89.4 ms，由下面4個(gè)部分的平均處理時(shí)間組成。

1)利用CLM進(jìn)行頭部姿態(tài)估計(jì)的前處理和人臉檢測(cè)：42.9 ms；

2)從SCM中進(jìn)行陣選擇：8.8 ms；

3)探針圖像上的LBP：4.6 ms；

4)為了分類的稀疏表示分類：33.1 ms。

其他方法中，速度最快的是PAF方法(104.2 ms)，因而本文方法處理速度更優(yōu)。

圖6 LFW數(shù)據(jù)庫(kù)上不同n和s值的影響Fig.6 Effect of different n and s on LFW database

4 結(jié) 論

為了處理人臉識(shí)別中的姿態(tài)，利用稀疏表示和面部表情通用彈性模型進(jìn)行人臉識(shí)別。首先，從正面人臉圖像中重建3D模型，為了從每張正面人臉中重建3D模型，還提出了FE-GEM。接著，生成稀疏立方矩陣SCM。最后，利用稀疏表示對(duì)人臉識(shí)別進(jìn)行分類。在CMU-PIE，F(xiàn)ERET和LFW數(shù)據(jù)庫(kù)上測(cè)試本文方法，結(jié)果表明：提出的人臉識(shí)別方法性能優(yōu)于其他方法，不僅更加準(zhǔn)確，且能在PC機(jī)上接近實(shí)時(shí)處理速度。

未來(lái)會(huì)將識(shí)別范圍擴(kuò)展至像素大范圍變化的魯棒人臉識(shí)別，如化妝、人臉遮擋等3D人臉識(shí)別。

[1] PASSALIS G, PERAKIS P, THEOHARIS T, et al. Using facial symmetry to handle pose variations in real-world 3D face recognition [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2011, 33(10): 1938-1951.

[2] 蔡亮,達(dá)飛鵬.結(jié)合形狀濾波和幾何圖像的3D人臉識(shí)別算法[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(7):1303-1309. CAI Liang,DA Feipeng.Three dimensions face recognition by using shape filtering and geometry image[J].Journal of Image and Graphics,2011,16(7):1303-1309.

[3] MOEINI A, FAEZ K, MOEINI H. Expression-invariant three-dimensional face reconstruction from a single image by facial expression generic elastic models[J]. Journal of Electronic Imaging, 2014, 23(5): 1569-1575.

[4] 田華, 蒲天銀. 一種改進(jìn)的ASM人臉特征點(diǎn)定位方法[J]. 重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版, 2014, 26(1): 124-130. TIAN Hua, PU Tianyin. Improved ASM localization method for human facial features[J]. Journal of Chongqing University of Posts and Telecommunications: Natural Science Edition, 2014, 26(1): 124-130.

[5] 孔令美, 湯庸. 基于小波變換和小波神經(jīng)網(wǎng)絡(luò)的3D遮擋人臉識(shí)別方法[J]. 湘潭大學(xué)自然科學(xué)學(xué)報(bào), 2015, 37(4): 82-86. KONG Lingmei, TANG Yong. A Method for 3D Occlusion Face Recognition Based on Wavelet Transform and Wavelet Neural Network [J]. Natural Science Journal of Xiangtan University, 2015, 37(4): 82-86.

[6] 胡陽(yáng)明. 表情不變的三維人臉重構(gòu)[D]. 南京：南京航空航天大學(xué), 2013. HU Yangming. Research on three dimensional facial reconstruction of expression invariant[D]. Nanjing：Nanjing University of Aeronautics and Astronautics, 2013.

[7] YI D, LEI Z, LI S Z. Towards Pose Robust Face Recognition[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. NY, USA: IEEE Press, 2013: 3539-3545.

[8] SHARMA A, HAJ M A, CHOI J, et al. Robust pose invariant face recognition using coupled latent space discriminant analysis [J]. Computer Vision & Image Understanding, 2012, 116(11): 1095-1110.

[9] 楊劍杰. 基于模板庫(kù)的人臉特征點(diǎn)定位及其在人臉識(shí)別中的應(yīng)用[D]. 北京: 北京郵電大學(xué), 2015. YANG Jianjie. Facial feature point localization based on template database and its application in face recognition[D]. Beijing : Beijing University of Posts and Telecommunications, 2015.

[10] 鄧楠, 徐正光, 王珺. 基于稀疏表征多分類器融合的遮擋人臉識(shí)別[J]. 計(jì)算機(jī)應(yīng)用研究, 2013, 30(6): 1914-1916. DENG Nan, XU Zhengguang, WANG Jun. Sparse representation based multi-classifier fusion approach for occluded face recognition [J]. Application research of computers, 2013, 30(6): 1914-1916.

[11] HEO J, SAVVIDES M. 3-D Generic Elastic Models for Fast and Texture Preserving 2-D Novel Pose Synthesis[J]. IEEE Transactions on Information Forensics & Security, 2012, 7(2): 563-576.

[12] 李映,張艷寧,許星.基于信號(hào)稀疏表示的形態(tài)成分分析:進(jìn)展和展望[J].電子學(xué)報(bào),2009,37(1):146-152. LI Ying, ZHANG Yanning, XU Xing. Advances and perspective on Morphological Component Analysis Based on Sparse Representation [J]. Acta Electronica Sinica, 2009, 37(1): 146-152.

[13] 宋克臣, 顏云輝, 陳文輝,等. 局部二值模式方法研究與展望[J]. 自動(dòng)化學(xué)報(bào), 2013, 39(6): 730-744. SONG Kecheng, YAN Yunhui, CHEN Wenhui, et al. Research and Perspective on Local Binary Pattern [J]. Acta Automatica Sinica, 2013, 39(6): 730-744.

[14] ROSS J B, DRAPER B A, JEN M C, et al. Principal angles separate subject illumination spaces in YDB and CMU-PIE[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2009, 31(2): 351-363.

[15] PHILLIPS P, MOON H, RIZVI S. The FERET evaluation methodology for face recognition[J]. IEEE Trans. Pattern Anal. Mach Intell，2000, 22 (10): 1090-1104.

[16] 馬里千, 王燦, 劉宏. 基于Adaboost人臉檢測(cè)融合五官特征的性別識(shí)別[J]. 華中科技大學(xué)學(xué)報(bào):自然科學(xué)版, 2013, 41(S1): 125-128. MA Liqian, WANG Can, LIU Hong. Gender recognition based on Adaboost face detection integrated with facial features[J]. Journal of Huazhong University of Science and Technology :Nature Science Edition, 2013, 41(S1): 125-128.

[17] HUSSAIN S U, WHEELER T, NAPOLON F. Jurie, Face recognition using local quantized patterns[J]. BMVC, 2012, 37(1): 52-61.

(編輯：張 誠(chéng))

3D face recognition method based on facial expression generic elastic model and sparse cubic matrix

YI Tangtang1, DONG Chaoxian2

(1.Department of Information Technology, Hunan Women’s University, Changsha 410004, P.R. China;2.College of Information Media, Sanmenxia Polytechnic, Sanmenxia 472000, P.R. China)

Concerning the great effect of gesture changing and facial expression changing on 3D face recognition, a 3D face recognition method based on facial expression generic elastic model and sparse cubic matrix is proposed. Firstly, 3D face database is constructed by facial expression generic elastic model, and sparse cubic matrix (SCM) for all face poses is created by 3D reconstruction model, then the initial estimation of triplet angles in face images is obtained by using an automatic head pose estimation method; Then, the triplet angle of each subset is estimated, and SCM array is chosen; Finally, the array and probe image are selected by sparse representation from SCM. The effectiveness of proposed method is verified by experiments on FERET, CMU PIE and LFW database. Compared with several outstanding 3D face recognition methods, the proposed method achieves higher recognition rate, especially in dealing with large angle posture change. In addition, the average processing time of pretreatment, face detection and classification is only 89.4 ms for images size of 480×640 on LFW database.

3D face recognition; facial expression generic elastic model; sparse cubic matrix; triplet angle; real-time

10.3979/j.issn.1673-825X.2017.02.018

2016-02-16

2016-03-28 通訊作者：易唐唐 tangyiyihn@126.com

湖南省教育廳科學(xué)研究青年基金資助項(xiàng)目(12B066)

Foundation Item：The Science Research Youth Fund Project from Department of Education in Hunan Province (12B066)

TP391

A

1673-825X(2017)02-0257-08

易唐唐(1983-)，女，湖南常德人，講師，碩士，研究方向?yàn)閳D像處理、模式識(shí)別等。E-mail：tangyiyihn@126.com。

董朝賢(1981-)，男，河南澠池人，講師，研究方向?yàn)閳D像處理、模式識(shí)別等。