基于表情變化的三維人臉識(shí)別

黃敏，宮秋萍，曾莎

（鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院，鄭州 450002）

基于表情變化的三維人臉識(shí)別

黃敏，宮秋萍，曾莎

（鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院，鄭州 450002）

為了減小表情變化對(duì)三維人臉識(shí)別帶來的影響，提出一種由粗到細(xì)的識(shí)別方法。以人臉的深度數(shù)據(jù)為整體特征，采用Fisherface（PCA+LDA）方法進(jìn)行匹配，以面部剛性區(qū)域作為局部特征采用改進(jìn)的迭代最近點(diǎn)（ICP）算法進(jìn)行比配，將得到的整體特征和局部特征進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明，該方法能有效提高人臉識(shí)別系統(tǒng)針對(duì)表情變化的魯棒性。

三維人臉識(shí)別；Fisherface（PCA+LDA）；深度數(shù)據(jù)；剛性區(qū)域；ICP

0 引言

二維人臉識(shí)別方法經(jīng)過多年的研究和發(fā)展已經(jīng)非常成熟，但在現(xiàn)實(shí)生活中，由于受到光照、姿態(tài)、妝容、表情的影響，使得二維人臉識(shí)別率大大下降[1]。相對(duì)于二維人臉數(shù)據(jù)，三維特征的人臉識(shí)別對(duì)光照和姿態(tài)有較好的魯棒性[2]。近些年學(xué)者們利用三維數(shù)據(jù)信息來實(shí)現(xiàn)人臉識(shí)別?？尚蟹椒ㄖ饕譃橐韵?類[3]：基于空域直接匹配的方法，基于整體特征的匹配方法，基于局部特征的匹配方法和基于特征融合的方法。第一種基于空域匹配方法不做特征提取，直接采用點(diǎn)云數(shù)據(jù)進(jìn)行匹配，如ICP算法，該方法雖然簡便但匹配時(shí)間長，實(shí)時(shí)性差。基于整體的匹配方法需要對(duì)人臉樣本進(jìn)行光照、尺寸和姿態(tài)的歸一化處理，該方法受表情姿態(tài)因素影響較大?；诰植刻卣鞯钠ヅ浞椒ㄖ厝四樇?xì)節(jié)刻畫，相對(duì)于整體特征匹配方法，該方法針對(duì)表情和姿態(tài)具有一定的魯棒性，但缺點(diǎn)是人臉信息數(shù)據(jù)太少，匹配不精確。最后一種特征融合的方法能夠有效地融合人臉面部的互補(bǔ)信息，提高識(shí)別效率。但傳統(tǒng)的特征融合方法仍然不能克服臉部非剛性區(qū)域產(chǎn)生的形變，所以如何解決該問題仍是三維人臉識(shí)別研究面臨的重大挑戰(zhàn)[4]。

為了減小表情變化對(duì)識(shí)別造成的影響，Tang H[5]等人提出了基于局部二值模式的人臉識(shí)別算法，雖然該方法對(duì)表示變化有很好的魯棒性，但需要人工手動(dòng)標(biāo)記劃分人臉區(qū)域。李曉莉等人[6]采用人臉面部剛性區(qū)域?qū)θ四樳M(jìn)行識(shí)別匹配，該方法雖然提高了分類速度，但不能很好地反映樣本之間的差異性。朱冰蓮等人[7]提出一種融合整體信息和局部信息的識(shí)別算法，在中性表情中取得較高的識(shí)別率。為了進(jìn)一步增強(qiáng)人臉識(shí)別對(duì)表情變化的魯棒性，本文提出基于深度數(shù)據(jù)和剛性區(qū)域相融合[8]的人臉識(shí)別方法。

1 表情變化和特征提取

表情變化是目前三維人臉識(shí)別面臨的重大課題，人臉面部肌肉會(huì)隨著表情變化而變化。研究表明[9]：嘴角、眼睛、眉毛區(qū)域、臉頰這些人臉不同區(qū)域構(gòu)成了面部表情的變化。這些變化幅度較大區(qū)域會(huì)使二維圖像的像素發(fā)生形變，而反映在三維數(shù)據(jù)上則是非剛性形變。為了增強(qiáng)表情的魯棒性，一種有效的方法就是選取局部表情變化不敏感區(qū)域，即包括鼻子和額頭在內(nèi)的剛性區(qū)域[10]。由于剛性區(qū)域只代表了樣本的部分信息，所以為了減小同類樣本的類間差距，本文首先提取人臉樣本的深度數(shù)據(jù)，采用Fisherface方法進(jìn)行粗匹配，以提取的三維人臉形狀信息和整體信息作為基本特征，當(dāng)發(fā)生表情變化時(shí)通過融合剛性區(qū)域?qū)崿F(xiàn)精確匹配。

我們通過三維激光掃描儀獲取三維人臉點(diǎn)云數(shù)據(jù)，為了提高匹配識(shí)別率，需要對(duì)三維人臉點(diǎn)云進(jìn)行預(yù)處理，即人臉切割。目前現(xiàn)有深度圖生成算法為點(diǎn)云插值，該方法時(shí)間復(fù)雜度高，生成速度慢，本文通過對(duì)切割后的人臉進(jìn)行網(wǎng)格插值得到深度圖像[11]。本文以人臉的深度數(shù)據(jù)為整體特征，采用Fisherface方法進(jìn)行匹配，之后以面部剛性區(qū)域作為局部特征采用改進(jìn)的迭代最近點(diǎn)（ICP）算法進(jìn)行比配，最后將得到的整體特征和局部特征進(jìn)行融合。

2 深度特征和Fisherface方法

2.1 預(yù)處理

為了減少運(yùn)算量和提高識(shí)別效率，對(duì)獲取的三維人臉點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理是十分必要的。本文主要的預(yù)處理就是人臉切割。根據(jù)人臉幾何約束，鼻尖點(diǎn)p（x1，y1，z1）具有最大z值，由此可以快速確定鼻尖點(diǎn)位置，以鼻尖點(diǎn)為圓心，經(jīng)驗(yàn)值r=95mm為半徑畫球體，包含有效人臉區(qū)域[12]。原始人臉與切割后的人臉示意圖分別如圖1（a）和（b）所示。

圖1 原始人臉與切割后的人臉示意圖

2.2 提取人臉深度特征

將預(yù)處理后的人臉點(diǎn)云p=（x，y，z）投影到xoy平面上，并將陰影區(qū)域等分為100×100的網(wǎng)格，記作φ。

（1）計(jì)算φ水平寬度α和豎直高度h。

（2）計(jì)算單位網(wǎng)格寬度Δx和高度Δy。

（3）確定點(diǎn)云中每個(gè)點(diǎn)p=（x，y，z）與其對(duì)應(yīng)網(wǎng)格φ（m，n）的映射關(guān)系f:p（x，y，z）→φ（m，n）。其中m=[（xmin（x））/Δx]+1，n=[（y-min（y））/Δy]+1。[x]表示不大于x的整數(shù)，φ（m，n）表示網(wǎng)格中從上到下，從左到右第（m，n）個(gè)網(wǎng)格。

（4）統(tǒng)計(jì)映射到每個(gè)網(wǎng)格中的點(diǎn)數(shù)，對(duì)這些點(diǎn)云數(shù)據(jù)z坐標(biāo)值求均值。

（5）對(duì)漏洞網(wǎng)格通過雙立方插值算法進(jìn)行插值，采用最大—最小法對(duì)插值后的矩陣進(jìn)行則歸一化處理，最后得到深度值（0～255），大小100×100的深度圖像。圖2（a），（b）是2個(gè)不同人臉的深度圖[13]。

圖2 兩個(gè)不同人臉的深度圖

2.3 Fisherface匹配方法

（1）主成分分析法（PCA）

PCA的主要算法思想是在保證與原模型相近的基礎(chǔ)上降低空間維數(shù)[14]。設(shè)訓(xùn)練集共有N張人臉，圖像維數(shù)為M×M，每張人臉用向量分別表示為x1，x2，…，xn，平均人臉向量表為：

每人人臉向量與平均人臉向量之差：

設(shè)矩陣Α=[φ1，φ2，…，φN]，則協(xié)方差矩陣為：

求出C矩陣前Κ個(gè)較大特征值對(duì)應(yīng)的特征向量，形成特征臉向量W=（β1，β2，…，βΚ），最后對(duì)其中每個(gè)人臉圖像進(jìn)行降維處理：

（2）線性判別分析（LDA）

類內(nèi)散布矩陣Si：

類間散布矩陣定義為：

其中μ為所有樣本的均值：

Fisherface方法降低人臉維度空間，提取出具有判別能力的低維特征[16]。通過PCA將人臉向量降維到一個(gè)適當(dāng)?shù)目臻g，然后通過LDA方法得到低維數(shù)據(jù)后進(jìn)行判別。

3 剛性區(qū)域

3.1 獲取剛性區(qū)域

上世紀(jì)末以來開源軟件(OSS)發(fā)展迅速，極大地影響了軟件行業(yè)的市場格局，顛覆了一些經(jīng)典軟件工程理論.開源軟件項(xiàng)目并沒有傳統(tǒng)軟件工程項(xiàng)目中顯式的組織結(jié)構(gòu)和過程安排，也沒有傳統(tǒng)軟件開發(fā)團(tuán)隊(duì)的過程成熟度等級(jí)，但所開發(fā)出的軟件卻可以與傳統(tǒng)商業(yè)軟件相抗衡，這引起了學(xué)術(shù)界和企業(yè)界的廣泛關(guān)注[1,2].

傳統(tǒng)獲取剛性區(qū)域的方法是對(duì)每個(gè)人臉樣本以固定的半徑進(jìn)行切割得到所需區(qū)域，這樣會(huì)使類間差距縮小，導(dǎo)致匹配效率降低。本文通過對(duì)人臉樣本定位關(guān)鍵點(diǎn)，自動(dòng)選取切割半徑獲得剛性區(qū)域。

步驟如下：

根據(jù)人臉幾何結(jié)構(gòu)定位鼻尖點(diǎn)pnl（x1，y1，z1）和鼻根點(diǎn)pnn（x2，y2，z2），比較人臉點(diǎn)云中每個(gè)點(diǎn)p（x，y，z）的z值，最大處即為鼻尖點(diǎn)。與鼻尖點(diǎn)pnl（x1，y1，z1）進(jìn)行比較。x值相同，y值小于鼻尖點(diǎn)y1，z值具有極小值的點(diǎn)記作鼻根點(diǎn)pnn（x2，y2，z2）。

記鼻尖點(diǎn)pnl（x1，y1，z1）和鼻根點(diǎn)pnn（x2，y2，z2）連線中點(diǎn)為O（x0，y0，z0），距離為l，則x0=（x1+x2）/2，y0=（y1+y2）/2，z0=（z1+z2）/2，以O(shè)為圓心，l/2為半徑做球體切割，得到剛性區(qū)域。其中l(wèi)=‖pnl（x1，y1，z1）-pnn（x2，y2，z2）‖。

3.2 最近點(diǎn)迭代（ICP）

本文采取目前最有效的點(diǎn)云數(shù)據(jù)匹配算法最近點(diǎn)迭代（Iterative C1osest Point，ICP）算法。基本思想是：首先將兩幅人臉點(diǎn)云數(shù)據(jù)對(duì)齊，得到對(duì)應(yīng)點(diǎn)的平均距離，以此作為點(diǎn)云相似性度量。在這里，我們采取多層次B樣條插值算法對(duì)人臉剛性區(qū)域進(jìn)行稀釋采樣，然后再采用ICP算法對(duì)采樣后的剛性區(qū)域進(jìn)行匹配，這樣能夠大大提高匹配速度。

測試模型D={di}和庫集中某一模型ΜΚ={mi}之間對(duì)應(yīng)點(diǎn)的歐氏距離為[17]：

Slk作為相似性度量，值越小，兩個(gè)樣本就越相似。

4 融合策略

基于表情變化的三維人臉識(shí)別過程如圖3所示：

圖3 基于表情變化的三維人臉識(shí)別

在實(shí)驗(yàn)過程中，對(duì)庫集人臉模型采用離線提取局部剛性區(qū)域和整體深度數(shù)據(jù)，而對(duì)測試人臉模型采用在線方式。假設(shè)庫集模型容量為Ν，衡量待測模型的整體特征和局部特征與庫集相似度的Ν維向量分別為[10]：

遵照最大最小化原則，歸一化（12）、（13）：

對(duì)歸一化后的向量（14）和（15）采取加權(quán)求和法則進(jìn)行融合：

其中ωg，ωl為權(quán)值，滿足ωg+ωl=1，S代表測試模型和庫集模型的相似性度量，當(dāng)S值越小，則表明兩者越相似。

5 實(shí)驗(yàn)結(jié)果與分析

對(duì)測試模型和庫集模型兩者的整體特征和局部特征進(jìn)行決策級(jí)融合之后，采取最近鄰分類器進(jìn)行識(shí)別。然而當(dāng)ωg，ωl取不同值時(shí)，會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生影響。實(shí)驗(yàn)過程中我們將測試集分為3類：有表情變化樣本、中性表情樣本，二者混合樣本，3類模型識(shí)別率隨ωg融合權(quán)值變化CMC曲線如圖4所示：

圖4 不同融合權(quán)值下的識(shí)別效率

從圖4得知，取值[0.1-0.9]，CMC曲線呈由低到高變化趨勢，當(dāng)ωg=0.4時(shí)，識(shí)別率最高，此時(shí)ωl=0.6，整個(gè)測試集總體融合效果最好。取ωg=0.4，ωl=0.6，分別用剛性區(qū)域、深度數(shù)據(jù)和本文的融合特征進(jìn)行識(shí)別，其CMC曲線如圖5所示：

圖5 識(shí)別效率CMC曲線

從圖5所知，以深度數(shù)據(jù)為特征的識(shí)別效率為84.53%，以剛性區(qū)域?yàn)樘卣鞯淖R(shí)別效率為88.56%，而本文提出的特征識(shí)別效率高達(dá)95.87%，由此可見，將人臉樣本整體深度特征和局部剛性區(qū)域相融合后，識(shí)別效率顯著提高。

6 結(jié)語

本文提出了一種基于表情變化的三維人臉識(shí)別方法，其基本思想是以人臉的深度數(shù)據(jù)為整體特征，采用Fisherface方法進(jìn)行匹配，之后以面部剛性區(qū)域作為局部特征采用改進(jìn)的迭代最近點(diǎn)（ICP）算法進(jìn)行匹配，最后將得到的整體特征和局部特征進(jìn)行融合。通過實(shí)驗(yàn)結(jié)果表明，特征融合后能夠有效提高識(shí)別效率同時(shí)增強(qiáng)人臉識(shí)別對(duì)表情變化的魯棒性。

參考文獻(xiàn)：

[1] SMEETS D，KEUSTERMANS J，VANDERMEULEN D.Loca1 Surface Features for 3D Face Recognition Under Expression Variations and Partia1 Data[J].Computer Vision and Image Understanding，2013，117（2）:158～169

[2] TANG H，YIN B，SUN Y.3D Face Recognition Using Loca1 Binary Patterns[J].Signa1 Processing，2012，93（8）:2190～2198

[3] 李曉莉，達(dá)飛鵬.基于側(cè)面輪廓線和剛性區(qū)域的三維人臉識(shí)別[J].中國圖象圖形學(xué)報(bào)，2010，15（2）:266～273

[4] 朱冰蓮，楊吉祥.融合特征和局部信息的三維人臉識(shí)別[J].光電子·激光，2012，23（10）:1977～1982

[5] 吳眾山.基于B樣條的三維人臉曲面生成及特征提取研究[D].廈門:廈門大學(xué)，2008

[6] 胡步發(fā)，王金偉.雙模態(tài)及語義知識(shí)的三維人臉表情識(shí)別方法[J].儀器儀表學(xué)報(bào)，2013，34（10）:873～880

[7] Zhao W，Che11appa R，Phi11ips P.Face Recognition:a Literature Survey[J].ACM Computing Survey，2003，35（4）:399～458

[8] 劉丹華.三維人臉數(shù)據(jù)獲取及識(shí)別技術(shù)研究[D].廈門:廈門大學(xué)，2012

[9] XU G L，CHANDRAJIT B.Regu1arization of B-sp1ine objects[J].Computer Aided Geometric Design，2011，28（1）:38～49

[10] 郝麟，馮少彤，聶守平.利用深度和灰度圖像實(shí)現(xiàn)三維目標(biāo)的識(shí)別與分類[J].光電子·激光，2010，21（2）:312～317

[11] 杜興，龔衛(wèi)國，張睿.一種仿生的人臉不變特征識(shí)別方法[J].儀器儀表學(xué)報(bào)，2011，32（4）:813～880

[12] 葉劍華，劉正光.基于LBP和Fisherfaces的多模態(tài)人臉識(shí)別[J].計(jì)算機(jī)工程，2009，35（11）:193～195

[13] 李慶敏.多特征融合的三維人臉識(shí)別技術(shù)研究[D].廈門:廈門大學(xué)，2010

[14] 周激流.人臉識(shí)別理論研究進(jìn)展[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)報(bào)，1999，11（2）:180～184

[15] LIU D H，LAM K M，SHEN L S.Optima1 Samp1ing of Gabor Features for Face Recognition[J].Pattern Recognition Letters，2004，25（2）:267～276

[16] AHONEN T，HADID A，PIETIK INEN M.Face Recognition with Loca1 Binary Patterns[J].Computer Vision-ECCV 2004，20（4）:469～481

[17] 賴海濱.基于雙目立體視覺的人臉點(diǎn)云獲取及識(shí)別研究[D].廈門:廈門大學(xué)，2011

3D Face Recognition Based on Expression Change

HUANG Min，GONG Qiu-Ping，ZENG Sha
（Co11ege of Computer and Communication Engineering,Zhengzhou University of Light Industry,Zhengzhou 450002）

In order to reduce the impact of changes in the expression of 3D face recognition,presents a coarse to fine identification methods.Takes depth data as the overa11 features of a human face,uses Fisherface to match these features.The facia1 rigid region as 1oca1 feature is matched using the modified iterative c1osest point a1gorithm.The extracted matching resu1ts of the g1oba1 and 1oca1 features are fused.The experimenta1 resu1t shows that the method has better robustness to facia1 expression change．

3D Face Recognition;Fisherface（PCA+LDA）;Depth Data;Rigid Region;ICP

1007-1423（2015）05-0053-05

10.3969/j.issn.1007-1423.2015.05.012

黃敏（1972-），男，河南鄭州人，教授，研究方向?yàn)閳D像處理

宮秋萍（1989-），女，河南開封人，碩士研究生，研究方向?yàn)閳D像處理

2014-10-20

2015-01-28

國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目（No.61201447）、河南省基礎(chǔ)與前沿技術(shù)研究計(jì)劃項(xiàng)目（No.102300410266、No.122300410287）

曾莎（1988-），女，河南南陽人，碩士研究生，研究方向?yàn)閳D像處理