基于測地線采樣的三維表情人臉識別

曹元鵬，周大可，楊 欣，方三勇

(南京航空航天大學(xué)自動化學(xué)院，南京210016)

基于測地線采樣的三維表情人臉識別

曹元鵬，周大可，楊 欣，方三勇

(南京航空航天大學(xué)自動化學(xué)院，南京210016)

針對測地線類人臉識別算法速度慢的問題，提出了一種基于測地線環(huán)帶特征點(diǎn)采樣的三維人臉識別方法。首先根據(jù)測地線距離以鼻尖點(diǎn)為中心在人臉表面繪制一系列等距測地線環(huán);再對測地線環(huán)帶進(jìn)行特征點(diǎn)采樣構(gòu)成人臉描述特征，并進(jìn)行PCA(Principal Component Analysis)運(yùn)算和去相關(guān)處理;最終使用投票法融合各環(huán)帶單獨(dú)結(jié)果以識別人臉。在FaceWareHouse表情三維人臉數(shù)據(jù)集上進(jìn)行的識別實(shí)驗(yàn)表明，該方法識別準(zhǔn)確率與傳統(tǒng)測地線法相當(dāng)，而識別時(shí)間有明顯減少，平均識別時(shí)間由2.55 s降至0.624 3 s。

人臉識別;測地線;特征抽取;主成份分析

0 引 言

人臉識別技術(shù)是模式識別與計(jì)算機(jī)視覺方向的研究熱點(diǎn)之一，隨著圖像處理、機(jī)器視覺、模式識別和統(tǒng)計(jì)學(xué)習(xí)等眾多相關(guān)學(xué)科領(lǐng)域的不斷發(fā)展和研究深入，人臉識別技術(shù)得到了越來越廣泛的關(guān)注［1，2］。近年來，三維人臉識別的研究也非常活躍。利用人臉形狀信息的三維人臉識別能有效處理二維人臉識別中的一些難點(diǎn)問題，如姿態(tài)、光照等問題;但對于表情問題，由于表情變化會改變?nèi)S人臉的局域形狀［3，4］，導(dǎo)致難以提取穩(wěn)健的三維特征。因此表情問題也成為了三維人臉識別研究中熱點(diǎn)問題［5-7］。

Wang等［8］提出了一種基于LDA(Linear Discriminant Analysis)的人臉分類系統(tǒng)，利用三維人臉的幾何形狀，并且在BU-3DFE(3D Facial Expression Database-Binghamton University)人臉庫上達(dá)到了83.6%的識別率。Kyong等［9］首先在鼻子周邊區(qū)域劃分出多個(gè)相互重疊的區(qū)域，然后利用 ICP(Iterative Closest Point)匹配各個(gè)區(qū)域，最終將各區(qū)域的匹配結(jié)果相融合。實(shí)驗(yàn)結(jié)果表明，通過多區(qū)域投票匹配對表情有一定適應(yīng)性，平均識別率為86.1%。文獻(xiàn)［10］提出了一種基于多階段匹配技術(shù)的全自動的三維人臉識別方法，利用形變圖像對面部形狀的變化和小波特征分別進(jìn)行匹配識別，在FRGC v2數(shù)據(jù)庫上識別率達(dá)到97%。Ajmal等［11］同時(shí)使用模型二維和三維信息，采用基于特征匹配和全局匹配的混合方式進(jìn)行識別，平均識別率達(dá)到98.3%。Ocegueda等［12］利用馬可夫隨機(jī)場模型檢測人臉有/無區(qū)別能力的信息，提出了一種新穎的三維人臉特征信息提取思路。

Berretti等［13］提出了一種基于三維測地線的方法。首先定義以鼻尖點(diǎn)為中心的一系列等間距測地環(huán)帶，然后通過計(jì)算測地線環(huán)帶間的內(nèi)部距離和外部距離(3DWW距離［14］)進(jìn)行局域匹配，最后融合多個(gè)測地線環(huán)的匹配結(jié)果。該方法對有表情人臉的識別率達(dá)到97.7%，明顯優(yōu)于其他的三維人臉識別方法。但3DWW距離計(jì)算量大、十分耗時(shí)，文獻(xiàn)［13］雖然通過一些預(yù)處理方法減少計(jì)算量，但相對于其他人臉識別方法，其處理時(shí)間仍是難以接受的。2014年，Lei等人［15］提出了一種快速三維人臉識別方法，通過提取人臉上半部分(ARS:Angular Radial Signature)特征，再經(jīng)過K-PCA進(jìn)一步處理將特征投影到非線性空間，最后經(jīng)過支持向量機(jī)進(jìn)行人臉識別。

考慮到測地線特征對人臉表情變化穩(wěn)健性較好，只是3DWW距離度量方式計(jì)算量巨大。為了處理三維人臉識別中的表情問題，筆者提出了一種融合測地線特征和ARS特征的人臉識別方法。該方法首先提取以鼻尖點(diǎn)為中心的一系列等間距測地線，并在等距測地線進(jìn)行類ARS的離散點(diǎn)采樣;然后使用PCA進(jìn)行去相關(guān)處理及匹配，并利用投票法融合各等距測地線的匹配結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法在達(dá)到原方法識別率相當(dāng)?shù)那闆r下，速度大大提升。

1 三維人臉特征提取

1.1 人臉測地線特征

測地線又稱大地線或短程線，數(shù)學(xué)上可視作直線在彎曲空間中的推廣。在有距離函數(shù)定義存在時(shí)，測地線可定義為空間中兩點(diǎn)的局域最短路徑。簡言之，兩點(diǎn)間測地線距離就是曲面上兩點(diǎn)延曲面表面的最短距離。Berretti等［13］將每個(gè)三維人臉樣本劃分為固定數(shù)目的、形同寬度且以鼻尖點(diǎn)為中心的環(huán)帶。通過計(jì)算任意點(diǎn)與鼻尖點(diǎn)間的標(biāo)準(zhǔn)測地線距離，再將人臉分為N個(gè)區(qū)間:c1，c2，…，cN，得到人臉的測地線環(huán)帶，既第i個(gè)環(huán)帶為三維人臉樣本上所有與鼻尖點(diǎn)距離ˉr位于區(qū)間ci的點(diǎn)。其中上述過程中的測地線距離通過Dijkstra提出的算法實(shí)現(xiàn)，算法復(fù)雜度為O(n log n)。

通過合理的選擇環(huán)帶區(qū)間ci和環(huán)帶數(shù)目N，測地線環(huán)帶特征可明顯區(qū)分面部表情變化的不同個(gè)體。測地線特征對表情穩(wěn)健性基于以下兩個(gè)原因:1)兩點(diǎn)間的測地線距離在面部表情變化時(shí)，可保持充分的穩(wěn)定［16］，即使在表情變化時(shí)，一個(gè)環(huán)帶內(nèi)的大多數(shù)點(diǎn)仍然會在此環(huán)帶內(nèi)部;2)當(dāng)人臉的表情發(fā)生變化時(shí)，只有少部分的點(diǎn)的位置受到了明顯的影響。

Berretti通過實(shí)驗(yàn)確定了環(huán)帶數(shù)量、寬度、權(quán)重及面部區(qū)域?qū)ψR別效果的影響后，建立了以鼻尖點(diǎn)為中心，10 mm寬的9個(gè)同心環(huán)帶，并以鼻尖點(diǎn)為原點(diǎn)將人臉劃分為上，左下，右下3部分。其采樣的9個(gè)同心環(huán)帶基本覆蓋了全部面部區(qū)域。通過計(jì)算3DWW(3DWeighted Walkthrough)距離比較模型相似性，兩模型間的3DWW距離定義如下

1．2 ARS特征

一般三維人臉模型由大量坐標(biāo)點(diǎn)組成的三維點(diǎn)云組成。然而由這些坐標(biāo)組成的點(diǎn)云原始數(shù)據(jù)通常包含大量對人臉識別無用的信息，以及對人臉表情變化敏感的信息，為了得到人臉的表情穩(wěn)健特征信息，Lei等［15］通過定義曲線采樣離散點(diǎn)作為人臉局部特征。ARS定義如下:以鼻尖點(diǎn)為圓心、以角度θ為間隔的一組射線(θ∈［0，π］，且ARS曲線的數(shù)量為N=π/θ+1)，通過每條射線的高度變化反映人臉特征的變化。為了提取ARS特征，文獻(xiàn)［16］在人臉深度圖上進(jìn)行采樣:每條射線上間隔3 mm采樣，共采樣20個(gè)點(diǎn)，則每個(gè)樣本模型共采樣20N個(gè)點(diǎn)，即共提取N個(gè)特征，每個(gè)特征為20維;同時(shí)指出，由于人臉存在非線性，提取的特征很難進(jìn)行線性分類。筆者使用K-PCA將樣本點(diǎn)投射到高維非線性空間中，解決提取特征線性不可分的問題，在進(jìn)行K-PCA處理后，使用SVM進(jìn)行一對多策略的分類進(jìn)行識別。

1.3 筆者方法

根據(jù)Berretti的實(shí)驗(yàn)論證［13］，測地線環(huán)帶表示人臉特征對表情變化具有一定的適應(yīng)性，其可以充分表示人臉特征信息。然而該方法存在兩個(gè)缺陷:1)9個(gè)同心環(huán)帶幾乎覆蓋全部人臉區(qū)域，包含人臉模型的所有三維點(diǎn);2)需要計(jì)算各個(gè)環(huán)帶間的3DWW距離以表示人臉特征信息，而3DWW的計(jì)算過程十分耗時(shí)。Lei等［16］所提出的基于ARS的特征提取方式有較好識別率和不錯(cuò)的速度，但ARS利用深度圖進(jìn)行采樣，采樣點(diǎn)的穩(wěn)定性較差。

為兼顧測點(diǎn)線方式對表情變化的穩(wěn)健性以及ARS特征提取及分類的高效率，筆者將兩種方法相融合，提出基于測地線采樣的人臉特征提取方法。首先對同一人的不同表情模型以鼻尖點(diǎn)為中心，10 mm為半徑的間隔采樣人臉環(huán)帶(見圖1a)，在此環(huán)帶上以角度θ為間隔采樣M個(gè)點(diǎn)的高度信息(見圖1b)。如圖1b所示，同一個(gè)體的不同表情模型的采樣點(diǎn)高度變化趨勢相似。這是由于測地線對表情變化的穩(wěn)健性，不同表情人臉的采樣點(diǎn)高度信息表現(xiàn)出聚類效果，并通過實(shí)驗(yàn)測定，當(dāng)θ=1/45π、M=30時(shí)，人臉識別效果最優(yōu)。

圖1 測地線環(huán)帶Fig.1 Iso-geodisic curve

為驗(yàn)證采樣特征對表情變化的穩(wěn)健性，分別對同一個(gè)體的不同表情的人臉模型進(jìn)行相同半徑的等間隔測地線特征點(diǎn)采樣，經(jīng)采樣后特征點(diǎn)的高度信息反映如圖2所示。圖2中相同個(gè)體不同表情模型的采樣點(diǎn)的高度變化趨勢相似，表明測地線上點(diǎn)的高度信息聚類性較強(qiáng)。

圖2 相同個(gè)體的不同表情模型的采樣點(diǎn)高度信息Fig.2 The height information of sampled points of same individual

雖然使用利用測地線特征已具有較好的聚類效果，但由于人臉幾何特征的相似性，不同人臉采樣點(diǎn)集間的區(qū)分度不高，故筆者利用PCA(Principal Component Analysis)對其進(jìn)行去相關(guān)處理。在信號處理中，信號具有較大的方差，噪聲具有較小的方差，PCA將原始數(shù)據(jù)投影到其協(xié)方差最大的特征向量組成的低維空間中，舍棄方差較小的特征，以去除數(shù)據(jù)的相關(guān)性及冗余。在經(jīng)PCA處理前，同類數(shù)據(jù)間Pearson相關(guān)系數(shù)為0.99，異類間為0.7;處理后，同類數(shù)據(jù)間為0.99，異類間為0.4，降低了數(shù)據(jù)線性相關(guān)程度。

2 實(shí)驗(yàn)過程及結(jié)果

根據(jù)上述討論，筆者提出的特征提取及人臉識別實(shí)現(xiàn)步驟如下:首先計(jì)算模型各點(diǎn)距鼻尖點(diǎn)測地線距離，提取距離為20 mm、30 mm、40 mm、50 mm、60 mm、70 mm的6個(gè)測地線環(huán)帶;然后在環(huán)帶上對模型進(jìn)行采樣，以采樣點(diǎn)高度信息作為人臉局部特征;再對采樣的局部特征進(jìn)行PCA去相關(guān)處理，以增加其類間區(qū)分度;最后使用最鄰近分類器對處理過的特征進(jìn)行分類，并通過各個(gè)距離不同的環(huán)帶的加權(quán)結(jié)果作為最終的識別依據(jù)。筆者實(shí)驗(yàn)安排如下:首先通過不同采樣范圍識別實(shí)驗(yàn)的識別率確定采樣范圍、再通過各個(gè)環(huán)帶的單獨(dú)識別率確定各個(gè)環(huán)帶權(quán)值。經(jīng)過上述實(shí)驗(yàn)確定了各個(gè)最優(yōu)參數(shù)，通過與測地線方法和ARS方法對比，驗(yàn)證筆者提出識別方法的效果。

實(shí)驗(yàn)采用FaceWareHose［17］三維人臉數(shù)據(jù)庫進(jìn)行測試，該數(shù)據(jù)庫包括150個(gè)個(gè)體，每個(gè)個(gè)體有19個(gè)有表情模型和1個(gè)無表情模型共3 000個(gè)樣本。數(shù)據(jù)庫中人臉模型為經(jīng)過重采樣和歸一化后可直接進(jìn)行使用的樣本。筆者使用了每人1副無表情模型、4副有表情模型，100個(gè)人、共500個(gè)樣本。

由圖2可知，同一個(gè)體的不同表情模型在采樣后雖然有很好的相似性，但在圖2中［35-45］及［50-60］采樣點(diǎn)處不同表情的采樣點(diǎn)有較大偏差。筆者通過實(shí)驗(yàn)選取對表情變化穩(wěn)健性較強(qiáng)的區(qū)域。實(shí)驗(yàn)使用無表情人臉模型作為訓(xùn)練樣本，同時(shí)使用一組有表情模型作為測試樣本。分別在范圍內(nèi)的實(shí)驗(yàn)結(jié)果如表1所示。

表1 測地線范圍實(shí)驗(yàn)結(jié)果Tab.1 Result of Iso-geodesic range experiment

由表1可知，環(huán)帶范圍為2π時(shí)分類效果最不理想，因?yàn)樵摲秶俗觳繀^(qū)域，對表情變化最為敏感。隨著環(huán)帶范圍的減小，分類正確率逐步上升，直到-附近，達(dá)到最高(95%)的分類正確率;當(dāng)采樣范圍進(jìn)一步減小時(shí)，由于采樣區(qū)域范圍過小，丟失過多有用信息而使分類正確率下降。因此，選擇環(huán)帶范圍，該區(qū)域?qū)Ρ砬樽兓南鄬Ψ€(wěn)健且包含足夠的分類信息。

通過實(shí)驗(yàn)確定各個(gè)采樣環(huán)帶的投票權(quán)重。分別單獨(dú)使用距鼻尖點(diǎn)為20 mm、30 mm、40 mm、50 mm、60 mm、70 mm的環(huán)帶采樣點(diǎn)進(jìn)行分類實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)結(jié)果分配各環(huán)帶權(quán)重，20 mm～70 mm環(huán)帶的權(quán)重分別為:0.17、0.13、0.11、0.15、0.14、0.15、0.15。

為了檢驗(yàn)筆者算法的識別效果，與原ARS、測地線方法進(jìn)行了對比試驗(yàn)。實(shí)驗(yàn)分別為:無表情人臉模型作為訓(xùn)練樣本，同時(shí)使用一組有表情模型作為測試樣本;隨機(jī)4組樣本訓(xùn)練、1組樣本識別;隨機(jī)3組樣本訓(xùn)練、隨機(jī)2組樣本識別;隨機(jī)2組樣本訓(xùn)練、3組樣本識別。其中，表1中正確率及訓(xùn)練識別時(shí)間以無表情人臉作訓(xùn)練樣本，另4組以表情人臉作測試樣本，共400次識別實(shí)驗(yàn)的平均值。表2為3種方法的平均訓(xùn)練及識別時(shí)間對比。

表2 平均耗時(shí)對比Tab.2 Average time consuming

表3 平均識別率對比Tab.3 Average accuracy

由表2、表3可知，傳統(tǒng)測地線方法及筆者方法對有表情人臉的識別正確率明顯優(yōu)于ARS特征提取方法，但傳統(tǒng)測地線方法在樣本訓(xùn)練及識別過程中及其耗時(shí);而筆者的改進(jìn)方法在識別率和時(shí)間消耗上都優(yōu)于傳統(tǒng)測地線方法;而相對于ARS特征提取方法，筆者識別率高于ARS方法，但因筆者方法需要計(jì)算測地線距離，故訓(xùn)練時(shí)間和識別時(shí)間相對增加約0.5 s，但并不影響算法識別的實(shí)時(shí)性。

3 結(jié) 語

針對三維人臉識別中的表情變化問題，筆者提出了一種基于測地線采樣的表情不變?nèi)四樧R別算法。該算法首先對人臉模型進(jìn)行測地線距離計(jì)算，然后提取等間距測地線環(huán)帶，并在環(huán)帶上進(jìn)行采樣作為人臉局部特征信息;將采樣得到的特征進(jìn)行PCA處理以減少類間相關(guān)度，最終使用加權(quán)投票的方式得到識別結(jié)果。實(shí)驗(yàn)表明，相對于Berretti的3DWW距離的測地線分類方法，筆者方法達(dá)到了與其相當(dāng)?shù)淖R別率，并在保證對表情變化魯棒性的同時(shí)提升了算法識別速度，使識別時(shí)間由2.5 s左右下降為0.6 s左右。

［1］陳炳權(quán)，劉宏立.基于二次修正的LBP算子和稀疏表示的人臉表情識別［J］.中南大學(xué)學(xué)報(bào):自然科學(xué)版，2014，45(5):1053-1058. CHEN Bingquan，LIU Hongli.Facial Expression Recognition Based on Improved IBPOperator and Sparse Representation［J］. Journal of Central South University:Science and Technology，2014，45(5):1053-1058.

［2］TEJA G P，RAVI S.Face Recognition Using Subspaces Techniques［C］∥Recent Trends in Information Technology (ICRTIT)，2012 International Conference on.Chennai，India:IEEE，2012:103-107.

［3］蔡澤民，閆敬文.人臉識別:從二維到三維［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47(11):155-159. CAIZemin，YAN Jingwen.Face Recognition:from 2D to 3D［J］.Computer Engineering and Applications，2011，47(11): 155-159.

［4］SELLAHEWA H，JASSIM SA.Image-Quality-Based Adaptive Face Recognition［J］.IEEE Transactions on Instrumentation and Measurement，2010，59(4):805-813.

［5］LIU Ding，DING Xiaoqing，F(xiàn)ANG Chi.Continuous Pose Normalization for Pose-Robust Face Recognition［J］.Signal Processing Letters，2013，20(1):91-94.

［6］FALTEMIER，TIMOTHY C，KEVIN W，et al.A Region Ensemble for 3-D Face Recognition［J］.IEEE Transactions on Information Forensics and Security，2008，3(1):62-73.

［7］FALTEMIER，TIMOTHY C，KEVIN W，et al.Using Multi-Instance Enrollment to Improve Performance of 3D Face Recognition［J］.Computer Vision and Image Understanding，2008，112(2):114-125.

［8］WANG Jun，YIN Lijun，WEI Xiaozhou，et al.3D Facial Expression Recognition Based on Primitive Surface Feature Distribution［C］∥Computer Vision and Pattern Recognition.［S.l.］:IEEE，2006:1399-1406.

［9］KYONG ICHANG，KEVINW，PATRICK JFLYNN.Multiple Nose Region Matching for 3D Face Recognition under Varying Facial Expression［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(10):1695-1700.

［10］IOANNISA KAKADIARIS，GEORGIOS PASSALIS，GEORGE TODERIC，et al.Three-Dimensional Face Recognitionin the Presence of Facial Expressions:An Annotated Deformable Model Approach［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(4):642-649.

［11］AJMAL S MIAN，MOHAMMED BENNAMOUN，ROBYN OWENS.An Efficient Multimodal 2D-3D Hybrid Approach to Automatic Face Recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007，29(11):1927-1943.

［12］OCEGUEDA O，SHAH SK，KAKADIARIS IA.Which Parts of the Face Give Out Your Identity?［C］∥Computer Vision andPattern Recognition(CVPR).Milpitas，USA:IEEE，2011:641-648.

［13］BERRETTIS，BIMBO A D，PALA P.3D Face Recognition Using Isogeodesic Stripes［J］.IEEE Trans Pattern Anal Mach Intell，2010，32(12):2162-2177.

［14］BERRETTIS，BIMBO A D，PALA P.Weighted Walkthroughs between Extended Entities for Retrievalby Spatial Arrangement［J］.IEEE Transactions on Multimedia，2003，5(3):52-70.

［15］LEIY，BENNAMOUN M，HAYATM，et al.An Efficient3D Face Recognition Approach Using Local Geometrical Signatures［J］.Pattern Recognition，2014，47(2):509-524.

［16］BRONSTEIN A M，BRONSTEIN M，KIMMELM.Expression Invariant Representations of Faces［J］.IEEE Transactions on Image Processing，2007，16(1):188-197.

［17］CHEN Cao，WENG Yanlin，ZHOU Shun，etal.Facewarehouse:A 3D Facial Expression Database for Visual Computing［J］. Visualization and Computer Graphics，IEEE Transactions on，2014，20(3):413-425.

(責(zé)任編輯:張潔)

Expression Invariant3D Face Recognition Based on Geodesic Curve Features

CAO Yuanpeng，ZHOU Dake，YANG Xin，F(xiàn)ANG Sanyong

(College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

A new 3D face recognition method is proposed aming to speed up traditional Iso-geodesic method based on Iso-geodesic curves and features extraction.Thismethod ismainly composed by the following 3 steps: generating a serious of equidistant Iso-geodesic curves by geodesic distance，extracting feature points on every curves of first step and using PCA(Principal Component Analysis)method and voting to final face recognizes. Thismethod has higher recognition speed than the traditional Iso-geodesic method when at the same recognition rate under Face WareHouse dataset.The average recognition time decreased from 2.55 s to 0.624 3 s.

face recognition;Iso-geodesic curves;features extraction;principal component analysis(PCA)

TP391

A

1671-5896(2015)04-0429-06

2014-06-24

國家自然科學(xué)基金資助項(xiàng)目(61172135);南京航空航天大學(xué)研究生創(chuàng)新基地(實(shí)驗(yàn)室)開放基金資助項(xiàng)目(kfjj20130210)

曹元鵬(1990— )，男，呼和浩特人，南京航空航天大學(xué)碩士研究生，主要從事三維人臉重建與識別研究，(Tel)86-15850505602(E-mail)yp_cao@nuaa.edu.cn;周大可(1974— )，男，江蘇漣水人，南京航空航天大學(xué)副教授，碩士生導(dǎo)師，主要從事生物特征識別、計(jì)算機(jī)圖像處理研究，(Tel)86-25-84892305-5112(E-mail)dkzhou@nuaa.edu.cn。