基于局部特征的三維人臉識(shí)別

胡敏艷，孫杳如（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上海 201804）

基于局部特征的三維人臉識(shí)別

胡敏艷，孫杳如
（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上海 201804）

0　引言

科技迅速發(fā)展，各種安全技術(shù)越來(lái)越受到人們的重視。人臉作為每個(gè)人獨(dú)有的身份標(biāo)識(shí)，它具有非交互性，人臉數(shù)據(jù)容易獲得等優(yōu)點(diǎn)。這種非交互式的身份鑒定，可以運(yùn)用于飛機(jī)場(chǎng)、火車站查找網(wǎng)上逃犯以及恐怖分子。人臉識(shí)別最早開(kāi)始于上個(gè)世紀(jì)初[1]，這一時(shí)期主要研究的是二維人臉識(shí)別。然而，二維人臉識(shí)別一直受到光照、姿態(tài)、年齡、遮擋的影響，研究者轉(zhuǎn)而投入三維人臉識(shí)別中以求突破。從上個(gè)世紀(jì)80年代末90年代初[2-3]，三維人臉識(shí)別就已經(jīng)進(jìn)入了我們的視野。近些年來(lái)，由于三維掃描設(shè)備的快速發(fā)展和計(jì)算機(jī)處理性能的提高，促進(jìn)了三維人臉識(shí)別的發(fā)展。目前，三維人臉識(shí)別的方法各種各樣，大體上可以分為兩種：基于全局特征的識(shí)別方式和基于局部特征的識(shí)別方式。

基于全局特征的識(shí)別方式中，大多數(shù)方法是從整個(gè)人臉數(shù)據(jù)中提取出相關(guān)的特征信息。例如，主成分分析法（PCA）[4-6]，線性判別法（LDA）[6-7]，獨(dú)立成分分析法（ICA）。它們通常是先用一定的數(shù)據(jù)訓(xùn)練，構(gòu)造特征子空間。對(duì)于測(cè)試數(shù)據(jù)，將其映射到特征子空間中并用一定的方法對(duì)其進(jìn)行匹配。其次，還有一些研究者使用ICP算法來(lái)識(shí)別人臉。Chua[8]首先將ICP算法運(yùn)用于人臉識(shí)別中的預(yù)處理步驟——對(duì)齊人臉。后來(lái)，Cook[9]將ICP算法用于中性表情的人臉識(shí)別中?；贗CP匹配算法的人臉識(shí)別對(duì)姿態(tài)和光照變化具有穩(wěn)健性，在中性表情下，ICP匹配算法的識(shí)別效果較好。同時(shí)反映出，在具有表情的三維人臉中，該算法識(shí)別效果不好。然而，ICP匹配算法計(jì)算代價(jià)太大。

基于局部特征的識(shí)別方式，主要是從三維人臉曲面上的某些點(diǎn)周圍提取有效的局部幾何特征，通常有局部描述符，曲線特征和曲率特征。我們通常是用法向量、曲率、曲線等基本的幾何特征來(lái)構(gòu)造局部特征。這些局部特征在構(gòu)造前，通常要找到人臉中一些穩(wěn)定的點(diǎn)，這些點(diǎn)我們稱作關(guān)鍵點(diǎn)。接著，我們利用這些關(guān)鍵點(diǎn)周圍一定范圍內(nèi)點(diǎn)的信息來(lái)構(gòu)造特征。局部描述符是人臉某點(diǎn)鄰域內(nèi)的幾何信息或者幾何統(tǒng)計(jì)信息，常見(jiàn)的有旋轉(zhuǎn)圖像法（Spin Image）[10]、本質(zhì)特征向量（Intrinsic Features）[11]、點(diǎn)簽名（Point Signature）[12]。

SIFT[13]算法成功運(yùn)用于二維人臉識(shí)別，其具有旋轉(zhuǎn)以及尺度不變的特性。受到SIFT算法的影響，我們也在不同尺度下進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，而后再構(gòu)造以關(guān)鍵點(diǎn)為中心的局部特征。本文使用meshSIFT算法的三維人臉的關(guān)鍵點(diǎn)檢測(cè)方法，來(lái)檢測(cè)相對(duì)穩(wěn)定的三維人臉特征點(diǎn)。Shape Index對(duì)不同的尺度具有不變性，J.Farley Norman[14]等人其論文中也有提到。曲率可以衡量曲面的彎曲程度，因而我們?cè)谶@里使用Shape Index和曲度來(lái)構(gòu)造特征向量。要想構(gòu)造一個(gè)不因人的姿態(tài)變化而受到影響的特征，應(yīng)在構(gòu)造特征前為局部特征確定一個(gè)參考方向，以該方向?yàn)榛鶞?zhǔn)構(gòu)造局部特征。因而，我們?nèi)四樚卣鳂?gòu)造方法主要分為以下兩大步驟：①關(guān)鍵點(diǎn)檢測(cè)。②特征構(gòu)造。在特征構(gòu)造中，我們首先要計(jì)算主方向。其次，以主方向?yàn)榛鶞?zhǔn)構(gòu)造局部特征。本文構(gòu)造的局部特征，用于外部遮擋的識(shí)別中具有相對(duì)較好的效果。

1　我的工作

從Bosphorus數(shù)據(jù)庫(kù)中獲得的數(shù)據(jù)是點(diǎn)云數(shù)據(jù)。在進(jìn)行計(jì)算前，我們首先將這些點(diǎn)云數(shù)據(jù)轉(zhuǎn)化成三角網(wǎng)格數(shù)據(jù)。這時(shí)，人臉數(shù)據(jù)主要是由點(diǎn)集和邊集組成。點(diǎn)集可以表示為：V={i∈n|vi=（xi，yi，zi）}，n是一個(gè)人臉總共的點(diǎn)數(shù)。而邊集可以表示為 E={（vi，vj∈V）∩（vi，vj）∈T|（vi，vj）}，T表示一定的規(guī)則，這個(gè)規(guī)則使得兩個(gè)點(diǎn)構(gòu)成了一條邊。一個(gè)點(diǎn)的鄰域內(nèi)的點(diǎn)集用Ni={vj∈V| （vi，vj）∈E}來(lái)表示。

1.1關(guān)鍵點(diǎn)定位

Lowe DG在2004年提出了SIFT算法，該算法通過(guò)檢測(cè)不同尺度空間的極值點(diǎn)，具有位置，旋轉(zhuǎn)，尺度縮放不變性。有效的關(guān)鍵點(diǎn)是人臉識(shí)別的關(guān)鍵，我們?cè)谶@里采用MeshSIFT[15]算法來(lái)獲得三維人臉數(shù)據(jù)中的關(guān)鍵點(diǎn)。MeshSIFT算法借鑒了SIFT算法的思想并應(yīng)用于三維人臉識(shí)別的算法。首先，構(gòu)造不同的尺度空間來(lái)獲取，人臉在不用尺度空間下的人臉信息。其次，在不同的尺度空間上，來(lái)檢測(cè)關(guān)鍵點(diǎn)。具體做法如下：

（1）構(gòu)造尺度空間

高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核。本文使用與高斯濾波函數(shù)相似的二項(xiàng)式濾波函數(shù)來(lái)實(shí)現(xiàn)。對(duì)于原始人臉輸入F，我們將獲得多個(gè)尺度下的人臉Fs，具體的處理過(guò)程如下：

F代表原始的人臉數(shù)據(jù)，Gσs是近似高斯過(guò)濾函數(shù)的二項(xiàng)式濾波函數(shù)，σs是尺度因子我們用二項(xiàng)濾波器來(lái)近似高斯核函數(shù)來(lái)對(duì)三維數(shù)據(jù)做卷積，具體公式如（2），對(duì)第i個(gè)點(diǎn)做二項(xiàng)式濾波，第s次卷積時(shí)的二項(xiàng)式濾波為：

（2）選取關(guān)鍵點(diǎn)

圖1　檢測(cè)到的關(guān)鍵點(diǎn)在原始人臉數(shù)據(jù)上的顯示

1.2提取特征

要想獲得具有方向不變性的局部特征，在進(jìn)行特征構(gòu)造前我們應(yīng)該找到一個(gè)參考方向，以此來(lái)構(gòu)建局部特征。相對(duì)于參考方向的特征對(duì)于方向變化將更加穩(wěn)定。因此，我們的特征提取工作將分為兩個(gè)部分：①確定參考方向；②構(gòu)造特征。在確定參考方向時(shí)，我們使用了MeshSIFT中的方法來(lái)確定參考方向。

（1）確定參考方向

要構(gòu)造局部特征，先要確定關(guān)鍵點(diǎn)周圍多大范圍內(nèi)的信息對(duì)此關(guān)鍵點(diǎn)有效。在這里，我們確定以關(guān)鍵點(diǎn)為中心，球半徑r內(nèi)的點(diǎn)為構(gòu)造關(guān)鍵點(diǎn)的特征的有效點(diǎn) （這些點(diǎn)構(gòu)成的區(qū)域稱之鄰近區(qū)域，r是經(jīng)驗(yàn)值8 σs）。因而，我們必須先計(jì)算鄰近區(qū)域內(nèi)的各個(gè)點(diǎn)的法向量（用文獻(xiàn)[16]中的方法）和測(cè)地距離（用文獻(xiàn)[17]的快速匹配算法）。利用測(cè)地距離去除無(wú)效的點(diǎn)，將各個(gè)有效點(diǎn)的法向量投影到關(guān)鍵點(diǎn)的切平面上，這些投影在切平面內(nèi)指向各個(gè)方向。我們的參考方向主要是要找到一個(gè)最能代表關(guān)鍵點(diǎn)這個(gè)鄰域內(nèi)點(diǎn)構(gòu)成的形狀的大致的彎曲方向。有了參考方向，當(dāng)人臉數(shù)據(jù)旋轉(zhuǎn)時(shí)，檢測(cè)到的主方向也會(huì)跟著相應(yīng)變化。

計(jì)算參考方向的主要步驟如下，對(duì)各個(gè)點(diǎn)的投影向量使用一個(gè)360個(gè)組數(shù)和組距為1度的加權(quán)直方圖來(lái)統(tǒng)計(jì)。為了得到的參考方向更具有穩(wěn)定性，在統(tǒng)計(jì)各個(gè)點(diǎn)法向量的投影向量之前，我們對(duì)其做一個(gè)測(cè)地距離的高斯加權(quán)，接著對(duì)直方圖進(jìn)行三次高斯模糊（模糊因子σ=17，代表17個(gè)組距）。最后，我們從直方圖中得到一組最大的值。我們將取大于最大值80%的方向?yàn)橹鞣较?，因而我們可能得到多個(gè)參考方向。如果一個(gè)關(guān)鍵點(diǎn)有多個(gè)參考方向，這個(gè)關(guān)鍵點(diǎn)就有多組關(guān)鍵點(diǎn)的特征生成。

圖2　表示關(guān)鍵點(diǎn)及其鄰域內(nèi)法向量映射到切平面引用meshSIFT[15]

（2）構(gòu)造特征

其次，小圓內(nèi)對(duì)每個(gè)區(qū)域內(nèi)的點(diǎn)進(jìn)行統(tǒng)計(jì)，將這些點(diǎn)的形狀索引值[-1，1]分為8組，對(duì)每組j的點(diǎn)用wcgc，i和wkgk，i對(duì)曲度進(jìn)行加權(quán)計(jì)算得到sj。每個(gè)區(qū)域內(nèi)的特征可以表示為S=[s1，s2，…，s8]；每個(gè)小圈的內(nèi)的特征可以表示為c=[S1，S2，S3，S4]，其中下標(biāo)對(duì)應(yīng)圖4中的下標(biāo)；這時(shí)，我們可以將第k個(gè)小圓區(qū)域內(nèi)的特征由Ck=[c1，c2，…c8]T（k=1，2，…，9）；則關(guān)鍵點(diǎn)i的特征向量則為fi= [C1，C2，…，C9]；則這時(shí)，整個(gè)人臉特征可表示為F={f1，f2，…，fn}。通過(guò)以上步驟，對(duì)人臉周圍的區(qū)域進(jìn)行序列化，并對(duì)其進(jìn)行計(jì)算。

圖3　用來(lái)構(gòu)造特征向量的主方向的指向

圖4　用來(lái)構(gòu)造特征向量每個(gè)區(qū)域的子區(qū)域劃分

2　識(shí)別方法

圖5　使用Bosphorus數(shù)據(jù)庫(kù)中的外部遮擋的部分?jǐn)?shù)據(jù)對(duì)人臉進(jìn)行識(shí)別

3　實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)的數(shù)據(jù)主要來(lái)源于Bosphorus數(shù)據(jù)庫(kù)[18]中的人臉資源。Bosphorus數(shù)據(jù)庫(kù)中，有男性61人，女性44人，年齡在25到35歲之間。每個(gè)人包含31-54張人臉數(shù)據(jù)不等，每張人臉由大約35000個(gè)三維點(diǎn)云數(shù)據(jù)組成，總共包含4666張人臉數(shù)據(jù)。其中，人臉數(shù)據(jù)有含正面、表情、旋轉(zhuǎn)、遮擋這幾種不同類型的人臉數(shù)據(jù)。筆者主要從以下兩個(gè)方面做了實(shí)驗(yàn)，來(lái)證明特征的有效性：

首先，將從數(shù)據(jù)中給每個(gè)臉找一個(gè)數(shù)據(jù)作為人臉庫(kù)中的數(shù)據(jù)，后面識(shí)別時(shí)通過(guò)與數(shù)據(jù)庫(kù)中的這些數(shù)據(jù)進(jìn)行匹配，判斷是不是同一個(gè)人臉。圖表1顯示了與其他方法在Bosphorus數(shù)據(jù)庫(kù)人臉識(shí)別效果上的比較。如圖表1，我們的正面人臉識(shí)別準(zhǔn)確率達(dá)到93.0%比其他的人臉識(shí)別率要高。

表1　與其他的文獻(xiàn)在全部人臉數(shù)據(jù)和正面人臉數(shù)據(jù)進(jìn)行比較

在Bosphorus數(shù)據(jù)庫(kù)中，遮擋的人臉數(shù)據(jù)主要有一下四種：

1.用手遮住嘴部（105），2.眼鏡（104），3.頭發(fā)遮住臉部（67），4.用手遮住一只眼睛和部分額頭（105）。

我們的實(shí)驗(yàn)主要從上面四種數(shù)據(jù)，以及對(duì)所有外部遮擋的人臉數(shù)據(jù)進(jìn)行了對(duì)比。所有的實(shí)驗(yàn)數(shù)據(jù)有381張人臉數(shù)據(jù)，用我們的方法來(lái)對(duì)這些數(shù)據(jù)做匹配，人臉識(shí)別效率達(dá)到了93.9%的識(shí)別率。我們的整個(gè)人臉識(shí)別過(guò)程都是自動(dòng)完成的，而Aluz等人[22]的方法在整個(gè)的人臉識(shí)別的處理過(guò)程中有部分由手動(dòng)處理。Colombo等人[23]先對(duì)數(shù)據(jù)進(jìn)行了篩選，丟棄了質(zhì)量相對(duì)較差的數(shù)據(jù)，取了其中較好的360個(gè)數(shù)據(jù)進(jìn)行識(shí)別。除了頭發(fā)遮擋部分比他差，其他的識(shí)別上都遠(yuǎn)超過(guò)了他的識(shí)別效率。Drira等人[24]對(duì)人臉進(jìn)行識(shí)別，他們先將遮擋的數(shù)據(jù)去掉，然后對(duì)該部分?jǐn)?shù)據(jù)進(jìn)行修復(fù)，然后再對(duì)著進(jìn)行識(shí)別。我們的方法在外部遮擋的人臉數(shù)據(jù)中除眼部遮擋的數(shù)據(jù)識(shí)別效率與Drira識(shí)別效率相當(dāng)外，其他的數(shù)據(jù)比Drira等人識(shí)別效果都要好。從圖表2的對(duì)比中，可以看出，對(duì)外部遮擋的數(shù)據(jù)識(shí)別效果較好。

4　結(jié)語(yǔ)

我們提出了一種新的方式過(guò)對(duì)關(guān)鍵點(diǎn)周圍的幾何信息進(jìn)行構(gòu)造并運(yùn)用于人臉識(shí)別。我們?cè)谡麄€(gè)人臉識(shí)別的過(guò)程中都是自動(dòng)進(jìn)行的，不需要任何人工干預(yù)。在以上的實(shí)驗(yàn)表明，與本文提出的特征構(gòu)造方法在外部遮擋的識(shí)別上具有比較好的效果。從整體上來(lái)看，我們的方法在三維人臉識(shí)別上還有很大的提高空間。在后面的研究中，我們會(huì)繼續(xù)改善它在其他數(shù)據(jù)中的識(shí)別效率，從而提高整體的識(shí)別效率。

[1]Galtonf.Numeralised Profiles for Classification and Recognition[J].Nature,1910,83(2109):127-130

[2]Lee J C,Milios E.Matching Range Images of Human Face[C].Computer Vision,1990.Proceedings,Third International Conference On.IEEE,1990:722-726.

[3]Nagamine T,Uemura T,Masuda I.3D Facial Image Analysis For Human Identification[C]Pattern Recognition,1992.Vol.I.Conference A:Computer Vision and Applications,Proceedings.11th IAPR International Conference On.IEEE,1992:324-327.

[4]M.Ana Belen,S.Ngel,V.JosFco Et Al.Face Recognition Using 3D Local Geometrical Features:PCA Vs.SVM,Image and Signal Processing And Analysis,2005.ISPA 2005.Proceedings of the 4th International Symposium on.2005:IEEE.

[5]M.Mir Hashem,F.Karim,A.Amin.Three Dimensional Face Recognition Using SVM Classifier,Computer And Information Science[C]. 2008.ICIS 08.Seventh IEEE/ACIS International Conference on.2008:IEEE.

[6]Hiremath,P.S.And Manjunatha Hiremath.3D Face Recognition Based On Radon Transform,PCA,LDA Using KNN And SVM[J].International Journal Of Image,Graphics and Signal Processing(IJIGSP),2014.6(7):36.

[7]B.A.,Chiraz,Paul A.Griffin.Comparing and Combining Depth And Texture Cues for Face Recognition[J].Image and Vision Computing,2005.23(3):339-352

[8]Chua,Chin-Seng,Feng Han and Yeong-Khing Ho.3D Human Face Recognition Using Point Signature.In Automatic Face and Gesture Recognition,2000.Proceedings.Fourth IEEE International Conference on.2000:IEEE.

[9]C.Jamie,C.Vinod,C.Sridha,F.Clinton.Face Recognition From 3d Data Using Iterative Closest Point Algorithm and Gaussian Mixture Models,3D Data Processing,Visualization and Transmission,2004.3DPVT 2004.Proceedings.2nd International Symposium on. 2004:IEEE.

[10]J.Andrew E.,H.Martial.Using Spin Images For Efficient Object Recognition In Cluttered 3D Scenes[J],Pattern Analysis and Machine Intelligence,IEEE Transactions On.1999,21(5):433-449.

[11]Xu C.,T.Tan,S.Li,Y.Wang,C.Zhong,Learning Effective Intrinsic Features To Boost 3D-Based Face Recognition,Computer Vision-ECCV 2006,Springer.2006,416-427.

[12]Chua,Chin-Seng,Feng Han and Yeong-Khing Ho.3D Human Face Recognition Using Point Signature.In Automatic Face and Gesture Recognition,2000.Proceedings.Fourth IEEE International Conference On.2000:IEEE.

[13]L.David G.Distinctive Image Features From Scale-Invariant Keypoints,International Journal of Computer Vision.2004,60(2):91-110.

[14]J.Farley Norman.Visual Discrimination of Local Surface Structure:Slant,Tilt,And Curvedness

[15]S.Dirk,K.Johannes,V.Dirk.Meshsift:Local Surface Features for 3D Face Recognition under Expression Variations and Partial Data,Computer Vision and Image Understanding.2013,117(2):158-169.

[16]G.Peyre.Toolbox Graph.MATLAB Central File Exchange Select,2009.

[17]G.Peyre.Toolbox Fast Marching.MATLAB Central File Exchange Select,2009

[18]Savran A,Alyuz N,Dibekliglu H,Celiktutan O,Gokberk B.Bosphorus Database for 3D Face Analysis.Proceedings of the Workshop on Biometrics and Identity Management,2008,47-56.

[19]Dibeklio觧lu,Hamdi,Berk Gokberk And Lale Akarun,Nasal Region-Based 3D Face Recognition Under Pose and Expression Variations,In Advances In Biometrics.Springer.2009,309-318.

[20]H.Farshid,R.Abolghasem A.,Y.Gao.2.5 D Face Recognition Using Patch Geodesic Moments,Pattern Recognition.2012,45(3): 969-982.

[21]A.Nese,G.Berk,D.Hamd Et Al.3D Face Recognition Benchmarks on the Bosphorus Database With Focus on Facial Expressions, Biometrics and Identity Management,Springer.2008,57-66.

[22]A.Nese,Berk Gokberk and Lale Akarun.A 3D Face Recognition System for Expression and Occlusion Invariance.In Biometrics: Theory,Applications and Systems,2008.BTAS 2008.2nd IEEE International Conference on.2008:IEEE.

[23]C.Alessandro,C.Claudio,S.Raimondo.Three-Dimensional Occlusion Detection and Restoration of Partially Occluded Faces,Journal of Mathematical Imaging and Vision.2011,40(1):105-119.

[24]D.Hassen,B.A.Boulbaba,S.Anurag.3D Face Recognition Under Expressions,Occlusions,and Pose Variations,Pattern Analysis and Machine Intelligence,IEEE Transactions on.2013,35(9):2270-2283.

3D Face Recognition;Local Feature;Shape Index

文章編號(hào)：1007-1423（2016）06-0039-05DOI：10.3969/j.issn.1007-1423.2016.06.009

3D Face Recognition Based on Local Feature

HU Min-yan，SUN Yao-ru
（Department of Computer Science and Technology,College of Electronics and Information Engineering,Tongji University,Shanghai 201804）

國(guó)家自然基金項(xiàng)目（No.61173116）、上海市科學(xué)技術(shù)委員會(huì)項(xiàng)目（No.14JC1402203）

1007-1423（2016）06-0033-06

10.3969/j.issn.1007-1423.2016.06.008

2015-12-21

2016-01-30

Shape Index和曲度用于構(gòu)造局部特征，并運(yùn)用于三維人臉識(shí)別中。這種局部特征的提取方法用于人臉識(shí)別，不需要預(yù)先進(jìn)行對(duì)齊處理，而且對(duì)有遮擋的人臉數(shù)據(jù)具有相對(duì)較好的識(shí)別效果。這里，局部特征提取的主要步驟如下：在不同的尺度上對(duì)三維人臉上的關(guān)鍵點(diǎn)進(jìn)行檢測(cè)；再對(duì)檢測(cè)到的關(guān)鍵點(diǎn)確定主方向，然后根據(jù)主方向構(gòu)造關(guān)鍵點(diǎn)在某一鄰域內(nèi)的特征向量。實(shí)驗(yàn)所用數(shù)據(jù)庫(kù)是Bosphorus Database，是Bogazici大學(xué)采集的三維人臉數(shù)據(jù)庫(kù)。

三維人臉識(shí)別；局部特征；Shape Index

胡敏艷，女，碩士研究生，研究方向?yàn)檎J(rèn)知與智能信息處理

孫杳如，男，教授，研究方向?yàn)檎J(rèn)知與智能信息處理

Shape Index and curvature is used to construct the local characteristics，and applied to 3D face recognition.This kind of local feature extraction method for face recognition，don't need to align in advance，and also have relatively good recognition rate under external occlusion.Here，the main steps of local feature extraction are as follows:Firstly，test the key points of the three dimensional person face in different scales;After that,determine the reference direction of the key point,then construct a feature vector of key point within a neighbor according to the reference direction.Experiment data is come from Bosphorus Database collected by the researchers of the University of Bogazici.