基于面部曲線特征融合的三維人臉識別

鄒紅艷 達飛鵬 李曉莉

(1東南大學自動化學院，南京210096)

(2南京林業(yè)大學機械電子工程學院，南京210037)

人臉識別作為一種重要生物特征識別方法，具有對用戶干擾少、易被接受等特點，在生物認證中具有廣闊的應用前景.三維人臉識別主要根據(jù)人臉的三維幾何形狀信息進行識別，且不會受姿勢和光照的影響.隨著三維掃描技術快速發(fā)展，三維人臉識別得到了越來越多的關注［1-2］.

目前有關三維人臉識別方法的研究有很多，可以分為基于整體特征、基于局部特征和基于整體特征局部特征相融合的方法.基于整體特征的人臉識別方法將整張人臉區(qū)域作為一個整體進行變換或提取特征，然后進行匹配識別.Srivastava等［3］首先將網(wǎng)格人臉映射為深度圖像，采用隨機梯度算法訓練最大化類間距離的正交基底，然后將高維人臉映射到該低維空間中，再用最近鄰法對人臉進行識別.Llonch等［4］將三維人臉點云映射到一個二維球面中，然后采用LDA對二維球面人臉圖像進行分析.然而整體特征提取時易受姿勢變化的影響，同時基于整體特征的方法無法很好處理頭發(fā)、胡子等遮擋的影響.基于局部特征的方法利用人臉部分區(qū)域的特征進行識別，該方法可以對人臉的不同區(qū)域根據(jù)其特性進行不同對待，因此在處理表情和遮擋等問題時，與基于整體的方法相比具有一定的優(yōu)勢.ter Haar等［5］分別以鼻尖點為中心，提取人臉等測地距離輪廓線、等歐氏距離輪廓線、平面內(nèi)等歐氏距離輪廓線和等深度輪廓線，分析不同輪廓線對人臉的不同表征性.Berretti等［6］提取到鼻尖點等距離的點組成等測地輪廓帶，計算等測地輪廓帶之間的3D Weighted Walkthroughs(3DWWs)特征進行識別.然而基于局部特征的方法一般易受噪聲點的影響.

單純基于整體特征或局部特征的人臉識別方法都存在一定的局限性.因此本文從這個角度出發(fā)，首先在姿勢校正后的人臉上提取到鼻尖點測地距離相等的等測地輪廓線，然后分別從輪廓線上點的局部鄰域信息和輪廓線整體形狀信息角度提取人臉局部和整體特征進行識別，最后對比較結果采用加權求和規(guī)則進行融合，利用最近鄰分類器獲得最終識別結果.實驗證明，本文算法在表情魯棒性和識別率上都體現(xiàn)了比較好的性能.

1 預處理與輪廓線提取

1.1 人臉數(shù)據(jù)預處理

為了準確提取特征，需對人臉進行切割和姿勢矯正以得到嚴格的人臉區(qū)域.本文參照文獻［1］的方法，首先根據(jù)人臉形狀指數(shù)［7］特征和幾何約束條件確定鼻尖點p位置，然后以鼻尖點為中心，以半徑r=90 mm做球體，球體內(nèi)包含的人臉區(qū)域即為切割的人臉區(qū)域.原始人臉和切割后的人臉如圖1(a)和(b)所示.

圖1 人臉切割和姿勢矯正

對切割后的人臉點云進行主成分分析(PCA)，可得到3個互相垂直的主方向，將最大特征值對應的特征向量作為新坐標系的y軸，最小特征值對應的特征向量作為z軸，建立右手坐標系，在該坐標系下人臉應具有相同的正面姿態(tài).該坐標系也被稱為姿勢坐標系(pose coordinate system，PCS)［8］.以鼻尖點 p作為 PCS的原點，將切割后的人臉點云數(shù)據(jù)都轉(zhuǎn)換到PCS中，即完成人臉姿態(tài)校正，如圖1(c)所示.

1.2 等測地輪廓線提取

曲面上2點之間的最短距離即為測地距離，它被認為是不隨著人臉表情的變化而改變的［9］.本文采用由Dijkstra［10］提出的方法計算人臉點云上任意2點的測地距離.

計算人臉所有點到鼻尖點的測地距離之后，選擇到鼻尖點測地距離在［γ－δ，γ+δ］范圍內(nèi)的點組成等測地輪廓線.在本文中取δ=1.4 mm，且根據(jù)不同參數(shù)γ值在人臉區(qū)域等間隔提取17條等測地輪廓線 c'γ(i)(i=1，2，…，17)，如圖 2(a)所示.

圖2 等測地輪廓線提取及采樣

1.3 等測地輪廓線采樣

在特征匹配前需要對等測地輪廓線c'γ(i)進行重新采樣.以鼻尖點為中心構造一個橢圓，方程如下:

式中，t=［0，2π］;a 為 c'γ(i)在 x 軸方向的投影差值;b為c'γ(i)在y方向的投影差值.通過離散采樣t，可以在橢圓上采樣不同數(shù)目的點.

對于橢圓上每一個采樣點，在等測地輪廓線上選取距離最近的點作為測地輪廓線采樣點.圖2(b)和(c)分別顯示了采樣前、后的等測地輪廓線.

2 局部特征匹配

2.1 局部特征提取

取重采樣后的等測地輪廓線cγ(i)上任一點p，以p為中心，r=10 mm為半徑做球體，球體內(nèi)包含的人臉區(qū)域即為點p的鄰域L.利用PCA計算鄰域點云L的主軸，將與最大特征值對應的特征向量作為y軸，與最小特征值對應的特征向量作為z軸，建立一個右手坐標系，并將坐標系的原點設在點云質(zhì)心o.

點集L中的每個點li在新坐標系下的投影坐標為［x'i，y'i，z'i］T.鄰域 L 中的點在 3 個軸上的投影值可分別組成一個列向量 Lx=［x'1，x'2，…，x'na］T，Ly=［y'1，y'2，…，y'na］T和 Lz=［z'1，z'2，…，z'na］T.

分別提取點云在3個主軸方向的最大投影和最小投影值之間的差值fx，fy和fz.其中fz反映了點集曲面的彎曲度，但無法通過fz確定曲面L是凹的還是凸的.通過點p的z坐標對fz進行了修正.設點p 在新局部坐標系中的坐標為［p'x，p'y，p'z］T，則修正后的fz為

圖3即為提取的特征fx，fy和f'z.除此之外，還提取了鄰域L的面積s作為本文所用局部特征.［fx，fy，f'z，s］T即為在點 p 提取的局部特征.

圖3 局部特征fx，fy和f'z

2.2 局部特征匹配

對等測地輪廓線cγ(i)上每一點進行局部特征提取，得到輪廓線 cγ(i)的局部特征 Lcγ(i)=［l1，l2，…，lncγ(i)］，其中 ncγ(i)為采樣后的輪廓線 cγ(i)中點的個數(shù)

式中，ncγ(i)為輪廓線中的點數(shù);為人臉A在第i點的局部特征;為人臉B在輪廓線中與人臉A在輪廓線中第i點的對應點的局部特征.

1)建立點對應的關系

根據(jù)式(3)計算輪廓線相似性，首先需要確定不同人臉的對應輪廓線和的對應點對.假設的第1個點與輪廓線的第 j個點對應(2≤j≤ncγ(i))，則中的第i個點在中的對應點為第k個，其中k可通過下式獲取:

采用上述方法共建立了ncγ(i)種點對應關系.對于每一種點對應關系，根據(jù)式(3)可以獲取一個相似性度量.考慮人臉的形狀信息，取具有最小特征距離時的對應點為合理的點對應關系，且此時的最小特征距離scγ(i)即為人臉A和B對應輪廓線和的相似性度量.

2)局部特征比較

對不同的輪廓線根據(jù)其到鼻尖點的距離設定一個權值ωcγ(i)，越靠近鼻尖點的輪廓線，具有越大的權值.ωcγ(i)的計算式為

式中，γ(i)為第i個參數(shù)的γ值.

最后將17條等測地輪廓線匹配結果融合，則得到由局部特征得出的人臉相似度為

3 全局特征匹配

3.1 整體特征提取

將輪廓線cγ(i)分別向姿勢坐標系PCS的x，y軸方向投影，投影值組成2個向量xproj和yproj.分別將這2個向量最大值與最小值的差值作為輪廓線在x，y軸方向的整體特征(見圖4)，即

選取輪廓線 cγ(i)的整體特征為 gi=［gx(i)，gy(i)］.

圖4 等測地輪廓線整體特征

3.2 整體特征匹配

采用上述方法分別對人臉的17條等測地輪廓線進行比較，可以得到17個表示相似性的度量gcγ(i)(1≤i≤17).利用式(5)計算權值 ωcγ(i)，對各輪廓線結果加權求和，得出整體特征相似度為

3.3 局部和整體特征融合

對于具有N個模型的庫集，將分別得到N維表示局部特征和整體特征相似度的向量SL和SG，SL=［Sl1，Sl2，…，SlN］，SG=［Sg1，Sg2，…，SgN］.分別對向量SL和SG按照最大-最小原則歸一化，即

然后對歸一化后的局部和整體相似度向量采用加權求和規(guī)則融合，即

式中，ωl=ωg=0.5.最后選取S中最小元素對應的庫集人臉作為識別對象.

4 實驗結果與分析

FRGC v2.0是一個大型的公共人臉數(shù)據(jù)庫［11］，其中的三維人臉數(shù)據(jù)集是目前世界上最大的三維人臉數(shù)據(jù)庫，人臉數(shù)據(jù)為三維點云.在FRGC v2.0數(shù)據(jù)庫中選取41人的人臉數(shù)據(jù)，共241張來進行試驗.將每個人的一幅中性表情人臉(共41張)組成庫集;剩余200張人臉組成測試集，包含無表情人臉112張和有表情人臉88張.

4.1 基于特征融合的識別結果

按照本文介紹的方法，分別提取庫集和測試集人臉的局部及整體特征并進行融合，進行識別試驗，得到的 CMC(cumulative match characteristic)曲線如圖5所示.由圖可知，使用整體特征和局部特征進行識別，在級數(shù)為1時的識別率分別為80.1%和92.3%，而融合了局部特征和整體特征后的識別率達到96.2%，說明這種特征融合方法可取得較好的識別效果.

圖5 CMC曲線

4.2 表情魯棒性實驗

將測試集人臉中的112張無表情人臉和88張有表情人臉分別和庫集人臉進行識別實驗，實驗結果見圖6.

圖6 不同特征的表情魯棒性

由圖6可知，中性表情人臉在采用局部特征、整體特征和本文方法融合后特征的識別率分別為97.3%，91.1%和99.1%.與中性表情人臉相比，有表情人臉在這3種特征下的識別率普遍較低，分別為87.5%，63.6%和93.2%.但采用本文方法時識別率僅降低了5.9%，遠小于另外2種方法，說明本文采用的特征融合后的方法對于表情變化具有較好的魯棒性.

5 結語

本文提出了一種結合局部特征和整體特征的三維人臉識別方法.該方法首先提取人臉等測地輪廓線，通過分析輪廓線上點的局部點云分布信息和面積特征，提取不依賴于坐標信息的局部特征，并依據(jù)輪廓線形狀信息提取人臉整體特征，分別比較局部特征和整體特征，最后對結果進行融合.在FRGC v2.0數(shù)據(jù)庫中驗證本文算法的性能，實驗結果證明了該方法的有效性，且對表情變化有一定魯棒性.

References)

［1］李曉莉，達飛鵬.基于排除算法的快速三維人臉識別方法［J］.自動化學報，2010，36(1):153-158.Li Xiaoli，Da Feipeng.A rapid method for 3D face recognition based on rejection algorithm［J］.Acta Automatica Sinica，2010，36(1):153-158.(in Chinese)

［2］Bowyer K W，Chang K，F(xiàn)lynn P J.A survey of approaches and challenges in 3D and multi-modal 3D+2D face recognition［J］.Computer Vision and Image Understanding，2006，101(1):1-15.

［3］Srivastava A，Liu Xiuwen，Hesher C.Face recognition using optimal linear components of range images［J］.Image and Vision Computing，2006，24(3):291-299.

［4］Llonch R S，Kokiopoulou E，Tosic I，et al.3D face recognition with sparse spherical representations［J］.Pattern Recognition，2010，43(3):824-834.

［5］ter Haar F B，Veltkamp R C.A 3D face matching framework for facial curves［J］.Graphical Models，2009，71(2):77-91.

［6］Berretti S，del Bimbo A，Pala P.3D face recognition using isogeodesic stripes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(12):2162-2177.

［7］Dorai C，Jain A K.COSMOS-A representation scheme for 3D free-form objects［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(10):1115-1130.

［8］Zhang L Y，Razdan A，F(xiàn)arin G，et al.3D face authentication and recognition based on bilateral symmetry analysis［J］.Visual Computer，2006，22(1):43-55.

［9］Bronstein A M，Bronstein M M，Kimmel R.Three-dimensional face recognition［J］.International Journal of Computer Vision，2005，64(1):5-30.

［10］Dijkstra E W.A note on two problems in connection with graphs［J］.Numerische Mathematic，1959，1(3):269-271.

［11］Phillips P J，F(xiàn)lynn P J，Scruggs T，et al.Overview of the face recognition grand challenge［C］//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego，USA，2005:947-954.