基于幾何特征與深度數(shù)據(jù)的三維人臉識(shí)別

陳立生　王斌斌

摘要：提出一種基于三維點(diǎn)云數(shù)據(jù)多特征融合的人臉識(shí)別方法。利用深度信息提取人臉中分輪廓線和鼻尖橫切輪廓線；采用曲率分析的方法定位出人臉關(guān)鍵點(diǎn)，針對鼻子等人臉剛性區(qū)域，選取并計(jì)算了4類（包括曲率、距離、體積和角度）共13維的特征向量作為三維幾何特征。深度圖特征采用結(jié)合LBP與Fisherface的方法進(jìn)行提取與識(shí)別。在3DFACE-XMU和ZJU-3DFED數(shù)據(jù)庫上比較了該方法與PCA、LBP等單一方法的識(shí)別性能，識(shí)別效果有比較明顯的提升。

關(guān)鍵詞：三維人臉識(shí)別；幾何特征；深度圖像；LBP算子；FisherFace

中圖分類號：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號：1009-3044（2013）08-1864-05

1 概述

基于二維圖像的人臉識(shí)別算法經(jīng)過半個(gè)多世紀(jì)的發(fā)展，已經(jīng)取得了一定的研究成果。隨著LBP[1]和Gabor[2]等算子的引入，以及子空間方法在人臉識(shí)別上的應(yīng)用，人臉識(shí)別進(jìn)入高速發(fā)展的時(shí)期。然而研究表明[3]，受限于所采用的數(shù)據(jù)形式，二維人臉識(shí)別方法不可避免的受到環(huán)境（如光照，背景等）和人臉本身（如姿態(tài)，表情等）等因素的影響。因此本課題組賴海濱[4]、劉丹華[5]通過雙目立體視覺技術(shù)獲得了具有良好表征能力的人臉三維點(diǎn)云數(shù)據(jù)。該文在此基礎(chǔ)上研究了基于點(diǎn)云的三維人臉識(shí)別技術(shù)。分別研究了基于幾何特征以及基于深度圖的三維人臉識(shí)別。

該文計(jì)算幾何特征主要選取人臉的中分輪廓線、鼻尖橫切輪廓線作為研究對象。人臉的中分輪廓線上包括了前額、鼻子、嘴巴和下巴的縮影，呈現(xiàn)出了人臉中最突出的各個(gè)器官的輪廓。鼻尖橫切輪廓線上包含了鼻翼點(diǎn)和鼻尖點(diǎn)的信息，能夠有效地表達(dá)鼻子寬度、鼻尖鼻翼所成角度等信息。該文在人臉中分輪廓線和鼻尖橫切輪廓線上定位了十三個(gè)特征點(diǎn)并根據(jù)這些特征點(diǎn)之間的關(guān)系計(jì)算出幾何特征。

該文采用LBP算子提取人臉深度圖的紋理特征。利用分塊的思想，將人臉均勻分成不同的區(qū)塊，提取每個(gè)區(qū)塊各自的LBP直方圖特征，所有區(qū)塊的直方圖拼接以后得到空間增強(qiáng)直方圖。再采用Fisherface的思想對所提取的LBP直方圖構(gòu)建最佳投影線性子空間，得到降維后的深度圖特征向量。在識(shí)別階段，采用最近鄰分類器來計(jì)算測試樣本與訓(xùn)練樣本的相似度。

2 三維幾何特征提取

2.1 輪廓線提取及特征點(diǎn)定位

該文采用3DFACE-XMU和ZJU-3DFED數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。在三維點(diǎn)云數(shù)據(jù)上提取幾何特征。選取人臉寬度方向（正方向?yàn)樗较蛴遥閄軸，人臉長度方向（正方向豎直向上）為Y軸，Z軸為人臉深度方向（正方向垂直XY平面向外）。根據(jù)所選定的三維坐標(biāo)系和網(wǎng)格控制頂點(diǎn)的先驗(yàn)知識(shí)可知，在全部點(diǎn)云坐標(biāo)中，深度值局部最大的點(diǎn)，可能是額頭上最突出的點(diǎn)、鼻尖點(diǎn)、嘴部最突出的點(diǎn)和下巴最突出的點(diǎn)。因此在XOY平面上的中心區(qū)域?qū)ふ疑疃戎底畲蟮狞c(diǎn)作為鼻尖點(diǎn)。再如圖1所示，提取人臉點(diǎn)云與經(jīng)鼻尖點(diǎn)的YOZ平面的交集作為中分輪廓線；提取人臉點(diǎn)云與經(jīng)鼻尖點(diǎn)的XOZ平面的交集作為鼻尖橫切輪廓線。

圖2 輪廓線上的候選點(diǎn)和特征點(diǎn)定位

2.2 幾何特征計(jì)算

根據(jù)輪廓線上提取出的特征點(diǎn)之間的幾何關(guān)系計(jì)算出人臉的幾何特征。鼻子是臉部最顯著的器官之一[6]，人臉的形狀常受到表情的影響而發(fā)生扭曲形變，鼻形則具有在不同的表情下仍保持相對穩(wěn)定的剛性特征。為了增強(qiáng)對表情變化的魯棒性，該文針對鼻子剛性區(qū)域提取了部分特征。在兩條輪廓線上總共提取了4類（體積、距離、角度、曲率）共13維的幾何特征，具體特征如下：

（1） 體積特征：鼻子體積V

（2） 距離特征：鼻子高度H

（3） 角度特征：眉間、鼻根、鼻尖構(gòu)成的角度P1；鼻根、鼻尖、鼻下構(gòu)成的角度P2；鼻尖、左鼻翼點(diǎn)、右鼻翼點(diǎn)構(gòu)成的角度P3

（4） 曲率特征：

C1：中分輪廓線上額頭點(diǎn)到嘴唇上點(diǎn)的平均曲率；

C2：中分輪廓線上嘴唇下點(diǎn)到下頜點(diǎn)的平均曲率；

C3：鼻尖橫切輪廓線平均曲率；

C4：鼻尖橫切輪廓線上左鼻翼點(diǎn)曲率；

C5：鼻尖點(diǎn)橫向曲率值；

C6：鼻尖點(diǎn)縱向曲率值；

C7：中分輪廓線上鼻根點(diǎn)曲率；

C8：中分輪廓線上鼻下點(diǎn)曲率；

3 深度圖特征提取

3.2 Fisherface方法

Fisher所提出的LDA方法的主要目標(biāo)是找出一個(gè)最佳的投影方向，使得不同類別的投影向量盡量分開，同一類別的盡量聚集。該方法能夠提供反應(yīng)不同圖像類別之間差異性的特征空間，所以應(yīng)用在圖像識(shí)別中經(jīng)?？梢缘玫奖萈CA更好的效果。

在類別數(shù)為c，樣本數(shù)為N的人臉識(shí)別問題中，類內(nèi)離散度矩陣的秩最多為N-c，訓(xùn)練樣本總數(shù)N通常比人臉圖像的特征維數(shù)小得多，因此類內(nèi)離散度矩陣通常是奇異的，導(dǎo)致LDA求解最佳平面的過程無法進(jìn)行。這就是所謂的“SSS”問題（Small Sample Size Problem）。

目前已有幾種解決SSS問題的方法，其中以結(jié)合PCA與LDA的Fisherface方法較為常用。

3.3 融合策略

兩個(gè)數(shù)據(jù)庫上的識(shí)別結(jié)果都顯示：用歐氏距離作為LBP相似性度量的效果并不好。Fisherface和LBP_Fisher方法都獲得了比LBP更優(yōu)秀的識(shí)別率。LBP_Fisher方法相比較Fisherface并沒有明顯的識(shí)別率提升。

這是因?yàn)長BP算子提取出的LBPHS是直方圖特征，不宜采用歐式距離、余弦相似度等相似性度量方法。因此在深度圖上直接用LBPHS進(jìn)行識(shí)別效果不佳。而LBP_Fisher是在提取出LBPHS之后再利用Fisherface優(yōu)秀的鑒別能力進(jìn)行分類。因此它能提高LBP的識(shí)別率。

4 實(shí)驗(yàn)結(jié)果

4.1 基于幾何特征的識(shí)別實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果顯示在ZJU-3DFED的識(shí)別率要比3DFACE-XMU的識(shí)別率高。這是由于ZJU-3DFED的數(shù)據(jù)采用3D MEGA Capturor DF采集得到，噪聲比較少，相對比較平滑，特征點(diǎn)定位錯(cuò)誤也比較少。而3DFACE-XMU的數(shù)據(jù)采用三維重建技術(shù)得到，較多的噪聲導(dǎo)致了幾何特征獲取不準(zhǔn)確，識(shí)別率下降了很多。

4.2 基于深度特征的識(shí)別實(shí)驗(yàn)

在兩個(gè)數(shù)據(jù)庫的算法對比結(jié)果中，采用LBP_Fisher與Fisherface決策級加權(quán)融合的方法均高于PCA和Gabor方法以及單LBP和單Fisherface方法。

5 結(jié)束語

本文在三維人臉點(diǎn)云數(shù)據(jù)上準(zhǔn)確提取4類（包括曲率、距離、體積和角度）共13維的特征向量作為三維幾何特征，在采樣良好的ZJU-3DFED數(shù)據(jù)上具有較高的識(shí)別率。在深度圖上，采用LBP_Fisher與Fisherface決策級加權(quán)融合的方法進(jìn)行識(shí)別，對單LBP和Fisherface算法的識(shí)別率有顯著的提升。

參考文獻(xiàn)：

[1] AHONEN T，HADID A，PIETIK INEN M.Face recognition with local binary patterns[J].Computer Vision-ECCV 2004，2004：469-481.

[2] LIU D H，LAM K M，SHEN L S.Optimal sampling of Gabor features for face recognition[J].Pattern Recognition Letters，2004，25（2）：267-276.

[3] Zhao W，Chellappa R，Phillips P J，et al.Face recognition： a literature survey[J].ACM Computing Surveys，2003，35（4）：399-458.

[4] 賴海濱.基于雙目立體視覺的人臉點(diǎn)云獲取及識(shí)別研究[D].廈門：廈門大學(xué)，2011.

[5] 劉丹華.三維人臉數(shù)據(jù)獲取及識(shí)別技術(shù)研究[D].廈門：廈門大學(xué)，2012.

[6] 韓松，潘綱，王躍明，吳朝暉.三維鼻形： 一種新的生物特征識(shí)別模式[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2008，20（1）：38-42.

[7] 李慶敏.多特征融合的三維人臉識(shí)別技術(shù)研究[D].廈門：廈門大學(xué)，2010.

[8] 吳眾山.基于B樣條的三維人臉曲面生成及特征提取研究[D].廈門：廈門大學(xué)，2008.

[9] 葉劍華，劉正光.基于LBP和Fisherfaces的多模態(tài)人臉識(shí)別[J].計(jì)算機(jī)工程，2009，35（11）：193-195.