基于面部曲線彈性匹配的三維人臉識(shí)別方法

潘仁林， 達(dá)飛鵬， 鄒紅艷， 王朝陽(yáng)

（東南大學(xué)自動(dòng)化學(xué)院，江蘇 南京 210096）

與指紋識(shí)別、虹膜識(shí)別等生物特征識(shí)別技術(shù)相比，人臉識(shí)別具有非接觸、隱蔽性好等特性，而成為當(dāng)前模式識(shí)別和計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)的基于二維灰度或彩色圖像的二維人臉識(shí)別已獲得較好的識(shí)別性能，但仍易受光照、姿態(tài)、表情等因素的影響，其本質(zhì)原因在于圖像是三維物體在二維空間的簡(jiǎn)約投影。三維人臉數(shù)據(jù)包含比二維人臉更多的信息，且不會(huì)受姿勢(shì)和光照的影響，所以基于三維人臉數(shù)據(jù)的三維人臉識(shí)別具有更好的識(shí)別效果[1]，近些年受到越來(lái)越多的關(guān)注。目前三維人臉識(shí)別已廣泛應(yīng)用在門禁系統(tǒng)、機(jī)場(chǎng)安檢、視頻監(jiān)控、智能空間、自然人機(jī)交互等領(lǐng)域，如A4Vision公司為丹佛地區(qū)公共運(yùn)輸系統(tǒng)(the regional transportation district，RTD)裝備 RFID 3D臉部識(shí)別門禁系統(tǒng)，該系統(tǒng)利用RFID卡和A4Vision公司領(lǐng)先的3D臉部識(shí)別器為丹佛地區(qū)公共運(yùn)輸系統(tǒng)的財(cái)政部提供更高一級(jí)的安全保證。

目前有關(guān)三維人臉識(shí)別方法的研究有很多，根據(jù)特征形式可以分為基于空域直接匹配、基于整體特征匹配和基于局部特征匹配的三維人臉識(shí)別方法?；诳沼蛑苯悠ヅ涞姆椒ú惶崛√卣?，而是直接進(jìn)行曲面的相似度匹配，常用的方法有迭代最近點(diǎn)法(iterative closest point,ICP)[2]和Hausdorff距離法[3]等。這類方法在匹配剛性曲面時(shí)具有較好的效果，但是由于人臉曲面本質(zhì)上是一個(gè)非剛性曲面，易受表情變化的影響，因而研究人員提出對(duì)剛性區(qū)域進(jìn)行ICP匹配的解決方案。基于整體特征匹配的方法注重三維人臉的整體特征，如基于深度圖的表觀匹配方法[4]將人臉曲面映射為二維人臉深度圖，然后對(duì)深度圖進(jìn)行主元成分分析(principal component analysis，PCA)匹配；基于 EGI[5]的人臉匹配方法將曲面轉(zhuǎn)換為單位球面上的質(zhì)量分布映射圖(extended gaussian image，EGI)，然后匹配 EGI?；诰植刻卣髌ヅ涞姆椒ㄖ饕翘崛∪四樓嫔系木植刻卣鬟M(jìn)行匹配。常用的三維人臉識(shí)別的局部特征包含局部描述符[6]、曲線特征以及其他一些局部的幾何特征和統(tǒng)計(jì)特性。

一些研究人員在三維人臉曲面上提取表征人臉幾何信息的特征曲線，將人臉曲面的匹配轉(zhuǎn)化為曲線的匹配，極大提高了匹配的效率。Beumier和 Acheroy[7]提取經(jīng)過(guò)人臉曲面上最突出點(diǎn)的中心輪廓線和兩條平行于該線的輪廓線，通過(guò)比較選定輪廓線上的各點(diǎn)的曲率值得到三條輪廓線相似度，進(jìn)一步融合得到人臉曲面的相似度。但該方法只提取三條人臉曲線，丟失很多曲面信息，表征性較小，當(dāng)庫(kù)集人臉個(gè)數(shù)較多時(shí)識(shí)別率會(huì)下降。Samir等[8]在人臉深度圖上提取等深度輪廓線，然后計(jì)算測(cè)試人臉等深度輪廓線與庫(kù)集人臉相應(yīng)的等深度輪廓線在黎曼空間上的測(cè)地距離作為匹配相似度。文獻(xiàn)[9]提取多條等測(cè)地線來(lái)表征人臉曲面，計(jì)算曲面上的等測(cè)地線與另一曲面上的等測(cè)地線的黎曼空間測(cè)地距離作為匹配相似度。Berretti等[10]沒有使用等測(cè)地線，而是根據(jù)曲面點(diǎn)到鼻尖的測(cè)地距離將人臉劃分為若干個(gè)等測(cè)地區(qū)域，然后根據(jù)對(duì)應(yīng)等測(cè)地區(qū)域上的點(diǎn)之間的位置關(guān)系來(lái)識(shí)別人臉。Gokberk等[11]提取人臉面部上的七條垂直輪廓曲線，計(jì)算每條對(duì)應(yīng)曲線之間的相似度然后融合為最后的總相似度來(lái)識(shí)別人臉。Chao等[12]利用三維人臉模型的輪廓線和等高線進(jìn)行識(shí)別，結(jié)果表明將中心垂直側(cè)面輪廓線和等高線的相似度融合起來(lái)得到的識(shí)別率高于任一種曲線單獨(dú)使用得到的識(shí)別率。

從上面介紹的各種基于曲線匹配的三維人臉識(shí)別算法中很容易看出基于曲線的識(shí)別方法分為兩個(gè)方面即表征人臉的曲線類型和曲線匹配的方法的選擇。

本文受二維分層匹配思想[13]的啟發(fā)，提出了一種基于面部徑向曲線彈性匹配的三維人臉識(shí)別方法。首先，對(duì)三維人臉進(jìn)行預(yù)處理，提取從鼻尖點(diǎn)發(fā)射的多條面部徑向曲線，并對(duì)徑向曲線進(jìn)行重采樣后提取有用點(diǎn)以建立曲線之間的點(diǎn)對(duì)應(yīng)關(guān)系；然后，對(duì)測(cè)試人臉的每條徑向曲線與庫(kù)集人臉的對(duì)應(yīng)曲線進(jìn)行分層彈性匹配，再根據(jù)測(cè)試人臉與庫(kù)集人臉建立的點(diǎn)對(duì)應(yīng)關(guān)系，利用對(duì)應(yīng)點(diǎn)到鼻尖點(diǎn)的距離匹配曲線；最后，將每條曲線的兩種匹配相似度進(jìn)行加權(quán)融合作為總相似度用于識(shí)別。人臉識(shí)別過(guò)程框架如圖1所示。測(cè)試結(jié)果表明，本文方法具有很好的識(shí)別性能，并且對(duì)表情、遮擋和噪聲具有較好的魯棒性。

1 三維人臉預(yù)處理

本文實(shí)驗(yàn)采用 FRGC v2.0數(shù)據(jù)庫(kù)的三維人臉模型，主要為三維點(diǎn)云格式。每個(gè)三維點(diǎn)云由80 000～130 000個(gè)點(diǎn)構(gòu)成，包含了人臉區(qū)域，以及耳朵、頭發(fā)和肩膀等冗余區(qū)域，因此需要對(duì)人臉模型進(jìn)行必要的預(yù)處理（圖2(a)），以減少噪聲干擾，提高識(shí)別率。

1.1 鼻尖點(diǎn)的確定及區(qū)域切割

為了去除耳朵、頭發(fā)和肩膀等冗余區(qū)域，準(zhǔn)確提取人臉區(qū)域，首先需要確定鼻尖點(diǎn)的位置。本文參照文獻(xiàn)[14]的方法根據(jù)人臉形狀指數(shù)(Shape Index)特征確定鼻尖點(diǎn)候選區(qū)域，然后和標(biāo)準(zhǔn)模板人臉進(jìn)行ICP匹配以確定鼻尖點(diǎn)位置，最后根據(jù)該鼻尖點(diǎn)位置切割人臉區(qū)域。

人臉形狀指數(shù)(shape index)特征由 Dorai和Jain[15]提出，表示三維曲面上每一點(diǎn)鄰域的凹凸程度，并與坐標(biāo)系獨(dú)立。點(diǎn)p的Shape Index值可由它的最大主曲率k1(p)和最小主曲率k2(p)得到：

圖1 人臉識(shí)別系統(tǒng)框架

鼻尖在人臉中是一個(gè)最突起的區(qū)域。首先，根據(jù)式(1) 計(jì)算點(diǎn)云中每一點(diǎn)的Shape Index值，選取 Shape Index值在一定范圍(0.85～1.00)內(nèi)的點(diǎn)組成的區(qū)域作為初始鼻尖候選區(qū)域；然后，選定一個(gè)標(biāo)準(zhǔn)模板人臉，并手動(dòng)定位其鼻尖點(diǎn)；最后，將上述三維人臉模型與標(biāo)準(zhǔn)模板人臉進(jìn)行ICP對(duì)齊，在三維人臉模型的鼻尖點(diǎn)候選區(qū)域中選擇與標(biāo)準(zhǔn)模板人臉的鼻尖點(diǎn)相對(duì)應(yīng)的點(diǎn)作為鼻尖點(diǎn)。以鼻尖點(diǎn)為中心，以半徑r=90 mm做球體，球體內(nèi)包含的人臉區(qū)域即為切割的人臉區(qū)域。

1.2 三維人臉點(diǎn)云平滑去噪

由于采集設(shè)備、環(huán)境和目標(biāo)的影響，原始三維點(diǎn)云會(huì)包含一定的噪聲信息。如眼睛、鼻孔等區(qū)域的反射率變化會(huì)導(dǎo)致三維人臉模型的相應(yīng)位置出現(xiàn)離群點(diǎn)；使用激光采集時(shí)，在眉毛、胡須、遮擋或者嘴巴張開等光線暗淡區(qū)域由于無(wú)法采集到點(diǎn)云數(shù)據(jù)會(huì)產(chǎn)生人臉點(diǎn)云上的孔洞等。這些噪聲將嚴(yán)重影響人臉識(shí)別率，因而必須對(duì)這些噪聲進(jìn)行處理，以去除噪聲對(duì)識(shí)別效果的影響。首先，將人臉區(qū)域的三維點(diǎn)云網(wǎng)格化；然后，采用高斯平滑濾波器去除人臉網(wǎng)格上的高頻信息從而消除人臉模型上的尖點(diǎn)；最后，通過(guò)對(duì)有效鄰域的線性插值達(dá)到填補(bǔ)孔洞的效果。三維人臉點(diǎn)云平滑去噪后的效果如圖2(b)所示，平滑之后將人臉恢復(fù)成點(diǎn)云格式。

1.3 人臉姿態(tài)校正

對(duì)平滑去噪后的人臉區(qū)域點(diǎn)云進(jìn)行主元成分分析(PCA)，可得到3個(gè)互相垂直的主方向，將最大特征值對(duì)應(yīng)的特征向量作為新坐標(biāo)系的y軸，最小特征值對(duì)應(yīng)的特征向量作為z軸，建立右手坐標(biāo)系，該坐標(biāo)系也被稱為姿勢(shì)坐標(biāo)系(pose coordinate system，PCS)。以鼻尖點(diǎn)作為該坐標(biāo)系的坐標(biāo)原點(diǎn)，將切割后的人臉區(qū)域點(diǎn)云轉(zhuǎn)換到 PCS中，得到具有正面姿態(tài)的三維人臉數(shù)據(jù)，校正后的人臉如圖2(c)所示。

圖2 人臉預(yù)處理

2 人臉徑向曲線提取及重采樣

三維人臉的曲線特征不僅能夠表征人臉曲面的幾何信息，而且能夠減少三維人臉模型的數(shù)據(jù)量，提高匹配效率。人臉徑向曲線相比于測(cè)地線，等深度曲線等人臉面部曲線具有提取簡(jiǎn)單、反映面部凹凸程度顯著等優(yōu)點(diǎn)，因而本節(jié)提取從鼻尖點(diǎn)發(fā)射的多條面部徑向曲線作為三維人臉的識(shí)別特征。

2.1 三維人臉徑向曲線的提取

在PCS中，記具有正面姿態(tài)的三維人臉曲面為S，坐標(biāo)系YOZ平面的上半平面為p1，以p1切割人臉曲面，如圖3(a)所示。計(jì)算人臉點(diǎn)云上每個(gè)點(diǎn)到該平面的距離，選擇距離小于閾值δ=0.3的點(diǎn)的集合作為徑向曲線c1。然后將平面p1繞Z軸以α=10°為間隔逆時(shí)針旋轉(zhuǎn)為pi(i = 2 ,3,… ,3 6)，并與三維人臉曲面S相交得到徑向曲線 ci(i = 2 ,3,… ,3 6)。提取的人臉徑向曲線如圖3(b)所示，以徑向曲線的集合近似表征三維人臉曲面 S ≈ ∪ici(i = 1 ,2,… ,3 6)，不僅很好地保留了人臉大部分幾何信息，而且簡(jiǎn)化了三維人臉曲面的數(shù)據(jù)量。

由于人臉點(diǎn)云的分布不均勻，導(dǎo)致提取的徑向曲線 ci(i = 1 ,2,… ,3 6)上的點(diǎn)密集程度不一致，因此需要對(duì)其進(jìn)行重采樣。將徑向曲線近似為切割平面pi上的二維曲線，選擇pi與XOY平面相交的直線作為參考曲線進(jìn)行重采樣，重采樣過(guò)程如圖3(c)所示，圖中藍(lán)色曲線為參考曲線，在參考曲線上每隔1 mm采樣一個(gè)點(diǎn)。對(duì)于參考曲線上的每個(gè)點(diǎn)，選擇徑向曲線上與該點(diǎn)在參考曲線方向上的距離dis最近且小于閾值ζ=0.3的點(diǎn)作為徑向曲線的采樣點(diǎn)，這樣就得到一條在參考曲線方向上均勻分布的徑向曲線，同時(shí)對(duì)徑向曲線上的點(diǎn)根據(jù)參考曲線方向進(jìn)行了排序，并且減少了每條徑向曲線上的點(diǎn)的個(gè)數(shù)。圖3(d)上方的曲線為原始曲線，下方為重采樣后的曲線。

2.2 徑向曲線有用點(diǎn)的提取

由于遮擋和數(shù)據(jù)丟失的影響，不是每個(gè)采樣參考曲線上的點(diǎn)都有與之對(duì)應(yīng)的采樣點(diǎn)，因而待匹配人臉的相應(yīng)徑向曲線通常具有不同的點(diǎn)數(shù)，為了組成不包含空點(diǎn)的采樣點(diǎn)對(duì)，我們剔除徑向曲線上的冗余點(diǎn)，保留有用點(diǎn)用于最后的識(shí)別。

對(duì)一條采樣參考曲線上的任一點(diǎn)，使用flag標(biāo)志該點(diǎn)位置是否包含采樣點(diǎn)。重采樣時(shí)參考曲線上每隔1 mm的對(duì)應(yīng)位置上若存在采樣點(diǎn)，則參考曲線該點(diǎn)位置處的標(biāo)志flag設(shè)為1，否則設(shè)為0。在之后的比對(duì)中，如果測(cè)試集或庫(kù)集中的參考曲線上的一點(diǎn)位置處的標(biāo)志flag等于0，則剔除這組測(cè)試集和庫(kù)集的對(duì)應(yīng)采樣點(diǎn)對(duì)。這樣就在一定程度上通過(guò)選取有用點(diǎn)使得識(shí)別時(shí)不受遮擋和數(shù)據(jù)丟失這些因素的影響。

圖3 曲線提取及重采樣

3 三維人臉徑向曲線的分層彈性匹配方法

基于二維形變曲線模型分層描述的分層彈性匹配算法可以捕捉模型的各個(gè)層級(jí)的幾何形狀信息，因而可用于形變模型的形狀分析、形變模型的相似度匹配等。與傳統(tǒng)的形變模型分析方法相比，該方法由于使用分層形變模型表征，從而具有能夠在彈性匹配算法中考慮全局幾何信息的優(yōu)勢(shì)。

在分層彈性匹配的過(guò)程中，引入形狀樹的概念。首先，建立庫(kù)集人臉每條曲線的形狀樹；然后，與測(cè)試集人臉上對(duì)應(yīng)的曲線進(jìn)行分層彈性匹配；最后，對(duì)所有的相似度進(jìn)行加權(quán)融合得到分層匹配相似度。

3.1 形狀樹建立

本文方法中使用開放并且經(jīng)過(guò)排序的徑向曲線，A表示由一系列采樣點(diǎn) ( a1,a2,… ,an)組成的曲線，選取A上的一點(diǎn)ai作為中間點(diǎn)，一般取表示ai相對(duì)于a1和an的位置，本文為ai相對(duì)于a1和an的Bookstein坐標(biāo)[16]，即將兩個(gè)首尾采樣點(diǎn)映射至固定位置從而確定的一個(gè)坐標(biāo)系下的坐標(biāo)。由于首尾采樣點(diǎn)的位置的確定，只需一個(gè)中間采樣點(diǎn)的Bookstein坐標(biāo)就能很好地表示3個(gè)點(diǎn)的相對(duì)位置關(guān)系。首先將a1映射至(-0.5,0)、an映射至(0.5,0)，則ai相對(duì)于a1和an的位置L(ai|a1,an)=(a(1),a(2))，(a(1),a(2))由下列公式求得

選取的中點(diǎn)ai將曲線A分成 A1=(a1,…,ai)和 A2=(ai,…,an)兩部分。曲線A的分層描述具有遞歸性，即曲線A的分層描述由相對(duì)位置及 A1和A2的分層描述組成。該分層描述可以用二叉樹進(jìn)行表征，我們將曲線的二叉樹表征稱為形狀樹表征，如圖4(b)所示。形狀樹的根節(jié)點(diǎn)描述曲線A的中間點(diǎn)ai相對(duì)于a1和an的位置左子結(jié)點(diǎn)描述 A1的中間結(jié)點(diǎn)與a1和ai的相對(duì)位置，右子結(jié)點(diǎn)描述A2的中間結(jié)點(diǎn)與ai和an的相對(duì)位置。對(duì)于子曲線，其中p,q為子曲線C在整個(gè)曲線中的首尾端點(diǎn)序號(hào)位置，選取中間點(diǎn)為，對(duì)應(yīng)的子結(jié)點(diǎn)描述為L(zhǎng)(ak|ap, aq)。依次分層描述，直到時(shí)停止分層描述，形狀樹建立完畢。

圖4 分層匹配算法原理圖

形狀樹上的每個(gè)結(jié)點(diǎn)記錄該段曲線的中間點(diǎn)與首尾采樣點(diǎn)的相對(duì)位置。左子結(jié)點(diǎn)描述首采樣點(diǎn)到中間點(diǎn)的子曲線，右子結(jié)點(diǎn)描述從中間點(diǎn)到尾采樣點(diǎn)的子曲線。葉子結(jié)點(diǎn)表示采樣點(diǎn)和與它左右相鄰的采樣點(diǎn)的相對(duì)位置。容易看出以某一結(jié)點(diǎn)為根的子樹表征該段子曲線的形狀樹。

形狀樹的底層結(jié)點(diǎn)表示該條曲線上連續(xù)三個(gè)點(diǎn)的相對(duì)位置，這些結(jié)點(diǎn)包含局部幾何信息如中間點(diǎn)與相鄰采樣點(diǎn)的相對(duì)位置等。靠近形狀樹根結(jié)點(diǎn)的結(jié)點(diǎn)記錄中間點(diǎn)與距它距離較遠(yuǎn)的首尾采樣點(diǎn)之間的相對(duì)位置，因而包含更多的全局幾何信息。

以a1和an為首尾采樣點(diǎn)的曲線A，我們可以根據(jù)形狀樹表征遞歸重構(gòu)該曲線。通過(guò)將初始點(diǎn)a1和an安放在任意位置，等價(jià)于對(duì)曲線A進(jìn)行了一次平移、旋轉(zhuǎn)和尺度變換。因而分層匹配算法對(duì)平移、旋轉(zhuǎn)和尺度變換具有不變性。

3.2 改進(jìn)的分層彈性匹配

對(duì)兩條開放曲線A和B進(jìn)行匹配，首先建立曲線A的形狀樹表征，然后在曲線B上尋找與曲線A的對(duì)應(yīng)關(guān)系，使得曲線B與曲線A具有最小的形變誤差。下面介紹具體的匹配過(guò)程。

對(duì)于兩條待匹配曲線 A =(a1,a2,… ,an)和B=(b1 ,b2,…,bm)，設(shè)a1對(duì)應(yīng)于b1，an對(duì)應(yīng)于bm。A的形狀樹表征的中點(diǎn)ai將曲線A分成 A1和A2兩部分。將b2, b3,…,bm-1依次作為B的中間點(diǎn)bj，bj將曲線B分成B1和B2兩部分，分別對(duì)應(yīng) A1和A2。如果該點(diǎn)bj使得 A1和B1的相似度s1，A2和B2的相似度s2及兩條曲線中點(diǎn)的相對(duì)位置L(ai|a1,an)和 L (bj|b1,bm)分配權(quán)重的相似度s3之和 s = s1+ s2+ s3最小，則該最小的相似度s作為 A和B的最終相似度，子曲線 A1和B1之間的相似度計(jì)算按A和B相似度方式計(jì)算。整個(gè)過(guò)程可以看作是一個(gè)尋優(yōu)遞歸的過(guò)程，曲線A和B的相似度可以根據(jù)下面的尋優(yōu)遞歸等式進(jìn)行計(jì)算

其中，dif表示A和B的中間點(diǎn)的相對(duì)位置誤差，λA為權(quán)重因子。

形狀樹的分層特性確保了在匹配過(guò)程中很好地考慮整體和局部幾何特性。事實(shí)上，對(duì)于形狀樹上的不同結(jié)點(diǎn)我們使用不同的權(quán)重來(lái)改變形變量大小。如對(duì)形狀樹根部的結(jié)點(diǎn)，這些結(jié)點(diǎn)對(duì)全局幾何信息影響較大，因而給予其較大的權(quán)重因子。對(duì)于本文人臉識(shí)別實(shí)驗(yàn)，可根據(jù)曲線的長(zhǎng)度來(lái)確定權(quán)重因子，對(duì)于中間點(diǎn)與首尾采樣點(diǎn)相對(duì)位置較遠(yuǎn)的形變量分配更高的權(quán)重因子λA，反之，則更小。

由于本文采用Bookstein坐標(biāo)表示3個(gè)點(diǎn)的相對(duì)位置關(guān)系，該坐標(biāo)系上的點(diǎn)被認(rèn)為相當(dāng)于morphospace空間[16]上的點(diǎn)，因而本文采用普式距離[17]計(jì)算中間點(diǎn)的相對(duì)位置誤差，對(duì)于Bookstein坐標(biāo)分別為 ( x1,y1)和 ( w1,z1)的兩點(diǎn)，首先根據(jù)式(4)將 ( w1,z1)映射為 ( u1,v1)：

其中

然后計(jì)算普式距離為：

下面就φ(A,B)的基本情況即當(dāng)A或B只有兩個(gè)采樣點(diǎn)時(shí)進(jìn)行討論。只有兩個(gè)采樣點(diǎn)的曲線相當(dāng)于一條線段，當(dāng)兩條線段進(jìn)行匹配時(shí)匹配代價(jià)為0，當(dāng)一條線段與另一條可再分曲線進(jìn)行匹配時(shí)，匹配代價(jià)根據(jù)可再分曲線的長(zhǎng)度確定，可再分曲線長(zhǎng)度越長(zhǎng)，匹配代價(jià)越大，反之匹配代價(jià)越小。

使用動(dòng)態(tài)規(guī)劃方法求解式(3)，由于使用了遞歸思想，如果依次搜索曲線上的每個(gè)點(diǎn)與形狀樹表征的中間點(diǎn)對(duì)應(yīng)并匹配，則計(jì)算代價(jià)非常大，為此對(duì)算法進(jìn)行了改進(jìn)。由于人臉曲面相當(dāng)于一個(gè)三維空間中的二維黎曼流形[18]，因而人臉曲面的形變可近似用等距變換來(lái)描述，即人臉曲面發(fā)生形變時(shí)，人臉表面曲線基本沒有拉伸或者收縮，除了嘴部等易發(fā)生較大形變的區(qū)域，其他區(qū)域的形變基本保持在一定的范圍內(nèi)，為此我們可以在這些形變曲線匹配時(shí)縮小中間點(diǎn)的搜索范圍。可選擇在一定范圍內(nèi)搜索從而既能大大提高時(shí)間效率，又不會(huì)對(duì)識(shí)別率產(chǎn)生影響。

受表情的影響，人臉曲面會(huì)發(fā)生一些形變，比如，大笑的表情就會(huì)使得嘴巴部分產(chǎn)生很大形變，而鼓腮的表情則使得臉頰部分產(chǎn)生形變，皺眉和笑的時(shí)候就會(huì)導(dǎo)致眼睛的形變等，而額頭，鼻子等區(qū)域受表情影響較小。需對(duì)不同區(qū)域的曲線的相似度賦予不同的權(quán)重并進(jìn)行加權(quán)融合。對(duì)額頭區(qū)域加大權(quán)重，對(duì)嘴巴和眼睛區(qū)域減小權(quán)重。

這里的權(quán)重計(jì)算如下式表示：

其中i為徑向曲線的序號(hào)，徑向曲線所處的區(qū)域均為經(jīng)驗(yàn)值。將 36條徑向曲線匹配的結(jié)果進(jìn)行融合，則得出的人臉分層匹配相似度為：

其中iφ為測(cè)試人臉第i條徑向曲線與庫(kù)集人臉相應(yīng)的徑向曲線比較所得的分層匹配相似度。通過(guò)對(duì)不同曲線分配不同權(quán)重，很好地克服了表情變化帶來(lái)的影響。

3.3 點(diǎn)距信息融合

人臉上提取的徑向曲線近似為二維曲線，因而可以采用分層匹配算法進(jìn)行匹配，并取得了一定的識(shí)別效果，但由于只采用了徑向曲線上采樣點(diǎn)的二維坐標(biāo)信息，丟失了部分三維空間信息，對(duì)識(shí)別率產(chǎn)生了一定的影響。為此需結(jié)合徑向曲線的特性，對(duì)徑向曲線進(jìn)行有用點(diǎn)提取并建立人臉曲線的點(diǎn)對(duì)應(yīng)關(guān)系，利用每個(gè)采樣點(diǎn)到鼻尖點(diǎn)的歐式距離進(jìn)行匹配，有效地彌補(bǔ)了分層匹配算法包含的曲線空間信息不足的缺點(diǎn)，本文將該步驟稱為點(diǎn)距匹配，第4節(jié)的實(shí)驗(yàn)證明了該方法的有效性。

由于每條徑向曲線的對(duì)應(yīng)參考曲線上的任意一點(diǎn)位置處都有一個(gè)是否包含采樣點(diǎn)的標(biāo)志flag，在進(jìn)行特征比較之前，首先得出對(duì)應(yīng)位置處采樣點(diǎn)是否可用的標(biāo)志pflag：

即測(cè)試人臉上的點(diǎn)a和庫(kù)集人臉上的點(diǎn)b，這兩個(gè)相互對(duì)應(yīng)的采樣點(diǎn)均可用（flag的值都為1）時(shí)該對(duì)采樣點(diǎn)才能參與比較。這樣，假設(shè)每個(gè)人臉第i條徑向曲線總共采樣點(diǎn)數(shù)為ni時(shí)，實(shí)際所用到的采樣點(diǎn)并不相同，只有通過(guò)式(9)的判斷才能得出，這里有用的采樣點(diǎn)對(duì)數(shù)記為Ni。設(shè)庫(kù)集人臉第i條徑向曲線上第j個(gè)采樣點(diǎn)與鼻尖點(diǎn)的距離為 dGj，測(cè)試人臉第i條徑向曲線上第j個(gè)采樣點(diǎn)與鼻尖點(diǎn)的距離為 dPj，則每條徑向曲線的特征相似度定義如下式：

通過(guò)式(10)求出36條徑向曲線的相似度，然后根據(jù)式(11)求和得到人臉的點(diǎn)距相似度φ，其中iω按式(7)計(jì)算。

3.4 相似度計(jì)算

對(duì)于具有N個(gè)人臉模型的庫(kù)集，將會(huì)分別得到分層匹配相似度向量和點(diǎn)距相似度向量為了融合兩種相似度，分別對(duì)兩種向量進(jìn)行歸一化，即：

4 實(shí) 驗(yàn)

實(shí)驗(yàn)采用FRGC v2.0數(shù)據(jù)庫(kù)，F(xiàn)RGC v2.0數(shù)據(jù)庫(kù)包含466個(gè)人的4007幅人臉，每個(gè)人含有1～22幅具有不同表情的人臉。本文采用40個(gè)人的240幅人臉進(jìn)行實(shí)驗(yàn)，選取每個(gè)人的一張中性人臉共 40幅人臉作為庫(kù)集，其余作為測(cè)試集，即All vs. Neutral實(shí)驗(yàn)，其中測(cè)試集包含帶有微笑、大笑、皺眉、鼓腮、吃驚等表情的非中性人臉，如圖5所示。

圖5 不同表情人臉

4.1 識(shí)別實(shí)驗(yàn)

本文在 FRGC v2.0數(shù)據(jù)庫(kù)上進(jìn)行了一系列的實(shí)驗(yàn)來(lái)進(jìn)行驗(yàn)證。首先需分別進(jìn)行分層彈性匹配和點(diǎn)距對(duì)應(yīng)匹配實(shí)驗(yàn)。

提取人臉曲面上的 36條徑向曲線并進(jìn)行重采樣，在FRGC v2.0數(shù)據(jù)庫(kù)上進(jìn)行分層彈性匹配識(shí)別實(shí)驗(yàn)；然后，對(duì)重采樣后的曲線進(jìn)行有用點(diǎn)提取，進(jìn)行點(diǎn)距對(duì)應(yīng)匹配識(shí)別實(shí)驗(yàn)。兩種實(shí)驗(yàn)的累積匹配特性(cumulative match characteristic,CMC)曲線如圖6所示。

由圖 6可知，分層匹配單獨(dú)用于識(shí)別時(shí)Rank-1識(shí)別率為 91.5%，點(diǎn)距對(duì)應(yīng)匹配時(shí)的Rank-1識(shí)別率為76.5%。分層彈性匹配時(shí)包含曲線局部和整體的特征，但由于僅采用了曲線采樣點(diǎn)的二維坐標(biāo)信息，舍棄了一維坐標(biāo)信息，因而識(shí)別率不是很高。點(diǎn)距對(duì)應(yīng)匹配僅采用了曲線采樣點(diǎn)相對(duì)鼻尖點(diǎn)的空間距離，因而識(shí)別率較低，但很好地保留了點(diǎn)的空間三維信息，彌補(bǔ)了分層彈性匹配的不足。為了保證更高的識(shí)別率，本文在分層彈性匹配中融合點(diǎn)距對(duì)應(yīng)匹配，識(shí)別結(jié)果如圖6最高曲線所示。

圖6 CMC曲線

4.2 表情魯棒性實(shí)驗(yàn)

我們分別做了兩種實(shí)驗(yàn)來(lái)驗(yàn)證本文方法對(duì)表情的魯棒性，首先驗(yàn)證對(duì)不同曲線分配權(quán)重的有效性實(shí)驗(yàn)，本文選取所有選定的庫(kù)集和測(cè)試集人臉進(jìn)行識(shí)別實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7(a)所示，分配權(quán)重后點(diǎn)距匹配、分層匹配和整體匹配識(shí)別率分別上升了8%、4%和2.5%，說(shuō)明對(duì)不同曲線分配不同的權(quán)重能有效地提高人臉識(shí)別率。

將測(cè)試集中的人臉分為122幅有表情人臉和78幅無(wú)表情人臉分別與庫(kù)集進(jìn)行識(shí)別實(shí)驗(yàn)，識(shí)別結(jié)果如圖7(b)所示，在無(wú)表情的情況下，點(diǎn)距匹配、分層匹配和整體匹配識(shí)別率分別為79.48%、96.15%和 98.72%，而在有表情的情況下，識(shí)別率分別為64.75%、86.89%和93.44%，從結(jié)果可知采用本文方法進(jìn)行整體匹配時(shí)識(shí)別率僅下降5.28%，遠(yuǎn)小于其他兩種方法，說(shuō)明本文方法對(duì)表情變化具有較好的魯棒性。

為了進(jìn)一步證明本文方法對(duì)表情變化的魯棒性，與FRGC數(shù)據(jù)庫(kù)提供的基準(zhǔn)算法ICP進(jìn)行比較。在無(wú)表情和有表情的情況下，ICP算法的識(shí)別率分別為83.33%和71.31%，識(shí)別率下降了12.02%，本文只下降了5.28%，可以看出本文方法比ICP算法具有更好地識(shí)別率并且對(duì)表情變化具有較好的魯棒性。

以上3種實(shí)驗(yàn)證明本文方法通過(guò)對(duì)不同曲線分配不同的權(quán)重和分層匹配算法包含點(diǎn)距信息的方法，有效地減少了表情變化的影響，說(shuō)明本文方法對(duì)表情的變化具有較好的魯棒性。

圖7 表情魯棒性實(shí)驗(yàn)

4.3 實(shí)驗(yàn)結(jié)果分析

表1中列舉了一些在FRGC數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)的相關(guān)三維人臉識(shí)別方法。Berretti等[10]根據(jù)曲面點(diǎn)到鼻尖的測(cè)地距離將人臉劃分為若干個(gè)等測(cè)地區(qū)域，然后根據(jù)對(duì)應(yīng)等測(cè)地區(qū)域上的點(diǎn)之間的位置關(guān)系來(lái)識(shí)別人臉，該方法由于考慮了人臉區(qū)域的所有點(diǎn)因而識(shí)別率很難提高，同時(shí)測(cè)地距離計(jì)算時(shí)間較大，影響人臉識(shí)別效率。Mian等[19]首先使用一種三維局部特征和二維局部特征尺度不變變換特征（scale invariant feature transform，SIFT）的聯(lián)合描述符組成拒絕分類器，排除庫(kù)集中的大部分人臉，然后選取三維人臉的額頭和鼻子區(qū)域與剩下的庫(kù)集人臉進(jìn)行 ICP匹配，整個(gè)算法較為復(fù)雜，且最后用到ICP算法，時(shí)間效率較低。Faltemie等[20]提出的識(shí)別算法具有較好的識(shí)別性能，但識(shí)別時(shí)間非常長(zhǎng)。

表1 算法結(jié)果比較

與其他識(shí)別方法相比，本文方法提取能夠表征人臉曲面的徑向曲線集，曲線的分層彈性匹配算法很好地利用了曲線的整體和局部幾何信息克服了人臉的形變影響，同時(shí)融合了曲線上點(diǎn)到鼻尖點(diǎn)的距離信息，因而具有較高的識(shí)別率。

4.4 時(shí)間代價(jià)分析

在機(jī)器配置為 Core(TM) i3-2100 CPU 3.10 GHz，4.0 GB內(nèi)存上使用C++編程。分層彈性匹配算法采用了遞歸思想，使用動(dòng)態(tài)規(guī)劃編程實(shí)現(xiàn)。經(jīng)過(guò)中點(diǎn)的搜索范圍縮小改進(jìn)之后，每條線的匹配時(shí)間復(fù)雜度為 O (n m3)。

一幅人臉的識(shí)別過(guò)程包括預(yù)處理，曲線提取和識(shí)別等過(guò)程，其中預(yù)處理部分由于原始的人臉模型包含耳朵、頭發(fā)和肩膀等冗余區(qū)域數(shù)據(jù)量很大，因而預(yù)處理時(shí)間較長(zhǎng)為2.6 s。曲線的提取占據(jù)很少部分時(shí)間，說(shuō)明本文使用的徑向曲線提取簡(jiǎn)單、快速和有效。表2列舉了部分三維人臉識(shí)別算法完成一幅測(cè)試人臉與 FRGC v2.0數(shù)據(jù)庫(kù)上總共466幅庫(kù)集人臉一次識(shí)別所用的時(shí)間。

表2 時(shí)間代價(jià)分析

Faltemie等[20]提出的識(shí)別算法具有較好的識(shí)別性能，但識(shí)別時(shí)間非常長(zhǎng)，Al-Osaimi[21]， Alyüz等[22]提出的算法識(shí)別性能已有很大提升。從表2中可以看出本文識(shí)別算法相比其他算法識(shí)別耗時(shí)較小，在庫(kù)集人臉為466幅時(shí)，總耗時(shí)為30.7 s，在可接受范圍之內(nèi)。

5 總結(jié)與展望

本文提出了一種基于曲線分層彈性匹配的三維人臉識(shí)別方法，該方法首先提取能夠表征人臉曲面的徑向曲線集，然后對(duì)徑向曲線進(jìn)行重采樣和有用點(diǎn)提取，對(duì)重采樣后的曲線進(jìn)行分層彈性匹配，同時(shí)結(jié)合曲線上的有用點(diǎn)到鼻尖點(diǎn)的距離信息進(jìn)行人臉識(shí)別，實(shí)驗(yàn)結(jié)果證明了本文方法的有效性。本文方法有如下特點(diǎn)：

（1）曲線分層彈性匹配算法很好地利用了曲線的整體和局部幾何信息，對(duì)形變圖形的匹配具有很好的效果；本文方法對(duì)曲線的平移、旋轉(zhuǎn)和尺度變化具有不變性，很好地克服了人臉的曲面形變；對(duì)分層匹配算法的中間點(diǎn)搜索進(jìn)行優(yōu)化，大大減少了曲線匹配的時(shí)間代價(jià)。

（2）對(duì)每條徑向曲線根據(jù)其受表情影響的嚴(yán)重程度給予不同的權(quán)重，對(duì)處在額頭等剛性區(qū)域的曲線給予較大權(quán)重，對(duì)處在嘴巴區(qū)域的曲線給予較低權(quán)重，這樣就能夠有效克服表情變化帶來(lái)的影響。

（3）通過(guò)建立曲線采樣點(diǎn)之間的對(duì)應(yīng)關(guān)系，對(duì)徑向曲線進(jìn)行有用點(diǎn)的提取，有效地減少了數(shù)據(jù)丟失和頭發(fā)遮擋等因素對(duì)人臉識(shí)別效果的影響。

本文算法實(shí)現(xiàn)簡(jiǎn)單，效果較好，下一步主要將其運(yùn)用到實(shí)際的人臉識(shí)別系統(tǒng)中，針對(duì)具體的應(yīng)用環(huán)境進(jìn)行相應(yīng)的改進(jìn)。

[1] Blanz V,Vetter T. Face recognition based on fitting a 3D morphable model [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(9): 1063-1074.

[2] Besl P J,McKay H D. A method for registration of 3-D shapes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(2): 239-256.

[3] Pan Gang,Wu Zhaohui,Pan Yunhe. Automatic 3D face verification from range data [C]//International Conference on Acoustics,Speech and Signal Processing (ICASSP),2003: 193-196.

[4] Givens G,Beveridge J R,Draper B A,Bolme D. A statistical assessment of subject factors in the PCA recognition of human faces [C]//Proceedings of the 2003 Conference on Computer Vision and Pattern Recognition Workshop,2003: 96-103.

[5] Horn B K. Extended Gaussian image [J]. Proceedings of the IEEE,1984,72(12): 1671-1686.

[6] 徐 俊,達(dá)飛鵬. 一種基于局部描述符的三維人臉識(shí)別方法[J]. 模式識(shí)別與人工智能,2012,25(1):45-53.

[7] Beumier C,Acheroy M. Automatic 3d face authentication [J]. Image and Vision Computing,2000,18(4): 315-321.

[8] Samir C,Srivastava A,Daoudi M. Three-dimensional face recognition using shapes of facial curves [J].IEEE Transactions on Pattern Analysis and Machine Intelligence 2006,28(11): 1858-1863.

[9] Samir C,Srivastava A,Daoudi M,Klassen E. An intrinsic framework for analysis of facial surfaces [J].International journal of Computer Vision,2008,82(1):80-95.

[10] Berretti S,Del Bimbo D,Pala P. 3D Face Recognition using iso-Geodesic Stripes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(12): 2162-2177.

[11] Gokberk B,Irfanoglu M O,Akarun L. 3D shapebased face representation and feature extraction for face recognition [J]. Image and Vision Computing,2006,24(8): 857-869.

[12] Li Chao,Barreto A,Zhai Jing,Chin C. Exploring face recognition by combining 3D profiles and contours [C]//Proceedings of the IEEE Conference on Southeast Con,2005: 576-579.

[13] Felzenszwalb P F,Schwartz J D. Hierarchical Matching of Deformable Shapes [C]//IEEE Conference on Computer Vision and Pattern Recognition,2007: 1-8.

[14] 李曉莉. 表情變化條件下的三維人臉識(shí)別研究[D].南京: 東南大學(xué)自動(dòng)化學(xué)院,2010.

[15] Dorai C,Jain A K. A representation scheme for 3D free-form objects [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(10):1115-1130.

[16] Krepela M,Zahradnik D,Sequens J. Possible methods of Norway spruce (Picea abies [L.] Karst.)stem shape description [J]. Journal of Forest Science,2005,51(6): 244-255.

[17] Dryden I L,Mardia K V. Statistical shape analysis [M].John Wiley and Sons,1998.

[18] Bronstein A M,Bronstein M M,Kimmel R.Expression-invariant representation of faces [J].IEEE Transactions on Image Processing,2007,16(1):188-197.

[19] Mian A,Bennamoun M,Owens R. Face recognition using 2D and 3D multimodal local features [C]//International symposium on visual computing,2006:860-870.

[20] FaltemierT C,Bowyer K W,Flynn P J. A region ensemble for 3-d face recognition [J]. IEEE Transactions on Information Forensics and Security,2008,3(1): 62-73.

[21] Al-Osaimi F,Bennamoun M,Mian A. An expression deformation approach to non-rigid 3D face recognition [J]. International Journal of Computer Vision,2009,81(3): 302-316.

[22] Alyüz N,G?kberk B,Akarun L. Regional registration and curvature descriptors for expression resistant 3D face recognition [C]//Proceedings of the IEEE 17th signal processing and communications applications conference,2009: 544-547.