基于多區(qū)域融合的表情魯棒三維人臉識(shí)別算法

桑高麗 閆超 朱蓉

摘 要：為了實(shí)現(xiàn)三維人臉識(shí)別算法對(duì)表情變化的魯棒性，提出一種基于語(yǔ)義對(duì)齊的多區(qū)域模板融合三維人臉識(shí)別算法。首先，為了實(shí)現(xiàn)三維人臉在語(yǔ)義上的對(duì)齊，將所有三維人臉模型與預(yù)定義標(biāo)準(zhǔn)參考模型做稠密對(duì)齊。然后，根據(jù)人臉表情具有區(qū)域性的特點(diǎn)，為了不受限于區(qū)域劃分的精準(zhǔn)度，提出基于多區(qū)域模板的相似度預(yù)測(cè)方法。最后，采用多數(shù)投票法將多個(gè)分類(lèi)器的預(yù)測(cè)結(jié)果融合得到最終識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明，在FRGC v2.0表情三維人臉數(shù)據(jù)庫(kù)上所提算法可以達(dá)到98.69%的rank-1識(shí)別率，在含有遮擋變化的Bosphorus數(shù)據(jù)庫(kù)上該算法達(dá)到84.36%的rank-1識(shí)別率。

關(guān)鍵詞：表情變化;三維人臉識(shí)別;多區(qū)域模板;多數(shù)投票

中圖分類(lèi)號(hào)： TP391.4

文獻(xiàn)標(biāo)志碼：A

Abstract： In order to realize the robustness of three-Dimensional （3D） face recognition algorithm to expression variations， a multi-region template fusion 3D face recognition algorithm based on semantic alignment was proposed. Firstly， in order to guarantee the semantic alignment of 3D faces， all the 3D face models were densely aligned with a pre-defined standard reference 3D face model. Then， considering the expressions were regional， to be robust to region division， a multi-region template based similarity prediction method was proposed. Finally， all the prediction results of multiple classifiers were fused by majority voting method. The experimental results show that， the proposed algorithm can achieve the rank-1 face recognition rate of 98.69% on FRGC （the Face Recognition Grand Challenge） v2.0 expression 3D face database and rank-1 face recognition rate of 84.36% on Bosphorus database with occlusion change.

Key words： expression variation; three-Dimensional （3D） face recognition; multi-region template; majority voting

0 引言

人臉識(shí)別在公安刑偵、國(guó)家安全、市場(chǎng)金融等諸多領(lǐng)域具有廣泛的應(yīng)用前景。然而，鑒于三維（three-Dimensional， 3D）人臉本身的可形變特性以及易受不同表情變化的影響，研究對(duì)表情魯棒的人臉識(shí)別算法一直都是三維人臉識(shí)別領(lǐng)域的研究熱點(diǎn)和難點(diǎn)問(wèn)題[1]。

目前，表情魯棒的三維人臉識(shí)別方法主要分為統(tǒng)計(jì)模型方法（Statistical methods） [2-4]、同等形變模型方法（Isometric deformation modeling）[5-8]和基于區(qū)域的方法（region-based methods）[9-13]。統(tǒng)計(jì)模型方法即通過(guò)構(gòu)建統(tǒng)計(jì)模型對(duì)表情變化引起的面部軟組織形變關(guān)系進(jìn)行刻畫(huà)，算法的精度和魯棒程度受訓(xùn)練統(tǒng)計(jì)模型所采用的三維人臉庫(kù)的表情變化多樣性、數(shù)據(jù)質(zhì)量等影響。同等形變模型方法即將表情變化引起的三維人臉形變轉(zhuǎn)化為等距形變問(wèn)題建模[4]，將表情變化近似為等距形變，用等距形變特征近似表情變化特征。同等形變的方法通過(guò)弱化表情變化引起的三維形變達(dá)到表情魯棒;然而，同等形變一定程度上也弱化了人臉原有三維結(jié)構(gòu)。由于表情變化呈現(xiàn)局部性，相較上述整體類(lèi)方法，基于區(qū)域類(lèi)方法表現(xiàn)出更多的靈活性和穩(wěn)定性?；趨^(qū)域的表情不變?nèi)S人臉識(shí)別方法即結(jié)合人臉表情的分布特點(diǎn)，將人臉區(qū)域劃分為表情易變和表情不變區(qū)域，然后分別針對(duì)表情不變和表情易變區(qū)域設(shè)計(jì)不同的相似度匹配策略。傳統(tǒng)基于區(qū)域類(lèi)方法[9-13]如依據(jù)關(guān)鍵特征點(diǎn)位置進(jìn)行人臉區(qū)域劃分。此類(lèi)方法將表情不變區(qū)域和表情易變區(qū)域分開(kāi)處理，對(duì)表情變化具有較強(qiáng)的適應(yīng)性，但是前提是表情不變和表情易變區(qū)域的劃分要準(zhǔn)確，否則將直接影響此類(lèi)方法的整體準(zhǔn)確度。

針對(duì)基于區(qū)域算法存在的比較依賴(lài)區(qū)域劃分精準(zhǔn)度以及沒(méi)有充分利用整個(gè)人臉區(qū)域的問(wèn)題，本文提出了基于語(yǔ)義對(duì)齊的多區(qū)域融合三維人臉識(shí)別方法。相較于以往基于區(qū)域類(lèi)表情不變?nèi)四樧R(shí)別方法，首先，本文提出的基于多模板區(qū)域劃分方法不需要面部特征點(diǎn)輔助，同時(shí)多模板區(qū)域相互獨(dú)立進(jìn)行相似度預(yù)測(cè)，也緩解了算法對(duì)單一區(qū)域精準(zhǔn)劃分的依賴(lài)性;另外，基于多區(qū)域模板共同投票策略，不光對(duì)表情魯棒，對(duì)其他受區(qū)域影響因素（如遮擋）也具有一定的魯棒性。

1 三維人臉模型的自動(dòng)預(yù)處理

人臉識(shí)別主要針對(duì)人臉區(qū)域，因此，首先要獲得精準(zhǔn)的人臉區(qū)域。為了獲得較為可靠的人臉區(qū)域，首先介紹本文采用的三維人臉模型的預(yù)處理過(guò)程，如圖1所示，主要包括鼻尖點(diǎn)自動(dòng)檢測(cè)、三維人臉切割，以及姿態(tài)矯正和點(diǎn)云稠密對(duì)齊等。

針對(duì)三維人臉鼻尖點(diǎn)的自動(dòng)檢測(cè)算法有很多。早期，采集三維人臉模型多為正面姿態(tài)，可根據(jù)采集對(duì)象與三維掃描儀之間的位置關(guān)系，將距離掃描儀最近的點(diǎn)即人臉上最高的點(diǎn)視為鼻尖點(diǎn)，如Chang等[14]、Sang等[15]。對(duì)于更一般的情況，Chew等[16]提出了基于曲率的鼻尖點(diǎn)自動(dòng)檢測(cè)方法。該鼻尖點(diǎn)檢測(cè)方法[17]不依賴(lài)某一點(diǎn)的曲率，對(duì)鼻尖數(shù)據(jù)偶有缺失具有較強(qiáng)的魯棒性。本文采用Chew等[16]提出的方法自動(dòng)檢測(cè)鼻尖點(diǎn)。

以鼻尖點(diǎn)為中心，計(jì)算任意點(diǎn)（x，y，z）與鼻尖點(diǎn)（x0，y0，z0）的測(cè)地線(xiàn)距離d，若d≤100mm，則保留該點(diǎn)到人臉區(qū)域;若d>100mm，則丟棄該點(diǎn)，依次剪切出整個(gè)人臉區(qū)域。利用測(cè)地線(xiàn)距離剪切得到的人臉，既包括盡可能多的人臉表面信息，同時(shí)又包括較少的背景信息。

為了對(duì)所有人臉數(shù)據(jù)在相同坐標(biāo)系下進(jìn)行比對(duì)，本文借助參考模型（Reference model）進(jìn)行實(shí)現(xiàn)。參考模型應(yīng)具備平均人臉的基本形態(tài)[15]，本文采用北京工業(yè)大學(xué)三維人臉數(shù)據(jù)庫(kù)BJUT（BeiJing University of Technology）-3D[18]中已對(duì)齊的中性三維人臉數(shù)據(jù)的平均人臉表示。然后，將所有注冊(cè)三維人臉和待測(cè)試三維人臉與該參考模型通過(guò)最近點(diǎn)迭代（Iterative Closest Point， ICP）法[18]進(jìn)行姿態(tài)矯正。

由于姿態(tài)、遮擋、三維掃描儀計(jì)算錯(cuò)誤等原因，姿態(tài)矯正后的三維人臉可能存在部分?jǐn)?shù)據(jù)缺失。本文采用對(duì)稱(chēng)填補(bǔ)的方法對(duì)缺失人臉數(shù)據(jù)進(jìn)行填補(bǔ)，即假設(shè)人臉是對(duì)稱(chēng)的，缺失的部分?jǐn)?shù)據(jù)使用相應(yīng)的對(duì)稱(chēng)進(jìn)行填補(bǔ)。

最后，為了確保三維人臉模型與參考模型間具有嚴(yán)密的語(yǔ)義對(duì)應(yīng)關(guān)系，便于后續(xù)比對(duì)，本文采用基于ICP的公開(kāi)代碼包——非剛性對(duì)齊（nonrigid registration）方法[19]將所有三維人臉模型與參考模型進(jìn)行稠密對(duì)齊。此對(duì)齊方法只需要初始對(duì)齊點(diǎn)（鼻尖點(diǎn)），對(duì)人臉模型其他部分區(qū)域存在遮擋等魯棒。

2 本文算法

以往基于區(qū)域劃分的表情魯棒三維人臉識(shí)別算法很難將表情不變區(qū)域與表情易變區(qū)域準(zhǔn)確劃分，主要有兩方面原因：首先，人臉區(qū)域的劃分通常依賴(lài)面部特征點(diǎn)的準(zhǔn)確定位，而三維人臉特征點(diǎn)的定位又是一個(gè)尚未完全解決的問(wèn)題;其次，對(duì)于不同對(duì)象三維人臉，很難嚴(yán)格界定表情不變和表情易變區(qū)域。因此，針對(duì)上述分析，為了解決以往算法對(duì)區(qū)域劃分敏感的問(wèn)題，本文根據(jù)先驗(yàn)，提出將人臉區(qū)域預(yù)劃分為多個(gè)可重疊的模板區(qū)域，通過(guò)預(yù)先定義多模板區(qū)域的方法，不但有效緩解了區(qū)域難定義以及區(qū)域劃分不準(zhǔn)確的問(wèn)題（最后結(jié)果由多數(shù)投票結(jié)果決定，對(duì)少數(shù)受表情影響較大區(qū)域?qū)е洛e(cuò)誤投票結(jié)果具有一定的魯棒（容忍）性），本文提出的多區(qū)域模板共同投票機(jī)制，對(duì)其他諸如遮擋因素也表現(xiàn)出良好的魯棒性;然后，針對(duì)每個(gè)模板區(qū)域，在人臉的三維結(jié)構(gòu)上直接計(jì)算模板區(qū)域間的相似度并獨(dú)立給出匹配結(jié)果;最后，綜合多個(gè)區(qū)域匹配結(jié)果，采用多數(shù)投票的方式確定最終的匹配結(jié)果。本文所提出的基于語(yǔ)義對(duì)齊的多區(qū)域融合表情魯棒三維人臉識(shí)別算法總的算法流程如圖2所示。

2.1 多區(qū)域模板設(shè)計(jì)

不同于以往方法根據(jù)面部特征點(diǎn)將三維人臉劃分為多個(gè)表情不變和表情易變區(qū)域[9-11]，本文提出基于語(yǔ)義對(duì)齊的多區(qū)域人臉劃分方法。如前文預(yù)處理部分所述，所有注冊(cè)和待識(shí)別三維人臉模型都與參考模型進(jìn)行了稠密對(duì)齊，即對(duì)齊之后的三維人臉擁有相同的點(diǎn)數(shù)、相同的拓?fù)浣Y(jié)構(gòu)，并且各點(diǎn)之間存在語(yǔ)義上的一一對(duì)應(yīng)關(guān)系。

受表情、遮擋等因素的影響，即使經(jīng)過(guò)語(yǔ)義對(duì)齊的三維人臉模型，也無(wú)法避免由于局部形變導(dǎo)致的同一對(duì)象（類(lèi)內(nèi)）的相似度差異大于不同對(duì)象（類(lèi)間）間的相似度的問(wèn)題。為了減小局部區(qū)域形變嚴(yán)重進(jìn)而影響整體區(qū)域相似度計(jì)算的問(wèn)題，以往算法大多將人臉劃分為互不重疊的多個(gè)局部區(qū)域。考慮一般局部區(qū)域的區(qū)分度也小，即使融合多個(gè)局部區(qū)域?qū)φ麖埲四樧R(shí)別能力依然有限，因此本文提出基于易受表情影響區(qū)域特性，將人臉區(qū)域劃分為多個(gè)不含表情影響的模板區(qū)域再分別進(jìn)行匹配，即基于多模板區(qū)域的投票策略。依據(jù)易受表情影響區(qū)域設(shè)計(jì)的多表情影響區(qū)域去除的模板，既有效避免了以往依賴(lài)特征點(diǎn)的區(qū)域劃分問(wèn)題，同時(shí)也得到了多個(gè)相對(duì)可靠的區(qū)域分類(lèi)器。本文在參考模型上采用的三維模板區(qū)域投影如圖3 所示，共計(jì)24個(gè)模板，白色代表模板包含數(shù)據(jù)，黑色代表模板不包含數(shù)據(jù)，其中模版（1）為全臉模版。

人臉主要包括眼睛、額頭、鼻子、嘴巴、臉頰等區(qū)域，不同區(qū)域受表情影響程度不同，如通常認(rèn)為額頭、鼻子受表情影響較小，但額頭易受帽子、頭發(fā)等遮擋的影響;眼睛區(qū)域易受表情或眼鏡遮擋的影響;嘴巴和臉頰受表情影響最大。但是，考慮不同對(duì)象受表情影響區(qū)域不同，不同表情影響人臉區(qū)域亦不同，因此，本文提出了基于局部區(qū)域的不同區(qū)域模板劃分方法。模板設(shè)計(jì)思想為：將人臉按照易受表情影響區(qū)域劃分為多個(gè)不同的模板區(qū)域，對(duì)于某一對(duì)象的某種表情，顯然，受表情影響小的同一對(duì)象區(qū)域之間具有較大的相似度，而部分受表情影響較大的區(qū)域則傾向具有較小的相似度;最終的投票結(jié)果由多數(shù)相似度較大區(qū)域投票得到最終識(shí)別結(jié)果，即受表情影響較小區(qū)域決定，因此，該多區(qū)域模板融合方法不但對(duì)表情遮擋有一定的魯棒性，同時(shí)對(duì)區(qū)域劃分具有很強(qiáng)的容忍性。

2.2 區(qū)域相似度分類(lèi)

區(qū)域相似度就是將待測(cè)試三維人臉與注冊(cè)庫(kù)中三維人臉之間進(jìn)行相似度比較，相似度值最大的最相似。本文共使用24個(gè)區(qū)域模板，針對(duì)每個(gè)模板區(qū)域內(nèi)的三維人臉信息，都獨(dú)立進(jìn)行相似度計(jì)算。為了保證算法整體的運(yùn)行速度以及避免損失三維人臉結(jié)構(gòu)信息，本文定義人臉區(qū)域語(yǔ)義對(duì)應(yīng)坐標(biāo)點(diǎn)的歐氏距離平方和作為兩人臉區(qū)域的相似度值，即：

2.3 多模板區(qū)域分類(lèi)融合

關(guān)于多分類(lèi)器融合的方法有很多，如分?jǐn)?shù)級(jí)融合、決策級(jí)融合等。本文選用后者，并按照多數(shù)投票機(jī)制對(duì)多模板分類(lèi)器投票結(jié)果進(jìn)行融合。主要基于以下兩方面考慮：首先，根據(jù)人臉特性將人臉劃分為不同的區(qū)域，每個(gè)區(qū)域之間是相互獨(dú)立的，因此，分類(lèi)結(jié)果也應(yīng)該相互獨(dú)立;其次，當(dāng)人臉受表情、遮擋等因素影響比較嚴(yán)重時(shí)，受影響嚴(yán)重的這些區(qū)域必然具有較小的相似度，而受影響較小的人臉區(qū)域仍然可以得到較高的相似度，每個(gè)區(qū)域分別單獨(dú)投票的好處是少數(shù)受影響區(qū)域的投票結(jié)果并不影響其他不受影響的區(qū)域獲得準(zhǔn)確的分類(lèi)。

1）確定三維人臉數(shù)據(jù)庫(kù)的注冊(cè)人臉和測(cè)試人臉數(shù)據(jù)集，其中注冊(cè)人臉數(shù)據(jù)集包含每人1個(gè)中性表情三維人臉數(shù)據(jù)。

2）對(duì)所有注冊(cè)人臉和測(cè)試人臉數(shù)據(jù)集進(jìn)行預(yù)處理，并執(zhí)行稠密對(duì)齊。

3）計(jì)算測(cè)試人臉與注冊(cè)人臉多區(qū)域模板的相似度及投票結(jié)果。

4）對(duì)多區(qū)域模板投票進(jìn)行多數(shù)投票融合。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)庫(kù)及實(shí)驗(yàn)設(shè)置

為了測(cè)試所提出算法的有效性，分別在FRGC（the Face Recognition Grand Challenge） v2.0和Bosphorus兩個(gè)三維人臉數(shù)據(jù)庫(kù)上對(duì)算法進(jìn)行評(píng)估。

FRGC v2.0三維人臉數(shù)據(jù)庫(kù)[20]：包含不同表情（六種表情變化）、姿態(tài)、年齡共466人的4007個(gè)三維人臉模型。

Bosphorus數(shù)據(jù)庫(kù)[21]：含有姿態(tài)、表情、遮擋變化的105人，共4666個(gè)三維人臉模型。每人包括13種不同姿態(tài)、除中性表情以外的6種不同表情以及4種不同程度的遮擋。

實(shí)驗(yàn)中所有用到的三維人臉模型首先按照第1章介紹的預(yù)處理過(guò)程進(jìn)行鼻尖點(diǎn)檢測(cè)、切割人臉區(qū)域、姿態(tài)矯正、數(shù)據(jù)填補(bǔ)以及稠密對(duì)齊。

為了便于與其他方法進(jìn)行比較，本文的評(píng)價(jià)指標(biāo)選用rank-1識(shí)別率，即在識(shí)別測(cè)試過(guò)程中，第一次命中（最相似人臉即為正確人臉）正確人臉的概率之和。

3.2 閾值確定

衡量人臉識(shí)別算法性能常用的指標(biāo)是EER（Equal Error Rate），即當(dāng)FAR與FRR（False Rejection Rate）相等時(shí)的取值。EER值越小，表明識(shí)別算法性能越好、越穩(wěn)定。本文共有Ti（i=1，2，… ，24）和Tv共25個(gè)閾值需要確定。

從圖4（a）不難看出，模板6性能最差（對(duì)應(yīng)最大的EER值），模板18性能最好（對(duì)應(yīng)最小EER值）。這是由于：模板6包括了人臉的嘴巴和臉頰區(qū)域，而嘴巴和臉頰是受表情影響最大區(qū)域;而模板18則包含人臉的額頭和鼻子區(qū)域，這部分是受表情影響較小區(qū)域。分析其他區(qū)域也不難發(fā)現(xiàn)，一般模板區(qū)域較小，達(dá)到的EER值也較小，如區(qū)域13、14、22、23、24，即是受表情變化較小的鼻子區(qū)域，這也是本文預(yù)定義有重疊多區(qū)域模板的合理之處;而包含臉頰或嘴巴區(qū)域的，一般達(dá)到的EER都相對(duì)較大，如區(qū)域6、8、21等。

3.3 FRGC v2.0數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果

注冊(cè)集包含466人的第一個(gè)中性表情三維人臉數(shù)據(jù)，其余3541（包括1984個(gè)中性表情，1557個(gè)非中性表情）個(gè)人臉數(shù)據(jù)組成該實(shí)驗(yàn)的測(cè)試集。

為了便于與當(dāng)前最新的基于區(qū)域類(lèi)方法如EI3D（Expression-Invariant 3D）[12]、Spherical[13]、A-SRC（Adaptive Sparse Representation-based Classifier）[22]，以及基于同等形變類(lèi)方法如3DWW（3D Weighted Walkthroughs） [6]、Curvature-based [10]等方法進(jìn)行比較，本文僅計(jì)算本文算法的rank-1識(shí)別率，即在識(shí)別測(cè)試過(guò)程中，第一次命中（最相似人臉即為正確人臉）正確人臉的概率之和。

圖6給出了本文算法在FRGC v2.0上的CMC（Cumulative Match Characteristic）曲線(xiàn)，可以看出，該算法達(dá)到了98.69%的rank-1識(shí)別率。表1給出了不同算法分別在FRGC v2.0數(shù)據(jù)庫(kù)中含具有表情變化的三維人臉識(shí)別庫(kù)上分別達(dá)到的rank-1識(shí)別率。

由表1不難看出，同等條件下，不管是相較于基于同等形變的方法3DWW[6]、Curvature-based[10]，還是基于不重疊多區(qū)域方法EI3D[12]、 Spherical[13]、A-SRC[22]，本文算法都取得了最高的人臉識(shí)別率。原因是：基于同等形變方法將人臉表情的變化通過(guò)等距變化來(lái)刻畫(huà)，對(duì)于非剛性區(qū)域，顯然表情引起的三維形變不是等距的，因此，很難得到滿(mǎn)意的效果;相較其他基于區(qū)域的方法，本文算法不依賴(lài)特征點(diǎn)定位進(jìn)行區(qū)域分割，同時(shí)，本文采用多數(shù)投票機(jī)制對(duì)區(qū)域劃分體現(xiàn)了較強(qiáng)的容忍度和魯棒性。

3.4 Bosphorus數(shù)據(jù)庫(kù)上實(shí)驗(yàn)結(jié)果

為了更進(jìn)一步驗(yàn)證本文算法對(duì)遮擋因素的有效性，本文還選擇在包含遮擋變化的Bosphorus三維人臉數(shù)據(jù)庫(kù)上進(jìn)行驗(yàn)證。注冊(cè)集包含105人的一個(gè)中性表情三維人臉數(shù)據(jù)，其余每人4個(gè)含有遮擋（分別為手、頭發(fā)和眼鏡遮擋）的三維人臉數(shù)據(jù)組成該實(shí)驗(yàn)的測(cè)試集。

對(duì)于三維人臉模型存在遮擋的問(wèn)題，通常的處理是首先檢測(cè)出人臉遮擋區(qū)域，然后再利用其他先驗(yàn)?zāi)Ｐ椭亟ǔ稣趽鯀^(qū)域人臉。如文獻(xiàn)[23]算法，首先將三維人臉轉(zhuǎn)換為二維深度圖，在深度圖上通過(guò)檢測(cè)最亮的點(diǎn)及閾值范圍內(nèi)的連通區(qū)域法檢測(cè)遮擋區(qū)域，然后對(duì)遮擋區(qū)域使用主成分分析（Principal Component Analysis， PCA）對(duì)遮擋區(qū)域進(jìn)行重建。而文獻(xiàn)[24]算法，則將遮擋人臉與平均人臉對(duì)齊，對(duì)齊后的人臉區(qū)域如果大于某以固定閾值就被認(rèn)為是遮擋區(qū)域并丟棄，然后采用切線(xiàn)PCA以及Gaussion模型相結(jié)合對(duì)遮擋區(qū)域進(jìn)行重建。這兩個(gè)對(duì)比方法在檢測(cè)遮擋人臉區(qū)域時(shí)，都需要確定閾值，閾值的大小直接影響檢測(cè)遮擋區(qū)域的多少，而且，固定的閾值也很難適應(yīng)實(shí)際應(yīng)用種的各種遮擋情況，缺乏靈活性。本文提出的算法不需要檢測(cè)遮擋區(qū)域，而是通過(guò)預(yù)定于多模板區(qū)域共同投票，最后選擇多區(qū)域數(shù)投票統(tǒng)計(jì)法決定最終的識(shí)別結(jié)果。類(lèi)似于表情情況，不難發(fā)現(xiàn)：模板中受遮擋影響嚴(yán)重的區(qū)域必然具有較小的相似度，而受遮擋影響較小的區(qū)域則具有較高的相似度，多數(shù)投票機(jī)制使得受遮擋影響較小區(qū)域更有發(fā)言權(quán)，從而提出的算法對(duì)遮擋也表現(xiàn)出一定的魯棒性。

表2給出了本文算法法及對(duì)比算法[23-24]在Bosphorus數(shù)據(jù)庫(kù)存在遮擋情況下達(dá)到的rank-1識(shí)別率。由表2可以看出，本文算法取得了84.36%的rank-1識(shí)別率，比現(xiàn)有較好的文獻(xiàn)[24]算法提高了5.73個(gè)百分點(diǎn)。表2結(jié)果表明，本文算對(duì)遮擋因素也具有很強(qiáng)的魯棒性，而且本文算法不需要對(duì)遮擋區(qū)域檢測(cè)和重建，具有良好的靈活性。

4 結(jié)語(yǔ)

針對(duì)表情對(duì)三維人臉模型的影響而導(dǎo)致人臉識(shí)別算法性能下降的問(wèn)題，本文提出了基于語(yǔ)義對(duì)齊的多區(qū)域融合的表情魯棒三維人臉識(shí)別算法。該算法借助一個(gè)參考模型實(shí)現(xiàn)所有三維人臉模型的預(yù)處理及模型之間的語(yǔ)義對(duì)齊;然后，依據(jù)表情對(duì)人臉影響，設(shè)計(jì)多個(gè)獨(dú)立的有重疊的人臉區(qū)域，在每個(gè)模板區(qū)域內(nèi)分別計(jì)算區(qū)域相似度并投票;最后，采用多數(shù)投票法決定最終的識(shí)別結(jié)果。在FRGC v2.0和Bosphorus兩個(gè)三維人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，本文算法不但對(duì)表情變化魯棒，對(duì)遮擋也有很好的魯棒性。我們的下一步工作將研究設(shè)計(jì)更加有效的區(qū)域模板，并在更多、更復(fù)雜三維人臉數(shù)據(jù)庫(kù)上進(jìn)行驗(yàn)證。

參考文獻(xiàn) （References）

[1] 王躍明，潘綱，吳朝暉.三維人臉識(shí)別研究綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2008，20（7）：819-829.（WANG Y M， PAN G， WU Z H. A survey of 3D face recognition [J]. Journal of Computer Aided design & Computer Graphics， 2008， 20（7）： 819-829.）

[2] Al-OSAIMI F， BENNAMOUN M， MIAN A. Expression-invariant non-rigid 3D face recognition： a robust approach to expression-aware morphing [C]// Proceedings of the 4th International Symposium on 3D Data Processing， Visualization， and Transmission. Piscataway， NJ： IEEE， 2008： 19-26.

[3] MPIPERIS I， MALASSIOTIS S， STRINTZIS M G. Expression-compensated 3D face recognition with geodesically aligned bilinear models [C]// Proceedings of the 2008 IEEE Second International Conference on Biometrics： Theory， Applications and Systems. Piscataway， NJ： IEEE， 2008： 1-6.

[4] KAUSHIK V D， BUDHWAR A， DUBEY A， et al. An efficient 3D face recognition algorithm [C]// NTMS 2009： Proceedings of the 3rd International Conference on New Technologies， Mobility and Security. Piscataway， NJ： IEEE，2009： 259-263.

[5] BRONSTEIN A M， BRONSTEIN M M， KIMMEL R. Expression-invariant representations of faces [J]. IEEE Transactions on Image Processing， 2007， 16（1）： 188-197.

[6] JAHANBIN S， CHOI H， LIU Y， et al. Three dimensional face recognition using iso-geodesic and iso-depth curves [C]// BTAS 2008： Proceedings of the 2008 IEEE Second International Conference on Biometrics： Theory， Applications and Systems. Piscataway， NJ： IEEE， 2008： 1-6.

[7] BERRETTI S， DEL BIMBO A， PALA P. 3D face recognition using isogeodesic stripes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（12）： 2162-2177.

[8] DRIRA H， BEN AMOR B， DAOUDI M， et al. Pose and expression-invariant 3d face recognition using elastic radial curves [C]// Proceedings of the 2010 British Machine Vision Conference. Durham， UK： BMVA Press， 2010： 1-11.

[9] BERRETTI S， del BIMBO A， PALA P， et al. A set of selected SIFT features for 3D facial expression recognition [C]// ICPR 2010： Proceedings of the 2010 20th International Conference on Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 4125-4128.

[10] ALYUZ N， GOKBERK B， AKARUN L. Regional registration for expression resistant 3-D face recognition [J]. IEEE Transactions on Information Forensics and Security， 2010， 5（3）： 425-440.

[11] SMEETS D， KEUSTERMANS J， VANDERMEULEN D， et al. meshSIFT： Local surface features for 3D face recognition under expression variations and partial data [J]. Computer Vision and Image Understanding， 2013， 117（2）： 158-169.

[12] GUO Y L， LEI Y J， LIU L， et al. EI3D： Expression-invariant 3D face recognition based on feature and shape matching [J]. Pattern Recognition Letters， 2016， 83（Part 3）： 403-412.

[13] EMAMBAKHSH M， EVANS A. Nasal patches and curves for expression-robust 3D face recognition [J]. IEEE transactions on Pattern Analysis and Machine Intelligence， 2017， 39（5）： 995-1007.

[14] CHANG K I， BOWYER K W， FLYNN P J. Multiple nose region matching for 3D face recognition under varying facial expression [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（10）： 1695-1700.

[15] SANG G L， LI J， ZHAO Q J. Pose-invariant face recognition via RGB-D images [J]. Computational Intelligence and Neuroscience， 2016（3）： 1-9.

[16] CHEW W J， SENG K P， ANG L M. Nose tip detection on a three-dimensional face range image invariant to head pose [C]// Proceedings of the 2009 International MultiConference of Engineers and Computer Scientists. Hong Kong： International Association of Engineers， 2009：858-862.

[17] SPREEUWERS L J， VELDHUIS R N J， SULTANALI S， et al. Fixed FAR vote fusion of regional facial classifiers [C]// BIOSIG 2014： Proceedings of the 2014 International Conference of the BIOmetrics Special Interest Group. Piscataway， NJ： IEEE， 2014： 187-194.

[18] 尹寶才，孫艷豐，王成章，等.BJUT-3D三維人臉數(shù)據(jù)庫(kù)及其處理技術(shù)[J].計(jì)算機(jī)研究與發(fā)展，2009，46（6）：1009-1018.（YIN B C， SUN Y F， WANG C Z， et al. BJUT-3D large scale 3D face database and information processing [J]. Journal of Computer Research and Development， 2009， 46（6）：1009-1018.）

[19] AMBERG B， ROMDHANI S， VETTER T. Optimal step nonrigid ICP algorithms for surface registration [C]// CVPR 2007： Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2007： 1-8.

[20] WANG Y M， PAN G， WU Z H. 3D face recognition in the presence of expression： a guidance-based constraint deformation approach [C]// CVPR 2007： Proceedings of the 2007 Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2007： 1180-1187.

[21] SAVRAN A， ALYUZ N， DIBEKLIOGLU H， et al. Bosphorus database for 3D face analysis [C]// Proceedings of the 2008 European Workshop on Biometrics and Identity Management， LNCS 5372. Berlin： Springer， 2008： 47-56.

[22] DENG X， DA F P， SHAO H J. Adaptive feature selection based on reconstruction residual and accurately located landmarks for expression-robust 3D face recognition [J]. Signal， Image and Video Processing， 2017， 11（7）： 1305-1312.

[23] BAGCHI P， BHATTACHARJEE D， NASIPURI M. Robust 3D face recognition in presence of pose and partial occlusions or missing parts [J]. International Journal in Foundations of Computer Science & Technology， 2014， 4（4）： 21-35.

[24] GANGULY S， BHATTACHARJEE D， NASIPURI M. Depth based occlusion detection and localization from 3D face image [J]. International Journal of Image， Graphics & Signal Processing， 2015， 7（5）： 20-31.