三維人臉識別研究進(jìn)展

劉 力，龔 勇，趙國強，2

1.中國電子科技南湖研究院，浙江 嘉興 314002

2.浙江大學(xué) 信息與電子工程學(xué)院，杭州 310027

近年來，隨著人工智能技術(shù)的快速發(fā)展，人臉識別技術(shù)已經(jīng)廣泛應(yīng)用于社會安防、智能家居、金融支付、教育、醫(yī)療、交通等領(lǐng)域。人臉識別技術(shù)無須用戶過多參與，對用戶不造成任何損害，通常采用非接觸式的數(shù)據(jù)采集方式，識別設(shè)備小巧便攜，被稱為21世紀(jì)最有前途的身份驗證方法。Minaee等[1]對包括人臉在內(nèi)的120多項生物特征識別的前景工作進(jìn)行了全面調(diào)查，闡述了人臉識別技術(shù)的重要性。目前大多數(shù)人臉識別方法建立在二維數(shù)據(jù)的基礎(chǔ)上，即對單一的二維彩色圖像進(jìn)行識別，技術(shù)相對成熟，但容易受到年齡、膚色、紋理及復(fù)雜環(huán)境因素的干擾和影響，識別精度和應(yīng)用范圍受限，Kortli 等[2]對二維人臉識別技術(shù)的傳統(tǒng)算法與最新研究進(jìn)行了全面的總結(jié)。Wang等[3]、Dalvi等[4]對人臉識別的發(fā)展歷史、技術(shù)流程及應(yīng)用進(jìn)行了詳細(xì)介紹。Du等[5]主要考慮基于深度學(xué)習(xí)的二維人臉識別，部分方法涉及三維人臉對齊和檢測技術(shù)。

相對二維人臉數(shù)據(jù)，三維人臉數(shù)據(jù)包含更加豐富的身份信息，基于三維數(shù)據(jù)開發(fā)的人臉識別技術(shù)可以克服或減輕環(huán)境因素的影響，能夠抵御各種形式的攻擊，因此三維人臉識別方法得到越來越多的重視。Zhou 等[6]基于姿態(tài)變化、表情變化和存在遮擋三種不同情況，對相關(guān)三維人臉識別技術(shù)的發(fā)展歷史和研究方法進(jìn)行了總結(jié)，Guo 等[7]在此基礎(chǔ)上進(jìn)一步討論了視頻和異構(gòu)數(shù)據(jù)的識別問題。Sharma 等[8]深入分析了基于深度學(xué)習(xí)的三維人臉重建技術(shù)，但討論的應(yīng)用領(lǐng)域有所局限。Zhang 等[9]總結(jié)了三維面部和頭部技術(shù)，包括數(shù)據(jù)捕獲技術(shù)和儀器、數(shù)據(jù)集、建模流程以及產(chǎn)品應(yīng)用場景，但主要集中在傳統(tǒng)方法方面，對于機器學(xué)習(xí)、深度學(xué)習(xí)等關(guān)鍵方法涉及很少。Topsakal等[10]總結(jié)了數(shù)量最多的三維面部地標(biāo)檢測算法，但缺乏三維面部識別環(huán)節(jié)的調(diào)研。Cava[11]從監(jiān)控視頻和面部照片圖像中分析了3D人臉重建算法的研究進(jìn)展，Wang 等[12]從去噪、超分辨率、去模糊、偽影去除等方向詳細(xì)討論了三維人臉重建技術(shù)，但二者都缺乏對其他類型三維人臉數(shù)據(jù)的研究調(diào)研。Jing等[13]回顧了過去十年中開發(fā)的三維人臉識別技術(shù)，涵蓋了三維人臉識別的傳統(tǒng)方法和深度學(xué)習(xí)方法，Kittler等[14]詳細(xì)介紹了三維人臉建模和結(jié)合二維信息的三維人臉匹配方面技術(shù)，但都沒有涵蓋最新的研究進(jìn)展。近三年來，三維人臉識別的研究進(jìn)展迅速，應(yīng)用場景不斷擴(kuò)大，在識別精度和運行速度上取得了巨大的提升，是解決人臉識別瓶頸的關(guān)鍵技術(shù)。

因此，本文全面地闡述了三維人臉識別技術(shù)的最新研究進(jìn)展，根據(jù)人臉數(shù)據(jù)的不同格式，將三維人臉識別方法分為從單目彩色RGB圖像進(jìn)行三維人臉重構(gòu)的識別方法、基于點云數(shù)據(jù)的人臉識別方法、基于RGB-D數(shù)據(jù)的人臉識別方法，以及基于多模態(tài)數(shù)據(jù)的人臉識別方法，總結(jié)各類方法原理和流程，對各類三維人臉識別的最新研究方法進(jìn)行總結(jié)和對比，闡述、分析了不同類型的三維人臉數(shù)據(jù)集，分析現(xiàn)有方法存在的問題，預(yù)測技術(shù)發(fā)展趨勢。

1 三維人臉識別研究進(jìn)展

由于采集方式不同，三維人臉數(shù)據(jù)具有多種類型，主要分為彩色圖-深度圖（RGB-depth，RGB-D）、點云和網(wǎng)格，如圖1所示[15]。在點云數(shù)據(jù)中，每個點對應(yīng)一個三維坐標(biāo)(x,y,z)，若增加紋理、形狀等屬性，則點云數(shù)據(jù)可以擴(kuò)展為(x,y,z,p,q,…) 。深度圖以二維格式保存，與拍攝的二維彩色圖像大小相同，但每個位置保存的是深度值，與RGB 圖像結(jié)合即可獲得人臉的紋理和深度信息。網(wǎng)格數(shù)據(jù)通過點構(gòu)成線，再由線構(gòu)成多邊形，最后由多邊形構(gòu)成面，并通過陰影、紋理等信息表達(dá)網(wǎng)格表面。各類數(shù)據(jù)可以互相進(jìn)行轉(zhuǎn)化，在網(wǎng)格數(shù)據(jù)上進(jìn)行點采樣可以獲得點云數(shù)據(jù)，采用插值法或逼近法等網(wǎng)格生成算法可以將點云轉(zhuǎn)換為網(wǎng)格；深度圖經(jīng)過坐標(biāo)變換可以計算點云數(shù)據(jù)，有規(guī)則且必要的點云數(shù)據(jù)可以反算出深度圖。

圖1 不同類型的人臉數(shù)據(jù)Fig.1 Different types of face data

本章根據(jù)人臉數(shù)據(jù)的不同格式，將三維人臉識別方法分為從單目彩色RGB圖像進(jìn)行三維人臉重構(gòu)的識別方法、基于點云數(shù)據(jù)的人臉識別方法、基于RGB-D數(shù)據(jù)的人臉識別方法，以及基于多模態(tài)數(shù)據(jù)的人臉識別方法，圖2總結(jié)了各類方法原理的區(qū)別與聯(lián)系。

圖2 各類方法的區(qū)別與聯(lián)系Fig.2 Differences and connections between various methods

各類方法的識別流程大致相同，如圖3 所示，首先對原始數(shù)據(jù)進(jìn)行人臉檢測與對齊、數(shù)據(jù)增強等預(yù)處理，再建立合適的模型從數(shù)據(jù)中提取面部特征或參數(shù)，最后得到識別結(jié)果。

圖3 三維人臉識別流程Fig.3 Process for 3D face recognition

表1 梳理了近期各類三維人臉識別方法的研究概況[16-93]。

表1 三維人臉識別方法總結(jié)Table 1 Summary of 3D face recognition methods

1.1 基于單目RGB圖像的三維人臉識別

從單目圖像進(jìn)行人臉識別是計算機視覺的基本任務(wù)之一。在過去的二十年中，研究界一直聚焦從RGB圖像提取關(guān)鍵點[93-94]、輪廓信息[95]和分割信息[96]等，根據(jù)手工提取的特征直接進(jìn)行識別。近年來，研究人員開始利用單目RGB 圖像重構(gòu)三維人臉，并在三維空間中進(jìn)行人臉識別，識別流程主要包括預(yù)處理、建模和預(yù)測環(huán)節(jié)，預(yù)處理階段通常包括面部裁剪、面部對齊等，但預(yù)處理階段不是必需的，Sharma 和Kumar[97-99]沒有使用面部對齊。

本節(jié)介紹了基于單目RGB圖像重構(gòu)三維人臉并進(jìn)行識別的方法。

1.1.1 基于人臉三維屬性參數(shù)估計的方法

人臉屬性包括表情、姿勢等內(nèi)部參數(shù)和照明、視角等外部參數(shù)，如圖4所示。該類方法是對人臉的三維屬性參數(shù)進(jìn)行估計，再根據(jù)參數(shù)進(jìn)行三維人臉識別。

圖4 人臉三維屬性參數(shù)Fig.4 3D facial attribute parameters

部分研究只考慮內(nèi)部屬性參數(shù)或只考慮外部屬性參數(shù)對人臉建模效果的影響，針對性強，對特定場景的識別效果好，但魯棒性較差。同時對內(nèi)外屬性參數(shù)建模的方法復(fù)雜度提升，但識別效果相對較好。

（1）單類參數(shù)估計方法

Gafni 等[16]只考慮內(nèi)部參數(shù)對建模的影響，將場景表示網(wǎng)絡(luò)與低維多階段模型相結(jié)合，對表情和姿勢參數(shù)進(jìn)行顯式建模，使用嵌入在規(guī)范空間中的多層感知器建立動態(tài)輻射場，再使用體積渲染方法從混合表示中生成三維人臉。該方法能夠快速地對頭發(fā)、眼鏡、帽子等任意的幾何體和拓?fù)潢P(guān)系建模，對不同表情、不同場景的應(yīng)用具有較強的魯棒性，但缺乏對眼部的建模。Han等[17]只考慮外部光照條件的影響，根據(jù)鏡面反射和漫反射的細(xì)微差異，提出了非朗伯表面的單目三維偏振成像方法，根據(jù)提取的梯度場確定表面法線，進(jìn)而完成三維人臉重構(gòu)，該方法對于自然照明下的人臉重構(gòu)具有一定效果，可以達(dá)到微米級分辨率。Mallikarjun等[18]僅對外部視角參數(shù)建模，在幾何畸變的不變空間中生成一組基本面，對輸入光的方向、視角和面幾何參數(shù)進(jìn)行建模。該方法考慮了亞表面散射、鏡面反射、自陰影和其他高階效應(yīng)等物理效應(yīng)，在人臉建模過程中取得了較好的效果。然而該方法無法估計眼部的反射率，且鏡面反射和陰影等邊界較為模糊、建模效果不佳。

（2）內(nèi)、外部參數(shù)同時建模方法

Bai 等[19]提出了一種可裝配的三維人臉重建方法，對個性化的人臉關(guān)鍵點和每個圖像的表情、姿勢、照明等參數(shù)聯(lián)合建模。該方法超越靜態(tài)重建，能夠應(yīng)用于視頻重定位、目標(biāo)重定位等場景。Dib 等[20]利用卷積神經(jīng)網(wǎng)絡(luò)估計表情、姿態(tài)、光強、漫反射率等參數(shù)，可微光線跟蹤器利用這些參數(shù)生成光線跟蹤圖像，對人臉進(jìn)行基本重建。采用兩個額外的解碼器估計反射率先驗參數(shù)，提高了一般化場景中人臉重建的質(zhì)量和魯棒性。該方法不能適應(yīng)光照和表情變化，無法對膚色建模，且漫反射率可能受到極端陰影的影響。Wu等[21]認(rèn)為人臉數(shù)據(jù)的不對稱性是由形狀變形、不對稱反射和不對稱照明等因素引起的，因此設(shè)計自動編碼器將輸入圖像分解為深度、漫反射、視角和照明度因子，估計輸入圖像中每個像素對稱的概率。該方法無須任何監(jiān)督和事先的形狀模型，適用范圍較廣，能夠應(yīng)用于視頻場景，在不同幀之間產(chǎn)生一致、平滑的重建，準(zhǔn)確恢復(fù)面部運動的細(xì)節(jié)，但無法克服遮擋等情況。Zhang 等[22]發(fā)現(xiàn)圖形渲染器近似真實成像，神經(jīng)渲染方法能生產(chǎn)高精度外觀，提出物理引導(dǎo)的離散隱式渲染（physically-guided disentangled implicit rendering，PhyDIR）框架進(jìn)行高保真三維人臉建模，采用三維渲染和光柵化模塊控制渲染器，求解光線、面部形狀和視角參數(shù)，該方法能夠恢復(fù)紋理細(xì)節(jié)，但模型的推理速度慢，適合應(yīng)用于對細(xì)節(jié)和精度要求高的場景。Wen等[23]基于自監(jiān)督學(xué)習(xí)，提出了條件估計框架，通過學(xué)習(xí)參數(shù)的統(tǒng)計依賴性，求解形狀、反射率、視角和光強等三維參數(shù)，結(jié)合圖像重構(gòu)三維人臉。該方法無須假定條件獨立，首次考慮了參數(shù)的統(tǒng)計性，但對形狀的估計效果不佳。Jiang 等[24]提出球面人臉模型（sphere face model，SFM），將RGB圖像分解為人臉表面的尺寸參數(shù)、形狀參數(shù)、表情參數(shù)，和反射率參數(shù)、照明參數(shù)、姿態(tài)參數(shù)、相機參數(shù)等渲染參數(shù)，從而控制人臉表面的形成，該方法的一致性和保真度較高，但眼部重建質(zhì)量低。

1.1.2 基于三維可形變模型的方法

該類方法從數(shù)據(jù)庫中訓(xùn)練通用的三維人臉模型——三維可形變模型（3D morphable models，3DMM）[25]，所有要生成的人臉都處于密集的對應(yīng)點對中，這可以通過人臉注冊過程來實現(xiàn)。通過密集對應(yīng)生成形態(tài)面。這項技術(shù)的重點是將面部顏色和形狀與光照、亮度、對比度等其他因素分離開來[26]。任意人臉可以由其他多幅人臉正交基加權(quán)表達(dá)，建模過程如圖5 所示，根據(jù)重建結(jié)果進(jìn)行三維人臉識別。該類方法原理簡單，求解速度快，重建結(jié)果完整，拓?fù)浣Y(jié)構(gòu)已知；但是在求解病態(tài)問題過程中，容易陷入效果不佳的局部解，難以重建細(xì)節(jié)特征，背景干擾、存在遮擋等情況對建模效果影響較大。

圖5 3DMM流程Fig.5 Process of 3DMM

大多數(shù)情況下，該類方法使用的是線性3DMM 模型，也有一些基于非線性3DMM模型的研究[27]。根據(jù)學(xué)習(xí)范式的不同，將該類方法細(xì)分為有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)方法。

（1）有監(jiān)督學(xué)習(xí)方法

該類方法通過計算重建人臉與三維真實人臉之間的誤差進(jìn)行訓(xùn)練，可以獲得較好的重建效果，如圖6所示。

圖6 3DMM有監(jiān)督學(xué)習(xí)Fig.6 3DMM supervised learning

Jin等[28]提出了一種從單目圖像重建三維人臉的粗-中-細(xì)框架。粗糙階段估計3DMM 模型的形狀、姿勢參數(shù)，中間階段檢測輸入圖像中的密集關(guān)鍵點，對粗糙形狀進(jìn)行拉普拉斯變形；精細(xì)階段估計照明、反射率和陰影分量的初始值，耦合反射率優(yōu)化的紋理損失和細(xì)節(jié)損失。該方法能在多個尺度上實現(xiàn)優(yōu)化，提高了估計的準(zhǔn)確性和魯棒性，但耗時較長，不滿足實時應(yīng)用的需要。Wu等[29]基于3DMM和三維面部關(guān)鍵點的協(xié)同關(guān)系建立模型，基于MobileNet-V2網(wǎng)絡(luò)估計3DMM系數(shù)并構(gòu)建面部網(wǎng)格。該方法對3DMM系數(shù)應(yīng)用自約束一致性建立協(xié)同過程，能夠合成逼真的細(xì)節(jié)，提高了人臉重建性能，但提出的兩個模塊為模型每次迭代增加了5%的耗時。Yang 等[30]基于關(guān)鍵點對齊、像素一致性擬合基礎(chǔ)模型，再采用神經(jīng)網(wǎng)絡(luò)從紋理圖中獲得靜態(tài)特征、從變形圖中獲得動態(tài)特征，獲得多張位移圖，以不同權(quán)重組合得到三維人臉，以此進(jìn)行識別，該方法具有較高的保真度。

（2）無監(jiān)督學(xué)習(xí)方法

該類方法通常通過分析單張圖像中的明暗信息來判斷物體表面的法線方向，從而恢復(fù)表面形狀，如圖7所示。首先輸入一張在真實世界中拍攝的RGB 人臉圖像，在朗博假設(shè)下，將圖像分解為形狀，反射和光照三類信息。

圖7 3DMM無監(jiān)督學(xué)習(xí)Fig.7 3DMM unsupervised learning

Tiwari 等[31]提出了減少依賴性的快速無監(jiān)督三維人臉重建（reduced dependency fast unsupervised 3D face reconstruction，RED-FUSE）框架，通過人臉圖像估計3DMM 系數(shù)，重建三維面部網(wǎng)格，再投影至二維平面，根據(jù)二維圖像的一致性重建人臉形狀和紋理。該方法運行速度快，克服了對真實標(biāo)注的依賴，但是缺乏對多個視圖的建模。Zhang等[32]提出了三維人臉模型的聚合個性化（learning to aggregate and personalize，LAP）框架，基于面部結(jié)構(gòu)的一致性，對基本的面部幾何和紋理進(jìn)行重構(gòu)，再添加個性化的屬性和細(xì)節(jié)，完成三維人臉模型的構(gòu)建。該方法不依賴先驗信息和監(jiān)督學(xué)習(xí)，對面部形狀和紋理的建模效果較好，但該模型較為復(fù)雜，運行時間較長，分辨率較低。Genova[33]設(shè)計的無監(jiān)督訓(xùn)練模型也采用了編碼器-解碼器架構(gòu)，使用三重?fù)p失：批量分布損失、環(huán)回?fù)p失和多視圖損失。該方法改進(jìn)了眉毛紋理、鼻子形狀等特征的相似性，更能抵抗身份、表情、膚色和光照等復(fù)雜變量的影響。

（3）自監(jiān)督學(xué)習(xí)方法

三維人臉重建中真實的數(shù)據(jù)集獲取成本非常高，研究者往往基于少量數(shù)據(jù)或者仿真數(shù)據(jù)進(jìn)行研究，所訓(xùn)練出來的模型泛化能力會受到限制，自監(jiān)督的方法則是一個解決該問題的重要思路。這一類方法不依賴于真實的成對數(shù)據(jù)集，它將二維圖像重建到三維，再投影回二維圖，以系數(shù)損失作為約束進(jìn)行訓(xùn)練，如圖8所示。

圖8 3DMM自監(jiān)督學(xué)習(xí)Fig.8 3DMM self-supervised learning

Tiwari 等[34]提出的自監(jiān)督魯棒制導(dǎo)（self-supervised robustifying guidance，ROGUE）框架，包括魯棒管道和制導(dǎo)管道，制導(dǎo)管道將三維網(wǎng)格投影到二維空間，根據(jù)其與輸入圖像的一致性獲得參數(shù)；魯棒管道從輸入圖像與遮擋、噪聲圖像的一致性學(xué)習(xí)幾何參數(shù)和紋理參數(shù)。該方法以自監(jiān)督的方式學(xué)習(xí)三維人臉，對圖像中的遮擋和噪聲具有較強的魯棒性，但對訓(xùn)練集的依賴嚴(yán)重，且不可缺少的預(yù)處理環(huán)節(jié)大大增加了訓(xùn)練模型的時間。Shang等[35]基于自監(jiān)督學(xué)習(xí)，提出了多視圖幾何一致網(wǎng)絡(luò)（multi-view geometry consistency network，MGCNet），該架構(gòu)建立了一種多視圖幾何約束，基于3DMM 先驗人臉模型，對不同視圖中的幾何體建立一致性規(guī)范。該架構(gòu)為人臉姿態(tài)和深度估計提供了可靠的約束，在表情、姿態(tài)和照明條件發(fā)生巨大變化時較為魯棒，該方法精度較高，但模型運行速度慢，能夠應(yīng)用在沒有標(biāo)記的場景，有應(yīng)用于視頻識別的潛力。

（4）弱監(jiān)督學(xué)習(xí)方法

該類方法利用弱監(jiān)督信息進(jìn)行訓(xùn)練，如面部關(guān)鍵點、皮膚掩碼等，如圖9所示。

圖9 3DMM弱監(jiān)督學(xué)習(xí)Fig.9 3DMM weakly supervised learning

Deng 等[36]利用圖像低層信息和感知層信息進(jìn)行弱監(jiān)督學(xué)習(xí)，使用R-Net 回歸3DMM 參數(shù)，基于重建圖像和原始圖像的圖像級損失和感知層損失訓(xùn)練模型，該方法能夠以較快的速度建模，具有對遮擋和大姿態(tài)魯棒性強的特點，但紋理和形狀的擬合不夠穩(wěn)健，方差大。Tran等[37]認(rèn)為線性基限制了3DMM的表達(dá)能力，設(shè)計了包含一個編碼器和兩個解碼器的模型，能夠從大量自然人臉圖像中學(xué)習(xí)非線性3DMM模型。該方法建立了端到端的模型，重建誤差更小，面部紋理重建效果好，但該模型具有超過500M的參數(shù)，模型運行時間長。

1.1.3 基于生成對抗網(wǎng)絡(luò)的方法

生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）具有強大的數(shù)據(jù)合成能力，在基于單目圖像重建的過程中得到越來越多的應(yīng)用。該類方法的基本思路是設(shè)計合適的GAN，基于單目圖像生成三維人臉形狀、紋理，并根據(jù)重建結(jié)果進(jìn)行三維人臉識別，流程如圖10所示。

圖10 基于GAN的三維重建識別流程Fig.10 3D reconstruction and recognition process based on GAN

Jin等[38]提出偽RGB-D人臉識別框架D+GAN，生成器由殘差模塊、自注意力模塊、卷積模塊組成，利用條件圖像及對應(yīng)標(biāo)簽生成假圖像；判別器不僅判定輸入樣本是否真實，并對每個樣本進(jìn)行多類別分類，識別深度圖的生成質(zhì)量，實現(xiàn)了具有人臉屬性的多條件圖像到深度圖的轉(zhuǎn)換，提高了人臉識別的準(zhǔn)確性。該模型參數(shù)量巨大，且訓(xùn)練過程中難以收斂，無法應(yīng)用于實時解決方案。Chiu等[39]提出了分段感知深度估計網(wǎng)絡(luò)DepthNet，由一個生成器和三個判別器組成，能夠從RGB 圖像中生成深度圖。生成器基于UNet架構(gòu)設(shè)計了帶有快捷連接模塊的面部編碼器、面部解碼器和輔助解碼器，面部編碼器編碼圖像的輸入信息，輔助解碼器生成輸入圖像對應(yīng)的深度圖和語義分割掩碼，面部解碼器重建人臉模型。該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)準(zhǔn)確的人臉區(qū)域定位，但模型相對復(fù)雜，參數(shù)量大，訓(xùn)練時間長，實時性差。Tewari等[40]設(shè)計了三維生成對抗網(wǎng)絡(luò)（3D generative adversarial network，3D-GAN），利用生成模型分別從幾何和外觀空間中獨立采樣，對人臉的幾何參數(shù)和外觀參數(shù)建模。使用多層感知機編碼三維坐標(biāo)，回歸三維體積的密度和紋理，使用體積積分從虛擬相機中渲染輸出體積、生成人臉。該方法有助于改善三維場景和相機視角之間的消隱效果，但重建效果不及真實圖像和2D GAN 網(wǎng)絡(luò)。Xu等[41]開發(fā)了由生成對抗網(wǎng)絡(luò)和視覺顯著網(wǎng)絡(luò)組成的框架relight GAN，如圖11 所示，判別器進(jìn)行多尺度識別，框架中設(shè)置照明激發(fā)注意力機制，提升了人臉識別性能。該方法既不需要照明分類信息和三維信息，也不需要嚴(yán)格的面部對齊，解決了面部照明感知和處理的問題，有效提高人臉重建的效果，該方法應(yīng)用于野外圖像時性能下降。

圖11 Relight GAN架構(gòu)Fig.11 Relight GAN frame

1.2 基于點云數(shù)據(jù)的三維人臉識別

最初的研究通常將點云格式的三維人臉數(shù)據(jù)轉(zhuǎn)換為體素表示，不僅數(shù)據(jù)更加龐大，而且識別過程更加繁瑣。近年的研究主要分為兩類，將點云數(shù)據(jù)轉(zhuǎn)化為低維度特征和利用深度神經(jīng)網(wǎng)絡(luò)直接處理點云數(shù)據(jù)。將三維數(shù)據(jù)轉(zhuǎn)換為低維度特征時，需要克服幾何信息損失、計算成本增加等問題。建立深度學(xué)習(xí)模型時需要克服點云數(shù)據(jù)的無序性和剛性變換不變性。本節(jié)介紹了最新的基于點云數(shù)據(jù)的三維人臉識別方法。

1.2.1 將點云數(shù)據(jù)轉(zhuǎn)化為低維度特征

該類方法是從點云數(shù)據(jù)中提取人臉紋理、法線、曲率等低維度特征，進(jìn)行三維人臉識別。

機器學(xué)習(xí)方法易于實現(xiàn)，計算量低，能夠快速完成三維人臉識別。Wang 等[42]針對不同點云之間的法線、曲率和配準(zhǔn)相似性，提出了三維人臉相似性評分算法，解決了光線不穩(wěn)定和黑暗環(huán)境中的面部識別問題，不需要復(fù)雜的訓(xùn)練，計算速度很快。Nassih等[43]基于黎曼幾何最短距離、隨機森林算法和快速匹配算法，提出了GD-FM+RF算法，計算特定點對之間的幾何距離，使用主成分分析算法提取特征，輸入到隨機森林中進(jìn)行分類，該方法完全基于機器學(xué)習(xí)算法，算法參數(shù)量小，運行速度快，但識別精度弱于深度學(xué)習(xí)方法。Zhang 等[44]將點云數(shù)據(jù)表示為七個點，包括三維坐標(biāo)、面部數(shù)量和曲率，使用改進(jìn)的PointNet++網(wǎng)絡(luò)提取具有不同感受野的局部、全局特征，人臉識別效果有所提升，對表情和姿勢變化較為魯棒，采用的三重?fù)p失能夠有效提升時間效率。

此外，借助神經(jīng)網(wǎng)絡(luò)識別低維度特征能夠有效提升三維人臉識別的效果。Atik 等[45]從點云中提取幾何特征，使用網(wǎng)格函數(shù)生成深度圖，使用六個相鄰點計算法向角圖，利用Claxton表面函數(shù)計算平均曲率圖，將新的特征圖進(jìn)行組合輸入到ResNet 網(wǎng)絡(luò)中進(jìn)行人臉識別，取得較好的識別效果，但該模型基于ResNet 101 網(wǎng)絡(luò)建模效果最好，參數(shù)量超過85×106，訓(xùn)練速度很慢，也無法克服遮擋情況。Moschoglou等[46]提出3DFaceGAN模型對三維面部表面分布建模，生成器和鑒別器采用重構(gòu)損失和對抗性損失，如圖12所示，該模型能夠保留三維面部形狀的高頻細(xì)節(jié)，并且能夠用來進(jìn)行多標(biāo)簽分類；但GANs很難訓(xùn)練，在GV100 NVIDIA GPU上的進(jìn)行訓(xùn)練仍需耗時5天，不能應(yīng)用于實時的三維人臉解決方案。

圖12 3DFaceGAN網(wǎng)絡(luò)Fig.12 3DFaceGAN network

1.2.2 基于點云深度神經(jīng)網(wǎng)絡(luò)的方法

該類方法設(shè)計端到端的神經(jīng)網(wǎng)絡(luò)，直接輸入點云數(shù)據(jù)，并獲得識別結(jié)果。最基本的三維人臉識別點云網(wǎng)絡(luò)是將用于識別物體點云的PointNet 網(wǎng)絡(luò)與常規(guī)卷積網(wǎng)絡(luò)結(jié)合，提取相鄰數(shù)據(jù)點間的鄰近信息，如圖13 所示，即可獲得幾何、紋理等特征，耦合全局信息。

圖13 3D點及其鄰域Fig.13 3D point and neighborhoods

Bhople 等[47]將PointNet 網(wǎng)絡(luò)與卷積網(wǎng)絡(luò)結(jié)合，提出了PointNet-CNN 網(wǎng)絡(luò)，直接將點云作為輸入進(jìn)行特征提取，使用孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行相似性學(xué)習(xí)與分類。這一方法降低了數(shù)據(jù)轉(zhuǎn)換的成本，但模型缺乏可解釋性。與之相似，Wang 等[48]基于PointNet 提出三維人臉驗證孿生網(wǎng)絡(luò)，增加倒角距離度量，能夠有效應(yīng)對姿態(tài)變化和遮擋的干擾，在GTX 1080ti 上測試的推理幀率達(dá)到225 f/s，但模型存在信息冗余。Bhople 等[49]提出卷積點云網(wǎng)絡(luò)（convolutional PointNet，CPN），將三維面部數(shù)據(jù)映射到歐氏空間，根據(jù)嵌入空間中錨定三維樣本、正三維樣本和負(fù)三維樣本間的差異來區(qū)分三維人臉。該網(wǎng)絡(luò)通過學(xué)習(xí)三維人臉之間的相似性和不相似性，有效提高人臉識別的精度，但計算復(fù)雜度高，運算速度慢。

直接將PointNet 網(wǎng)絡(luò)與卷積網(wǎng)絡(luò)結(jié)合的方法能夠使用較為成熟的物體識別研究算法，原理簡單，但缺乏對五官等關(guān)鍵點、面部形變等細(xì)節(jié)的關(guān)注，人臉識別精度有限。對此，許多研究加強了對人臉關(guān)鍵點和幾何、紋理等信息的提取。Zou等[50]建立基于注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，識別人臉的關(guān)鍵點、提取面部特征，避免了表情和照明干擾，但網(wǎng)絡(luò)復(fù)雜度較高，參數(shù)量超過25×106。Bahri 等[51]將點云配準(zhǔn)任務(wù)視為表面到表面的轉(zhuǎn)換問題，提出編碼器-解碼器架構(gòu)shape-my-face（SMF），利用帶有快捷連接模塊的圖形卷積解碼器，從點云中提取潛在的幾何信息，學(xué)習(xí)人臉的非線性變形模型，在較少參數(shù)的前提下實現(xiàn)了較高的人臉識別精度，但缺乏對高頻細(xì)節(jié)和面部紋理的重建。Cai等[52]提出改進(jìn)的編碼器-解碼器網(wǎng)絡(luò)（improved encoder-decoder network，MoEDN），對形變概率、形變區(qū)域大小、形變強度等參數(shù)建模，在大姿態(tài)情況下仍具有出色的性能，能夠解決訓(xùn)練集過少和過擬合問題，模型相對復(fù)雜，體量較大，在GTX1660ti上測試耗時14.31 ms。

許多研究利用逐點卷積耦合不同通道在相同空間位置上的特征信息，即采用共享的1×1卷積對每個點獨立建模，最后使用最大池化等對稱聚合函數(shù)耦合全局特征，如圖14所示。

圖14 逐點卷積流程Fig.14 Process of pointwise convolution

Chang等[53]提出了FinerPCN網(wǎng)絡(luò)，該網(wǎng)絡(luò)分為編解碼器和逐點卷積部分，分別用于生成粗略形狀和細(xì)化局部結(jié)構(gòu)，該模型有效利用了局部信息，在保持全局形狀的同時減輕低輸入質(zhì)量對識別精度的影響，但需要確保足夠多的輸入點，且該方法無法解決姿態(tài)變化、遮擋等影響，缺乏廣泛應(yīng)用性，且參數(shù)量很大，超過87×106。Gao 等[54]提出點云特征提取網(wǎng)絡(luò)ResPoint，其架構(gòu)如圖15所示，通過人臉幾何關(guān)鍵點定位鼻尖點，并以該點為中心切割出面部區(qū)域，再使用ResPoint網(wǎng)絡(luò)提取特征并進(jìn)行分類。該模型對于稀疏點云有很好的識別結(jié)果，提高了多表情、多姿態(tài)情況下人臉識別的魯棒性，但網(wǎng)絡(luò)運行速度慢，無法滿足實時性的要求。

圖15 ResPoint網(wǎng)絡(luò)Fig.15 ResPoint network

除點云卷積網(wǎng)絡(luò)外，Yu 等[55]首次采用GAN 網(wǎng)絡(luò)提高三維人臉識別準(zhǔn)確率，提出了基于元學(xué)習(xí)的對抗性訓(xùn)練（meta-learning-based adversarial training，MLAT）框架，元訓(xùn)練階段使用生成的點云訓(xùn)練深度三維人臉識別模型，元測試階段識別三維面部點云，該架構(gòu)有效提高了三維人臉識別模型的魯棒性和準(zhǔn)確性，但模型計算復(fù)雜，運算量大。

1.3 基于RGB-D數(shù)據(jù)的三維人臉識別

近年來，隨著RGB-D 相機的普及，基于RGB-D 數(shù)據(jù)進(jìn)行三維人臉識別的算法受到重視。本節(jié)介紹了最新的基于RGB-D數(shù)據(jù)的三維人臉識別方法。

1.3.1 基于3DMM模型的方法

該類方法利用3DMM 模型獲得通用人臉模板，與RGB-D 數(shù)據(jù)耦合后進(jìn)行識別。Luo 等[56]使用隨機森林算法估計初始面部模型及其姿態(tài)，基于FaceWareHouse三維人臉數(shù)據(jù)庫建立了通用雙線性人臉模型，將其擬合到RGB-D圖像中，對雙線性人臉模型的姿態(tài)、身份和表情參數(shù)聯(lián)合優(yōu)化、輸出識別結(jié)果。該方法在人臉旋轉(zhuǎn)較大、表情各異時較為魯棒，但缺乏對面部細(xì)節(jié)的重建，模型運行時間久，處理一幀需要35 ms。Zhu 等[57]提出了細(xì)粒度重建網(wǎng)絡(luò)（fine-grained reconstruction network，F(xiàn)GNet），利用3DMM 模型獲得三維人臉的剛性變換和初始形狀，將RGB-D 圖像和人臉紋理作為最近點匹配算法的強約束條件，將深度圖與模板人臉耦合。將RGB圖投影、歸一化為特定編碼、進(jìn)行細(xì)粒度重建，估計形狀修正參數(shù)，提高了預(yù)測精度。Li等[58]基于級聯(lián)的深度神經(jīng)網(wǎng)絡(luò)，對每個頂點進(jìn)行幾何細(xì)化，用局部幾何細(xì)節(jié)豐富3DMM 人臉，提出的語義一致性約束確保了生成的三維人臉和深度圖像之間的結(jié)構(gòu)對應(yīng)。該模型在2080ti GPU上運行的推理時間為25 ms，且該方法無法描述面部細(xì)節(jié)。Zhong等[59]基于CycleGAN模型構(gòu)建去噪網(wǎng)絡(luò)，基于3DMM面部形狀提出了特定的耦合損失，針對特征圖、深度圖和表面的形狀一致性提出了三層約束，最后使用55維身份參數(shù)建立分類器，該方法能夠適應(yīng)有噪聲的深度圖，較為魯棒。

1.3.2 基于特征提取的方法

該類方法直接從RGB-D 圖像中提取二維、三維特征。Dutta 等[60]沿著4 個坐標(biāo)方向提取4 個基本面部區(qū)域，將RGB-D 圖像分解為4 個基本分量，結(jié)合數(shù)據(jù)級融合方法，生成36個額外的混合分量，從中提取、融合、選擇特征，有效去除冗余特征值，提高了人臉識別性能，該方法與經(jīng)典粒子群算法相比，需要更少的內(nèi)存和運行時間。Boumedine 等[61]對RGB-D 圖計算法線并將其分離為Nx,Ny,Nz這3 個方向的映射，僅在Y分量上應(yīng)用SURF 檢測器，并使用來自Ny圖的相同檢測關(guān)鍵點坐標(biāo)構(gòu)建3個分量圖上的特征描述符，對每個法線分量構(gòu)建字典、使用K最近鄰分類器，將每個分量的最終分?jǐn)?shù)進(jìn)行融合從而找到最佳匹配點，其模型如圖16 所示。Sui 等[62]提出了帶掩碼的特征融合網(wǎng)絡(luò)（feature fusion network with masks，F(xiàn)FNet-M），計算權(quán)重分布在4個顯著區(qū)域中的掩碼，分別從深度圖、RGB圖中提取深度信息和法線特征，使用帶有批歸一化和掩碼的VGG16 網(wǎng)絡(luò)從紋理圖像中提取特征，將特征連接后輸入到分類器中進(jìn)行識別。該方法使用了F3DNet-M與VGG網(wǎng)絡(luò)，參數(shù)量大，訓(xùn)練成本高。

圖16 基于法線匹配的模型Fig.16 Model based on normal maps

1.3.3 基于神經(jīng)網(wǎng)絡(luò)的方法

該類方法直接利用深度神經(jīng)網(wǎng)絡(luò)模型挖掘RGB-D數(shù)據(jù)中的面部特征，進(jìn)行識別。Wang 等[63]提出了細(xì)粒度的三維人臉識別模型FaceVerse，從大規(guī)模RGB-D 圖像集中生成能夠預(yù)測性別、年齡等屬性的基礎(chǔ)三維人臉模型，進(jìn)一步構(gòu)建條件StyleGAN模型，生成多尺度偽紋理圖，判別器輸出真假紋理圖的相似性和映射關(guān)系，該模型增強了面部的幾何和紋理細(xì)節(jié)，具有高保真度和強泛化能力，但該模型基于東亞人的數(shù)據(jù)訓(xùn)練，對其他地區(qū)泛化性能下降，且無法擬合胡須、皺紋等面部細(xì)節(jié)。Dutta 等[64]提出稀疏主成分分析網(wǎng)絡(luò)（sparse principal component analysis network，SpP-CANet），利用卷積層學(xué)習(xí)多級濾波器，再進(jìn)行稀疏主成分分析和二進(jìn)制編碼，在池化過程中計算逐塊直方圖，最后采用最近鄰分類器進(jìn)行識別，模型較為簡單，運行速度較快。Lin等[65]提出一個兩階段框架，第一階段利用像素變換網(wǎng)絡(luò)從低質(zhì)量深度圖中生成高質(zhì)量深度圖，第二階段使用卷積層和殘差模塊構(gòu)建了多質(zhì)量融合網(wǎng)絡(luò)，提取、融合不同質(zhì)量的特征，提高了人臉識別的性能，但該網(wǎng)絡(luò)存在計算冗余，步驟繁瑣。

為了提升神經(jīng)網(wǎng)絡(luò)的性能，許多深度神經(jīng)網(wǎng)絡(luò)模型中添加了注意力機制，其中最常見的就是空間注意力機制。Uppal[66]使用LSTM 網(wǎng)絡(luò)生成空間注意力權(quán)重來處理特征圖，使用卷積神經(jīng)網(wǎng)絡(luò)從深度圖中生成注意力圖，引導(dǎo)深度神經(jīng)網(wǎng)絡(luò)提取視覺特征。該模型體量較小，參數(shù)量僅為4×106，但該方法沒有考慮其他特征屬性，缺乏多尺度學(xué)習(xí)。Chiu等[39]提出掩碼引導(dǎo)的RGB-D人臉識別模型（mask-guided RGB-D face recognition network），基于SENet 模型設(shè)計了RGB 識別分支、深度圖識別分支和帶有空間注意力模塊的輔助分割掩碼分支，RGB 識別分支和深度圖識別分支分別提取相應(yīng)RGB 圖和深度圖中的面部特征，輔助分割掩碼分支從分割掩碼中提取不同級別的特征圖，再應(yīng)用空間注意力模塊提取特征。該模型對姿態(tài)的變化更加魯棒，但模型相對復(fù)雜，實時性差。在該模型基礎(chǔ)上，Chiu 等[67]進(jìn)一步采用特征解糾纏方案將特征表示分解為身份相關(guān)和風(fēng)格相關(guān)的分量，以緩解增強深度圖和真實數(shù)據(jù)之間的類間差距。Jiang等[68]基于空間和通道注意力方法，提出端到端的多模態(tài)融合框架，基于ResNet 網(wǎng)絡(luò)建立三個分支提取RGB圖、深度圖及其融合模態(tài)的特征，將特征融合后輸入到共享層中，進(jìn)一步提取深層特征，輸入到空間注意力矢量化模塊中進(jìn)行識別。該方法建立3 個網(wǎng)絡(luò)分支，能夠在intellifusion RGB-D 數(shù)據(jù)集上取得了良好的結(jié)果，但也因此提高了模型的訓(xùn)練成本，不能很好地推廣。與之相似，Zhu 等[69]采用空間和通道注意力機制耦合全局和通道信息，利用雙流特征提取模塊分別提取RGB圖和深度圖中的特征，并分別進(jìn)行識別，與融合特征的識別結(jié)果加權(quán)獲得最終的識別結(jié)果。該方法在姿勢、遮擋等情況下較為穩(wěn)健，能夠適應(yīng)低質(zhì)量的RGB-D數(shù)據(jù)。

除了空間注意力機制，也提出了一些新的注意力方法。Neto 等[70]提出流式注意力網(wǎng)絡(luò)（streamed attention network，SAN），能夠?qū)Σ煌直媛实娜四様?shù)據(jù)進(jìn)行識別，從深度圖中提取淺層表面描述算子，利用改進(jìn)的三維局部二進(jìn)制模式算法編碼深度差異信息，生成四通道的特征圖像進(jìn)行識別。該方法減少了高分辨率和低分辨率數(shù)據(jù)之間的差異，更好地利用了淺層特征提供的豐富信息，具有高度魯棒性，但網(wǎng)絡(luò)復(fù)雜，步驟繁瑣，計算量大。Uppal 等[71]基于注意力感知方法融合RGB 圖和深度圖，該方法使用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)提取特征，輸入到兩層注意力機制進(jìn)行融合，第一層將LSTM網(wǎng)絡(luò)作為條件編碼器，學(xué)習(xí)RGB和深度圖中特征關(guān)系；第二層關(guān)注卷積特征圖的空間特征，提取最顯著的特征，并進(jìn)行人臉識別。該模型較為復(fù)雜，且分類器采用了四層全連接層，參數(shù)量巨大。

與上述提取全局面部特征不同的是，Zhang 等[72]更加關(guān)注人臉的局部特征，提出邊緣引導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)，包括邊緣預(yù)測子網(wǎng)絡(luò)和深度重建子網(wǎng)絡(luò)，邊緣預(yù)測子網(wǎng)絡(luò)從輸入的低分辨率深度圖預(yù)測邊緣特征，并提供最佳邊緣引導(dǎo)圖，深度重建子網(wǎng)絡(luò)用級聯(lián)特征重建超分辨率深度圖，恢復(fù)尖銳邊緣和精細(xì)結(jié)構(gòu)。該方法對面部姿勢的變換能夠保持魯棒，能夠恢復(fù)高頻邊緣細(xì)節(jié)。Lee等[73]提出了三階段聯(lián)合學(xué)習(xí)架構(gòu)，RGB人臉解析網(wǎng)絡(luò)和深度人臉解析網(wǎng)絡(luò)分別將RGB圖、深度圖的每個像素分類為不同的面部和語義組件，GAN將RGB圖轉(zhuǎn)換到深度圖。該方法能夠克服深度數(shù)據(jù)標(biāo)注不足的問題。Ghosh等[74]基于重構(gòu)的深度神經(jīng)網(wǎng)絡(luò)框架學(xué)習(xí)RGB圖和深度數(shù)據(jù)的共享表示，堆疊映射模型學(xué)習(xí)從RGB圖到深度圖的映射，聯(lián)合分層特征學(xué)習(xí)模型將不同層的特征進(jìn)行組合表示，并在每個層上學(xué)習(xí)自動編碼器，最后加權(quán)融合特征并進(jìn)行分類。該框架在測試時不需要深度圖像，適用于深度圖像質(zhì)量較差的場景，但模型復(fù)雜，需要多步訓(xùn)練。

Zhao等[75]同時關(guān)注全局信息和局部信息，設(shè)計了輕量級多尺度融合網(wǎng)絡(luò)（lightweight multiscale fusion network，LMFNet），能夠提取分層多尺度特征，增強面部局部信息的表達(dá)，能夠有效適應(yīng)姿態(tài)、遮擋等情況，但對噪聲的魯棒性不夠。

基于transformer 的三維人臉識別研究取得了良好的效果。Zheng 等[76]提出互補多模態(tài)融合變換器（complementary multi-modal fusion transformer，CMMF-Trans），基于變換模塊建立RGB圖與深度圖的局部長距離相關(guān)性，提取RGB圖和六通道深度圖中的低層特征，輸入多層局部增強切割模塊和多個互作用自注意力模塊中。該方法將局部性和長期依賴性結(jié)合，對極端條件下的人臉識別更為魯棒。Li 等[77]提出多模態(tài)面部表情視覺轉(zhuǎn)換器（multimodal 2D+3D facial expression vision transformer，MFEViT），如圖17 所示。該架構(gòu)包含3 條支路，每個支路分別用深度圖替換RGB圖像的單通道，投影后輸入遷移編碼器進(jìn)行識別。該模型是一種輕量級變換器網(wǎng)絡(luò)，參數(shù)量約為23×106，具有較強的魯棒性。

圖17 MFEViT架構(gòu)Fig.17 MFEViT frame

1.3.4 投影到三維空間的方法

該類方法將RGB-D 圖投影到三維空間，生成點云數(shù)據(jù)后再進(jìn)行識別。Xiao等[78]將RGB圖像與深度圖對齊，從彩色圖像中提取面部區(qū)域和關(guān)鍵點，映射到深度圖像區(qū)域，轉(zhuǎn)換為點云來獲得粗略的三維人臉模型，進(jìn)一步優(yōu)化后用于人臉識別，該方法對數(shù)據(jù)質(zhì)量要求較高，該方法需要花費較長的時間用于面部關(guān)鍵點檢測，平均每幀耗時0.63 s。Petkova 等[79]提出的模型如圖18所示，在RGB 圖和深度圖中提取面部邊界框并檢測框內(nèi)的面部關(guān)鍵點，將關(guān)鍵點反向投影到三維空間中，獲得三維人臉關(guān)鍵點的空間坐標(biāo)，最后使用細(xì)粒度最近鄰分類器對點云進(jìn)行精細(xì)對齊匹配。Jiang 等[80]使用MTCN 模型在RGB 圖中檢測面部和五官，從深度圖中提取對應(yīng)的面部區(qū)域，再通過投影、雙線性插值生成點云，取各維度最值組成六通道圖像作為訓(xùn)練數(shù)據(jù)。該方法能夠?qū)⑿詣e、年齡、種族等屬性納入神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，有效提高人臉識別的準(zhǔn)確性和魯棒性，但不能適應(yīng)需要區(qū)分深度數(shù)據(jù)細(xì)微差異的場景。

圖18 Petkova等提出的框架Fig.18 Frame proposed by Petkova et al.

1.4 基于多模態(tài)數(shù)據(jù)融合的三維人臉識別

多模態(tài)數(shù)據(jù)的融合方式主要可以分為三類，即將數(shù)據(jù)進(jìn)行轉(zhuǎn)換并融合，將從不同模態(tài)數(shù)據(jù)中提取的特征進(jìn)行融合，以及對不同模態(tài)數(shù)據(jù)分別建立識別模型、并對識別結(jié)果加權(quán)融合，在建模過程中的發(fā)生位置如圖19所示。本節(jié)介紹了基于多模態(tài)數(shù)據(jù)的三維人臉識別研究進(jìn)展。

圖19 多模態(tài)數(shù)據(jù)融合Fig.19 Multimodal data fusion

1.4.1 數(shù)據(jù)融合

該類方法將不同模態(tài)的數(shù)據(jù)融合，再進(jìn)行特征提取和人臉識別，其流程如圖20所示。

圖20 數(shù)據(jù)融合流程Fig.20 Process of data fusion

Singh等[81]將輸入的三維面部點云投影到深度圖和RGB 圖中，再在RGB 圖像和深度圖上分別進(jìn)行圖像混合，生成3DMM參數(shù)，在固定視圖中將顏色特征圖和深度特征圖反向投影到點云。該方法在一定程度上可以抵御3D 人臉變形攻擊的攻擊，但該方法對數(shù)據(jù)質(zhì)量要求很高，無法推廣到野外數(shù)據(jù)中。Gu 等[82]提出基于注意力機制的多通道數(shù)據(jù)融合網(wǎng)絡(luò)（attention-based multichannel data fusion network，AMDFN）處理二維和三維數(shù)據(jù)，將三維人臉數(shù)據(jù)映射成8幅二維人臉屬性圖像并進(jìn)行通道融合，提取分層特征，再利用分層注意力模塊對不同層的特征分配注意力權(quán)重，對不同層特征之間的依賴性建模。該模型主干網(wǎng)絡(luò)的參數(shù)超過30×106，較為復(fù)雜。Devi等[83]提出同步估計面部子空間和關(guān)鍵點的框架同步區(qū)域?qū)W習(xí)和顯著點估計方法，利用關(guān)鍵點映射策略在人臉上定位二維關(guān)鍵點，利用自動編碼器同時學(xué)習(xí)二維子空間和三維關(guān)鍵點，由面部關(guān)鍵點對模型進(jìn)行拉普拉斯變形，得到重建的人臉模型，該方法計算成本較低，但無法推廣到多視角數(shù)據(jù)。Jiang等[24]采用兩階段框架分別訓(xùn)練三維人臉表面，第一階段優(yōu)化三維人臉的基矩陣、尺度參數(shù)和形狀參數(shù)，第二階段利用大規(guī)模RGB數(shù)據(jù)集進(jìn)行無監(jiān)督訓(xùn)練，對三維人臉重建模型進(jìn)行微調(diào)。該方法對眼部區(qū)域的擬合效果差，制約了模型的性能。

1.4.2 特征融合

該類方法從二維和三維數(shù)據(jù)中分別提取特征，再將提取到的特征進(jìn)行融合，最后對融合的特征進(jìn)行人臉識別，其流程如圖21所示。

圖21 特征融合流程Fig.21 Process of feature fusion

為了處理RGB 圖像和點云數(shù)據(jù)，Xiao 等[84]提出Beauty3DFaceNet 網(wǎng)絡(luò)，采用K近鄰搜索算法對不同密度的點云樣本分組，采用ResNet 模塊提取RGB 圖中的紋理特征，設(shè)計融合模塊耦合二維、三維特征，匹配得到三維人臉的關(guān)鍵點。該模型較為輕量化，能從潛在空間中找到特征超平面，提高人臉識別質(zhì)量，但該方法欠缺可解釋性。Teng 等[85]提出多模態(tài)訓(xùn)練、單模態(tài)測試框架（multimodal training unimodal test，MTUT），基于ResNet 網(wǎng)絡(luò)設(shè)計二維特征的編解碼器，利用改進(jìn)的PointNet網(wǎng)絡(luò)處理點云數(shù)據(jù)，設(shè)計多模態(tài)嵌入發(fā)散損失函數(shù)對異質(zhì)特征進(jìn)行對齊耦合，可以自適應(yīng)地避免冗余數(shù)據(jù)模態(tài)的干擾。

Niu等[86]設(shè)計了一種基于深度圖像和曲率特征融合的人臉特征提取方法，將重建的三維人臉數(shù)據(jù)通過正交投影得到人臉深度圖像，然后使用其平均曲率圖來增強深度圖像數(shù)據(jù)，利用改進(jìn)的殘差神經(jīng)網(wǎng)絡(luò)，將掃描的人臉與數(shù)據(jù)庫中的人臉進(jìn)行對比識別。該方法可以在無照明的情況下進(jìn)行識別，但深度圖像質(zhì)量低時效果很差。

對于RGB 圖像、點云及深度圖數(shù)據(jù)，Guo 等[87]提出的自監(jiān)督架構(gòu)利用3 個分支編碼器分別從數(shù)據(jù)提取顏色信息、幾何特征和關(guān)鍵點，再利用形狀解碼器進(jìn)行數(shù)據(jù)融合處理，構(gòu)建出高質(zhì)量的人臉模型，但對遮擋人臉重建不夠魯棒，無法恢復(fù)精細(xì)的面部細(xì)節(jié)，且模型復(fù)雜，運行時間長。Yang等[88]基于GAN建立空間強度增強和表情識別聯(lián)合模型，將紋理特征和幾何信息進(jìn)行深度耦合，提升了識別精度。Sui等[89]提出了帶掩碼的自適應(yīng)融合網(wǎng)絡(luò)（adaptive fusion network with masks，AFNet-M），如圖22 所示，利用網(wǎng)格匹配算法從三維數(shù)據(jù)中生成對齊的紋理和深度圖像，由掩碼注意力機制提取特征，在卷積層進(jìn)行自適應(yīng)的特征融合。該模型能夠增強二維和三維空間局部特征，有效提高人臉識別能力，該方法參數(shù)量小、內(nèi)存成本低，但對多模態(tài)數(shù)據(jù)的預(yù)處理過程較為繁瑣。

圖22 AFNet網(wǎng)絡(luò)Fig.22 AFNet network

1.4.3 模型融合

該類方法針對不同類型的數(shù)據(jù)，分別建立合適的模型，按照既定策略計算模型的得分，然后對得分進(jìn)行加權(quán)融合，得到最終的識別結(jié)果，其流程如圖23所示。

圖23 模型融合流程Fig.23 Process of model fusion

Talab 等[90]基于局部描述算子設(shè)計人臉識別系統(tǒng)。該系統(tǒng)使用金字塔形狀描述算子對三維數(shù)據(jù)進(jìn)行分析。利用包含上下文結(jié)構(gòu)信息的直方圖匹配二維和三維數(shù)據(jù)，并在決策層進(jìn)行數(shù)據(jù)融合，輸入到基于稀疏表示的分類器中。該方法具有縮放、平移和旋轉(zhuǎn)不變性，有效增強了模型的人臉識別性能。Liu等[91]使用深度神經(jīng)網(wǎng)絡(luò)獲得RGB 圖像的相似性得分，使用迭代最近點方法計算三維人臉模型的匹配度得分，對兩個得分加權(quán)融合得到最終的識別結(jié)果。Tharewal 等[92]分別采用主成分分析法和獨立成分分析法對三維人臉、三維人耳進(jìn)行識別，并將得分進(jìn)行融合得到最終的識別結(jié)果。該方法有效補充了人臉的三維信息，增強了識別效果。

2 人臉數(shù)據(jù)庫

基于單目RGB圖像的三維人臉識別在二維人臉數(shù)據(jù)庫上進(jìn)行，基于RGB-D數(shù)據(jù)、點云數(shù)據(jù)的三維人臉識別則需要三維人臉數(shù)據(jù)庫。本章對常用的二維、三維人臉數(shù)據(jù)庫進(jìn)行介紹，詳細(xì)闡述數(shù)據(jù)獲取方式、數(shù)據(jù)類型等信息，分析重要方法在典型數(shù)據(jù)集上的表現(xiàn)。表2總結(jié)了常用的人臉數(shù)據(jù)庫，對比了各數(shù)據(jù)庫的數(shù)據(jù)類型、受試者數(shù)量及數(shù)據(jù)量、是否存在表情變化和遮擋等。

表2 常用人臉數(shù)據(jù)庫Table 2 Common face database

2.1 二維人臉數(shù)據(jù)庫

（1）無關(guān)鍵點標(biāo)注

CASIA-WebFace[100]是從IMDb 網(wǎng)站上爬取圖像并進(jìn)行標(biāo)注獲得，包含10 575個人的494 414張人臉圖像，包含不同角度、光照、國家、種族等信息，但該數(shù)據(jù)集圖片表情單一，每個人的圖片也較少。Celebrities in frontalprofle in the wild（CFP）[101]收集了500 位名人共7 000張圖像，每人包含10 張正面圖像和4 張側(cè)面圖像，具有不同的隨機表情，但數(shù)據(jù)集較小。public figures face database（Pubg）[102]利用互聯(lián)網(wǎng)搜索引擎獲取200名公眾人物的真實圖像，在姿態(tài)、光照、表情、場景、成像條件等方面存在較大差異，具有年齡、性別、種族、發(fā)色等65個視覺特征屬性。CAS-PEAL[103]具有99 594張彩色圖像，由1 040名中國人組成，其中包括595名男性和445名女性，涵蓋了姿態(tài)、表情、配飾、光照、背景、距離和時間等特征的變化，有灰度圖和彩色圖兩個版本。WebFace260M[104]是目前最大規(guī)模的二維人臉數(shù)據(jù)集，從MS1M數(shù)據(jù)集中選取部分圖像，結(jié)合IMDB數(shù)據(jù)庫中選擇的圖像，組成了包含4百萬受試者的2.6億個人臉圖像。通過自訓(xùn)練算法對該數(shù)據(jù)集進(jìn)行自動提純，獲得WebFace42M[104]數(shù)據(jù)集，包含206萬受試者的4 200萬張圖像，是目前最大的公開人臉識別訓(xùn)練集。labeled faces in the wild（LFW）[105]和Wider face[106]影響條件多，識別難度較大，LFW 包含5 749名知名人士的13 233張圖像，其中1 680人具有2張及以上人臉圖片，受多姿態(tài)、光照、表情、年齡、遮擋等因素影響；wider face由32 203張彩色圖像構(gòu)成，包括393 703張不同分辨率的人臉，在尺度、遮擋、姿態(tài)、光照、表情方面存在很大的變化范圍，對每張人臉標(biāo)注包含前額、下巴和臉頰的面部邊界框，面部被遮擋時估計遮擋比例。

（2）有關(guān)鍵點標(biāo)注

IARPA Janus benchmark A（IJB-A）[107]收集了500個受試者的5 712 張圖像，手工標(biāo)注面部檢測邊界框和雙眼中心、鼻子底部3 個關(guān)鍵點，包含豐富的膚色、性別、面部姿勢、遮擋（眼睛、嘴巴、鼻子、前額）和室內(nèi)外環(huán)境信息。Celeb faces attributes dataset（CelebA）[108]具有超過20萬名人臉圖像，涵蓋了大量姿態(tài)變化、背景雜亂的不同人臉，每個圖像標(biāo)注兩個嘴角、雙眼中心和鼻子5 個關(guān)鍵點，具有發(fā)色、眼睛形狀、配飾等40 個屬性。annotated faces-in-the-wild（AFW）[109]使用Flickr 網(wǎng)站圖像建立人臉數(shù)據(jù)庫，共包含205張人臉圖像，其中有473個標(biāo)記的人臉，每一個人臉具有方形邊界框，標(biāo)注了6個關(guān)鍵點和3 個姿勢角度，如圖24（a）所示[110]。annotated facial landmarks in the wild（AFLW）[83]是一個包括多姿態(tài)、多視角的大規(guī)模人臉數(shù)據(jù)庫，提供了從Flickr網(wǎng)站收集的大量圖像，包含不同的姿勢、表情、種族、年齡、性別、環(huán)境等屬性，在21 997 張真實的彩色圖像中，共有25 993張人臉，每張人臉矩形框和橢圓框的臉部位置框，標(biāo)注21 個關(guān)鍵點，如圖24（b）所示[110]，共380×103個關(guān)鍵點。labeled face parts in the wild（LFPW）[111]由網(wǎng)站下載的圖像組成，包含1 132張訓(xùn)練人臉和300張測試人臉圖像，大部分為正面人臉圖像，每張人臉標(biāo)注29個關(guān)鍵點，如圖24（c）所示[110]。Helen facial feature dataset（Helen）[112]收集含有不同的姿勢、照明條件、表情、遮擋和身份信息的面部圖像，分為訓(xùn)練集和測試集，測試集包含了330張人臉圖片，訓(xùn)練集包括2 000張人臉圖片，每張人臉圖片標(biāo)注了68個關(guān)鍵點，如圖24（d）所示[110]。

圖24 不同數(shù)量的關(guān)鍵點Fig.24 Different number of key points

2.2 三維人臉數(shù)據(jù)庫

（1）單一類型3D人臉數(shù)據(jù)庫

Fine-grained 3D face（FG3D）[57]將3DMM模型擬合到FRGC、BP4D和CASIA-3D數(shù)據(jù)集的RGB-D圖中，補全空間信息和網(wǎng)格信息，生成包含212 579個樣本的大型三維人臉數(shù)據(jù)集。Northwestern Polytechnical University 3D（NPU3D）[113]包含300名中國人面部信息，每個人有35組不同的掃描數(shù)據(jù)，具有多種姿勢、面部表情、配飾和遮擋。GavabDB[114]包括45名男性和16名女性的549組三維網(wǎng)格人臉數(shù)據(jù)，每個受試者分別采集9幅不同姿態(tài)、角度、表情的數(shù)據(jù)。SHREC11[115]從6 個不同角度掃描130個面具獲得，沒有表情變化，包含的信息較少。

（2）多模態(tài)3D人臉數(shù)據(jù)庫

高質(zhì)量的三維掃描數(shù)據(jù)能夠提供豐富的面部信息。三維網(wǎng)格是常見的三維掃描數(shù)據(jù)，為了獲得紋理信息，數(shù)據(jù)庫中包含了二維彩色圖像。Florence[116]從結(jié)構(gòu)化光掃描系統(tǒng)獲取53名受試者面部數(shù)據(jù)，包括高分辨率三維網(wǎng)格數(shù)據(jù)和不同分辨率、不同條件、不同縮放級別的二維視頻序列。University of York 3D face database（UoY）[117]采用雙目立體系統(tǒng)收集350名受試者超過5 000組彩色圖像和三維網(wǎng)格數(shù)據(jù)，每人具有8 種面部表情和姿態(tài)變化。BJUT-3D[118]包含1 200名中國人的三維面部數(shù)據(jù)，所有人臉數(shù)據(jù)均為中性表情，沒有配飾和遮擋。

Bosphorus[119]和LS3DFace[120]數(shù)據(jù)庫收集了三維人臉點云數(shù)據(jù)。Bosphorus 通過結(jié)構(gòu)光設(shè)備采集105 名受試者的4 666組人臉點云數(shù)據(jù)，每個人臉最多有35種表情以及不同的姿態(tài)，590組面部數(shù)據(jù)被眼鏡、帽子、圍巾和手等各種物體遮擋。LS3DFace從10個公共數(shù)據(jù)集中爬取數(shù)據(jù)，創(chuàng)建了包含1 853 個受試者共31 860 組點云數(shù)據(jù)，包含了表情、姿勢、遮擋、缺失數(shù)據(jù)、傳感器類型，也有少量同卵雙胞胎數(shù)據(jù)。

基于高質(zhì)量三維掃描數(shù)據(jù)的人臉識別方法由于受設(shè)備成本和采集方式等因素影響，在現(xiàn)實場景中無法大規(guī)模應(yīng)用?；诘统杀綬GB-D相機的人臉識別方法能夠在更多場合下使用。University of Milano Bicocca 3D face database（UMBDB）[15]包含143名受試者的1 473對RGB-D數(shù)據(jù)，其中，二維圖像具有眼角、嘴角、鼻尖7個關(guān)鍵點。IIIT-D數(shù)據(jù)集[121]利用Kinect采集106名成人的圖像和深度圖，每人有11到254張RGB-D圖像，具有多種表情變化。3D twins expression challenge（3DTEC）[122]包含107 對面孔相似、表情不同的雙胞胎的面部信息，該數(shù)據(jù)集非常具有挑戰(zhàn)性。Texas-3D[123]包含1 149對使用立體相機采集的118名成人受試者的高分辨率、姿勢歸一化、預(yù)處理和完全對齊的彩色和深度圖像，具有豐富的性別、種族、面部表情以及25 個面部關(guān)鍵點。face recognition grand challenge（FRGC-v2.0）[124]數(shù)據(jù)庫中，二維訓(xùn)練集由222名受試者的12 776幅圖像組成，三維訓(xùn)練集由943名受試者的三維數(shù)據(jù)組成，三維驗證集包含466名受試者的4 007組三維數(shù)據(jù)。Lock3DFace[125]中的三維樣本具有很高的噪聲，并且包含表情、姿勢、遮擋、光照、時間流逝等多種變化，適合在復(fù)雜情況下進(jìn)行人臉識別算法評估。FIDENTIS 3D face database（F3D-FD）[126]收集了2 476 名受試者的三維面部掃描數(shù)據(jù)，其中包含1 322名女性，成年1 305人，且大多小于26歲，沒有配飾和遮擋，保持中性表情，從3個角度進(jìn)行收集。KinectFaceDB[127]提出了第一個基于Kinect 傳感器的公開人臉數(shù)據(jù)庫，該數(shù)據(jù)庫由不同的數(shù)據(jù)模式和9種面部變化組成，包括52 名受試者的936 組RGB-D、點云數(shù)據(jù)和104個記錄面部姿態(tài)變化的視頻序列。

4DFAB[128]和FaceScape Dataset[30]收集了視頻人臉數(shù)據(jù)。4DFAB是一個大型動態(tài)高分辨率3D人臉數(shù)據(jù)庫，包含60名男性、120名女性，采集了180萬個三維網(wǎng)格人臉，具有年齡、種族、文化背景等多個屬性。FaceScape Dataset包含938名受試者的18 760個三維人臉，每個人臉都有20個特定的表情。

對于三維人臉識別任務(wù)，通常采用識別精度進(jìn)行模型評估，即計算正確識別的人臉在全部人臉中的比例，表3 按時間順序總結(jié)了重要方法在典型數(shù)據(jù)集上的識別精度。

對于從單目RGB圖像中進(jìn)行人臉重建并識別的方法，識別精度與重建質(zhì)量息息相關(guān)。均方根誤差（rootmean-squared error，RMSE）常用于評估重建質(zhì)量，計算公式為：

其中，a、b代表兩組數(shù)據(jù)，M、N代表數(shù)據(jù)尺寸，RMSE的值越小說明重建效果越好，識別性能相應(yīng)更好。此外，結(jié)構(gòu)相似性（structural similarity index measure，SSIM）[129]也常被用來評估兩組數(shù)據(jù)的相似程度，值越大表明相似性越高，說明重建效果越好，其計算公式如下：

其中，μa、μb代表對應(yīng)數(shù)據(jù)的局部均值，σa、σb代表標(biāo)準(zhǔn)差，σab代表兩組數(shù)據(jù)的協(xié)方差，α、β、γ為正值權(quán)重，C1、C2、C3為常數(shù)，避免分母為0。表4 按照時間順序總結(jié)了重要方法在典型數(shù)據(jù)集上的重建性能。

3 結(jié)語

本章基于人臉數(shù)據(jù)的不同類型，對比分析各類人臉識別方法的優(yōu)缺點，討論了三維人臉識別過程中面臨的主要挑戰(zhàn)，以及未來的研究方向。

基于單目圖像重建三維人臉模型的方法，可以在三維空間進(jìn)行識別，相較直接識別二維人臉圖像的方法效果更好，但將人臉圖像從二維空間提升到三維空間時，面臨著信息孔洞、三維注釋信息不足等困難，識別的準(zhǔn)確性嚴(yán)重依賴算法恢復(fù)的深度數(shù)據(jù)精度，且建模過程通常比較耗時。此外，傳統(tǒng)的人臉重建與三維人臉識別過程相互獨立，導(dǎo)致人臉姿態(tài)多樣性識別能力較弱，具有局限性?；邳c云數(shù)據(jù)的三維人臉識別模型通常體量較小，識別速度較快，但受設(shè)備成本和采集方式等因素影響，在現(xiàn)實場景中無法大規(guī)模應(yīng)用，如何克服點云數(shù)據(jù)的無序性和剛性變換不變性仍是較大的挑戰(zhàn)。RGB-D相機可以以較低的成本直接、快速地獲取RGB-D數(shù)據(jù)，因此基于RGB-D數(shù)據(jù)的三維人臉識別技術(shù)能夠應(yīng)用于更多的場合，但是如何克服RGB-D 數(shù)據(jù)的低質(zhì)量問題仍值得進(jìn)一步研究。多模態(tài)人臉數(shù)據(jù)包含更加豐富的信息，能夠有效提升人臉識別的準(zhǔn)確率和魯棒性。如何融合多模態(tài)數(shù)據(jù)、處理異質(zhì)特征是利用多模態(tài)數(shù)據(jù)進(jìn)行人臉識別的關(guān)鍵問題。

三維人臉識別目前面臨的主要挑戰(zhàn)有：

（1）三維人臉數(shù)據(jù)庫不足的問題。三維人臉掃描儀價格昂貴，收集耗時長，且需要受試者長期保持固定姿勢或表情，限制了數(shù)據(jù)集的大規(guī)模推廣。目前公開的三維人臉識別數(shù)據(jù)庫較少，規(guī)模較小，在表情、姿態(tài)、遮擋等方面也存在一定的局限性，不能滿足深度學(xué)習(xí)模型的訓(xùn)練需要。此外，三維人臉數(shù)據(jù)庫由于采集數(shù)據(jù)的設(shè)備、收集數(shù)據(jù)的方法、獲取數(shù)據(jù)的質(zhì)量、處理數(shù)據(jù)的步驟、儲存數(shù)據(jù)的格式等不盡相同，因此各個數(shù)據(jù)庫之間的通用性較低。如何在無約束條件下以較低的成本和較快的速度創(chuàng)造大規(guī)模三維人臉數(shù)據(jù)集、研究三維數(shù)據(jù)增強方法是進(jìn)一步探索的方向。

（2）人臉屬性的影響。不同的表情情緒、膚色膚質(zhì)、面部朝向、化妝、照明及遮擋情況對三維人臉識別精度有很大的影響，決定了三維人臉識別模型的遷移性?，F(xiàn)有的大多數(shù)方法聚焦人臉剛性區(qū)域，采用不同的內(nèi)外屬性進(jìn)行渲染，造成一定的信息損失。因此，如何提高三維人臉識別模型的速度、魯棒性、泛化性是需要進(jìn)一步研究的問題。

（3）跨年齡識別問題。對于同一個識別目標(biāo)，其少年、中年、老年各個階段的人臉存在顯著差異，這使得跨年齡人臉識別成為一大難點。目前主要解決方案是使用生成模型生成目標(biāo)年齡段的人臉圖像輔助跨年齡人臉識別，但該方法較為復(fù)雜，計算成本高，識別精度不高。因此，如何使識別模型能夠適應(yīng)跨年齡人臉識別，是需要進(jìn)一步研究的問題。

（4）人臉活體檢測功能。在實際應(yīng)用中，活體檢測是必不可少的一個環(huán)節(jié)。如何提高三維人臉識別模型的活體檢測能力，抵御照片、視頻、面具、三維蒙版等欺詐攻擊是一個重要的研究方向?；铙w檢測與人臉識別技術(shù)之間的關(guān)系，也值得進(jìn)一步地探究。

（5）多模態(tài)融合問題。有研究表明[130]，數(shù)據(jù)融合可以充分利用不同模態(tài)信息，因此識別效果優(yōu)于特征融合與決策融合。但目前的多模態(tài)研究集中在決策融合，因此需要進(jìn)一步探索數(shù)據(jù)融合方法。此外，利用多模態(tài)數(shù)據(jù)中提取的多維特征進(jìn)行識別時，必須計算出其中最具代表性的特征，使得類內(nèi)距離最小、類間距離最大，因此，在特征匹配與融合過程中，需要進(jìn)一步研究特征空間的壓縮方法，提高特征提取的性能與效率。

（6）細(xì)節(jié)重建與識別問題。在嘴唇、口腔內(nèi)部、眼瞼、頭發(fā)造型和完整頭部的重建與識別等方面缺乏研究，制約著三維人臉識別性能。因此，如何增強五官與頭部細(xì)節(jié)的差異化重建與識別，是需要進(jìn)一步研究的問題。