人臉識別技術(shù)研究現(xiàn)狀綜述

摘要：本文基于計算機視覺頂會論文收錄情況對當前人臉識別技術(shù)研究現(xiàn)狀進行了分析，并對當前主流的人臉識別技術(shù)分類、研究方法進行了介紹。當前基于2D人臉數(shù)據(jù)的人臉識別方面，技術(shù)已較為成熟，形成了一套基于深度學習的人臉識別方法。在顛覆性技術(shù)出現(xiàn)前，人臉識別研究熱點主要集中在基于訓練數(shù)據(jù)的優(yōu)化、基于損失函數(shù)的優(yōu)化，以及多模型融合三個方向上。相比于基于2D數(shù)據(jù)的人臉識別，3D人臉識別目前研究重點集中在3D人臉重建上，基于3D人臉數(shù)據(jù)的特征提取和分類方法還有較大的研究空間。此外，人臉反欺詐也是當前人臉識別技術(shù)的研究重點。

關(guān)鍵詞：人臉識別;人臉重建;3D

人臉識別因其方便、友好、非接觸、非侵犯以及易集成等優(yōu)勢，在不同的生物特征識別方法中有著重要的地位。也正是因為這些優(yōu)勢，使得人臉識別當前被廣泛應用于身份認證、智能安防、便捷金融、疑犯追蹤等眾多領(lǐng)域，同時也引起了學術(shù)界和商業(yè)界越來越多的關(guān)注。

1 人臉識別分類

1.1 接應用方式分類

人臉識別按照應用方式，分為1：1、1：N、M：N。

1：1人臉識別一般稱為FaceVerification（人臉驗證;人臉確認;人臉校驗），屬于二分類問題.應用場景主要有互聯(lián)網(wǎng)買機票、車票，醫(yī)院掛號，政府惠民工程項目，以及各種證券開戶、電信開戶、互聯(lián)網(wǎng)金融開戶等等。

1：N人臉識別一般稱為Faceldentification（人臉識別），屬于多分類問題。跟1：1的A/B兩張照片比對最大的區(qū)別是一次識別需要與集合所有樣本進行比對，數(shù)據(jù)總量越大計算速度越慢，而總和超過20萬，就會出現(xiàn)多個相似結(jié)果（20萬人這個大數(shù)會導致有不少人長相相似），需要人工輔助定位。一般用于疑犯追逃、失蹤人口搜尋等領(lǐng)域，以助于減少人工工作量，提高工作效率。

M：N人臉識別實際上是基于1：N的算法，對輸入圖像中所有人臉與人臉數(shù)據(jù)底庫進行1：N匹配。

1.2 按素材使用分類

人臉識別按照素材使用，分為2D人臉識別、3D人臉識別。

2D人臉識別一般指利用人臉圖像的RGB信息進行素材，進行人臉檢測、特征提取和信息比對。

3D人臉識別使用的素材以點云數(shù)據(jù)為主，另外還體素網(wǎng)格、三角網(wǎng)格、多視角圖等。點云數(shù)據(jù)由三維空間的坐標點以及各點的顏色組成（XYZRGB），這決定了點云的一個元素里要存的字段內(nèi)容和大小。數(shù)據(jù)結(jié)構(gòu)定義可以根據(jù)自己使用來重新定義。點云是一種表達方式是非常接近原始傳感器的數(shù)據(jù)集，可以比較完整的表示出物體的三維信息。

2 人臉識別流程

2.1 2D和3DA臉識別流程對比

2D和3D人臉識別流程對比見圖1。

2.2 2DA臉識別流程

2D人臉識別流程主要分為圖像采集、圖像素材獲取、人臉檢測、特征提取和信息比對。

2D人臉識別所需的圖像素材通過普通攝像頭獲取，經(jīng)過圖像預處理后，即可作為素材進行使用。人臉圖像的預處理的目的，是規(guī)范化圖像質(zhì)量，以提高人臉特征提取的準確度。常見的用于人臉圖像預處理的操作有調(diào)整明暗、裁剪、濾波、旋轉(zhuǎn)等，可以使得采集到的圖像能夠更有利于對人臉圖像進行特征提取。

目前主要使用的圖像預處理手段有調(diào)整灰度、濾波、尺寸歸一化等。

（1）調(diào)整灰度：指通過調(diào)整圖像灰度，來平滑處理由于地點、設(shè)備、光照等方面因素導致的差異，常用方法有平均值法、直方圖變換法、冪次變換法、對數(shù)變換法等。

（2）濾波：指通過均值濾波或中值濾波等方法，過濾掉圖像采集時環(huán)境中電磁信號以及圖像傳輸時產(chǎn)生的電磁干擾對圖像的影響，其中，中值濾波使用最為普遍。

（3）尺寸歸一化：由于人臉識別算法對人臉圖像的寬高有固定要求，因此通過尺寸歸一化可以有利于后續(xù)人臉識別算法的處理，常見的尺寸歸一化算法有雙三次插值法、雙線性插值法、最近鄰插值法和立方卷積法等。

人臉檢測主要包括特征點定位、人臉對齊等操作。人臉檢測是指對采集到的圖像按照一定的紋理特征或深度特征進行人臉搜索，判斷是否存在人臉，并標定每張人臉所處位置、大小與方向姿態(tài)的過程。通過人臉檢測，可以達到人臉圖像精準采集的目的。

目前的人臉檢測方法可分為三類，分別是基于膚色模型的檢測、基于邊緣特征的檢測、基于統(tǒng)計理論方法的檢測。

（1）膚色用于人臉檢測時，主要采用高斯模型、高斯混合模型在不同顏色空間中建立膚色模型，或使用非參數(shù)估計實現(xiàn)基于膚色的人臉檢測。

（2）基于邊緣特征的檢測主要指利用臉部輪廓及五官等存在明顯邊緣的區(qū)域，來實現(xiàn)人臉定位，這種方法計算量相對較小，多用于實時檢測。

（3）基于統(tǒng)計理論方法的檢測主要是基于Haar特征，用Adaboost對大量弱分類器進行集成，獲得一個強分類器。

目前人臉特征提取所使用的特征主要分為視覺特征和像素特征。自2014年DeepFace和DeepID的提出，目前人臉識別的研究重點己轉(zhuǎn)向深度學習。深度學習人臉識別所用的特征主要為像素特征。

信息比對是對不同目標的人臉特征進行特征距離計算，目前主流的特征距離計算方式有歐氏距離、余弦距離，除了這兩個常用距離外，還有曼哈頓距離、明可夫斯基距離、皮爾森相關(guān)系數(shù)、斯皮爾曼等級相關(guān)系數(shù)等也可用作特征距離計算。

2.3 3D人臉識別流程

3D人臉識別流程主要分為圖像采集、圖像素材獲取、配準、3D重建、人臉檢測、特征提取和信息比對。

圖像采集主要分為兩種：

（1）普通攝像頭進行RGB圖像采集;

（2）使用專用攝像頭（3D結(jié)構(gòu)光、TOF、雙目等）進行RGB圖像+深度信息采集。

圖像素材獲取則是從攝像頭采集的信息中心提取出RGB圖像或RGB圖像+深度信息圖像。

如果采集的素材為RGB圖像+深度信息圖像，則需要進行配準。由于3D人臉識別中RGB素材和深度素材通常由不同攝像頭模組采集，故需對不同模組采集到的RGB數(shù)據(jù)與深度數(shù)據(jù)進行對準，保證每個點的RGB數(shù)據(jù)和深度數(shù)據(jù)可以對應，并且時間上為同一時刻。配準具體分為時間配準和空間配準。時間配準保證使用的兩個模組采集的圖像數(shù)據(jù)在時間上是同步的?？臻g配準保證RGB像素點與該像素點對應的深度數(shù)據(jù)能夠一一對應。

3 從cv頂級會議看研究現(xiàn)狀

在人臉重建領(lǐng)域，人臉重建除1篇研究通過語音重建人臉的論文為2D人臉重建外，其余論文均為3D人臉重建與生成。文獻通過對數(shù)百萬互聯(lián)網(wǎng)/YouTube視頻的學習，設(shè)計并實現(xiàn)了一個深度神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了一種基于說話者簡短錄音重建說話者2D人臉的方法。3D人臉重建研究中，文獻基于3DMM （3DMorphableModel）進行3D人臉重建研究，其他3D人臉重建研究方法有從多視圖2D圖像進行3D人臉重建、3D人臉mesh的分解框架、單圖像人臉3D重建、利用多度量回歸網(wǎng)絡(luò)進行非限制人臉重建、密集3D人臉對應、基于視頻的3D人臉重建、基于解剖學肌肉紋理的3D人臉重建。當前3D人臉識別方面，學界主要的研究重點是3D重建方面，對于基于3D的人臉識別、特征提取、特征比對尚無深入研究。3D人臉識別還有較多可供深入研究的內(nèi)容。

人臉反欺詐領(lǐng)域，大致可以分為如何偽造欺詐數(shù)據(jù)和如何基于欺詐數(shù)據(jù)進行反欺詐模型研究兩類。文獻提出了一種對人臉識別系統(tǒng)基于決策的黑盒攻擊方法一演化攻擊，即給定攻擊的目標函數(shù)，可以單獨通過訪問生成對抗樣本，通過對局部幾何圖形進行建模以找到更好的搜索方向，并減小搜索空間的維度以進一步提高效率，該方法成功攻擊了真實環(huán)境下的人臉識別系統(tǒng)。文獻發(fā)布了一個目前最大的人臉識別反欺詐數(shù)據(jù)集CASIA-SURF，包含1000個主題，共21000組樣本，每組樣本包括RGB、深度、IR三種圖像，并提出了一種多模型融合人臉反欺詐模型。文獻提出了一種Zero-Shot的深度樹模型，可以對未知分類進行人臉反欺詐檢測，目前可以對13種人臉欺詐類型進行識別，同時，作者提出了一個新的人臉欺詐數(shù)據(jù)集SiW-M通過對不同類型人臉欺詐數(shù)據(jù)訓練集判別性特征的學習，提出了一種具有較高泛化能力的人臉反欺詐檢測模型。文獻提出了一種簡便的大量收集人臉欺詐數(shù)據(jù)的方法，同時提出了一個用時空+注意力機制來融合全局時域信息和局部空間信息的模型，能夠自動搜索有效區(qū)域。針對CASIA-SURF數(shù)據(jù)集，分別提出了一種人臉反欺詐檢測方法，其中沒有提出新的模型，主要在ResNet的基礎(chǔ)上針對多模態(tài)融合和訓練策略進行了大量工作，在MobileNetV2和Inception的基礎(chǔ)上進行了改進，使用流模塊替代全局平均池化GAP （GlobaIAveragePooling）作為卷積網(wǎng)絡(luò)的池化層和全連接層，同時將從多模態(tài)數(shù)據(jù)中學習到的多個分類器進行了級聯(lián)，實現(xiàn)了人臉反欺詐檢測。

4 總結(jié)

本文對當前主流的人臉識別技術(shù)分類、研究方法進行了介紹。根據(jù)CVPR2019會議論文可以看出，人臉識別依然是當前CV領(lǐng)域的研究重點。

在基于2D人臉數(shù)據(jù)的人臉識別方面，技術(shù)已較為成熟，形成了一套基于深度學習的人臉識別方法。在顛覆性技術(shù)出現(xiàn)前，人臉識別研究熱點主要集中在基于訓練數(shù)據(jù)的優(yōu)化、基于損失函數(shù)的優(yōu)化，以及多模型融合三個方向上。相比于基于2D數(shù)據(jù)的人臉識別，3D人臉識別目前研究重點集中在3D人臉重建上，基于3D人臉數(shù)據(jù)的特征提取和分類方法還有較大的研究空間。此外，人臉反欺詐也是將來的主要研究重點。

參考文獻

[1]鄭遠攀，李廣陽，李曄，深度學習在圖像識別中的應用研究綜述[J].計算機工程與應用，2019，55 （12）：20-36.

[2]王喬晨，吳振剛，人臉識別應用系統(tǒng)中的安全與隱私問題綜述[J]，新型工業(yè)化，201 9，9（05）：47-50.

[3]張凱兵，鄭冬冬，景軍鋒，低分辨人臉識別綜述[J].計算機工程與應用，2019，55 （22）：14-24.

[4]魯磊.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法研究[D]。西安科技大學，2019.

[5]盧子謙，陸哲明，沈馮立，王總輝.人臉反欺詐活體檢測綜述[J].信息安全學報，2020，5（02）：18-27.

作者簡介

李志遠（1992-），男，山西省臨汾市人。碩士研究生，助理工程師。研究方向為人臉識別。