基于殘差網(wǎng)絡(luò)的非限定條件人臉識(shí)別研究

劉慧穎 孫玉國(guó)

摘? 要： 針對(duì)非限制人臉識(shí)別中人臉圖像的尺寸和角度影響識(shí)別精度的問(wèn)題，本文根據(jù)漸進(jìn)校準(zhǔn)的思想，設(shè)計(jì)出一種以具有漸進(jìn)校準(zhǔn)功能的卷積神經(jīng)網(wǎng)絡(luò)為分析算法的人臉識(shí)別方法。首先在非限制環(huán)境下對(duì)人臉圖像進(jìn)行幾何歸一化處理，并且利用主成分分析法進(jìn)行降維;然后基于仿射變換和局部人臉?lè)指罾碚?，提出基于?xì)節(jié)變換與特征融合的方法對(duì)人臉進(jìn)行矯正;最后利用殘差卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建人臉識(shí)別模型，在LFW數(shù)據(jù)集上對(duì)模型參數(shù)進(jìn)行訓(xùn)練，并對(duì)訓(xùn)練后的模型進(jìn)行仿真和檢驗(yàn)。實(shí)測(cè)表明，通過(guò)矯正得到的正面人臉圖像雖然存在輕微的扭曲現(xiàn)象，但其提取的特征信息能夠有效提高非限制條件下多姿態(tài)人臉的識(shí)別準(zhǔn)確率。

關(guān)鍵詞： 人臉識(shí)別;人臉矯正;非限定條件;漸進(jìn)校準(zhǔn);卷積神經(jīng)網(wǎng)絡(luò)

【Abstract】： Aiming at the problem that the size and angle of face image in non-restricted face recognition affect the recognition accuracy， this paper designs a face recognition method based on progressive calibration to construct a convolutional neural network with progressive calibration function. Firstly， the face image is geometrically normalized in an unrestricted environment， and the principal component analysis method is used to reduce the dimension. Then based on the affine transformation and the local face segmentation theory， a method based on detail transformation and feature fusion is proposed. The face is corrected. Finally， the residual recognition convolutional neural network is used to construct the face recognition model. The model parameters are trained on the LFW dataset， and the trained model is simulated and tested. The actual measurement shows that although the positive face image obtained by the correction has slight distortion， the extracted feature information can effectively improve the recognition accuracy of multi-pose face under unconstrained conditions.

【Key words】： Face recognition; Face correction; Unqualified condition; Progressive calibration; Convolutional neural network

0? 引言

人臉識(shí)別作為生物特征識(shí)別領(lǐng)域的重要方法之一，因其具有非接觸性和不易竊取性的特點(diǎn)，已經(jīng)被廣泛應(yīng)用于安全監(jiān)控、人機(jī)交互、人工智能以及電子商務(wù)安全中[1]。人臉識(shí)別技術(shù)似乎是一個(gè)新興的學(xué)科，但對(duì)相關(guān)技術(shù)的研究在19世紀(jì)末就已經(jīng)開(kāi)始[2]。從判斷人臉的幾何結(jié)構(gòu)到特征臉?lè)椒ǖ奶岢?，再到深度神?jīng)網(wǎng)絡(luò)在人臉識(shí)別領(lǐng)域的應(yīng)用，人臉識(shí)別技術(shù)在數(shù)據(jù)測(cè)試上的識(shí)別精度得到很大提高，但是在應(yīng)用環(huán)節(jié)時(shí)仍存在許多問(wèn)題。在姿態(tài)變換和動(dòng)態(tài)場(chǎng)景下即非限制條件下，進(jìn)行人臉識(shí)別受到環(huán)境和人臉圖像采集設(shè)備的因素的影響，導(dǎo)致人臉識(shí)別的準(zhǔn)確性不好[3]。

針對(duì)上述問(wèn)題，本文基于神經(jīng)網(wǎng)絡(luò)搭建出一個(gè)非限定條件人的臉識(shí)別方法。該系統(tǒng)基于漸進(jìn)校準(zhǔn)網(wǎng)絡(luò)的人臉圖像歸一化方法，對(duì)完全平面中的旋轉(zhuǎn)人臉圖像進(jìn)行預(yù)處理。利用仿射變換原理和局部分割融合技術(shù)設(shè)計(jì)了一種細(xì)節(jié)變換方法對(duì)人臉姿態(tài)進(jìn)行矯正，來(lái)提高多姿態(tài)人臉圖像識(shí)別的準(zhǔn)確性。并用殘差卷積神經(jīng)網(wǎng)絡(luò)搭建了用于本文人臉識(shí)別研究中的網(wǎng)絡(luò)模型。

1? 漸進(jìn)校準(zhǔn)網(wǎng)絡(luò)的人臉圖像歸一化

在非限制性條件下獲取的人臉圖像大多數(shù)會(huì)出現(xiàn)背景、人臉有偏轉(zhuǎn)角度、面部姿態(tài)和表情存在明顯差異的情況，這些圖像不適合直接作為訓(xùn)練樣本[4]。所以在人臉識(shí)別之前，需要先進(jìn)行人臉圖像的幾何歸一化，主要包括人臉對(duì)齊和尺寸歸一化。其中人臉對(duì)齊問(wèn)題也被稱(chēng)為完全平面旋轉(zhuǎn)（Rotation-in- plane， RIP）[5]問(wèn)題。

本文在人臉檢測(cè)階段采用漸進(jìn)校準(zhǔn)網(wǎng)絡(luò)（Pro g ressive Calibration Networks， PCN）[6]。通過(guò)漸進(jìn)校準(zhǔn)網(wǎng)絡(luò)逐步校準(zhǔn)輸入人臉圖像的RIP方向，使其垂直，以便更好地進(jìn)行人臉特征提取。

其中，漸進(jìn)校準(zhǔn)網(wǎng)絡(luò)在設(shè)計(jì)的過(guò)程中，為達(dá)到最好的效果，本文將其設(shè)計(jì)為三層，如圖一所示。PCN第一層分類(lèi)網(wǎng)絡(luò)計(jì)算人臉朝向，對(duì)人臉圖像的邊框進(jìn)行預(yù)測(cè)，進(jìn)行第一次粗略定向和調(diào)整;第二層網(wǎng)絡(luò)進(jìn)一步對(duì)人臉圖進(jìn)行定向，對(duì)人臉圖的邊界框進(jìn)行回歸，并且將RIP角度的范圍從 減小到。第三層網(wǎng)絡(luò)是基于第二層網(wǎng)絡(luò)的運(yùn)算后，直接計(jì)算尺人臉圖像的精確RIP角度，然后對(duì)人臉圖像進(jìn)行最終的精確調(diào)整。最終輸出得到的調(diào)整好的圖像。

2? 非限定條件下人臉圖像的姿態(tài)矯正

由于我們生活在三維空間中，所以人臉的旋轉(zhuǎn)方向也分為三個(gè)維度，分別是繞X軸旋轉(zhuǎn)、繞Y軸旋轉(zhuǎn)和繞Z軸旋轉(zhuǎn)[7]。而人臉姿態(tài)估計(jì)就是在二維平面中近似的計(jì)算出二維人臉圖像對(duì)應(yīng)于三維直角坐標(biāo)系XYZ的偏轉(zhuǎn)角度[8]。

根據(jù)人臉圖像在二維空間中的成像慣例，一共有三種情況：以X軸為中心旋轉(zhuǎn)的;以Y軸為中心旋轉(zhuǎn);以Z軸為中心旋轉(zhuǎn)。因?yàn)橐訶軸為中心的人臉圖的旋轉(zhuǎn)，只會(huì)導(dǎo)致在二維平面中方向上的變化，而不會(huì)產(chǎn)生人臉信息的缺失，但繞Y、Z軸旋轉(zhuǎn)，會(huì)產(chǎn)生人臉信息缺失。

2.2? 人臉姿態(tài)矯正

仿射變換矩陣可以通過(guò)對(duì)人臉圖像進(jìn)行旋轉(zhuǎn)、平移、縮放來(lái)修正較為輕微的人臉姿態(tài)變化。但在旋轉(zhuǎn)角度比較大的情況下，通過(guò)仿射矩陣得到的人臉圖像會(huì)因?yàn)樾D(zhuǎn)角度過(guò)大，導(dǎo)致特征信息不準(zhǔn)確和失真。所以在仿真變換的基礎(chǔ)上，采用細(xì)節(jié)變換與特征融合的姿態(tài)矯正方法，使特征信息得到最大的保留。

首先建立圖2所示的標(biāo)準(zhǔn)人臉模板。模板的建立是以數(shù)據(jù)庫(kù)中的圖像為基準(zhǔn)生成的。先根據(jù)數(shù)據(jù)庫(kù)中的無(wú)偏轉(zhuǎn)的圖像確定人臉圖像的尺寸，選定關(guān)鍵點(diǎn)位置，本文的關(guān)鍵點(diǎn)分別選取雙眼、鼻尖、嘴唇兩角，然后對(duì)圖像進(jìn)行Procrustes分析，得到標(biāo)準(zhǔn)人臉的特征位置，進(jìn)而生成標(biāo)準(zhǔn)人臉模板。

然后對(duì)人臉區(qū)域進(jìn)行劃分并會(huì)進(jìn)行人臉矯正，將補(bǔ)齊的局部人臉映射到標(biāo)準(zhǔn)模板的對(duì)應(yīng)位置，得到校正后的正面人臉。矯正后的人臉因?yàn)榉派渥兓腿四樓蟹执嬖谝欢ǔ潭壬系淖冃?，但通過(guò)參數(shù)調(diào)整和網(wǎng)絡(luò)訓(xùn)練可以減輕其對(duì)人臉識(shí)別準(zhǔn)確率的影響。

3? 網(wǎng)絡(luò)模型的設(shè)計(jì)與訓(xùn)練

圖3是本文人臉識(shí)別的流程圖。通過(guò)對(duì)采集到的人臉圖像進(jìn)行漸進(jìn)校準(zhǔn)歸一化和姿態(tài)矯正后獲得待識(shí)別的人臉圖像，此時(shí)，對(duì)人臉識(shí)別圖像進(jìn)行降維，通過(guò)已經(jīng)建立的人臉識(shí)別庫(kù)訓(xùn)練基于殘差網(wǎng)絡(luò)

人臉識(shí)別模型，然后利用訓(xùn)練好的模型對(duì)待識(shí)別的人臉圖像進(jìn)行識(shí)別。如果識(shí)別未成功，判斷該待識(shí)別人臉圖像里的人員在數(shù)據(jù)庫(kù)中是否有記錄，如果有記錄，則直接存入該人員的圖像子庫(kù)中，如果沒(méi)有，則建立新的子庫(kù)并存入。

3.1? 基于殘差學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)

本文中將標(biāo)準(zhǔn)人臉圖像的尺寸設(shè)置為，網(wǎng)絡(luò)模型如下圖4所示，共有18個(gè)卷積層，卷積尺寸統(tǒng)一為，卷積步長(zhǎng)為1，每個(gè)卷積層后面跟一個(gè)修正線(xiàn)性單元層（Rectified Linear Unit，ReLU）。網(wǎng)絡(luò)中有三個(gè)最大的池化層，池化層窗口大小為，步長(zhǎng)為2，一個(gè)窗口大小為平均池化層。每經(jīng)過(guò)一次池化，卷積核的數(shù)量翻倍，最后一次池化后通過(guò)全連接層后輸出人臉特征信息，利用SoftMax分類(lèi)器對(duì)人臉特征信息進(jìn)行分類(lèi)，輸出人臉類(lèi)別。

其中，是將被學(xué)習(xí)到的殘差映射，為殘差塊的輸入，為殘差塊的輸出。殘差塊是一個(gè)兩層神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)兩次激活后，得到公式4。

3.2? 模型的初始化

對(duì)于神經(jīng)網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)權(quán)值對(duì)模型的收斂有很大的影響。所以在神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練之前，會(huì)對(duì)其進(jìn)行合適的初始化，通過(guò)該方式可以降低梯度下降算法收斂于局部極小值的概率。

在深度學(xué)習(xí)中，常用的激活方式主要有：sigmoid函數(shù)、tanh函數(shù)、ReLU函數(shù)、Leaky ReLu函數(shù)。Sigmoid函數(shù)是將取值為的數(shù)映射到之間，作為激活函數(shù)在權(quán)值接近于0時(shí)斜率接近于1，神經(jīng)網(wǎng)絡(luò)可以近似看作線(xiàn)性函數(shù)，此時(shí)基本不會(huì)產(chǎn)生局部極值;tanh函數(shù)較sigmoid函數(shù)要常見(jiàn)一些，該函數(shù)是將取值為的數(shù)映射到之間;ReLU函數(shù)是一種分段線(xiàn)性函數(shù)，當(dāng)輸入值大于0時(shí)不存在梯度消失的問(wèn)題，彌補(bǔ)了sigmoid函數(shù)和tanh函數(shù)的不足，并且計(jì)算速度要快很多，因?yàn)樵摵瘮?shù)只有線(xiàn)性關(guān)系，不管是前向傳播還是反向傳播，計(jì)算速度都要比其他方法快很多。Leaky ReLU函數(shù)是ReLU函數(shù)改進(jìn)的函數(shù)，又稱(chēng)為PReLU函數(shù)，但其并不常用。

本文采用ReLU函數(shù)來(lái)對(duì)模型進(jìn)行初始化。初始學(xué)習(xí)率固定為0.001，迭代3000次后學(xué)習(xí)率設(shè)置為0.0001，得到如表1所示不同負(fù)半軸斜率所對(duì)應(yīng)的準(zhǔn)確率，最終選擇負(fù)半軸斜率的Leaky ReLU激活函數(shù)。

3.3? 對(duì)數(shù)據(jù)庫(kù)進(jìn)行補(bǔ)充

因?yàn)楸疚闹械娜四樧R(shí)別環(huán)境時(shí)非限制的，所以采集到的人臉圖像會(huì)在光照、角度等情況下有很? 多差異，此時(shí)為使建立的人臉識(shí)別模型對(duì)不同環(huán)境和情況的適應(yīng)性更好，對(duì)待識(shí)別的圖像進(jìn)行以下 操作：

識(shí)別未成功時(shí)：判斷識(shí)別未成功的圖像中的人在人臉庫(kù)中是否已建立子數(shù)據(jù)庫(kù)，如果已建立，則將人臉圖像存入子數(shù)據(jù)庫(kù)中;若為建立子數(shù)據(jù)庫(kù)，則建立新的自數(shù)據(jù)庫(kù)，將人臉圖像存入子數(shù)據(jù)庫(kù)中。識(shí)別成功時(shí)：退出系統(tǒng)或繼續(xù)識(shí)別。

4? 實(shí)驗(yàn)結(jié)果與分析

下面是有遮擋情況下和人臉帶一定偏轉(zhuǎn)角度情況下的人臉識(shí)別情況：

圖5左列為實(shí)時(shí)采集到的人臉圖像，右圖為經(jīng)過(guò)人臉識(shí)別模型識(shí)別后從數(shù)據(jù)庫(kù)匹配到的圖像。從上圖可以看出，本文采用的人臉識(shí)別模型對(duì)于半遮擋和帶有一定偏轉(zhuǎn)角度的的人臉像具有優(yōu)良的識(shí)別效果。非限定條件包括很多條件、環(huán)境、人臉狀態(tài)。本文將測(cè)試重點(diǎn)放在人臉姿態(tài)變化和人臉遮擋情況。

人臉姿態(tài)變換情況下的識(shí)別率如表2所示，使用的人臉數(shù)據(jù)庫(kù)是LFW人臉庫(kù)。實(shí)測(cè)情況主要根據(jù)人臉角度的變化進(jìn)行測(cè)試和分析?？梢?jiàn)，隨著人臉的左右偏轉(zhuǎn)角度變化，人臉識(shí)別的正確率也在變化，并隨著偏轉(zhuǎn)角度的增加，識(shí)別率逐漸降低。但對(duì)比其他識(shí)別模型，本文構(gòu)建的人臉識(shí)別模型具有顯著優(yōu)勢(shì)。

由表3可以看出本文的人臉識(shí)別模型對(duì)左右臉有遮擋情況下，識(shí)別正確率是比較令人滿(mǎn)意的，但對(duì)于上下半張臉50%的遮擋率，識(shí)別效果不是很理想，針對(duì)這一部分還需要繼續(xù)改進(jìn)。

5? 結(jié)論

本文在人臉圖像預(yù)處理中采用漸進(jìn)校準(zhǔn)，并通過(guò)仿射變換進(jìn)行人臉姿態(tài)矯正，為后期的模型識(shí)別提供了更加標(biāo)準(zhǔn)的人臉圖像。通過(guò)PCA對(duì)矯正后的人臉圖像盡行降維，提取主成分，提高后面的殘差學(xué)習(xí)網(wǎng)絡(luò)模型的識(shí)別速度和效率。本文構(gòu)建的人臉識(shí)別模型較傳統(tǒng)的人臉識(shí)別模型，具有更高的適應(yīng)性，在非限制環(huán)境下也可以達(dá)到相當(dāng)可觀的識(shí)別精度。

參考文獻(xiàn)

[1]林椹尠， 李相羽， 惠小強(qiáng). 一種非限制性條件下人臉識(shí)別的方法[A]. 西安郵電大學(xué)學(xué)報(bào)， 2018， 23（2）： 49-57.

[2]張敏， 徐啟華. 基于改進(jìn)BP 的神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制[J]. 軟件， 2015， 36（7）： 118-123

[3]葉詩(shī)韻， 黃志成. 基于人臉識(shí)別的考生身份識(shí)別應(yīng)用研究[J]. 軟件， 2018， 39（12）： 37-39

[4]KRIVOV S， ULANOWICZ R E， DAHIVA A. Quantitative measures of organization for multiagent systems[J]. Bio- systems， 2003， 69（1）： 39-54.

[5]徐雪， 張藝， 余開(kāi)朝. 基于 BP 神經(jīng)網(wǎng)絡(luò)的智能制造能力評(píng)價(jià)研究[J]. 軟件， 2018， 39（8）： 162-166

[6]趙文可， 孫玉國(guó). 彈性RBF神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別中的應(yīng)用研究[J]. 軟件， 2018， 39（5）： 203-206

[7]王聰興， 劉寶亮. 一種基于圖像處理的表面故障裂紋檢測(cè)系統(tǒng)[J]. 軟件， 2018， 39（5）： 144-150

[8]陳希彤， 盧濤. 基于全局深度分離卷積殘差網(wǎng)絡(luò)的高效人臉識(shí)別算法[J]. 武漢工程大學(xué)學(xué)報(bào)， 2019， 41（3）： 276-282.

[9]周麗芳， 杜躍偉， 李偉生， 李宇. 一種基于分治策略的Huffman-LBP多姿態(tài)人臉識(shí)別[J]. 小型微型計(jì)算機(jī)系統(tǒng)， 2018， 8： 1835-07.

[10]Dong Li， Huiling Zhou and Kin-Man Lam “High Resolution Face Verification Using Pore-Scale Facial Features” IEEE transactions on image processing， Vol. 24， No. 8， pp 2317-2327， 2015.