基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證

董艷花 張樹美 趙俊莉

摘要：為解決人臉被部分遮擋也能完成身份驗(yàn)證的問(wèn)題，提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證方法。對(duì)人臉圖像進(jìn)行檢測(cè)分塊，將VGGNet-16三個(gè)全連接改為一個(gè)全連接，將其最后兩個(gè)最大池化層改為平均池化層，用來(lái)提取人臉塊的特征;并在PCANet的基礎(chǔ)上添加并行模塊，不僅提高網(wǎng)絡(luò)提取特征能力，而且改善了PCANet對(duì)遮擋人臉特征丟失造成判別精度不夠的缺點(diǎn)。研究結(jié)果表明，基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋人臉平均識(shí)別精度達(dá)到96.62%。

關(guān)鍵詞：新型冠狀病毒;特征提取;遮擋判別;身份驗(yàn)證

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

收稿日期：2020-11-10

基金項(xiàng)目：

國(guó)家自然科學(xué)基金（批準(zhǔn)號(hào)：61702293， 41506198）資助。

通信作者：張樹美，女，博士，教授，主要研究方向?yàn)闀r(shí)滯非線性系統(tǒng)的分析與控制，圖形圖像識(shí)別與處理。E-mail： 15865578215@163.com

由于人臉圖像含有豐富的特征信息，近年來(lái)人臉識(shí)別[1-2]被廣泛應(yīng)用在身份驗(yàn)證、人機(jī)交互、罪犯識(shí)別和智能視頻監(jiān)控等領(lǐng)域。但在自然真實(shí)的環(huán)境下，人臉圖像采集往往受口罩、圍巾、墨鏡等多種遮擋方式的影響，導(dǎo)致通用的目標(biāo)檢測(cè)算法遠(yuǎn)遠(yuǎn)不能滿足實(shí)際需求。國(guó)內(nèi)外研究者一直致力于有遮擋人臉有效識(shí)別問(wèn)題的研究，提出許多有效的算法[3-7]。如Sun等為了提取遮擋人臉圖像魯棒的深度特征識(shí)別多張人臉圖像是否屬于同一人，先后提出DeepID（deformable deep convolutional neural network for generic object detection，DeepID）[8]、DeepID2[9]及DeepID2+[10]網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)自下往上和不同大小黑塊對(duì)人臉進(jìn)行多尺度遮擋實(shí)驗(yàn)，驗(yàn)證了遮擋在20%以內(nèi)，DeepID2+對(duì)遮擋人臉識(shí)別有較好的魯棒性，為處理有遮擋人臉識(shí)別提供了新思路。但DeepID、DeepID2及DeepID2+等網(wǎng)絡(luò)在人臉檢測(cè)及深度特征學(xué)習(xí)時(shí)均過(guò)度依賴大量的訓(xùn)練樣本和較多參數(shù)，所以Chan等[11]將卷積神經(jīng)網(wǎng)絡(luò)與局部二值模式（local binary patterns，LBP）的特征提取框架相結(jié)合，提出一種主成分分析的網(wǎng)絡(luò)（principal components analysis network，PCANet），通過(guò)局部零均值化預(yù)處理和PCA濾波器提取主成分特征，極大的過(guò)濾掉圖像中的遮擋特征，對(duì)遮擋人臉識(shí)別具有魯棒性。基于上述有遮擋人臉識(shí)別算法的研究，在保證身份驗(yàn)證準(zhǔn)確度的基礎(chǔ)上，盡可能降低網(wǎng)絡(luò)復(fù)雜度，本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證，通過(guò)VJ（Viola-Jones）算法[12]訓(xùn)練一個(gè)級(jí)聯(lián)分類器進(jìn)行人臉檢測(cè)，利用CFAN （coarse-to-fine auto-encoder networks）[13]定位人臉特征點(diǎn)實(shí)現(xiàn)人臉特征分塊，通過(guò)改進(jìn)（visual geometry group network-16，VGGNet-16）[14]對(duì)每個(gè)特征塊進(jìn)行特征提取，訓(xùn)練出對(duì)應(yīng)的人臉特征塊模型，然后通過(guò)改進(jìn)的PCANet網(wǎng)絡(luò)進(jìn)行口罩遮擋判別，最后根據(jù)特征提取及口罩遮擋判別的結(jié)果進(jìn)行口罩遮擋身份驗(yàn)證。

1 基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證

有遮擋身份驗(yàn)證就是利用計(jì)算機(jī)對(duì)人臉圖像或視頻進(jìn)行人臉檢測(cè)，將遮擋信息去除，從中提取有效的識(shí)別信息?；谝延械娜四様?shù)據(jù)庫(kù)來(lái)驗(yàn)證一個(gè)或多個(gè)人身份的一項(xiàng)技術(shù)，本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證方法，在已有遮擋和無(wú)遮擋的數(shù)據(jù)集上，利用VJ算法進(jìn)行人臉檢測(cè)，然后利用CFAN定位人臉特征點(diǎn)。因?yàn)楸疚闹饕芯康氖强谡终趽跸碌纳矸蒡?yàn)證，所以根據(jù)定位的人臉特征點(diǎn)圖像將一張人臉圖像分為眼睛+眉毛、鼻子+嘴巴的特征塊，然后通過(guò)改進(jìn)的VGGNet-16對(duì)每個(gè)特征塊進(jìn)行特征提取，最后為了去除遮擋對(duì)人臉識(shí)別產(chǎn)生的不利影響，利用改進(jìn)的PCANet網(wǎng)絡(luò)進(jìn)行遮擋判別，把判別出的未遮擋人臉特征塊保留，丟棄遮擋人臉特征塊，并用零向量填充丟失的特征部分，來(lái)保證遮擋下獲得的人臉特征也能通過(guò)兩個(gè)眼睛及眉毛的特征進(jìn)行分類識(shí)別，最后分類器根據(jù)遮擋判別的結(jié)果進(jìn)行遮擋人臉識(shí)別?；谏疃壬窠?jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證流程如圖1所示，主要分為人臉?lè)謮K、特征提取、遮擋判別及人臉?lè)诸愖R(shí)別四部分。

1.1 人臉?lè)謮K

本文使用VJ算法檢測(cè)人臉，對(duì)訓(xùn)練集通過(guò)水平翻轉(zhuǎn)、隨機(jī)裁剪、多尺度等方式進(jìn)行數(shù)據(jù)增強(qiáng)，利用由粗到精的自編碼網(wǎng)絡(luò)CFAN進(jìn)行人臉特征點(diǎn)定位，根據(jù)特征點(diǎn)定位的結(jié)果對(duì)圖像進(jìn)行裁剪：將圖像大小設(shè)置為260×260，以VJ算法檢測(cè)到的左右眼及眉毛、鼻子及嘴巴的關(guān)鍵點(diǎn)為中心，分別裁剪出眼睛+眉毛特征塊和鼻子+嘴巴特征塊，裁剪示例圖如圖2所示。實(shí)驗(yàn)表明，每個(gè)人臉的特征塊大小調(diào)整見表1，可以保證人臉紋理特征不變性的情況下進(jìn)行便捷計(jì)算，這種分塊的裁剪方式可以將人臉具有區(qū)分度的信息全部保留下來(lái)，并將這些特征塊作為基于分塊有遮擋身份驗(yàn)證的原圖輸入到后續(xù)改進(jìn)的VGGNet-16特征提取及PCANet遮擋判別中，通過(guò)人臉圖像分塊的方式在特征提取過(guò)程中減少遮擋的干擾，并提取人臉更為精細(xì)的特征，有效提高有遮擋人臉識(shí)別的效率。

1.2 人臉特征塊特征提取

近年來(lái)針對(duì)人臉識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)模型不斷更新迭代，許多網(wǎng)絡(luò)識(shí)別干凈人臉的準(zhǔn)確度甚至超越人眼的感知能力，但基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型的訓(xùn)練和調(diào)優(yōu)需要借助超大規(guī)模的數(shù)據(jù)集及強(qiáng)大的硬件平臺(tái)，所以本文需要選擇一個(gè)識(shí)別速度和分類精度都較高的神經(jīng)網(wǎng)絡(luò)用來(lái)提取人臉特征塊的特征。表2展示的是目前常用的卷積神經(jīng)網(wǎng)絡(luò)各項(xiàng)參數(shù)對(duì)比。從常用卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜度和分類識(shí)別精度進(jìn)行分析，可知，相對(duì)于分類識(shí)別精度較高的ResNet-101（Residual Network-101）[15]和DenseNet（Dense Convolutional Network）[16]，VGGNet-16的網(wǎng)絡(luò)層數(shù)更少且運(yùn)行速度更快;由于VGGNet-16采用16層的深層網(wǎng)絡(luò)結(jié)構(gòu)，可有效提取深層特征，相比于速度較快的AlexNet（Alex Network）[17]和SqueezeNet（Squeeze Network），VGGNet-16的分類識(shí)別精度高出10%左右，由此，本文選擇VGGNet-16作為人臉特征塊的特征提取網(wǎng)絡(luò)。為使其在較小規(guī)模的訓(xùn)練數(shù)據(jù)和有限計(jì)算能力的條件下也能有效提取人臉高層特征，且單一的人臉區(qū)塊相對(duì)于整個(gè)人臉來(lái)說(shuō)需要提取的特征區(qū)域較小且更精細(xì)，本文對(duì)VGGNet-16網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)及損失函數(shù)做了微調(diào)，優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)稱為IVVGNet（Improve Visual Geometry Group Network， IVGGNet）如圖3所示。

根據(jù)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)特征提取的經(jīng)驗(yàn)，網(wǎng)絡(luò)越深的層越能提取有效的特征，且VGGNet-16網(wǎng)絡(luò)通過(guò)使用3×3的卷積核和2×2的池化核不斷加深網(wǎng)絡(luò)深度進(jìn)而提升了網(wǎng)絡(luò)提取特征的性能，所以特征提取效果顯著，IVGGNet為了維護(hù)VGGNet-16底層提取特征的有效性，參照DeepID和GoogLenet（Goog Le Network）[18]網(wǎng)絡(luò)模型，由圖3可知，將VGGNet-16三個(gè)全連接層改為一個(gè)全連接層，相比于提取整張人臉特征的VGGNet-16減少了網(wǎng)絡(luò)參數(shù)量，提高該網(wǎng)絡(luò)人臉特征提取的速度。同時(shí)將全連接層前的兩個(gè)最大池化層改為3×3的平均池化層，能最大程度地保留圖像提取的特征，提高VGGNet-16提取人臉特征的能力。

表3展示了IVGGNet和VGGNet在計(jì)算量和參數(shù)量上的區(qū)別。IVGGNet網(wǎng)絡(luò)通過(guò)減少全連接層和利用平均池化層代替最大池化層，使參數(shù)量由原來(lái)的138 M減少到15 M，同時(shí)計(jì)算量從620 M減少到492 M不僅大大縮減了計(jì)算時(shí)間，而且節(jié)省了網(wǎng)絡(luò)計(jì)算量所需空間。

由于VGGNet-16采用SoftMax分類器進(jìn)行訓(xùn)練，得到的特征的類內(nèi)距離較大，將導(dǎo)致錯(cuò)誤識(shí)別人臉，而Center損失函數(shù)可以增加類間距離，同時(shí)縮小類內(nèi)距離，因此本文通過(guò)SoftMax+Center損失函數(shù)來(lái)增強(qiáng)分類效果。SoftMax損失函數(shù)為

Ls= -∑mi = 1logewTyi xi+ byi∑nj = 1ewTyi xi+ byi （1）

Center損失函數(shù)為

Lc=12∑mi=1xi-cyi22（2）

SoftMax+Center損失函數(shù)為

L=LS+λLC（3）

其中，m表示mini-batch包含的樣本數(shù)量，n表示類別數(shù)， cyi表示yi個(gè)類別的特征中心，xi表示全連接層之間的特征，λ用來(lái)控制SoftMax及Center的比重。Center損失函數(shù)在訓(xùn)練過(guò)程中，逐步減少某類成員到該類的特征中心的距離，并增大其他類成員和該中心的距離，從而得到更好的分類結(jié)果。

為得到具有區(qū)分度的人臉特征，本文將兩種特征塊的訓(xùn)練數(shù)據(jù)集分別輸入到IVGGNet網(wǎng)絡(luò)模型中進(jìn)行特征提取，將分別獲得眼睛+眉毛、鼻子+嘴巴區(qū)域的人臉特征，通過(guò)這兩部分特征能夠完整地組合成一張人臉的所有特征。

1.3 基于PCANet遮擋判別

本文主要是為了解決新冠疫情下口罩遮擋時(shí)員工打卡上班的身份驗(yàn)證問(wèn)題，為此研究對(duì)比近年來(lái)用于遮擋人臉識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，各參數(shù)如表4所示?？芍狿CANet相比于DeepID2、DeepID2+、Inception-ResNet-v1[19]的識(shí)別率較低，但其網(wǎng)絡(luò)層數(shù)最少，結(jié)構(gòu)簡(jiǎn)單，且對(duì)遮擋人臉識(shí)別自帶魯棒性，所以本文選擇PCANet判別輸入的人臉特征塊是否存在口罩遮擋，輸出人臉特征或有口罩遮擋兩類判別結(jié)果，實(shí)現(xiàn)對(duì)有口罩遮擋的人臉判別。

但PCANet只有兩個(gè)卷積濾波層進(jìn)行不同信息的特征表示，且該網(wǎng)絡(luò)在構(gòu)建卷積核時(shí)均是利用PCA的前k個(gè)最大的特征值對(duì)應(yīng)的特征向量來(lái)完成的，卻丟棄了剩余的特征向量。實(shí)際上，被丟棄的特征向量中也存在一部分有用的辨別信息，丟棄后會(huì)損失這部分辨別信息。所以為簡(jiǎn)單有效的提高遮擋判別效率，并受GoogleNet網(wǎng)絡(luò)中的Inception模塊的啟發(fā)，將PCANet網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出并行卷積池化處理模塊，可以提取不同的特征并融合起來(lái)輸出給下一層。改進(jìn)的PCANet網(wǎng)絡(luò)稱為In_PCANet（Inception principal components analysis network），結(jié)構(gòu)設(shè)計(jì)如圖4所示。

該網(wǎng)絡(luò)模型設(shè)置了不同的層結(jié)構(gòu)，不同層結(jié)構(gòu)將產(chǎn)生不同的特征向量，其中并行模塊包含三個(gè)不同的并行路徑，用來(lái)分別提取三種不同的特征，并在out中進(jìn)行組合，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，并行模塊是創(chuàng)建抽象特征表示的有效方法，能夠創(chuàng)建多條不同路徑提取不同的特征，從而有效地改善對(duì)遮擋人臉特征丟失造成判別精度不夠的缺點(diǎn)，通過(guò)采用1×1或3×3的小卷積核，加強(qiáng)了對(duì)遮擋人臉特征的表征能力且大大縮短了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間。與PCANet相比，該網(wǎng)絡(luò)結(jié)構(gòu)首先通過(guò)并行結(jié)構(gòu)的三個(gè)不同路徑進(jìn)行特征提取，并將提取的特征進(jìn)行融合，然后將提取的特征送到含有K1個(gè)卷積核的卷積層中進(jìn)行零均值化及PCA濾波卷積操作，得到前K1個(gè)最大特征值所對(duì)應(yīng)的特征向量來(lái)構(gòu)建卷積核，為了保證每層映射后的特征均能重構(gòu)原圖像，在卷積操作前對(duì)樣本均做了邊緣填充，接著將得到的映射輸入到含有K2個(gè)卷積核的卷積層進(jìn)行零均值化及PCA濾波卷積操作，得到前K1×K2個(gè)最大特征值所對(duì)應(yīng)的特征向量來(lái)構(gòu)建卷積核，為獲得更強(qiáng)表達(dá)性的特征，采用Heaviside階躍函數(shù)對(duì)得到的特征進(jìn)行二值化及哈希編碼。同PCANet一樣，In_PCANet最后也是通過(guò)SVM分類器做最后的遮擋判別分類。

本文In_PCANet中的并行模塊是由卷積層、池化層和激活函數(shù)ReLU組成，并在3×3的卷積核之前采用1×1的小卷積核來(lái)實(shí)現(xiàn)降維，從而降低特征圖像的計(jì)算量。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，使用一個(gè)并行模塊可以提取充分的特征，識(shí)別率得到提高，且不會(huì)增加較多的運(yùn)算成本，而使用多個(gè)并行模塊會(huì)增加特征提取的時(shí)間，但識(shí)別率達(dá)到一定水平就不再增加，所以根據(jù)識(shí)別率和時(shí)間的最優(yōu)規(guī)劃，本文選擇使用一個(gè)并行模塊。該模塊的結(jié)構(gòu)如圖5所示。

為有效區(qū)分鼻子及嘴巴特征點(diǎn)是否存在口罩遮擋，本文將無(wú)口罩遮擋人臉的特征點(diǎn)圖像及有口罩遮擋人臉的特征點(diǎn)圖像作為遮擋判別的訓(xùn)練集，則輸入的圖像只有屬于人臉特征塊和有口罩遮擋特征塊兩種類別，因此本文在In_PCANet網(wǎng)絡(luò)的基礎(chǔ)上添加多分類器用于人臉區(qū)塊的二分類上，經(jīng)過(guò)In_PCANet的處理后只能輸出未被遮擋的人臉特征塊或有遮擋的人臉特征塊兩類判別結(jié)果。輸入圖像經(jīng)In_PCANet遮擋判別示例圖如圖6（a）、圖6（b）所示。可知，輸入眼睛+眉毛圖像及含口罩遮擋的圖像后，In_PCANet及多分類器將對(duì)輸入圖像進(jìn)行口罩遮擋判別，分別輸出其特征塊對(duì)應(yīng)眼睛+眉毛、鼻子+嘴巴及口罩遮擋的概率，通過(guò)設(shè)定每類特征塊輸出概率的閾值為90%，大于該閾值的概率為有效判別概率，然后取有效判別概率中最大的概率類別作為最終輸出判別結(jié)果的依據(jù)，如圖6（a）所示，眼睛+眉毛概率超過(guò)閾值，且其概率最高，所以判別出輸入的圖像是屬于人臉眼睛+眉毛的特征，最終判別輸出結(jié)果為人臉特征塊;而圖6（b）所示口罩遮擋的概率最高，所以判別出輸入的圖像是有遮擋的人臉圖像，最終判別輸出結(jié)果為遮擋特征塊。綜上所述，數(shù)據(jù)集通過(guò)In_PCANet及多分類器的遮擋判別網(wǎng)絡(luò)進(jìn)行分類判別，可以獲得一張完整人臉圖像中哪個(gè)特征塊被遮擋，哪個(gè)未被遮擋，為后面人臉?lè)诸愖R(shí)別奠定基礎(chǔ)。而整個(gè)遮擋判別網(wǎng)絡(luò)通過(guò)對(duì)輸入的人臉?lè)謮K特征圖利用In_PCANet學(xué)習(xí)適合各個(gè)特征塊的濾波器，并將多分類器完成二分類問(wèn)題，也極大地降低了遮擋判別的時(shí)間復(fù)雜度，同時(shí)提高了分類效率。

1.4 身份驗(yàn)證

本文結(jié)合IVGGNet對(duì)人臉特征塊的特征提取及In_PCANet對(duì)人臉特征塊的遮擋判別結(jié)果，使用最近鄰分類器對(duì)人臉特征塊進(jìn)行分類識(shí)別，將IVGGNet提取的各個(gè)未被遮擋的特征塊進(jìn)行順序拼接，最終生成一張人臉的特征如下：F=（ feye，fnose+mouse），分別表示眼睛+眉毛、鼻子+嘴巴特征塊提取的特征，然后將In_PCANet遮擋判別的遮擋特征塊丟棄，用零向量填充丟失的特征部分，保證口罩遮擋下獲得的人臉特征也能通過(guò)眼睛+眉毛的特征進(jìn)行人臉?lè)诸愖R(shí)別。身份驗(yàn)證對(duì)測(cè)試輸入的特征塊及數(shù)據(jù)庫(kù)已存的特征塊進(jìn)行比較時(shí)，若其中一個(gè)特征塊是被零填充的，則另外一個(gè)特征塊也被置為零，利用歐式距離的方法對(duì)兩個(gè)特征塊進(jìn)行特征相似度度量，取最相似的特征表示人臉身份驗(yàn)證的結(jié)果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

武漢大學(xué)國(guó)家多媒體軟件工程技術(shù)研究中心收集了大量口罩人臉數(shù)據(jù)集MFRD，包括經(jīng)網(wǎng)絡(luò)爬取，整理清洗和標(biāo)注處理的真實(shí)口罩人臉識(shí)別數(shù)據(jù)集和在Webface、LFW公開數(shù)據(jù)集上人工添加口罩的模擬口罩人臉識(shí)別數(shù)據(jù)集。真實(shí)口罩人臉識(shí)別數(shù)據(jù)集包含525人的5千張口罩人臉和9萬(wàn)張不戴口罩人臉，分別存放在各自名字的文件夾下;模擬口罩人臉識(shí)別數(shù)據(jù)集包含1萬(wàn)人的50萬(wàn)張圖片，但沒(méi)有標(biāo)注參與者的名字。由于本文要實(shí)現(xiàn)身份驗(yàn)證，所以采用MFRD中真實(shí)口罩人臉數(shù)據(jù)集，選擇其中100人對(duì)應(yīng)的戴口罩和不戴口罩圖片，其中不戴口罩的圖片相對(duì)充足，但圖像尺寸不統(tǒng)一或姿態(tài)多樣性不利于本文實(shí)驗(yàn)的模型訓(xùn)練，且戴口罩的數(shù)據(jù)相對(duì)較少，所以需要對(duì)這100人的人臉數(shù)據(jù)進(jìn)行批量數(shù)據(jù)增強(qiáng)，通過(guò)水平翻轉(zhuǎn)、隨機(jī)裁剪、多尺度及顏色渲染等方式，最后分別得到每人300張無(wú)口罩遮擋圖片和300張戴口罩圖片用于實(shí)驗(yàn)。選擇數(shù)據(jù)集的80%做訓(xùn)練集，剩余20%做測(cè)試集，數(shù)據(jù)增強(qiáng)示例圖如圖7所示。本文所有算法均在Windows10 64位操作系統(tǒng)下基于Tensorflow深度學(xué)習(xí)框架用Python語(yǔ)言編寫，使用CUDA10.0版本的GPU加速器，在訓(xùn)練模型時(shí)均采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化模型。

2.2 實(shí)驗(yàn)結(jié)果分析

本文通過(guò)CFAN算法將人臉圖像數(shù)據(jù)集裁剪為指定的眼睛+眉毛、鼻子+嘴巴特征區(qū)塊，利用IVGGNet對(duì)特征塊進(jìn)行特征提取，然后將提取的特征輸入In_PCANet網(wǎng)絡(luò)進(jìn)行特征塊遮擋判別，最后利用最近鄰分類器實(shí)現(xiàn)人臉?lè)诸愖R(shí)別。為對(duì)比分析IVGGNet、VGGNet人臉識(shí)別的性能，利用數(shù)據(jù)集中100個(gè)人的6萬(wàn)張干凈人臉圖像對(duì)IVGGNet、VGGNet實(shí)驗(yàn)對(duì)比，獲得實(shí)驗(yàn)分析如表5所示?？芍谙嗤撝导皵?shù)據(jù)集的條件下，IVGGNet人臉識(shí)別比VGGNet具有明顯的優(yōu)勢(shì)，識(shí)別準(zhǔn)確率提高了14.2%，運(yùn)行幀率也提高了1.7FPS。其主要原因在于將VGGNet16中全連接前的兩個(gè)最大池化層改為平均池化層，最大程度地保留了提取的圖像特征，進(jìn)而提高了人臉識(shí)別率;又將三個(gè)全連接層改為一個(gè)全連接層，極大地減少了網(wǎng)絡(luò)的參數(shù)量，使人臉識(shí)別速度也得到相應(yīng)的提高，進(jìn)一步驗(yàn)證了IVGGNet在人臉識(shí)別上的可行性，為后續(xù)提高分塊有遮擋人臉識(shí)別效率奠定基礎(chǔ)。

由于本文在In_PCANet口罩遮擋判別時(shí)利用多分類器實(shí)現(xiàn)人臉二分類問(wèn)題，且每個(gè)判別模型都保留兩個(gè)以上的人臉特征點(diǎn)進(jìn)行判別，可以在較短的時(shí)間內(nèi)達(dá)到較高的判別效果，所以在人臉特征塊及分辨率足夠充足的條件下，本文訓(xùn)練的In_PCANet網(wǎng)絡(luò)模型可以對(duì)有口罩遮擋的人臉進(jìn)行準(zhǔn)確的判別，結(jié)果如表6所示?；贗n_PCANet口罩遮擋判別對(duì)眼睛+眉毛、鼻子+嘴巴都能達(dá)到98%以上的判別結(jié)果，而基于PCANet遮擋判別對(duì)特征塊的判別效率均低于97%，表明通過(guò)添加并行模塊的PCANet有利于提取人臉特征并提高識(shí)別效率，且對(duì)口罩遮擋的識(shí)別也高達(dá)96.7%，表明該方法對(duì)有遮擋人臉判別的有效性，為存在有口罩遮擋的人臉識(shí)別提供較高的判別效果，促進(jìn)戴口罩下的人臉高效率識(shí)別。

為進(jìn)一步驗(yàn)證基于深度神經(jīng)網(wǎng)絡(luò)的口罩遮擋人臉識(shí)別的有效性，利用有口罩遮擋人臉數(shù)據(jù)集對(duì)IVGGNet在人臉?lè)謮K思想下進(jìn)行實(shí)驗(yàn)，為對(duì)比分析，利用IVGGNet網(wǎng)絡(luò)對(duì)全局人臉進(jìn)行口罩遮擋人臉識(shí)別，并設(shè)置相同參數(shù)bach_size=16，iteration=1 200，learning_rate=0.005，epoch=300的情況下進(jìn)行模型訓(xùn)練，然后通過(guò)對(duì)后期人臉?lè)诸愖R(shí)別中設(shè)置閾值0.85，來(lái)判別該人臉是否是數(shù)據(jù)庫(kù)中已經(jīng)存在的人臉，大于該閾值就認(rèn)為已存在，直接識(shí)別出是誰(shuí)，小于該閾值就認(rèn)為不存在，被存入數(shù)據(jù)庫(kù)中，基于分塊的IVGGNet有口罩遮擋人臉識(shí)別和基于全局的IVGGNet有口罩遮擋人臉識(shí)別效果如表7所示。可知，在相同閾值的控制下，基于全局的IVGGNet口罩遮擋人臉識(shí)別的效果無(wú)論是在戴口罩還是不戴口罩情況下的人臉識(shí)別都明顯低于基于人臉?lè)謮K的IVGGNet人臉識(shí)別效果，進(jìn)一步驗(yàn)證了基于人臉?lè)謮K的IVGGNet有口罩遮擋人臉識(shí)別高效性。主要原因來(lái)自于人臉?lè)謮K能夠提取面部的局部特征，從感受野的范圍考慮，基于分塊的人臉識(shí)別感受野會(huì)大于基于全局的人臉識(shí)別感受野，雖然可以通過(guò)加深網(wǎng)絡(luò)層次來(lái)擴(kuò)大感受野的范圍，但將導(dǎo)致網(wǎng)絡(luò)參數(shù)增多，從而降低識(shí)別的速度;在數(shù)據(jù)有限的情況下，需要描述的特征越簡(jiǎn)單，網(wǎng)絡(luò)參數(shù)的優(yōu)化越容易，相對(duì)于全局人臉識(shí)別，基于分塊的人臉識(shí)別可以更簡(jiǎn)單的學(xué)習(xí)不同區(qū)域的特征，進(jìn)而提高口罩遮擋人臉識(shí)別效果。

3 結(jié)論

本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證方法，在保證身份驗(yàn)證準(zhǔn)確度基礎(chǔ)上，盡可能降低了網(wǎng)絡(luò)的復(fù)雜度。利用人臉特征塊，并結(jié)合遮擋判別結(jié)果提取的特征，對(duì)遮擋身份驗(yàn)證具有較強(qiáng)的魯棒性，經(jīng)實(shí)驗(yàn)表明該方法可高效識(shí)別有遮擋人臉。實(shí)驗(yàn)結(jié)果表明，人臉特征塊經(jīng)過(guò)In_PCANet遮擋判別網(wǎng)絡(luò)處理后對(duì)口罩遮擋的判別率達(dá)到96.7%，對(duì)有口罩遮擋和無(wú)遮擋識(shí)別率分別為95.73%和97.52%。在相同實(shí)驗(yàn)環(huán)境下，基于全局的IVGGNet有遮擋身份驗(yàn)證對(duì)有口罩遮擋和無(wú)遮擋識(shí)別率分別為84.62%和91.84%，表明基于分塊的有遮擋身份驗(yàn)證效果顯著，為員工上班戴口罩也能順利完成打卡任務(wù)提供了理論基礎(chǔ)，總之，基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗(yàn)證，不僅可以應(yīng)用在新冠疫情下人臉佩戴口罩進(jìn)行人臉識(shí)別的場(chǎng)景，對(duì)于平時(shí)人們不戴口罩進(jìn)行人臉識(shí)別時(shí)也同樣適用。

參考文獻(xiàn)

[1]衣柳成，魏偉波，劉小芳.基于GoogLeNet的智能錄播系統(tǒng)中站立人臉的檢測(cè)與定位[J].青島大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，32（4）：91-95.

[2]李明生，趙志剛，李強(qiáng)，等.基于改進(jìn)的局部三值模式和深度置信網(wǎng)絡(luò)的人臉識(shí)別算法[J].青島大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，32（4）：79-84.

[3]ZAFEIRIOU S， TZIMIROPOULOS G， PETROU M. Regularized kernel discriminant analysis with a robust kernel for face recognition and veri-fication[J].IEEE Transactions on Neural Networks and Learning Systems，2012，23（3）：526-534.

[4]LI X X， DAI D Q， ZHANG X F. Structured sparse error coding for face recognition with occlusion[J]. IEEE Transactions on Image Pro-cessing，2013，22（5）：1889-1900.

[5]WEI X， LI C T， HU Y. Robust face recognition with occlusions in both reference and query images[C]//2013IEEE Conference on Computer Vision and pattern recognition workshops（CVPRW）.Inst Super Tecnico，lisbon，PORTUGAL，2013.

[6]LI X X， LIANG R， FENG Y. Robust face recognition with occlusion by fusing image gradient orientations with markov random fields[C]//International Conference on Intelligent Science and Big Data Engineering. Springer International Publishing，2015： 431-440.

[7]周孝佳，朱允斌，張躍.基于分塊的有遮擋人臉識(shí)別算法[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（2）：183-187.

[8]SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10，000 classes[C]// 27th IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Columbus， 2014： 1891-1898.

[9]SUN Y， CHEN Y， WANG X. Deep learning face representation by joint identification-verification[C]// 28th Conference on Neural Information Processing Systems （NIPS）. Montreal， 2014，27： 1988-1996.

[10] SUN Y， WANG X G， TANG X O. Deeply learned face representations are sparse， selective， and robust[C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，2015：2892-2900.

[11] CHAN T H， JIA K， GAO S. PCANet：A simple deep learning baseline for image classification？[J]. IEEE Transactions on Image Processing，2015，24（12）：5017-5032.

[12] VIOLA P A， JONES M J. Rapid object detection using a boosted cascade of simple features[C]//IEEE Computer Vision and Pattern Recognition（CVPR）， 2001：511-518.

[13] ZHANG J， SHAN S G， KAN M. Coarse to fine auto-encoder networks （cfan） for real-time face alignment[J].Electronic Journal of Qualitative Theory of Diferential Equations.2014，（50）：1-15.

[14] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science，2014：1409-1556.

[15] HE K M， ZHANG X Y， REN S Q. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，2016：770-778.

[16] HUANG G， LIU Z， LAURENS V D M. Densely connected convolutional networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.2017：2261-2269.

[17] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks[J]. Communications of the Acm.2017，60（6）：84-90.

[18] SZEGEDY C， LIU W， JIA Y. Going deeper with convolutions[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston，2015：1-9

[19] 徐迅，陶俊，吳瑰.基于卷積神經(jīng)網(wǎng)絡(luò)的帶遮蔽人臉識(shí)別[J].江漢大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，47（3）：246-251.

Authentication with Occlusion Based on Deep Neural Network

DONG Yan-hua， ZHANG Shu-mei， ZHAO Jun-li

（School of Data Science and Software Engineering， Qingdao University， Qingdao 266071， China）

Abstract：

In order to solve the problem that authentication can be completed even if the face is partially occluded， a occlusion authentication method based on deep neural network is proposed. The face image is detected and divided into blocks， the three full connections of VGGNet-16 are changed to one full connection， and the last two maximum pooling layers are changed to average pooling layers to extract the features of the face block; and add parallel module on the basis of PCANet， which not only improves the ability of the network to extract features， but also improves the PCANet's shortcomings of insufficient discrimination accuracy due to the loss of occluded facial features. The research results show that the average recognition accuracy of occluded faces based on deep neural networks reaches 96.62%.

Keywords：

COVID-19; feature extraction; occlusion discrimination; identity verification