基于深度神經(jīng)網(wǎng)絡(luò)的眼周識別方法研究

秦濤

【摘 要】近年來，少限制環(huán)境下的生物特征識別技術(shù)成為研究熱點，眼周識別作為新興的生物特征識別技術(shù)越來越受人們關(guān)注。基于深度神經(jīng)網(wǎng)絡(luò)的眼周識別方法相較于傳統(tǒng)方法能更好地提高眼周識別性能。通過提出一個基于ResNet20和softmax的眼周識別方法，在兩個公開的眼周數(shù)據(jù)集上實驗驗證得到在UBIPr數(shù)據(jù)集上的EER值為8.19%，在UBIRIS.V2數(shù)據(jù)集上的EER值為13.18%。與傳統(tǒng)的眼周識別方法相比，文章提出的眼周識別方法取得了較好的眼周識別效果，為深度神經(jīng)網(wǎng)絡(luò)的眼周識別方法發(fā)展提供持續(xù)動力。

【關(guān)鍵詞】生物特征識別;眼周識別;深度學習;卷積神經(jīng)網(wǎng)絡(luò);殘差學習網(wǎng)絡(luò)

【中圖分類號】TP391.41 【文獻標識碼】A 【文章編號】1674-0688（2021）03-0043-03

0 引言

生物特征識別是指依靠人體固有的生理或者行為特征，通過計算機識別人的身份的一種技術(shù)，具有操作簡單、安全可靠、唯一的身份特性等特點。近年來，少限制情況下的生物特征識別技術(shù)已經(jīng)成為研究熱點。之前的生物特征身份識別技術(shù)都是在受控的場景中使用，這樣會極大地限制使用范圍和使用條件。在此情況下，少限制環(huán)境中的眼周識別技術(shù)可以發(fā)揮更好的識別性能，得到越來越多的關(guān)注。

在常用的生物特征識別技術(shù)中，虹膜識別[1]具有可靠性、準確性特征，人臉識別[2]也在各個場景得到廣泛應(yīng)用，但是在少限制情況下，人臉識別和虹膜識別技術(shù)均存在許多問題，如圖1所示的適用場景。虹膜圖像需要靠近紅外相機獲得，在長距離、低分辨的情況下，虹膜圖像模糊且無法精確識別身份。受新冠肺炎疫情影響，人們出行需要佩戴口罩，人臉大部分區(qū)域被覆蓋，對人臉識別造成影響。眼周區(qū)域通常指眼睛周圍包括皮膚和眉毛的區(qū)域。在少限制情況下，虹膜識別和人臉識別不可用時，眼周識別可以發(fā)揮更好的作用。此外，眼周生物特征也可以與人臉或虹膜融合，提高身份識別性能。研究表明，眼周區(qū)域受年齡[3]和表情變化[4]影響較小。但是匹配眼周圖像仍然是一個具有挑戰(zhàn)性的問題，尤其是在約束較少的環(huán)境下，因為該區(qū)域本身包含的信息比整個面部更少，并經(jīng)常伴隨著高類內(nèi)變化，以及來自眼鏡、頭發(fā)等遮擋。

最近幾年，在計算機視覺任務(wù)中，CNN已經(jīng)成為一種魯棒性、準確性的提取特征工具，在生物特征識別中得到廣泛應(yīng)用。CNN相較于傳統(tǒng)的手工提取特征或者其他基于學習的方法表現(xiàn)出更好的識別性能。因此，希望使用CNN眼周識別方法，以取得更好的性能，解決具有挑戰(zhàn)性的眼周識別問題。

1 相關(guān)工作

不同環(huán)境下的眼周識別算法研究持續(xù)進行，2009年，Park等[5]研究了在各種條件下利用眼周區(qū)域進行人類身份識別的可行性。Bharadwaj等[6]研究發(fā)現(xiàn)在虹膜識別失敗時眼周識別可使用，他們還有一些交叉光譜的眼周識別工作。這些探索性的工作激發(fā)了研究人員深入研究的動力，以不斷提高眼周識別的準確性。2013年，研究人員提出了一種先進的方法，使用眼周圖像的DSIFT特征，利用K-means聚類進行字典學習和表示。這項工作還探索了虹膜和眼周識別的評分級融合，并得到較好的識別結(jié)果。然而，這種方法沒有研究特定于眼周的特征表示，并且使用DSIFT特征對計算資源消耗很大。2015年，Smereka等[4]提出了眼周概率變形模型（PPDM），這個方法提供一個存在于眼周圖像之間潛在形變的噪聲模型。利用相關(guān)濾波器對捕獲的變形進行推斷來匹配眼周對。之后，同一組研究人員改進了他們的基本模型，通過選擇有區(qū)別的分塊區(qū)域來進行更可靠的匹配。這兩種方法在多數(shù)據(jù)集上取得了良好性能。然而，這兩種方法都依賴于基于補丁的匹配方案，因此經(jīng)常違反補丁對應(yīng)關(guān)系，但在實際部署中可能發(fā)生規(guī)模變化或不對齊的抵抗力較低。2017年，Zhao等[7]提出了一個語義輔助的眼周識別框架，這一方法通過增加一個訓(xùn)練語義標簽數(shù)據(jù)的網(wǎng)絡(luò)分支，提高眼周識別性能。2018年，這一團隊又提出了對眼周關(guān)鍵區(qū)域賦予更多權(quán)重，提高眼周識別性能的方法[8]。

深度學習技術(shù)和CNN在計算機視覺和模式識別任務(wù)中的應(yīng)用越來越多?；贑NN的方法在目標檢測、圖像分類、人臉識別、分割等任務(wù)中得到成功應(yīng)用。但是調(diào)查發(fā)現(xiàn)，在眼周識別任務(wù)中只有少量的眼周識別方法采用深度學習技術(shù)提高眼周識別準確度。眼周識別性能需要一直不斷提升，只有這樣，才能滿足真實應(yīng)用的需要。本文設(shè)計了一個基于深度神經(jīng)網(wǎng)絡(luò)的眼周識別方法，在兩個公開的眼周數(shù)據(jù)集上驗證取得較好的眼周識別效果。

2 基于ResNet的眼周識別方法

2.1 眼周識別方法框架

在此介紹基于ResNet20和softmax損失函數(shù)的眼周識別框架。通過研究可知，在深度神經(jīng)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)深度的增加可以獲得更多魯棒性、有辨別力的特征，提高網(wǎng)絡(luò)性能。但是隨著網(wǎng)絡(luò)層數(shù)的增加會帶來梯度爆炸或者消失，為了解決這個問題提出了殘差學習網(wǎng)絡(luò)。在殘差學習網(wǎng)絡(luò)中，復(fù)制一個淺層網(wǎng)絡(luò)的輸出加給深層的輸出，當網(wǎng)絡(luò)特征達到最優(yōu)時，更深層恒等映射任務(wù)就從原來堆疊的層中釋放到新建的恒等映射關(guān)系中，而原來層中的任務(wù)就從恒等映射轉(zhuǎn)為全0。在殘差網(wǎng)絡(luò)中，殘差模塊會在前向過程中幫助網(wǎng)絡(luò)中的特征進行恒等映射，在反向過程中幫助傳導(dǎo)梯度，讓更深的模型能夠成功訓(xùn)練。

為了得到魯棒性、有辨別力的眼周特征，本網(wǎng)絡(luò)框架中使用了基于ResNet20的深度神經(jīng)網(wǎng)絡(luò)提取眼周特征。網(wǎng)絡(luò)中最后FC層得到的特征向量選擇合適的損失函數(shù)對特征向量匹配得到度量匹配分數(shù)，選擇合適的損失函數(shù)能夠提高眼周識別性能?？紤]到眼周區(qū)域是人臉的重要部分，提取到的向量特征有很大的相似性，選擇在人臉識別任務(wù)中廣泛使用的softmax loss作為本文中眼周識別方法的損失函數(shù)，通過實驗驗證取得了較優(yōu)的眼周識別性能。

2.2 訓(xùn)練和測試數(shù)據(jù)增強方法

為了提高網(wǎng)絡(luò)的通用性和特征有效性，我們在訓(xùn)練過程中采用了以下常用的數(shù)據(jù)增強技術(shù)。

（1）訓(xùn)練數(shù)據(jù)增強。全部訓(xùn)練圖像的大小都被調(diào)整為224像素×224像素，使用PyTorch中的圖像處理方法隨機調(diào)整圖像亮度、對比度、色調(diào)、飽和度，使用OpenCV中的圖像處理方法把眼周BGR圖像轉(zhuǎn)換成HSV圖像等，從而增加訓(xùn)練時的眼周數(shù)據(jù)量。

（2）測試數(shù)據(jù)增強。本文網(wǎng)絡(luò)框架中可以接受的輸入圖像的大小為224像素×224像素，所以全部的測試圖像被調(diào)整為224像素×224像素。

3 實驗配置和結(jié)果分析

3.1 實驗訓(xùn)練和測試配置

本文的眼周實驗我們使用UBIPr[9]、UBIRIS.V2[10]兩個公開的眼周數(shù)據(jù)集。為了得到更好的眼周識別性能，在這兩個數(shù)據(jù)集中把數(shù)據(jù)集按照3∶7的比例分為訓(xùn)練集和測試集，在訓(xùn)練集和測試集中人的性別與年齡信息分布合理，這樣可以達到最接近真實場景的眼周識別性能。實驗使用PyTorch開源框架實現(xiàn)本文中的眼周識別網(wǎng)絡(luò)框架，本文中網(wǎng)絡(luò)的超參數(shù)有權(quán)重0.000 5，學習率為0.01，動量為0.5，訓(xùn)練時的批次大小為128，整個訓(xùn)練有500個epochs。整個實驗在單塊12 GB的TITAN Xp GPU上進行。

3.2 性能度量和實驗結(jié)果分析

為了驗證本文提出的基于深度神經(jīng)網(wǎng)絡(luò)的眼周識別方法，我們在實驗中使用TensorBoard工具對得到的眼周性能指標進行可視化實驗，對定量和定性的眼周識別性能進行分析。本文使用EER、ROC曲線、F? ?1值對在本網(wǎng)絡(luò)框架中使用的兩個眼周數(shù)據(jù)集得到的實驗結(jié)果度量眼周識別性能。實驗中，眼周識別錯誤率指標用EER表示，EER值可以定量評價眼周識別性能，EER數(shù)值越小，則眼周識別的準確率就越高，代表眼周識別性能越好。

在UBIPr、UBIRIS.V2眼周數(shù)據(jù)集上實驗得到的EER（如圖2所示）。從圖2可知，UBIPr經(jīng)過實驗訓(xùn)練的EER值為8.19%，UBIRIS.V2的EER值為13.18%。在眼周識別實驗中，F(xiàn)1值越大代表眼周識別性能越好，通過實驗得到UBIPr、UBIRIS.V2眼周數(shù)據(jù)集的F1值如圖3所示。ROC曲線指受試者工作特征曲線、接收器操作特性曲線（Receiver Operating Characteristic Curve），是反映敏感性和特異性連續(xù)變量的綜合指標，是用構(gòu)圖法揭示敏感性和特異性的相互關(guān)系。實驗中，ROC曲線下的面積AUC越大則識別的準確性就越高。在實驗的ROC曲線圖中，F(xiàn)PR值為圖中X坐標，TPR值為圖中Y坐標，繪制出ROC曲線。其中，F(xiàn)PR值為代表將負樣本錯誤分為正樣本的概率，TPR值是將正樣本正確分為正樣本的概率。

FPR越大，預(yù)測正樣本中實際負樣本越多;TPR越大，預(yù)測正樣本中實際正樣本越多，理想情況是TPR=1，F(xiàn)PR=0。通過實驗得到UBIPr、UBIRIS.V2眼周數(shù)據(jù)集的ROC曲線如圖4所示。

通過實驗結(jié)果評價眼周識別性能的EER、F? 1-SCORE和ROC曲線圖可知，相較于傳統(tǒng)的提取特征的眼周識別方法，本文基于ResNet20和softmax損失函數(shù)的眼周識別框架這一深度神經(jīng)網(wǎng)絡(luò)的眼周識別方法取得較好的眼周識別效果。

4 結(jié)語

本文提出了一個基于深度神經(jīng)網(wǎng)絡(luò)ResNet20和softmax的眼周識別框架，通過在兩個公開的眼周數(shù)據(jù)集UBIPr、UBIRIS.V2，實驗得到較好的眼周識別性能，在以后的研究中致力于通過研究深度神經(jīng)網(wǎng)絡(luò)，不斷提高眼周識別性能。

參 考 文 獻

[1]Ma L，Tan T，Wang Y，et al.Efficient iris recognition by characterizing key local variations[J].Tra-nsactions on Image processing，2004，13（6）：739-750.

[2]Taigman Y，Yang M，Ranzato M A，et al.Deepface：Closing the gap to human-level performance in face verification[C]//Proceedings of the conference on computer vision and pattern recognition，2014：1701-1708.

[3]Juefei-Xu F，Luu K，Savvides M，et al.Investigating age invariant face recognition based on periocular biometrics[C]//2011 International Joint Conference on Biometrics（IJCB），2011：1-7.

[4]Smereka J M，Boddeti V N，Kumar B V K V.Probabilistic deformation models for challenging periocular image verification[J].Transactions on Information Forensics and Security，2015，10（9）：1875-1890.

[5]Park U，Ross A，Jain A K.Periocular biometrics in the visible spectrum：A feasibility study[C]//2009 IEEE 3rd international conference on biometrics：theory，applications，and systems，2009：1-6.

[6]Bharadwaj S，Bhatt H S，Vatsa M，et al.Periocular biometrics：When iris recognition fails[C]//2010 fourth IEEE international conference on Biometrics：Theory，Applications and Systems（BTAS），2010：1-6.

[7]Zhao Z，Kumar A.Accurate periocular recognition under less constrained environment using semantics-assisted convolutional neural network[J].Tran-sactions on Information Forensics and Security，2016，12（5）：1017-1030.

[8]Zhao Z，Kumar A.Improving periocular recognition by explicit attention to critical regions in deep neural network[J].Transactions on Information Forensics and Security，2018，13（12）：2937-2952.

[9]Padole C N，Proenca H.Periocular recognition：An-alysis of performance degradation factors[C]//2012 5th IAPR international conference on biometrics（ICB），2012：439-445.

[10]Proenca H，F(xiàn)ilipe S，Santos R，et al.The UBIRIS.v2：A database of visible wavelength iris images captured on-the-move and at-a-distance[J].Tra-nsactions on Pattern Analysis and Machine Intelligence，2009，32（8）：1529-1535.