基于級聯(lián)神經(jīng)網(wǎng)絡的多任務虹膜快速定位方法

滕 童，沈文忠，毛云豐

上海電力大學 電子與信息工程學院，計算機科學與技術(shù)學院，上海200090

1 引言

在人類身份識別認證的問題上，傳統(tǒng)的身份驗證方法不方便、不安全，而基于生物學特征的生物識別技術(shù)具有普遍性、穩(wěn)定性、安全性的特點，這讓生物識別技術(shù)成為了該領域內(nèi)近年來研究的熱點。其中虹膜識別被認為是最具開發(fā)前景的生物特征識別方法，與其他生物識別技術(shù)相比虹膜識別有著唯一性、穩(wěn)定性、防偽性和非接觸性的優(yōu)點。一個完整的虹膜識別系統(tǒng)由圖像的獲取、虹膜定位、特征提取和識別驗證四個部分組成，其中虹膜定位是非常重要的環(huán)節(jié)，特征提取和識別驗證兩個環(huán)節(jié)都要依賴已經(jīng)定位好的虹膜區(qū)域。虹膜區(qū)域定位的不準確會造成干擾信息的引入，像眼瞼、光斑、睫毛等，還會造成虹膜紋理信息的缺失，因此虹膜區(qū)域定位是否準確對后續(xù)的虹膜特征提取和虹膜識別的準確率有很大的影響，可見虹膜區(qū)域的精確定位對整個虹膜識別系統(tǒng)至關(guān)重要。

為了更準確地定位虹膜區(qū)域，大量的虹膜定位算法被提出。Wildes指出虹膜定位必須對廣泛的邊緣灰度對比敏感，使用低通高斯濾波器平滑圖像進行空間子采樣來隔離虹膜，通過邊緣點投票機制實例化邊緣參數(shù)來定位虹膜邊界[1]。Daugman將虹膜定位看做是圓形的邊緣檢測，通過定義一個積分微分算子確定圓的中心和半徑的參數(shù)來確定瞳孔和虹膜的外邊界[2]。文獻[3]提出了在矩形圖像中檢測點和線替代傳統(tǒng)的邊界圓檢測方法，通過EMD對紋理進行特征提取后基于Mahalanibis的距離找到每個測試樣本的K個最近鄰域，最后對輸出結(jié)果進行投票決策尋找虹膜邊界。文獻[4]提出一種關(guān)鍵點輪廓界定方法，在二值化的虹膜圖像上找到瞳孔邊緣互相間隔120的三個點來確定一個三角形以便尋找虹膜的內(nèi)邊界，接著以內(nèi)圓的參數(shù)圓心和半徑作為Daugman算法的起始點來獲得虹膜的外邊界。文獻[5-6]用HOG構(gòu)建正負樣本的特征向量，通過SVM分類器訓練樣本對虹膜和非虹膜區(qū)域進行分類，然而HOG特征會丟棄掉大部分的判別信息[7]。

由于眼瞼的影響，虹膜的有效區(qū)域不再是瞳孔和虹膜邊緣之間的區(qū)域，而是上下眼瞼和虹膜內(nèi)邊緣與瞳孔外邊緣所圍成的閉環(huán)區(qū)域。顯然，受外界因素的影響，虹膜區(qū)域的分割將變得更加困難以及虹膜邊緣規(guī)則圓假設不再成立[8]。文獻[9]提到通常使用低通濾波器與圖像做卷積運算來減少高頻信號的干擾，接著使用Canny邊緣算子檢測眼瞼的邊緣。EP數(shù)據(jù)集[8]中有大量人工標記作為虹膜分割評估的圖像，在上眼瞼和下眼瞼區(qū)域，EP提供了至少3個關(guān)鍵點用最小二乘法擬合二次曲線作為眼瞼與虹膜的邊界。文獻[10]提出AIPF檢測瞳孔的外邊緣的關(guān)鍵點，AIPF可以沿角度方向執(zhí)行積分投影運算來檢測圖像內(nèi)所有方向的邊緣點，接著用三次貝塞爾曲線擬合關(guān)鍵點。

大量的算法表明，傳統(tǒng)定位算法大多基于虹膜圖像的某一或者某些不變特征計算得到虹膜區(qū)域的內(nèi)外邊界，大都是用規(guī)則圓形作為幾何模板來限定虹膜區(qū)域，如圖1所示。這類算法不能適用梯度值在變化過程中出現(xiàn)局部最值的情況，以及在處理眼睛區(qū)域以外的臉部信息時表現(xiàn)的并不是很穩(wěn)健。此外，這些算法幾乎都是在單一圖像數(shù)據(jù)源上設計，使得算法泛化能力降低。

圖1 用圓形限定虹膜區(qū)域

近幾年，深度學習（Deep Learning）和卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）在計算機視覺任務中取得了不亞于人類的成就，像分類任務[11-13]和定位任務[14-16]。分類任務可以說是定位任務的子任務，定位任務比分類任務要難得多，目標定位不光準確地定位到目標的位置還要清楚地告訴人們定位的是什么。深度學習不再去構(gòu)建單個物體的特征，相反它提取復雜的圖像特征，組合圖像空間上不同區(qū)域的特征信息，依靠這種具有細粒度的空間關(guān)系對目標定位[7]。卷積神經(jīng)網(wǎng)絡在定位任務上能同時兼顧速度和精度，依賴大量豐富的樣本卷積神經(jīng)網(wǎng)絡能完美地解決在不同條件的下拍攝得到的虹膜數(shù)據(jù)集的定位問題。

針對傳統(tǒng)算法的缺陷和CNN在計算機視覺任務中的出色表現(xiàn)，本文提出改進級聯(lián)神經(jīng)網(wǎng)絡的多任務虹膜快速定位方法CINET（Cascade Iris Network）。與大多文獻中所不同的是，文中通過定義邊界框?qū)缒^(qū)域進行定位[5]，以及對虹膜內(nèi)外邊緣進行關(guān)鍵點檢測，包括虹膜左右邊緣點、瞳孔左右邊緣點和瞳孔圓心。通過對大量虹膜數(shù)據(jù)集的學習，CINET能做到對多尺度的虹膜圖像快速定位和關(guān)鍵點檢測，不僅解決了傳統(tǒng)算法在多個不同數(shù)據(jù)集上表現(xiàn)不穩(wěn)健的缺陷，而且大大節(jié)約了計算成本，能夠做到快速、準確地完成虹膜定位和關(guān)鍵點檢測。

2 基于級聯(lián)神經(jīng)網(wǎng)絡的多任務虹膜快速定位

2.1 相關(guān)工作

人類的視覺系統(tǒng)能夠精準地定位到物體的位置，然后確定物體的類別，然而在計算機視覺任務中，在一個場景中找到目標的計算量是很大的，怎樣做到不犧牲精度的前提下減少計算量提高檢測的速度是計算機視覺任務要解決的重要問題。

Region Proposal的提出讓目標檢測有了新的突破，Selective Search[17]和Sliding Window都是常用的方法。本文參考RPN[18]設計出用來檢測候選區(qū)域的全卷積網(wǎng)絡，在網(wǎng)絡頂層的卷積特征圖上采用Sliding Window策略，每個滑動窗口被映射到低維特征同時對物體種類評分和邊界框回歸。與RPN不同的是，本文在考慮多尺度的問題上采取了金字塔策略對圖像進行多尺度變換，而沒有采用“anchor”[18]，主要是因為虹膜的寬高比上沒有很大的變化，形態(tài)較為單一。

候選區(qū)域僅僅只是粗定位，要獲得精確的定位需要對候選框進一步分類和回歸，因此本文設計了多級網(wǎng)絡結(jié)構(gòu)。

2.2 CINET網(wǎng)絡設計

設計卷積神經(jīng)網(wǎng)絡模型在多個數(shù)據(jù)集上進行訓練和評估，卷積層對輸入圖片進行特征提取，全連接層對網(wǎng)絡的輸出進行分類預測和邊界框回歸以及關(guān)鍵點定位。

CINET的網(wǎng)絡結(jié)構(gòu)源自用于人臉檢測模型MTCNN[19]的啟發(fā)，采用了級聯(lián)的卷積神經(jīng)網(wǎng)絡解決目標分類定位和關(guān)鍵點檢測的多任務。網(wǎng)絡結(jié)構(gòu)同樣由三級組成，網(wǎng)絡結(jié)構(gòu)如圖2所示，卷積層使用具有很小感受野的3×3卷積核，這是能夠捕捉空間特征的最小卷積核尺寸[12]，卷積步長固定為1個像素，這相當于卷積層與輸入圖像的每一個像素進行卷積運算，該策略避免了卷積核和步長過大而導致的準確率不高的問題。3×3卷積核的使用也大大減少了參數(shù)數(shù)量，加快了網(wǎng)絡的計算速度。在一些卷積層后進行最大池化下采樣，整個卷積核池化操作不使用Padding策略，所有隱藏層采用ReLU[20]激活函數(shù)替代PReLU[21]。

網(wǎng)絡的第一級為淺層的全卷積網(wǎng)絡，目的是為了輸出檢測目標的候選區(qū)域，命名為C1-Net。淺層的設計靈感來源于ZFNET[22]，ZFNET指出在較淺的網(wǎng)絡層目標特征能夠在很短的訓練時間內(nèi)被激活，網(wǎng)絡達到收斂的狀態(tài)，考慮到檢測目標沒有復雜和突變的特征，C1-Net采用了淺層的全卷積網(wǎng)絡設計，如圖2（a）。

網(wǎng)絡的第二級由卷積層和全連接層構(gòu)成，目的是為了進一步去除類別得分概率低和重疊較多的目標候選框，命名為C2-Net，如圖2（b）。

網(wǎng)絡的第三級也是由卷積層和全連接層構(gòu)成，最終輸出大小為16的全連接層，包含2個類別評分，4個邊框和10個關(guān)鍵點的坐標值，目的是完成對目標的精確定位和關(guān)鍵點的檢測，命名為C3-Net，如圖2（c）。

圖2 CINET結(jié)構(gòu)

CINET每一級的輸入為不同尺寸大小的灰度圖像，不同尺寸的圖像由金字塔策略對圖像進行多尺度變換獲得。由于本文采用的虹膜圖像都為紅外灰度圖像，為單通道像素數(shù)據(jù)，C1-Net的輸入為12×12×1圖像，經(jīng)過卷積層的特征提取和池化層的抽樣，最后通過兩個大小不同的卷積計算輸出檢測目標的類別和位置信息，大小為1×1×2的卷積來預測檢測目標的類別概率，大小為1×1×4的卷積來預測檢測目標邊界框的坐標回歸值，最終通過邊界框回歸校準得到檢測目標的候選框的位置坐標，對邊界框進行非極大值抑制策略（NMS）[7]去除類別得分概率較低和重疊較多的目標候選框；C2-Net的輸入為24×24×1圖像，與C1-Net不同的是經(jīng)過卷積層的特征提取和池化層的抽樣后將圖像特征平鋪為1維向量，經(jīng)過全連接層輸出檢測目標的類別概率和邊界框的坐標回歸值，通過邊界框回歸校準和非極大值抑制進一步得到更為精確的目標候選框；C3-Net與C2-Net原理類似，其輸入圖像的大小為48×48×1，最終網(wǎng)絡輸出目標除了類別概率、邊界框的回歸值外，還將輸出5個關(guān)鍵點位置坐標。

3 實驗評估

本章將詳細描述CINET的在多個數(shù)據(jù)庫上的訓練和評估結(jié)果，不同數(shù)據(jù)庫上虹膜圖像如圖3所示。

圖3 不同數(shù)據(jù)庫中的虹膜圖像

3.1 數(shù)據(jù)庫

泛化能力強的網(wǎng)絡模型在訓練階段對數(shù)據(jù)集的樣本數(shù)量要求非常大，訓練階段需要準備充足的數(shù)據(jù)集來避免過擬合現(xiàn)象，增強網(wǎng)絡對多種數(shù)據(jù)集的適應能力。

CASIA-IrisV1虹膜數(shù)據(jù)庫總共由108類共756幅圖像構(gòu)成；CASIA-IrisV2虹膜數(shù)據(jù)庫由Device1和Device2兩個子集組成，每個數(shù)據(jù)集各包含60類1 200幅虹膜圖像；CASIA-IrisV3數(shù)據(jù)庫包括了700多人1 500多類共22 035幅虹膜圖像，其包括3個子集，分別為Interval、Lamp和Twins；CASIA-IrisV4數(shù)據(jù)庫在CASIA-IrisV3版本上新增3個特色數(shù)據(jù)集，文章選取其中兩個作為訓練數(shù)據(jù)，Thousand和Distance，包含了千人級和遠距離虹膜人臉圖像庫；CASIA-Iris-Fake數(shù)據(jù)庫包含多種類型的假體虹膜圖像；ND_Contact_Data數(shù)據(jù)庫由活體和非活體虹膜圖像構(gòu)成，包括活體虹膜，有紋理和沒有紋理的虹膜圖像。

3.2 訓練

在訓練階段從多個虹膜數(shù)據(jù)庫中挑選了一些質(zhì)量較差的圖像進行訓練，如圖4所示。

圖4 訓練圖像樣本

上述圖像中，有由光線造成的虹膜區(qū)域存在光斑和整體模糊的圖像，有大量眉毛睫毛干擾的圖像，有佩戴美瞳、眼鏡導致虹膜紋理發(fā)生變化的圖像，有在角度上產(chǎn)生虹膜扭曲的圖像。

在訓練過程中，需要完成虹膜與非虹膜的分類，目標邊界框的回歸以及關(guān)鍵點的定位，總體的損失函數(shù)由類別損失、邊界框回歸損失和關(guān)鍵點位置損失的加權(quán)和構(gòu)成：

由于級聯(lián)的網(wǎng)絡目的不同，所以各個損失在不同網(wǎng)絡中的權(quán)重有所不同，在C1-Net和C2-Net中λcls=1，λbox=0.5，λcoord=0；在C3-Net中λcls=1，λbox=0.5，λcoord=0.5。

類別損失函數(shù)通過交叉熵損失定義為：

其中，pi為網(wǎng)絡預測目標類別的概率，為真實虹膜樣本的標簽。

預測邊界框與真實虹膜區(qū)域的偏移量大小，包括邊界框的左上角坐標值和寬高值，將定位視為回歸問題，邊界框回歸損失函數(shù)通過歐幾里德?lián)p失定義為：

關(guān)鍵點預測包括虹膜左右邊緣點、瞳孔左右邊緣點和瞳孔圓心，關(guān)鍵點預測也視為回歸問題，關(guān)鍵點位置損失函數(shù)定義為：

訓練遵循以下的參數(shù)設置，基于反向傳播算法[23]，使用具有動量的小批量梯度下降優(yōu)化函數(shù)來執(zhí)行訓練，批量大小設置為64，動量為0.9，權(quán)重衰減懲罰參數(shù)設置為4×10-3。初始學習率設置為1×10-3，當訓練集的代價函數(shù)停止改善時學習率減少10倍。三個網(wǎng)絡分別在迭代30 000、30 000和50 000次停止。

在多個虹膜數(shù)據(jù)庫上用矩形框?qū)⒑缒^(qū)域標定出來，并在虹膜區(qū)域標注虹膜左右邊緣點、瞳孔左右邊緣點和瞳孔圓心作為5個關(guān)鍵點，然后通過設定截取圖像與標定區(qū)域的交并比大小來選取訓練樣本，樣本包括正樣本、負樣本和中間樣本，具體做法如下：

（1）正樣本：與真實虹膜區(qū)域的交并比大于等于0.65，帶有關(guān)鍵點標簽。

（2）中間樣本：與真實虹膜區(qū)域的交并比介于0.4和0.65之間，帶有關(guān)鍵點標簽。

（3）負樣本：與真實虹膜區(qū)域的交并比小于等于0.3。

在選取樣本過程中舍棄了交并比介于0.3和0.4之間的圖像是由于以下兩個因素：交并比大于等于0.65定義為正樣本，交并比小于等于0.3的定義為負樣本，通過0.65和0.3兩個閾值定義正負樣本能夠做到很好的分類效果；中間樣本的定義是為了和正樣本一起用來對檢測目標的邊界框回歸和關(guān)鍵點定位，之所以選取0.4～0.65的交并比大小，是因為在邊界框回歸的過程中需要保證預測框和真實框之間不能出現(xiàn)太大的偏差才能做到準確的回歸預測，并且能與負樣本有較大區(qū)別，對于網(wǎng)絡訓練時容易區(qū)分。

人臉檢測主要考慮的是整個人臉的輪廓形狀和大小，在現(xiàn)實場景中人臉的特征和周圍的背景信息能較好地區(qū)分開來，而本文需要考慮人臉上除虹膜以外的信息特征，有些眼鏡支架在灰度分布和形狀上與眼睛形狀是相似的?？紤]到這些因素本文擴增了數(shù)據(jù)集，在遠距離虹膜人臉數(shù)據(jù)庫CASIA-IrisV4-Distance中截取了此類圖像作為負樣本，如圖5所示。為了讓訓練數(shù)據(jù)更加豐富多樣，在不同虹膜數(shù)據(jù)庫上截取了訓練樣本，如表1所示。

圖5 佩戴眼鏡的人臉虹膜圖像

表1 網(wǎng)絡訓練集樣本信息

3.3 測試

采用3個訓練好的網(wǎng)絡進行測試。首先，在C1-Net輸出的卷積特征圖的每一個空間位置上生成邊界框的置信度和坐標信息。然后調(diào)整候選區(qū)域尺寸輸入到C2-Net進行進一步的分類和邊框回歸。最終由C3-Net輸出邊界框的置信度和坐標信息以及5個關(guān)鍵點的坐標信息。對每一級網(wǎng)絡的輸出都采取了NMS策略濾除重復的邊界框，節(jié)約了計算時間。

最后，本文從多個圖像庫中隨機選取了2 000幅圖像作為測試集，并且設計了單尺度和多尺度的評估方式。此外，根據(jù)測試輸出的5個關(guān)鍵點和真實標記數(shù)據(jù)計算它們的半徑差值以及瞳孔中心點的歐式距離作為關(guān)鍵點的評估，如圖6所示。

圖6 關(guān)鍵點測試評估

為了分析測試結(jié)果，虹膜定位準確率評估方式由公式（5）計算得到：

其中，TP為真正例，如圖7（a）所示，TN為真負例，F(xiàn)P為假正例，如圖7（b）所示，F(xiàn)N為假負例。由于測試集只含虹膜圖像，因此在測試結(jié)果中TN=0,FN=0。

圖7 虹膜定位樣例

Pi,i∈{1 ,2,3,4,5}，為預測的五個關(guān)鍵點，( C1,r)為真實標記的瞳孔中心和半徑，( C2,R)為真實標記的虹膜中心和半徑。

按照以下的評估標準，將差值小于10個像素單位記為準確結(jié)果。

其中，D_iris為測試與真實標記虹膜半徑差值，D_pupil為測試與真實標記瞳孔半徑差值，D_center為測試與真實標記瞳孔的歐式距離。

所有的測試評估均在Windows 10環(huán)境下搭載AMD Ryzen 5 1600處理器的計算機上完成。

3.3.1 單尺度評估

在單尺度上評估網(wǎng)絡模型的性能，這主要考慮到虹膜的尺寸大小正常情況下在200×200像素附近，在虹膜識別的場景中這個值一般不會發(fā)生大的變化。在3.1節(jié)提到的數(shù)據(jù)庫上，計算了完成標記的虹膜數(shù)量和虹膜直徑均值和標準差，如表2所示。

表2 不同數(shù)據(jù)庫虹膜數(shù)量和尺寸信息

最后，縮放尺度設置為0.062 5，對不同數(shù)據(jù)庫的虹膜圖像進行測試評估，平均準確率（mean Accuracy，mA）為98.7%。最好的結(jié)果可以達到100%的準確率，然而最低結(jié)果只有94.5%，如表3所示。

表3 單尺度上測試評估結(jié)果

3.3.2 多尺度評估

接下來評估多尺度對準確率和測試時間的影響，首先本文統(tǒng)計了不同數(shù)據(jù)庫虹膜圖像尺寸分布情況，可以發(fā)現(xiàn)不同數(shù)據(jù)庫的虹膜圖像的大小分布存在些許差異，如圖8所示。測試包括在單張圖像的幾個縮放尺度上運行模型，最后通過不同尺度在該圖像上進行預測，結(jié)果如表4所示。

表4 多尺度上測試評估結(jié)果

圖8 不同數(shù)據(jù)庫虹膜尺寸數(shù)量分布

多尺度與單尺度測試在準確率和時間上的對比結(jié)果如表5所示。結(jié)果表明在多尺度上的測試結(jié)果明顯優(yōu)于單尺度，mA=99.9%。最顯著的是在Interval上準確率提升了5.3%，在測試時間上也有略微的減少，除了在Distance分辨率較大的圖像上測試時間增加了3.3 ms。總體來說，多尺度評估在達到高的準確率的同時還能兼顧實時性。

表5 多尺度與單尺度的評估結(jié)果對比

根據(jù)公式（6），多尺度的關(guān)鍵點測試結(jié)果如圖9和表6所示，可以發(fā)現(xiàn)CINET可以對多類虹膜圖像進行精準的定位和關(guān)鍵點的檢測，不僅包括受到睫毛和光斑干擾的圖像，由于角度造成形變和受到眼鏡片干擾的圖像，佩戴美瞳和隱形眼鏡虹膜紋理發(fā)生變化的圖像，而且還包括遠距離虹膜人臉圖像。

圖9 不同數(shù)據(jù)庫虹膜和關(guān)鍵點定位

表6 關(guān)鍵點測試結(jié)果

最后，本文還對比了其他幾種虹膜定位算法，其準確率和時間測試對比結(jié)果如表7所示，可以發(fā)現(xiàn)CINET的評估結(jié)果要優(yōu)于這些算法。

4 結(jié)束語

本文提出CINET，一種多任務虹膜快速定位模型，通過在多個類別虹膜數(shù)據(jù)庫上訓練本文的模型，可以完成對虹膜區(qū)域的定位和關(guān)鍵點的檢測。本文的方法是基于深度學習的目標檢測模型，適應于不受限場景下拍攝的虹膜圖像定位檢測，能夠?qū)崿F(xiàn)快速準確的檢測效果，最終CINET在多個類別虹膜數(shù)據(jù)庫上定位和關(guān)鍵點檢測的最好結(jié)果分別可以達到100%和99.7%的準確率。在未來的工作中打算研究一個更小的網(wǎng)絡來完成多任務檢測，以及探究增加關(guān)鍵點的個數(shù)與網(wǎng)絡性能之間的聯(lián)系，同時將在網(wǎng)絡中增加虹膜活體檢測的任務，能夠在一個網(wǎng)絡中實現(xiàn)更多任務的目標。