基于距離特征和聚類損失的深度學(xué)習(xí)虹膜識別

孫 潔,趙世鵬,苗 盛,郝思媛

(青島理工大學(xué)信息與控制工程學(xué)院,山東 青島266520)

1 引言

由于虹膜具有唯一、穩(wěn)定和非侵犯性的特點(diǎn),在各種生物識別中脫穎而出,被廣泛應(yīng)用于個人身份驗(yàn)證。1993年,Daugman[1]提出了第一個完整的虹膜識別系統(tǒng)。隨后,基于一維Log-Gabor[2]、離散余弦變換(DCT)[3],離散傅立葉變換(DFT)[4]和局部Gabor方向[5]等虹膜識別算法被相繼提出,推動了生物識別技術(shù)的發(fā)展。

近年來,由于深度學(xué)習(xí)在語義分割、圖像檢測和圖像分類方面表現(xiàn)出優(yōu)秀性能,一些基于深度學(xué)習(xí)方法的虹膜識別方法被相繼出現(xiàn),如:Gangwar等[6]提出了兩個CNN模型DeepIrisNet-A和DeepIrisNet-B用于提取虹膜特征;Nguyen等[7]探索了已有的CNN模型(VGG、ResNet和DenseNet等)在虹膜識別方面的性能;Gangwar等[8]創(chuàng)建了用于可見光譜和近紅外光虹膜表示的深度網(wǎng)絡(luò)DeepIrisNet2。

用于分類的深度學(xué)習(xí)方法,進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)常采用交叉熵?fù)p失,但交叉熵?fù)p失并不依賴于特征空間的距離特征信息,使得深度網(wǎng)絡(luò)對距離特征不夠敏感;其次,由于交叉熵?fù)p失對類間信息更加敏感,更關(guān)注正確標(biāo)簽的預(yù)測,而忽略了其它非正確標(biāo)簽的差異,使深度網(wǎng)絡(luò)學(xué)習(xí)的特征比較分散。為解決上述問題,本文構(gòu)建了一個基于距離特征的深度網(wǎng)絡(luò),在網(wǎng)絡(luò)結(jié)構(gòu)中引入距離特征,同時(shí)設(shè)計(jì)了一個聚類損失,使深度網(wǎng)絡(luò)學(xué)習(xí)的同類別虹膜的圖像特征更加聚集。

2 虹膜圖像預(yù)處理

本文對虹膜圖像進(jìn)行了虹膜定位、分割、歸一化、裁剪和直方圖均衡化等預(yù)處理。

原始虹膜圖像如圖1所示,使用開源工具OSIRIS[9]對圖1進(jìn)行虹膜定位、分割及歸一化,結(jié)果如圖2和3所示,本文設(shè)定虹膜歸一化尺寸為60×240。

圖1 原始虹膜圖像

圖2 虹膜定位結(jié)果 圖3 虹膜歸一化結(jié)果

實(shí)驗(yàn)發(fā)現(xiàn),虹膜預(yù)處理后,歸一化的虹膜圖像,通常有四種類型,如圖4所示?？梢钥闯?歸一化的虹膜左側(cè)被眼瞼遮擋嚴(yán)重。

圖4 多數(shù)情況下歸一化的虹膜圖像

為提高虹膜識別的準(zhǔn)確率,本文對歸一化后的虹膜圖像進(jìn)行了裁剪和直方圖均衡化處理。如圖5所示,裁剪歸一化圖像,僅保留歸一化圖像的右半側(cè),尺寸為60×120。另外,為減少光照因素的影響,增強(qiáng)虹膜紋理的對比度,本文對虹膜圖像進(jìn)行直方圖均衡化處理。

圖5 裁剪虹膜和直方圖均衡化

3 本文方法

為了提高類內(nèi)特征聚集性,增加類間特征區(qū)分度,本文構(gòu)建了一個基于距離特征的深度網(wǎng)絡(luò),距離特征網(wǎng)絡(luò)(Distance Feature Network,DFN),將距離特征引入網(wǎng)絡(luò)結(jié)構(gòu),并設(shè)計(jì)了一個聚類損失,改善由交叉熵?fù)p失訓(xùn)練的網(wǎng)絡(luò)所提取的特征較為分散的問題。

3.1 距離特征網(wǎng)絡(luò)

DFN分為兩部分:特征提取器(Feature Extractor,FE)和特征整定器(Feature Tuner,FT)。特征提取器由一個卷積神經(jīng)網(wǎng)絡(luò)(CNN)構(gòu)成,記為f,用于提取虹膜圖像特征。特征整定器,則是對FE提取的虹膜特征進(jìn)行處理,將距離特征引入網(wǎng)絡(luò)結(jié)構(gòu)。

特征提取器結(jié)構(gòu)如圖6所示,該CNN共包含4個卷積層(Conv),卷積核尺寸均為3×3,步長為1,卷積核數(shù)依次為64,128,256和512;在前三個卷積層后,分別連接一個2×2的最大池化層(MaxPool),步長為2;最后一個卷積層則連接一個自適應(yīng)平均池化層(AdaptiveAvgPool),歸一化特征圖尺寸為1×1;最后,將卷積后的圖像特征拉平,經(jīng)全連接層(FC)處理后,可獲取虹膜圖像的特征。

圖6 特征提取器結(jié)構(gòu)

特征整定器結(jié)構(gòu)如圖7所示,本文分別先從每個類別的虹膜圖像中隨機(jī)選取一幅作為模板,利用特征提取器提取這些模板的圖像特征c0,c1,…,cN-1,并按標(biāo)簽順序排列為一個N維方陣C。C中每一行都是一個類別的模板特征,這些特征被用作各類別的特征聚類中心,這樣可省略網(wǎng)絡(luò)訓(xùn)練過程中樣本聚類中心的計(jì)算,減少運(yùn)算量,提高訓(xùn)練效率。

圖7 特征整定器結(jié)構(gòu)

特征提取器f提取虹膜樣本x的特征為z,即有:z=f(x),計(jì)算z與各模板特征間歐式距離的倒數(shù),可以獲取一組距離特征,記作γ=(γ0,γ1,…,γN-1),如式(1)所示

(1)

其中,ci為第i+1類虹膜的模板特征,即方陣C中第i+1行向量;γi表示距離特征γ的第i+1個元素?？梢钥闯?樣本特征距離模板特征越遠(yuǎn),γi的值越小。

然后,將距離特征γ和樣本特征z對應(yīng)位置元素相乘,得到關(guān)聯(lián)特征d,如式(2)所示

d=γ°z

(2)

其中°表示兩個向量對應(yīng)位置元素相乘。此時(shí),樣本特征和模板特征被關(guān)聯(lián)起來。

最后,對關(guān)聯(lián)特征d進(jìn)行余弦標(biāo)準(zhǔn)化[11],獲取用于虹膜識別的特征v,其運(yùn)算過程如式(3)、(4)和(5)所示

(3)

(4)

(5)

其中,α是一個放大系數(shù),用于放大特征取值,本文設(shè)定為10;w是深度網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù),其值由網(wǎng)絡(luò)訓(xùn)練得到。用余弦標(biāo)準(zhǔn)化對虹膜特征進(jìn)行歸一化,不僅將余弦夾角信息引入虹膜特征,而且將特征v的模限定在一個可控區(qū)間。

3.2 聚類損失

為使同類別虹膜的圖像特征聚類更加緊湊,本文提出一個聚類損失L,該損失由距離損失LD和交叉熵?fù)p失LC加權(quán)得到,如式(6)所示

L=0.1×LD+LC

(6)

距離損失LD和交叉熵?fù)p失LC的計(jì)算如式(7)和(8)所示:

(7)

LC=-log(py)

(8)

其中,zy為FE提取的標(biāo)簽為y的虹膜圖像的特征,cy為第y類虹膜的模板特征。距離損失LD將所有同類別虹膜的特征,向同類別模板的特征聚類,減小類內(nèi)散度。py為觀測樣本預(yù)測為真實(shí)標(biāo)簽的概率。

4 實(shí)驗(yàn)和分析

本文實(shí)驗(yàn)采用顯卡NVIDIA Tesla v100提供GPU計(jì)算加速,操作系統(tǒng)為采用Ubuntu 18.04 LTS,深度學(xué)習(xí)框架為基于Python 3.7的paddlepaddle 2.2。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在虹膜數(shù)據(jù)集CASIA-IrisV4的兩個子集CASIA-Iris-Twins和CASIA-Iris-Lamp上進(jìn)行實(shí)驗(yàn),在兩個子集中分別選取了125和275個人,每人10幅虹膜圖像,并按8:2劃分為訓(xùn)練集和測試集,模板集則從訓(xùn)練集隨機(jī)選取。兩個數(shù)據(jù)集中的虹膜圖像如圖8和9所示。

圖8 CASIA-Iris-Twins虹膜數(shù)據(jù)庫

圖9 CASIA-Iris-Lamp虹膜數(shù)據(jù)庫

4.2 本文方法性能分析

DFN的訓(xùn)練參數(shù)為:學(xué)習(xí)率lr=0.001,訓(xùn)練周期epochs=50, 批尺寸Batch＿size=128,優(yōu)化過程采用隨機(jī)梯度下降法。

4.2.1 聚類性能分析

在訓(xùn)練集中隨機(jī)選取20個人,分別用聚類損失L訓(xùn)練的DFN和交叉熵?fù)p失LC訓(xùn)練FE提取虹膜特征,并用t-SNE算法[10]對這些虹膜特征降維和可視化,結(jié)果如圖10和11所示。

圖10 L訓(xùn)練的DFN的虹膜特征聚類圖

可以看出,圖11中同類別虹膜的特征分布較為分散,從而導(dǎo)致類間特征分布不清晰;而本文方法提取的虹膜特征,類內(nèi)分布緊湊,且類間區(qū)分顯著,表現(xiàn)出良好的特征聚類性能。

圖11 LC訓(xùn)練的FE的虹膜特征聚類圖

4.2.2 匹配性能測試

為驗(yàn)證本文方法的匹配性能,將測試集樣本的特征進(jìn)行一對一匹配,以等錯率(EER)為指標(biāo)進(jìn)行評價(jià),其取值越低,則性能越好。測試集樣本產(chǎn)生的匹配信息如表1所示。

表1 測試集樣本匹配信息

實(shí)驗(yàn)采用特征的歐式距離ed進(jìn)行匹配,設(shè)置閾值th判別匹配樣本是否同類別,當(dāng)ed

聚類損失L訓(xùn)練的DFN和交叉熵?fù)p失LC訓(xùn)練FE的FRR和FAR曲線如圖12和13所示,曲線交點(diǎn)即EER的取值。與圖12相比,圖13所示曲線的閾值分布區(qū)間更廣,交點(diǎn)的概率值更高,表明其匹配性能較差。而圖12中曲線的閾值分布區(qū)間較窄,交點(diǎn)的概率值也較小,其性能較好,表明本文方法具有良好的匹配性能。

圖12 L訓(xùn)練的DFN的FAR和FRR曲線

圖13 LC訓(xùn)練的FE的FRR和FAR曲線

本文測試集樣本的識別過程為:將測試集內(nèi)各樣本與訓(xùn)練集內(nèi)所有樣本進(jìn)行匹配,則每個測試集樣本可獲取3200個(訓(xùn)練集樣本數(shù))距離參數(shù),將其中最小的參數(shù)edmin與取得EER時(shí)的閾值thEER進(jìn)行比較,若edmin

4.2.3 消融實(shí)驗(yàn)

為驗(yàn)證本文方法各模塊的作用,以FT和LD為消融變量,進(jìn)行消融實(shí)驗(yàn),可得到四種組合:FE+LC、DFN+LC、FE+L和DFN+L,統(tǒng)計(jì)它們測試集上的ERR和ACC,其結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果

由表2可知,在不使用FT和LD的實(shí)驗(yàn)FE+LC中,測試集的匹配性能和識別性能最差;添加FT或LD后(DFN+LC和FE+L),其性能有明顯改善;同時(shí)使用這兩個模塊的實(shí)驗(yàn)DFN+L,表現(xiàn)出最好的性能?？梢奆T和LD可以有效提高虹膜識別系統(tǒng)的性能,且兩模塊具有互補(bǔ)作用。

4.3 與其它方法進(jìn)行對比

為直觀的反映本文方法的性能,本文在IrisCodeNet[12],DeepIrisNet[6],Log-Gabor[2]和局部Gabor方向[5]等虹膜識別算法上進(jìn)行實(shí)驗(yàn),測試各方法的EER和ACC,與本文方法進(jìn)行對比,其中,IrisCodeNet和DeepIrisNet為深度學(xué)習(xí)方法,DeepIrisNet又分為A和B兩種網(wǎng)絡(luò)結(jié)構(gòu),而Log-Gabor和局部Gabor方向?yàn)閭鹘y(tǒng)的虹膜識別算法。本次實(shí)驗(yàn)結(jié)果如表3所示。

表3 本文方法和其它方法的實(shí)驗(yàn)結(jié)果

由表3可知,和上述其它虹膜識別方法相比,本文方法取得了最低的等錯率和最高的準(zhǔn)確率,表現(xiàn)出最優(yōu)的匹配性能和識別性能。

5 結(jié)論

本文介紹了一種基于距離特征和聚類損失的深度學(xué)習(xí)虹膜識別方法。通過在深度網(wǎng)絡(luò)中引入虹膜特征的距離信息和余弦標(biāo)準(zhǔn)化來整定虹膜樣本的圖像特征;同時(shí)使用一個聚類損失使深度網(wǎng)絡(luò)學(xué)習(xí)的同類別虹膜的圖像特征更加緊湊,克服了交叉熵?fù)p失對類內(nèi)特征信息不敏感的缺點(diǎn)。實(shí)驗(yàn)表明:本文方法具有良好的虹膜匹配性能和識別性能。