基于深度學(xué)習(xí)的小面積指紋匹配方法

張永良，周 冰，詹小四，裘曉光，盧天培

(1.浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310023； 2.浙江外國(guó)語(yǔ)學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310024；3.杭州易和網(wǎng)絡(luò)有限公司，杭州 310012)

基于深度學(xué)習(xí)的小面積指紋匹配方法

張永良1*，周 冰1，詹小四2，裘曉光3，盧天培1

(1.浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310023； 2.浙江外國(guó)語(yǔ)學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310024；3.杭州易和網(wǎng)絡(luò)有限公司，杭州 310012)

針對(duì)傳統(tǒng)的基于細(xì)節(jié)特征點(diǎn)的指紋匹配方法多適用于采集面積較大的指紋，在面向智能手機(jī)端的小采集面積指紋時(shí)準(zhǔn)確率明顯下降的問(wèn)題，提出一種基于深度學(xué)習(xí)的小面積指紋匹配方法。首先,提取指紋圖像的細(xì)節(jié)特征點(diǎn)信息; 其次, 搜索和標(biāo)定感興趣紋理區(qū)域(ROI); 然后, 構(gòu)建并改進(jìn)基于殘差結(jié)構(gòu)的輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，通過(guò)采用二值化特征模式優(yōu)化網(wǎng)絡(luò)和Triplet Loss方式訓(xùn)練模型; 最后, 制定一種智能手機(jī)端注冊(cè)-匹配策略實(shí)現(xiàn)小面積指紋匹配。實(shí)驗(yàn)結(jié)果表明，提出方法在公開(kāi)庫(kù)FVCDB1與自建數(shù)據(jù)庫(kù)上的等錯(cuò)率(EER)分別僅為0.50%與0.58%，遠(yuǎn)低于傳統(tǒng)的基于細(xì)節(jié)特征點(diǎn)的指紋匹配方法，能夠有效提升小面積指紋匹配的性能，更好地滿足智能手機(jī)端的應(yīng)用需求。

指紋匹配; 深度學(xué)習(xí); 卷積神經(jīng)網(wǎng)絡(luò); Triplet Loss

0 引言

隨著移動(dòng)互聯(lián)網(wǎng)和智能手機(jī)的快速發(fā)展，移動(dòng)支付已成為支付領(lǐng)域的新寵。自蘋(píng)果公司于2013年將Touch ID集成到智能手機(jī)以來(lái)，各大互聯(lián)網(wǎng)巨頭紛紛推出指紋支付方案，例如Apple Pay、Samsung Pay和支付寶錢(qián)包等。其中，基于指紋識(shí)別的移動(dòng)終端用戶身份認(rèn)證方式應(yīng)用得最為廣泛。尤其是在互聯(lián)網(wǎng)新經(jīng)濟(jì)、新金融的背景下，指紋識(shí)別不再局限于解鎖手機(jī)這一應(yīng)用場(chǎng)景，而是被更好地嫁接于安全支付等領(lǐng)域，充分體現(xiàn)其安全、穩(wěn)定、方便、高效的優(yōu)點(diǎn)。此外，從便捷性、用戶接受度、技術(shù)成熟度等方面綜合考慮，指紋識(shí)別技術(shù)相對(duì)于人臉、虹膜等其他生物特征技術(shù)也具有較大的優(yōu)勢(shì)。目前，指紋識(shí)別技術(shù)已經(jīng)成為應(yīng)用于智能手機(jī)終端最為成熟的基于生物特征的身份認(rèn)證與支付交易認(rèn)證技術(shù)。

然而，由于應(yīng)用環(huán)境的特殊性，面向智能手機(jī)的指紋識(shí)別技術(shù)依然存在著一些關(guān)鍵問(wèn)題需要解決。與傳統(tǒng)的指紋采集儀不同，嵌入到智能手機(jī)的采集儀通常都比較小，例如蘋(píng)果公司的Touch ID指紋采集儀僅僅6.35 mm×6.35 mm[1]。因此，利用智能手機(jī)內(nèi)嵌的指紋采集儀采集到的指紋圖像的面積通常都比較小，普遍都在160×160像素以下，一般只有正常指紋面積的30%～60%，所包含的細(xì)節(jié)特征點(diǎn)數(shù)目也較少[2]，如圖1所示。已有研究表明，隨著指紋采集儀面積的減小，傳統(tǒng)的基于細(xì)節(jié)點(diǎn)的指紋識(shí)別方法由于捕捉到的細(xì)節(jié)點(diǎn)過(guò)少導(dǎo)致性能下降得比較厲害[1-7]。本文的測(cè)試結(jié)果表明，傳統(tǒng)的基于細(xì)節(jié)點(diǎn)比對(duì)的指紋比對(duì)算法在小面積指紋(160×160像素)樣本庫(kù)的準(zhǔn)確率只有74.34%左右，遠(yuǎn)達(dá)不到實(shí)際應(yīng)用需要。

圖1 移動(dòng)端指紋采集儀尺寸及細(xì)節(jié)特征點(diǎn)分布Fig. 1 Fingerprint sensor size on mobile device and minutiae overlaid on a small-size fingerprint

小面積指紋識(shí)別是面向智能手機(jī)的指紋識(shí)別需要解決的一個(gè)關(guān)鍵問(wèn)題。早期的小面積指紋識(shí)別研究主要還是借助于細(xì)節(jié)點(diǎn)信息實(shí)現(xiàn)匹配的目的： Jea等[8]利用從細(xì)節(jié)點(diǎn)導(dǎo)出的輔助特征結(jié)合基于流量網(wǎng)絡(luò)(flow network)的匹配技術(shù)來(lái)實(shí)現(xiàn)小面積指紋匹配； Girgis等[9]提出基于圖匹配理論的小面積指紋比對(duì)方法，并利用遺傳算法來(lái)改善脊線形變和彈性形變對(duì)指紋匹配所造成的不良影響； Chen等[4]把小面積指紋的面積信息用來(lái)進(jìn)行小面積指紋識(shí)別; 此外，pore-valley描述子[10]、重構(gòu)全局特征[11]的方法也都被用于小面積指紋識(shí)別領(lǐng)域。

與上述方法中所關(guān)注的小面積指紋相比，智能手機(jī)上的指紋采集儀所采集到的指紋面積更小，包含更少的細(xì)節(jié)點(diǎn)，這使得基于細(xì)節(jié)點(diǎn)匹配或者重構(gòu)全局特征的方法的性能受到很大影響。為了解決這一問(wèn)題，近來(lái)科研工作者開(kāi)始嘗試從圖像匹配的角度研究面向智能手機(jī)的小面積指紋識(shí)別問(wèn)題。該類方法主要包括：

1)基于相關(guān)系數(shù)的方法[12]。該類方法主要利用指紋圖像本身的信息，逐個(gè)像素地計(jì)算兩幅指紋之間的相關(guān)系數(shù)。

2)基于紋理特征的方法[2,13]。該類方法利用尺度不變特征變換(Scale Invariant Feature Transform, SIFT)或者加速-風(fēng)(Accelerated-KAZE, A-KAZE)來(lái)提取指紋圖像的紋理特征，進(jìn)而通過(guò)紋理特征實(shí)現(xiàn)指紋匹配。

3)基于感知哈希算法的方法[14-16]。該類方法主要利用哈希編碼和圖像塊匹配的思想，計(jì)算兩幅指紋圖像的相似程度。

4)基于相位相關(guān)的方法[17]。該類方法利用兩幅指紋圖像的相位差進(jìn)行逆傅里葉變換，實(shí)現(xiàn)基于相位相關(guān)的指紋匹配。

最近，Zhang等[18]提出了一種針對(duì)手機(jī)端的深度學(xué)習(xí)方法，其主要思想：在訓(xùn)練階段采用K最近鄰(K-Nearest Neighbor,KNN)方法選取合適的三元組作為訓(xùn)練樣本；同時(shí)，在網(wǎng)絡(luò)中融入Triplet Loss和Softmax Loss代替常規(guī)的只采用一種Loss進(jìn)行優(yōu)化，該算法在其自建庫(kù)上等錯(cuò)率(Equal Error Rate, EER)達(dá)到1.94%。

綜上所述，針對(duì)智能手機(jī)的小面積指紋識(shí)別研究才剛剛開(kāi)始，相關(guān)工作還比較少，特別是受限于手機(jī)端的硬件環(huán)境，基于深度學(xué)習(xí)理論的指紋匹配算法更加稀少。因此對(duì)小面積指紋識(shí)別進(jìn)行深入研究，有助于提高基于指紋識(shí)別的智能手機(jī)身份認(rèn)證方案的安全性和可靠性。據(jù)此，本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)與注冊(cè)模板的小面積指紋匹配方法。實(shí)驗(yàn)結(jié)果表明，本文方法有效提高了小面積指紋匹配的準(zhǔn)確率和魯棒性。

本文的主要貢獻(xiàn)：

1)構(gòu)建一個(gè)基于殘差結(jié)構(gòu)的深度網(wǎng)絡(luò)模型，克服特征描述子設(shè)計(jì)過(guò)程中需要專家先驗(yàn)知識(shí)的困難，通過(guò)學(xué)習(xí)自動(dòng)提取判別特征；

2)借鑒智能手機(jī)指紋“注冊(cè)-認(rèn)證”模式，提出一種基于注冊(cè)模板的小面積指紋匹配方法；

3)改進(jìn)與優(yōu)化現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)，在降低特征復(fù)雜度的同時(shí)增加特征的有效表達(dá)能力，在保證算法性能不下降的前提下，提高匹配速度與效率。

1 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型

隨著智能移動(dòng)終端的迅速發(fā)展，關(guān)于如何構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型并移植到智能移動(dòng)終端上的研究也受到了廣泛關(guān)注，科研工作者提出了一系列的方法，如文獻(xiàn)[19-21]。此外，一些深度學(xué)習(xí)平臺(tái)，如MXNet，已經(jīng)支持把訓(xùn)練好的網(wǎng)絡(luò)移植到手機(jī)端。因此，針對(duì)現(xiàn)有的大部分指紋匹配方法對(duì)小面積指紋匹配的性能無(wú)法適應(yīng)實(shí)際使用需求，以及充分模擬移動(dòng)端指紋注冊(cè)與識(shí)別的流程，本文提出了一種基于深度學(xué)習(xí)的小面積指紋匹配方法。該方法采用深度殘差網(wǎng)絡(luò)模型結(jié)構(gòu)，有效避免訓(xùn)練誤差和測(cè)試誤差隨著網(wǎng)絡(luò)層數(shù)加深而增大的情況，實(shí)現(xiàn)對(duì)指紋圖像進(jìn)行更高等級(jí)特征的描述，網(wǎng)絡(luò)模型的具體訓(xùn)練過(guò)程如圖2所示。

圖2 網(wǎng)絡(luò)模型訓(xùn)練流程Fig. 2 Training procedure of the proposed CNN

1.1 細(xì)節(jié)特征點(diǎn)提取

采用傳統(tǒng)的細(xì)節(jié)特征提取算法提取小面積指紋中的細(xì)節(jié)特征點(diǎn)(端點(diǎn)、分叉點(diǎn))的坐標(biāo)、方向、質(zhì)量等信息，細(xì)節(jié)特征點(diǎn)如圖3所示。

圖3 細(xì)節(jié)特征點(diǎn)的坐標(biāo)和方向Fig. 3 Coordinates and directions of minutiae

1.2 確定感興趣區(qū)域及歸一化

在獲取一幅圖像的細(xì)節(jié)特征點(diǎn)之后，以細(xì)節(jié)點(diǎn)為中心，對(duì)指紋圖像進(jìn)行旋轉(zhuǎn)歸一化，將細(xì)節(jié)點(diǎn)的方向統(tǒng)一旋轉(zhuǎn)到45°角，然后截取尺寸為64×64的圖像塊Bi，并記上標(biāo)簽(即在同一個(gè)手指的多幅指紋圖像中，同一個(gè)特征點(diǎn)對(duì)應(yīng)的感興趣圖像塊記上相同的標(biāo)簽)，并進(jìn)行以下處理：

1)感興趣圖像塊篩選。

為了削弱低質(zhì)量樣本對(duì)算法模型的影響，有必要計(jì)算每個(gè)Bi的有效指紋面積，方法如下：對(duì)于每個(gè)Bi，使用sobel算子對(duì)其提取邊緣信息，然后使用9×9圓形模板對(duì)邊緣圖像進(jìn)行閉運(yùn)算，得到作為有效指紋區(qū)域判定的Bi′。若Bi′所占面積比重超過(guò)64×64的60%，則保留對(duì)應(yīng)的Bi；否則，刪去對(duì)應(yīng)的Bi。

2)感興趣圖像塊擴(kuò)充。

為了增加樣本的多樣性，增強(qiáng)算法的魯棒性，防止過(guò)擬合現(xiàn)象，對(duì)1)中篩選后的訓(xùn)練樣本Bi進(jìn)行45°-6°、45°-3°、45°+3°、45°+6°旋轉(zhuǎn)，如圖4所示。

圖4 感興趣圖像塊旋轉(zhuǎn)擴(kuò)充Fig. 4 Augmenting regions of interest with rotation

1.3 卷積神經(jīng)網(wǎng)絡(luò)

鑒于殘差網(wǎng)絡(luò)在ImageNet2015上的優(yōu)越表現(xiàn)，本文提出的卷積神經(jīng)網(wǎng)絡(luò)由一系列殘差結(jié)構(gòu)串聯(lián)而成，其目的是為了有效提取指紋圖像的高階語(yǔ)義特征。一個(gè)基本的殘差結(jié)構(gòu)如圖5(a)所示。其中每個(gè)卷積層后接一個(gè)批歸一化層(Batch Normalization, BN)，在圖中未標(biāo)出，dropout層的丟棄率為0.2。在每個(gè)池化層之后，當(dāng)特征模板的個(gè)數(shù)需要改變時(shí)，為了保證相加運(yùn)算的兩部分長(zhǎng)度相同，需要增加一個(gè)映射層，殘差結(jié)構(gòu)改為如圖5(b)所示。網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖6(a)所示，輸入圖像為64×64，經(jīng)過(guò)一個(gè)5×5卷積層，3個(gè)池化層和13個(gè)殘差結(jié)構(gòu)的運(yùn)算后，得到256個(gè)4×4的特征模板，再經(jīng)過(guò)全連接層后得到一個(gè)1 024維的向量輸出。

圖5 基礎(chǔ)殘差結(jié)構(gòu)改進(jìn)Fig. 5 Improvement original residual module

(1)

其中:(a)+等效于max(0,a)。該式從本質(zhì)上定義了同類樣本和異類樣本之間的距離關(guān)系，其目的在于通過(guò)訓(xùn)練，使得參考樣本與正樣本之間的歐氏距離DisP和參考樣本與負(fù)樣本之間的歐氏距離DisN滿足同類樣本間的距離加上某個(gè)給定的閾值threshold要小于異類樣本間的距離，即:

(2)

1.4 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

浮點(diǎn)型特征通過(guò)使用符號(hào)函數(shù)sign()可以得到整型表示的二值化特征，那么兩組特征之間的相似度可以從余弦距離代替為漢明距離計(jì)算[30-31]：

d(x,y)=∑x[i]⊕y[i]

(3)

其中:⊕表示異或運(yùn)算。但是，由于符號(hào)函數(shù)無(wú)法計(jì)算梯度，導(dǎo)致無(wú)法直接進(jìn)行網(wǎng)絡(luò)優(yōu)化，因此采用tanh()代替sign()來(lái)計(jì)算梯度值。

最終網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化如下：在輸入端增加一個(gè)卷積層；減小中間層的feature map數(shù)目；全連接層替換成二個(gè)1×1的卷積層；新增一個(gè)tanh層進(jìn)行特征二值化操作。網(wǎng)絡(luò)最終輸出128個(gè)8×8尺寸的feature map，即總長(zhǎng)度為8 192的二值特征，并使用Triplet Loss進(jìn)行匹配訓(xùn)練，如圖6(b)所示。

圖6 整體卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)Fig. 6 Improvement overall structure of CNN

2 基于注冊(cè)模板的指紋匹配方法

針對(duì)小面積指紋中包含特征點(diǎn)較少的問(wèn)題以及結(jié)合手機(jī)端“注冊(cè)-認(rèn)證”的常規(guī)模式，本文提出一種注冊(cè)-匹配相結(jié)合的策略，具體流程(如圖7所示)如下：

1)用訓(xùn)練好的模型對(duì)每個(gè)注冊(cè)手指的多幅指紋圖像提取特征，并構(gòu)建注冊(cè)特征模板；

2)用訓(xùn)練好的模型對(duì)每幅待測(cè)指紋圖像提取特征；

3)將待測(cè)指紋圖像特征與所有注冊(cè)特征模板進(jìn)行匹配及計(jì)算相似度，并根據(jù)設(shè)定的相似度閾值判別匹配結(jié)果。

圖7 注冊(cè)/匹配流程Fig. 7 Procedure of registering and matching

2.1 構(gòu)建注冊(cè)模板

根據(jù)訓(xùn)練得到的網(wǎng)絡(luò)模型，構(gòu)建注冊(cè)指紋特征模板。由于指紋采集模塊尺寸較小，每次只能采集到完整指紋的部分信息，因此注冊(cè)過(guò)程中需要采集多張指紋圖像(與目前手機(jī)端指紋注冊(cè)模式類似)，此處設(shè)定單枚手指最大采集張數(shù)為P，實(shí)際有效注冊(cè)圖像數(shù)量為S。同時(shí)，為了獲取注冊(cè)指紋更多的有效信息，注冊(cè)過(guò)程中需要用戶配合指令進(jìn)行相應(yīng)的操作，具體操作如下：第一張注冊(cè)圖像要求將手指的中心位置置于采集儀的采集表面；后續(xù)在注冊(cè)過(guò)程中手指相對(duì)采集儀的位置需要進(jìn)行一些移動(dòng)。具體步驟如下：

假設(shè)Ii表示第i張注冊(cè)的指紋圖像，MIi表示Ii對(duì)應(yīng)的特征點(diǎn)集，F(xiàn)Ii表示Ii對(duì)應(yīng)的特征點(diǎn)集的語(yǔ)義特征集合。

1)當(dāng)采集第1張指紋圖像時(shí)(即N=1時(shí)，其中N表示采集指紋圖像的張數(shù))，判斷采集到圖像的指紋有效面積Areae，若Areae≥thrarea時(shí)，將MI1加入注冊(cè)模板中，此時(shí)注冊(cè)模板中特征點(diǎn)集為MI1，特征模板為FI1。其中thrarea為采集到指紋圖像中指紋有效區(qū)域的閾值；若Areae

2.2 指紋匹配

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

由于目前沒(méi)有公開(kāi)的小面積指紋數(shù)據(jù)庫(kù)，所以暫時(shí)無(wú)法與其他最新的算法進(jìn)行直接公開(kāi)比較。而FVC2000、FVC2002、FVC2004和FVC2006等公開(kāi)庫(kù)都為圖像尺寸較大的指紋庫(kù)(如圖8所示)，一般含有較完整的指紋信息，不能有效衡量本文提出的小面積指紋匹配算法的性能，表1給出了FVC指紋庫(kù)中各個(gè)子庫(kù)的指紋圖像的尺寸等基本信息。因此，為了更好地驗(yàn)證本文算法的有效性，針對(duì)算法性能測(cè)試的實(shí)際需求，構(gòu)建了兩個(gè)小面積指紋數(shù)據(jù)庫(kù)。

圖8 FVC2002指紋圖像樣例Fig. 8 Sample fingerprint image of FVC2002

數(shù)據(jù)庫(kù)1(DB1)為自建庫(kù)，采用晟元AS650電容式指紋儀采集了尺寸僅為160×160的13 433幅指紋圖像(如圖9、10所示)。其中，訓(xùn)練集包括98個(gè)手指的1 731幅指紋圖像；驗(yàn)證集包括80個(gè)手指的1 600幅指紋圖像；注冊(cè)集包括133個(gè)手指的1 330幅指紋圖像，即每個(gè)手指用10幅圖像注冊(cè)成模板；測(cè)試集包括133個(gè)手指的8 772幅指紋圖像。訓(xùn)練集、驗(yàn)證集、注冊(cè)集與測(cè)試集三者之間手指兩兩互斥；注冊(cè)集、測(cè)試集二者之間手指相同，但指紋圖像互斥。具體劃分如表2所列。

表1 FVC2002指紋圖像信息Tab. 1 Fingerprint image information of FVC2002

圖9 晟元電容指紋采集儀(AS650型號(hào))Fig. 9 Shengyuan capacitive fingerprint sensor (Version AS650)

圖10 晟元數(shù)據(jù)庫(kù)指紋圖像樣例Fig. 10 Fingerprint image samples of Shengyuan database表2 晟元自建庫(kù)指紋圖像信息Tab. 2 Fingerprint image information of Shengyuan database

集合采集儀類型圖像尺寸圖像個(gè)數(shù)分辨率/dpi訓(xùn)練集電容160×1601731508驗(yàn)證集電容160×1601600508注冊(cè)集電容160×1601330508測(cè)試集電容160×1608772508合計(jì)——13433—

數(shù)據(jù)庫(kù)2(DB2)為重構(gòu)和擴(kuò)充后的FVC2002DB1(如圖11所示)，其中訓(xùn)練集包括DB1_a中50×8×5幅160×160指紋圖像(即表示共50個(gè)手指，每個(gè)手指含8幅原圖，從每幅原圖中隨機(jī)截取5個(gè)160×160尺寸的圖像，依此類推)(DB1_a和DB1_b分別為FVC2002DB1的兩個(gè)子庫(kù))；驗(yàn)證集包括DB1_b中10×8×5幅160×160指紋圖像；注冊(cè)集包括DB1_a中50×4×5幅160×160指紋圖像；測(cè)試集包括DB1_a中50×4×5幅160×160指紋圖像。其中，訓(xùn)練集、驗(yàn)證集、注冊(cè)集與測(cè)試集三者之間手指兩兩互斥；而注冊(cè)集、測(cè)試集二者之間手指相同，但指紋圖像互斥。具體劃分如表3所列。

圖11 FVC2002DB1重構(gòu)后的指紋圖像樣例Fig. 11 Rebuilt fingerprint image samples of FVC2002DB1表3 本文重構(gòu)FVC2002DB1指紋圖像信息Tab. 3 Rebuilt fingerprint image information of FVC2002DB1

集合采集儀類型圖像尺寸圖像個(gè)數(shù)分辨率/dpi訓(xùn)練集電容160×16050×8×5500驗(yàn)證集電容160×16010×8×5500注冊(cè)集電容160×16050×4×5500測(cè)試集電容160×16050×4×1500合計(jì)——3600—

3.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)的主要模擬環(huán)境為Inter CPU i5-3450 3.1 GHz和4 GB內(nèi)存，將測(cè)試集中每個(gè)手指的每幅指紋圖像與注冊(cè)集中的所有模板進(jìn)行匹配，并采用目前國(guó)際上慣用的指紋匹配算法評(píng)價(jià)指標(biāo)來(lái)衡量本文算法性能，即采用以下指標(biāo)：

1)誤識(shí)率(False Match Rate, FMR)。來(lái)自不同手指的兩幅指紋圖像被錯(cuò)誤地判定為來(lái)自相同手指的概率。

2)誤拒率(False NonMatch Rate, FNMR)。來(lái)自相同手指的兩幅指紋圖像被錯(cuò)誤地判定為來(lái)自不同手指概率。

3)等錯(cuò)率(Equal Error Rate, EER)。當(dāng)誤識(shí)率和誤拒率相同時(shí)，則EER=FMR=FNMR。

4)萬(wàn)分之一誤識(shí)率FMR(0.000 1)。當(dāng)誤識(shí)率FMR為0.000 1時(shí)，對(duì)應(yīng)的誤拒率FMR。

5)匹配率(Match Rate, MR)。MR1表示Top1的準(zhǔn)確率。

6)平均匹配時(shí)間(Average Match Time, AMT)。兩幅指紋圖像之間匹配運(yùn)算所需的平均時(shí)間。

傳統(tǒng)的基于細(xì)節(jié)特征點(diǎn)的指紋匹配方法和是目前比較主流的指紋匹配方法，并在大指紋圖像上擁有良好的性能[32]。本項(xiàng)目團(tuán)隊(duì)早期研發(fā)的一種基于細(xì)節(jié)特征點(diǎn)的指紋圖像匹配算法[32]，在2014年第二屆中國(guó)生物特征識(shí)別競(jìng)賽指紋識(shí)別競(jìng)賽中獲得一等獎(jiǎng)，說(shuō)明該算法針對(duì)大采集面積的指紋具有良好的性能。然而，該算法在小面積的指紋數(shù)據(jù)庫(kù)的測(cè)試中性能下降較為明顯，無(wú)法滿足智能手機(jī)端的應(yīng)用需求。為了增加實(shí)驗(yàn)的說(shuō)服力，本文在晟元數(shù)據(jù)庫(kù)和重構(gòu)后的FVC2002DB1上分別設(shè)計(jì)了4種和5種算法進(jìn)行對(duì)比實(shí)驗(yàn)，比較上述性能指標(biāo)。

在晟元自建庫(kù)上，本文設(shè)計(jì)的4種算法：

1)基于傳統(tǒng)特征點(diǎn)的方法。即在測(cè)試集中任意一張圖片與注冊(cè)集中的任意一張圖片進(jìn)行匹配計(jì)算相似度，并按單張圖相似度高低排序；

2)基于傳統(tǒng)特征點(diǎn)與注冊(cè)策略的方法。即在測(cè)試集中任意一張圖片與注冊(cè)集中的每個(gè)手指10張圖片為一組進(jìn)行匹配計(jì)算相似度，取3個(gè)最大相似度求均值，并按手指排序；

3)本文提出的基于深度神經(jīng)網(wǎng)絡(luò)和注冊(cè)策略的方法；

4)本文提出的基于改進(jìn)深度神經(jīng)網(wǎng)絡(luò)和注冊(cè)策略的方法。

上述四種方法在晟元測(cè)試庫(kù)上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表4所列，受試者工作特征曲線(Receiver Operating Characterisitic curve, ROC)如圖12所示。

表4 幾種算法在晟元數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果Tab. 4 Experimental results on Shengyuan database

圖12 晟元數(shù)據(jù)庫(kù)ROC曲線Fig. 12 ROC of Shengyuan database

在重構(gòu)后的FVC2002DB1上，本文新增一種算法：5)基于傳統(tǒng)特征點(diǎn)的方法，即在測(cè)試集原圖(388×374)中任意一張圖片與注冊(cè)集原圖(388×374)中的任意一張圖片進(jìn)行匹配計(jì)算相似度，并按單張圖相似度高低排序。該方法與上述4種方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表5所列，ROC曲線如圖13所示(因1)算法的性能明顯劣于其他4種算法，比較意義不大，同時(shí)為了ROC曲線更好的整體表達(dá)效果，故將其排除)。

表5 幾種算法在FVC2002DB1數(shù)據(jù)庫(kù)上的測(cè)試結(jié)果Tab. 5 Experimental results on FVC2002DB1

圖13 FVCDB1的ROC曲線Fig. 13 ROC of FVCDB1

深入分析實(shí)驗(yàn)結(jié)果可知：

1)分別對(duì)比表4和表5中算法1)與算法2)，可以證明本文提出的“注冊(cè)模式”策略對(duì)小面積指紋(160×160)匹配算法的有效性。其中算法1性能嚴(yán)重下降是因?yàn)殛稍獢?shù)據(jù)庫(kù)是自建庫(kù)，指紋圖像是用晟元AS650電容式指紋儀采集得到，指紋圖像尺寸較小，僅為160×160。FVC2002DB1是公開(kāi)庫(kù)，其指紋圖像尺寸較大，為388×374，測(cè)試樣本是從388×374中隨機(jī)截取160×160得到的，相互之間的重疊區(qū)域面積很難保證，而基于傳統(tǒng)特征點(diǎn)的匹配方法非常依賴于重疊面積中的細(xì)節(jié)特征點(diǎn)信息。因此在公開(kāi)庫(kù)FVC2002DB1和晟元數(shù)據(jù)庫(kù)上，算法1的性能均較差，實(shí)驗(yàn)結(jié)果是合理的，同時(shí)也突出了在小面積指紋匹配方面，“注冊(cè)模式”的有效性和必要性。

2)分別對(duì)比表4和表5中算法1)、2)與算法3)、4)，證明本文提出的基于深度神經(jīng)網(wǎng)絡(luò)的小面積指紋(160×160)算法比傳統(tǒng)基于細(xì)節(jié)特征點(diǎn)算法，在各項(xiàng)性能指標(biāo)上具備更為明顯的優(yōu)勢(shì)。此外，盡管在大面積指紋上(388×374)，算法5)也取得了不錯(cuò)的效果，但仍遜于本文算法。

3)分別對(duì)比表4和表5中算法3)與算法4)，表明改進(jìn)ResNet網(wǎng)絡(luò)后算法的平均匹配時(shí)間在公開(kāi)庫(kù)FVC2002DB1上從49.78 ms降低至26.21 ms，在晟元數(shù)據(jù)庫(kù)上從50.12 ms降低至26.53 ms，同時(shí)保證其他各項(xiàng)性能指標(biāo)不下降，部分指標(biāo)性能還有所提升，證明了改進(jìn)ResNet的有效性。

實(shí)驗(yàn)結(jié)果表明，在智能手機(jī)端小面積指紋圖像上，僅憑借傳統(tǒng)特征點(diǎn)的匹配算法在各項(xiàng)指標(biāo)上性能明顯下降，已達(dá)不到實(shí)用要求；而本文提出的基于改進(jìn)深度神經(jīng)網(wǎng)絡(luò)的算法在性能上有較為顯著的提升。其中，在晟元數(shù)據(jù)庫(kù)上等錯(cuò)率EER僅為0.58%，萬(wàn)分之一誤識(shí)率FMR(0.000 1)僅為1.39%，Top1準(zhǔn)確率MR1達(dá)到99.57%，每次平均匹配時(shí)間僅為26.53 ms；在FVCDB1數(shù)據(jù)庫(kù)上，EER僅為0.50%，F(xiàn)MR(0.000 1)僅為0.50%，MR1達(dá)到99.50%，每次平均匹配時(shí)間僅為26.21 ms。綜上所述，本文方法在以上各項(xiàng)重要評(píng)價(jià)指標(biāo)上均獲得了良好的性能，達(dá)到手機(jī)端小面積指紋識(shí)別的應(yīng)用要求。

4 結(jié)語(yǔ)

針對(duì)傳統(tǒng)基于細(xì)節(jié)特征點(diǎn)的指紋匹配算法在小面積指紋圖像上普遍存在精度低、魯棒性差等缺點(diǎn)，本文提出一種基于深度學(xué)習(xí)理論的小面積指紋圖像匹配方法。該方法能夠顯著提高小面積指紋匹配的多項(xiàng)重要性能評(píng)價(jià)指標(biāo)，具備較高的準(zhǔn)確率、較強(qiáng)的魯棒性。隨著移動(dòng)互聯(lián)和智能手機(jī)的興起，基于指紋識(shí)別的移動(dòng)終端用戶身份認(rèn)證方式逐漸被廣大用戶所接受，而擁有高精度、高魯棒性的小面積指紋匹配方法必將廣泛應(yīng)用于智能手機(jī)端的指紋解鎖、指紋安全支付等新領(lǐng)域。

References)

[1] FERNANDEZ-SAAVEDRA B, SANCHEZ-REILLO R, ROS-GOMEZ R, et al. Small fingerprint scanners used in mobile devices: the impact on biometric performance[J]. IET Biometrics, 2016, 5(1): 28-36.

[2] MATHUR S, VJAY A, et al. Methodology for partial fingerprint enrollment and authentication on mobile devices[C]// Proceedings of the 9th IAPR International Conference on Biometric. Piscataway, NJ: IEEE, 2016: 1-8.

[3] CHEN F, ZHOU J. On the influence of fingerprint area in partial fingerprint recognition[C]// Proceedings of the 7th Chinese Conference on Biometric Recognition. Berlin: Springer, 2012: 104-111.

[4] CHEN F, LI M, et al. A fusion method for partial fingerprint recognition[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2013, 27(6): 1356009.

[5] 毛元, 馮桂, 湯繼生. 采用八方向Gabor濾波的指紋識(shí)別算法[J]. 華僑大學(xué)學(xué)報(bào)(自然科學(xué)版), 2013, 34(2): 151-155.(MAO Y, FENG G, TANG J S. Fingerprint recognition algorithm based on the eight directions Gabor filter[J]. Journal of Huaqiao University (Natural Science), 2013, 34(2): 151-155.)

[6] 賀穎, 蒲曉蓉. 應(yīng)用Gabor濾波的指紋識(shí)別算法的研究和實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010, 46(12): 172-175. (HE Y, PU X R. Development and implementation of Gabor filterbank-based fingerprint recognition algorithm[J]. Computer Engineering and Applications, 2010. 46(12): 172-175.)

[7] 劉映杰, 馬義德, 馮曉蘭, 等. Gabor濾波器在基于細(xì)節(jié)點(diǎn)的指紋識(shí)別中的應(yīng)用[J]. 計(jì)算機(jī)測(cè)量與控制, 2007, 15(1): 132-134. (LIU Y J, MA Y D, FENG X L, et al. Fingerprint identification preprocessing algorithms based on Gabor filter[J]. Computer Measurement and Control, 2007, 15(1): 132-134.)

[8] JEA T, GOVINDARAJU V. A minutia-based partial fingerprint recognition system[J]. Pattern Recognition, 2005, 38(10): 1672-1684.

[9] GIRGIS M R, SEWISY A A, MANSOUR R F. A robust method for partial deformed fingerprints verification using genetic algorithm[J]. Expert Systems with Application, 2009, 36(2): 2008-2016.

[10] ZHAO Q, ZHANG D, ZHANG L, et al. High resolution partial fingerprint alignment using pore-valley descriptors[J]. Pattern Recognition, 2010, 43(3): 1050-1061.

[11] WANG Y, HU J. Global ridge orientation modeling for partial fingerprint identification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 72-87.

[12] ZANGANEH O, SRINIVASAN B, BHATTACHARJEE N. Partial fingerprint matching through region-based similarity[C]// Proceedings of the 2014 International Conference on Digital Image Computing: Techniques and Applications. Piscataway, NJ: IEEE, 2014: 1-8.

[13] YAMAZAKI M, LI D, ISSHIKI T, et al. SIFT-based algorithm for fingerprint authentication on smartphone[C]// Proceedings of the 2015 6th International Conference of Information and Communication Technology for Embedded Systems. Piscataway, NJ: IEEE, 2015: 1-5.

[14] ZAGORUYKO S, KOMODAKIS N. Learning to compare image patches via convolutional neural networks[C]// Proceedings of the 2015 Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 4353-4361.

[15] HAN X, LEUNG T, JIA Y, et al. MatchNet: unifying feature and metric learning for patch-based matching[C]// Proceedings of the 2015 Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 3279-3286.

[16] JIANG Y, WANG J, CHANG S F. Lost in binarization: query-adaptive ranking for similar image search with compact codes[C]// Proceedings of the 1st ACM International Conference on Multimedia Retrieval. New York: ACM, 2011: 16-23.

[17] SHABRINA N, ISSHIKI T, KUNIEDA H. Fingerprint authentication on touch sensor using phase-only correlation method[C]// Proceedings of the 2016 7th International Conference of Information and Communication Technology for Embedded Systems. Piscataway NJ: IEEE, 2016: 85-89.

[18] ZHANG F D, FENG J F. High-resolution mobile fingerprint matching via deep joint KNN-triplet embedding[C]// Proceedings of the 31st AAAI Conference on Artificial Intelligence. Menlo Park, CA: AAAI Press, 2017: 5019-5020.

[19] KIM Y D, PARK E, YOO S, et al. Compression of deep convolutional neural networks for fast and low power mobile applications[J]. Computer Science, 2015, 71(2): 576-584.

[20] CHEN W, WILSON J, TYREE S, et al. Compressing convolutional neural networks in the frequency domain[C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York: ACM, 2016: 1475-1484.

[21] WANG Y H, XU C, YOU S, et al. CNNpack: packing convolutional neural networks in the frequency domain[EB/OL].[2016- 11- 20].http://papers.nips.cc/paper/6390-cnnpack-packing-convolutional-neural-networks-in-the-frequency-domain.pdf.

[22] BALNTAS V, JOHNS E, TANG L, et al. PN-Net: conjoined triple deep network for learning local image descriptors[EB/OL].[2017- 02- 15].http://xueshu.baidu.com/s?wd=paperuri%3A%28ff8216fda10792903f171174e547f13a%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fabs%2F1601.05030&ie=utf-8&sc_us=13359624053645813751.

[23] LAI H, PAN Y, LIU Y, et al. Simultaneous feature learning and hash coding with deep neural networks[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 3270-3278.

[24] LIN G, SHEN C, HENGEL A V D. Supervised hashing using graph cuts and boosted decision trees[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(11): 2317-2331.

[25] LIONG V E, LU J, WANG G, et al. Deep hashing for compact binary codes learning[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 2475-2483.

[26] LIU W, WANG J, JI R, et al. Supervised hashing with kernels[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 2074-2081.

[27] STRCHA C, BRONSREIN A M, FUA P. LDAHash: improved matching with smaller descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 34(1): 66-78.

[28] ZHAO F, HUANG Y, WANG L, et al. Deep semantic ranking based hashing for multi-label image retrieval[C]// Proceedings of the 2015 Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 1556-1564.

[29] WANG J, KUMAR S, CHANG S F. Semi-supervised hashing for large-scale search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(12):2393-2406.

[30] ZHANG L, ZHANG Y, TANG J, et al. Binary code ranking with weighted hamming distance[C]// Proceedings of the 2013 Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2013: 1586-1593.

[31] GONG Y, LAZEBNIK S, GORDO A, et al. Iterative quantization: a Procrustean approach to learning binary codes for large-scale image retrieval[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2013: 817-824.

[32] ZHANG Y, FANG S, ZHOU B, et al. Fingerprint match based on key minutiae and optimal statistical registration[C]// Proceedings of the 9th Chinese Conference on Biometric Recognition. Berlin: Springer, 2014: 208-215.

This work is partially supported by the Natural Science Foundation of Zhejiang Province (Y1101304).

ZHANGYongliang, born in 1977, Ph. D., associate professor. His research interests include biometric recognition, pattern recognition, artificial intelligence, machine learning.

ZHOUBing, born in 1991, M. S. candidate. His research interests include biometric recognition, machine learning.

ZHANXiaosi, born in 1975, Ph. D., professor. His research interests include image processing, pattern recognition, biometric recognition, machine learning.

QIUXiaoguang, born in 1976, M. S., senior engineer. His research interests include biometric recognition, smart fingerprint lock.

LUTianpei, born in 1996. His research interests include biometric recognition, pattern recognition.

Small-sizefingerprintmatchingbasedondeeplearning

ZHANG Yongliang1*, ZHOU Bing1, ZHAN Xiaosi2, QIU Xiaoguang3, LU Tianpei1

(1.SchoolofComputerScienceandTechnology,ZhejiangUniversityofTechnology,HangzhouZhejiang310023,China;2.SchoolofComputerScienceandTechnology,ZhejiangInternationalStudiesUniversity,HangzhouZhejiang310024,China;3.HangzhouCommnetCompanyLimited,HangzhouZhejiang310012,China)

Focused on the issue that the traditional fingerprint matching methods based on minutiae are mainly applicable for large-size fingerprint and the accuracy rate would reduce significantly when dealing with small-size fingerprint from smart phone, a small-size fingerprint matching method based on deep learning was proposed. Firstly, the detailed information of minutiae was extracted from fingerprint images. Secondly, the Regions Of Interest (ROI) were searched and labeled based on minutiae. Then a lightweight deep neural network was built and improved from original residual module. In addition, binary feature pattern and triplet loss were used to optimize and train the proposed model respectively. Finally, the small-size fingerprint matching was accomplished with the fusion strategy of registration and matching. The experimental results show that the Equal Error Rate (EER) of the proposed method can reach 0.50% and 0.58% on public FVC_DB1 and in-house database respectively, which is much lower than the traditional fingerprint matching methods based on minutiae, and can improve the performance of small-size fingerprint matching effectively and meet the requirements on smart phone.

fingerprint matching; deep learning; Convolutional Neural Network (CNN); triplet loss

2017- 05- 11;

2017- 06- 05。

浙江省自然科學(xué)基金資助項(xiàng)目(Y1101304)。

張永良(1977—)，男，浙江杭州人，副教授，博士，CCF會(huì)員，主要研究方向：生物特征識(shí)別、模式識(shí)別、人工智能、機(jī)器學(xué)習(xí)； 周冰(1991—)，男，浙江寧波人，碩士研究生，主要研究方向：生物特征識(shí)別、機(jī)器學(xué)習(xí)； 詹小四(1975—)，男，安徽桐城人，教授，博士，主要研究方向：圖像處理、模式識(shí)別、生物特征識(shí)別、機(jī)器學(xué)習(xí)； 裘曉光(1976—)，男，浙江杭州人，高級(jí)工程師，碩士，主要研究方向：生物特征識(shí)別、智能指紋鎖； 盧天培(1996—)，男，浙江杭州人，主要研究方向：生物特征識(shí)別、模式識(shí)別。

1001- 9081(2017)11- 3212- 07

10.11772/j.issn.1001- 9081.2017.11.3212

(*通信作者電子郵箱titanzhang@zjut.edu.cn)

TP183

A