基于CapsuleNet架構(gòu)的模糊指紋圖像識別

袁穎 李論 楊英倉

摘 ?要： 指紋識別是目前應(yīng)用最廣泛的生物特征識別技術(shù)之一，傳統(tǒng)指紋識別技術(shù)中為了使原始指紋圖像特征更易于被當(dāng)前的計算方法處理，需要對指紋圖像特征點標(biāo)畫，為輸入數(shù)據(jù)設(shè)計好表示層，再仿射變換到另一個表示空間，難以得到模糊指紋圖像所需要的精確表示。本文采用膠囊神經(jīng)網(wǎng)絡(luò)，使用端到端的深度學(xué)習(xí)模型來完成模糊指紋圖像的識別，克服了傳統(tǒng)機器學(xué)習(xí)算法對于感知問題不敏感，以及卷積神經(jīng)網(wǎng)絡(luò)缺乏整體特征的明確信息和最大池化中丟失了有價值的特征信息等劣勢。實驗結(jié)果表明，膠囊神經(jīng)網(wǎng)絡(luò)在模糊指紋圖像處理中具有較高的識別精度。

關(guān)鍵詞： 指紋識別;膠囊神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí)

中圖分類號： TP391. 41 ? ?文獻(xiàn)標(biāo)識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.08.015

本文著錄格式：袁穎，李論，楊英倉. 基于Capsule Net架構(gòu)的模糊指紋圖像識別[J]. 軟件，2020，41（08）：48-51

【Abstract】： Fingerprint identification is currently the most widely used biological characteristic. In traditional fingerprint identification technology， in order to make the fingerprint image feature calculate more easier， method have to sign the fingerprint image feature points， input data design good presentation layer， and affine transformation to another representation space to realize recognition. However this method is hard to get the precise fuzzy fingerprint image features.Capsule neural network in this paper use end-to-end deep learning model to match the fuzzy identification of fingerprint image. This method overcomes the unsensitive problems to perceptual features which is a common problems in the traditional machine learning algorithm. This method also overcomes the lack of clear information and the lost of characteristics of the information in integral pooling in the convolutional neural network. The experimental results show that the capsule neural network has high recognition accuracy in fuzzy fingerprint image processing.

【Key words】： Fingerprint identification; Capsule net; Deep learning

0 ?引言

指紋識別技術(shù)在20世紀(jì)60年代初興起，近年已在民事、司法、安全等領(lǐng)域得到了普遍應(yīng)用，毋庸置疑已經(jīng)成為了目前使用最廣泛的生物特征識別技術(shù)。然而，面臨徒增的模糊指紋圖像，傳統(tǒng)指紋識別技術(shù)的淺層學(xué)習(xí)難以得到模糊指紋識別所需的精確表示，無法滿足實際需求。2010年以后，非定制CPU的速度提高了約5000倍[1]，互聯(lián)網(wǎng)高速發(fā)展高性能圖形芯片誕生，大數(shù)據(jù)、計算機視覺技術(shù)、深度學(xué)習(xí)技術(shù)的出現(xiàn)，為指紋識別的發(fā)展奠定了硬件、算法、數(shù)據(jù)集等各方面的基礎(chǔ)。自此，基于深度學(xué)習(xí)的指紋識別技術(shù)逐漸興起， Wang Yani等人[2]、L. N. Darlow[3]、D. E. Hamdi[4]等大批研究者開始采用深度識別算法對圖像進(jìn)行識別，包括CNN、MENet、CRT等，結(jié)合深度學(xué)習(xí)技術(shù)來解決指紋分類任務(wù)，基于深度學(xué)習(xí)的研究還包括Artificial neural network （ANN）神經(jīng)網(wǎng)絡(luò)[5]、nonlinear back propagation neural network （BPNN）反向神經(jīng)網(wǎng)絡(luò)[6]、linear vector quantization（LVQ） 線性矢量量化[7]、extreme learning machine （ELM）極限學(xué)習(xí)機[8]等。

廣泛研究證明以上神經(jīng)網(wǎng)絡(luò)在計算機視覺方面有顯著成績，但具備缺乏整體特征的明確信息和最大池化中會丟失有價值的特征信息等劣勢，例如CNN。2017年Geoffrey E. Hinton使用經(jīng)過分別訓(xùn)練的多層膠囊系統(tǒng)在MNIST上達(dá)到了最好的性能，并且在識別高度重疊的數(shù)字方面比卷積神經(jīng)網(wǎng)絡(luò)要好得多，訓(xùn)練精確度為99.23%，在Affinist測試集的精確度達(dá)到了79%，遠(yuǎn)遠(yuǎn)超過了CNN的66%[9]。在這之后，相繼有學(xué)者使用膠囊網(wǎng)絡(luò)對不同的研究對象做了新嘗試，例如，C. Xiang[10]、Z. Zhang[11]、Y. Xiong[12]、Yi S[13]、T. Zhao[14]等人都陸續(xù)使用膠囊網(wǎng)絡(luò)對不同圖像進(jìn)行了識別，其中包括虹膜、步態(tài)、車輛圖片等，并取得了良好的效果。

1 ?關(guān)鍵算法原理

膠囊神經(jīng)網(wǎng)絡(luò)自2017年由Google Brain的Geoffrey E. Hinton提出[9]，近年來膠囊網(wǎng)絡(luò)被看作是一種能克服CNN缺點的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，膠囊網(wǎng)絡(luò)是經(jīng)過分別訓(xùn)練的多層膠囊神經(jīng)系統(tǒng)，膠囊就是一組神經(jīng)元，膠囊網(wǎng)絡(luò)是由這些神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)，和其他神經(jīng)網(wǎng)絡(luò)不同得是，膠囊網(wǎng)絡(luò)在特征之間的空間關(guān)系上取得了一些突破，它使原來只能用標(biāo)量來表示的輸入、輸出特征用向量來表示，向量的模的大小來表示特征出現(xiàn)的概率。向量的方向表示特征的位置，這就使得原始特征中涉及的位置信息不容易丟失。

1.1 ?網(wǎng)絡(luò)架構(gòu)

膠囊網(wǎng)絡(luò)的架構(gòu)如圖1所示，一層網(wǎng)絡(luò)被激活時通過轉(zhuǎn)換矩陣對更高級別的膠囊參數(shù)進(jìn)行預(yù)測，當(dāng)多個預(yù)測一致時，一個更高水平的膠囊層開始活躍。在膠囊網(wǎng)絡(luò)中基礎(chǔ)單元是膠囊，就是一系列的神經(jīng)元圖2所示[15]，神經(jīng)元的活躍程度被封裝在了激活的膠囊中，代表某個特定實體的不同屬性。膠囊的長度表示這個特定實體的存在概率，膠囊的方向表示了這個實體的屬性。輸出向量的長度表示了實體存在的可能，輸出的膠囊用一個非線性的壓縮函數(shù)計算如公式1[9]所示。

圖1所示的膠囊網(wǎng)絡(luò)中第一層是二維卷積層，作用是對輸入圖像進(jìn)行空間卷積。用濾波器對輸入圖像進(jìn)行滑動窗卷積，卷積核的數(shù)目為256，卷積核的寬度和長度為9，卷積的步長為1，“valid”指只進(jìn)行有效的卷積，即對邊界不進(jìn)行數(shù)據(jù)填充，激活函數(shù)為relu。第二層為PrimaryCaps即主膠囊層，使用squash函數(shù)作為激活函數(shù)，該層接受卷積層檢測到的基本特征，用于生成特征組合。該層共有32個主膠囊，步長為2，每個主膠囊由8個卷積核組成。第三層DigitCaps層即數(shù)字膠囊層，實際上是全連接層，“in_num”為輸入，每個輸入都是一個標(biāo)量，是前一層神經(jīng)元的輸出，它有“out_num”為輸出神經(jīng)元。膠囊層是將神經(jīng)元的輸出從標(biāo)量擴展到向量。第四層是一個輔助層，用它的長度來代替每個膠囊，為了匹配真實的標(biāo)簽形狀。

1.2 ?向量神經(jīng)元

在膠囊網(wǎng)絡(luò)中神經(jīng)元結(jié)構(gòu)如圖2所示[9]，第一層神經(jīng)元在接收到信號以后，通過連接鏈路參數(shù)進(jìn)行修改加總，b為偏差，σ（z）為激活函數(shù)，最后得出一個輸出值。膠囊網(wǎng)絡(luò)和其他神經(jīng)網(wǎng)絡(luò)的不同之處在于，a1到ak都是有大小和方向的向量，σ（z）為squashing的壓縮函數(shù)作為激活函數(shù)，輸出的值也為向量，一個運算單元為一個膠囊。每一層中都由很多個膠囊構(gòu)成，將輸入數(shù)值一層一層向后傳播。

1.3 ?壓縮函數(shù)

在CapsNets中需用到squashing 函數(shù)即壓縮函數(shù)，表達(dá)式如公式（1）[9]所示， 該函數(shù)是一個非線性的“壓縮”函數(shù)，作用是確保短向量被壓縮到幾乎零的長度，長向量被壓縮到略小于等于1的長度。公式（1）表示第j個膠囊的輸出向量的運算規(guī)則， 為這個膠囊的總輸入向量值， 是總輸入向量的模長，模長只有大小沒有方向。由公式（1）可以看到左邊的第一部函數(shù)的作用是當(dāng) 輸出向量很大的時候，第一部分的值能無限趨近于1，如果 輸出向量的值很小，第一部分的值會約等于0，這樣可以將輸入值壓縮在0-1之間。公式（1）的右邊部分函數(shù)保留了輸入向量的方向，向量的模的大小衡量某個實體出現(xiàn)的概率，模值越大，概率越大。當(dāng) 很小的時候， 的值就等于 ?，當(dāng) 很大的時候， 的值就等于 。

在每一個膠囊網(wǎng)絡(luò)層里的膠囊都會向上述層中的每個不同膠囊中輸出一個向量的局部網(wǎng)格，之后每個網(wǎng)格成員和每個膠囊的變換矩陣被用來組成數(shù)量相同的類，動態(tài)路由就這樣在這個過程反復(fù)循環(huán)。

1.4 ?損失函數(shù)

當(dāng)網(wǎng)絡(luò)在訓(xùn)練時，輸入的特征沒有對應(yīng)的標(biāo)簽，需要把特征值對應(yīng)向量最大的值輸出給全連接層，網(wǎng)絡(luò)就會根據(jù)標(biāo)簽決定輸出值對應(yīng)的向量。底層的膠囊將其輸出傳輸給高層的膠囊，高層的膠囊的向量由底層膠囊預(yù)測出的大量的標(biāo)量信息，輸出的向量的長度表示了預(yù)測的概率。此時就必須定義損失函數(shù)，對于k行向量做如下運算如公式（4）[9]所示。

默認(rèn) 的值為1或0，損失希望正例樣本 預(yù)測在0.9，負(fù)例樣本值 在0.1，該函數(shù)的意義在于如果k行向量屬于當(dāng)前的分類k，就使 大于0.9，否在小于0.1。神經(jīng)網(wǎng)絡(luò)以此來辨別輸入的圖像是否屬于圖片所屬的標(biāo)簽。

2 ?實驗分析

2.1 ?實驗環(huán)境

實驗環(huán)境為Window10 64位系統(tǒng)，中央處理器（CPU） 為Intel（R）Core（TM） i7-8550U 1.80 GHz，內(nèi)存為16 GB，顯卡UDH Graphics 620，實驗工具為VS Code、Jupyter Notebook，編程環(huán)境為Python3.0，開發(fā)平臺為Keras框架 。

2.2 ?指紋數(shù)據(jù)庫構(gòu)建

本數(shù)據(jù)庫名為索科托考文垂數(shù)據(jù)庫（SOCO-Fing）[16]，由來自英國考文垂大學(xué)的Yahaya Isah Shehu和Ariel Ruiz-Garcia等人構(gòu)建，該指紋庫是使用韓國 Secugen HSDU03指紋采集儀收集的圖像。SOCOFing總共包含55273張指紋圖像。所有文件圖像的分辨率為1×96×103（灰度×寬度×高度）。

SOCOFing數(shù)據(jù)集包含了600名非洲被測者的6000個指紋。每個被測者年齡都在18歲以上，每人采集了10個手指的10枚指紋，每張指紋圖像為500dbi分辨率，SOCOFing數(shù)據(jù)庫的標(biāo)簽包含了受測者的具體屬性標(biāo)簽，例如性別、手位和手指名稱等信息。將指紋圖像進(jìn)行Z-cut、模糊和中心旋轉(zhuǎn)，以此來對指紋庫進(jìn)行模糊處理，并根據(jù)變換的大小將數(shù)據(jù)分為簡單（easy）、中等（medium）和復(fù)雜（hard）三個等級，如圖3所示為指紋庫中同一人的同一枚指紋經(jīng)過同一類變換得到的容易、中等、困難指紋圖。

在對每張原始指紋圖像進(jìn)行模糊、中心旋轉(zhuǎn)和z切割3次變換以后，去除所有低質(zhì)量或不可讀的指紋圖像以進(jìn)行質(zhì)量控制，最后我們總共得到了17，934張參數(shù)設(shè)置簡單（easy）的變換圖片，17，067張參數(shù)設(shè)置中等（medium）的變換圖片，14，272張參數(shù)設(shè)復(fù)雜（hard）的變換圖片。之后每張指紋圖以如下的命名規(guī)則進(jìn)行編輯。識別被測者編號分別為：001到600。表示被測者的性別：M -男，F(xiàn) -女。表示手位：左Left或右Right。表示手指的名稱：小指Little，環(huán)指Ring，中指Middle，食指Index，拇指Thumb。指示變換的類型：Obl -模糊、CR -中心旋轉(zhuǎn)或Zcut。文件擴展名：“bmp”為所有圖像的擴展名。

2.3 ?實驗結(jié)果分析

使用imgaug從數(shù)量較少的圖像庫中創(chuàng)造出豐富的數(shù)據(jù)集，imgaug是一個用于機器學(xué)習(xí)實驗中圖像增強的庫，它支持廣泛的增強技術(shù)，允許輕松地結(jié)合各種增強技術(shù)，并在隨機順序或在多個CPU核心上執(zhí)行，有一個簡單而強大的隨機接口，可以增強圖像增強魯棒性較少過擬合，使用了iaa.Affine代碼對圖像進(jìn)行仿射變換，對圖像進(jìn)行縮放、平移、旋轉(zhuǎn)、剪切等操作。對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，載入測試圖像，得到如圖4所示的匹配結(jié)果。

圖4中左側(cè)是從hard庫進(jìn)行變換以后的模糊指紋，其中Input Key是該指紋的標(biāo)簽，該指紋圖片的具體屬性為321__M_Right_index_finger_Obl.BMP，標(biāo)簽為321011，根據(jù)圖5的命名規(guī)則，男性（M）0，女性（F）1，左手（L）是0，右手（R）是1，拇指（Thumb）編碼0 食指（Index）編碼1 中指（Middle）編碼2環(huán)指（Ring）編碼3 小指（Little）編碼4。標(biāo)簽為321011即第321個人的指紋男性右手食指，由以上編碼規(guī)則可以看出input和key值時對應(yīng)的，都是321011，兩張圖的匹配值為99.59%。

神經(jīng)網(wǎng)絡(luò)精度和損失值如圖5所示，橫坐標(biāo)為訓(xùn)練次數(shù)，縱坐標(biāo)為訓(xùn)練損失值和精度，從圖像可以看出測試集精度開始為0.82，經(jīng)過不斷訓(xùn)練最后達(dá)到0.993，損失值最終數(shù)值為0.023。

3 ?結(jié)語

膠囊網(wǎng)絡(luò)在此次用的數(shù)據(jù)庫基礎(chǔ)上表現(xiàn)良好，但在選擇較難（Hard）擴增指紋庫中，有些指紋圖像會出現(xiàn)比不中的情況，這說明網(wǎng)絡(luò)的精度還需要進(jìn)一步提高，此外，膠囊網(wǎng)絡(luò)的運行速度比較慢，網(wǎng)絡(luò)在訓(xùn)練過程中需要好幾個小時，因為其動態(tài)路由是需要在兩個膠囊層之間進(jìn)行信息傳遞，這是一個非常復(fù)雜的過程。然而優(yōu)點是，膠囊網(wǎng)絡(luò)對于特征密集的圖像有出色的表現(xiàn)，對于表征指紋這類高級圖像確實具有顯著的優(yōu)勢，并且可以使用較少的數(shù)據(jù)集訓(xùn)練出良好的精度，膠囊網(wǎng)絡(luò)的動態(tài)路由可以實時根據(jù)預(yù)測結(jié)果調(diào)整權(quán)重，以此來調(diào)整選取的識別圖像的特征。

參考文獻(xiàn)

[1] 弗朗索瓦. 肖萊， 張亮譯. PYTHON 深度學(xué)習(xí)[M]. 人民郵電出版社， 2019（9）： 3-15.

[2] Wang Yani， Wu Zhendong， Zhang Jianwu， Chen Hongli. A robust damaged fingerprint identification algorithm based on deep learning[C]. IEEE Advanced Information Management， Communicates， Electronic and Automation Control Conference （IMCEC）， 2016： 1048-1052.

[3] L. N. Darlow， B. Rosman. Fingerprint minutiae extraction using deep learning[C]. IEEE International Joint Conference on Biometrics （IJCB）. Denver， CO， 2017： 22-30.

[4] D E. Hamdi， I. Elouedi， A. Fathallah， M. K. Nguyuen， A. Hamouda. Combining Fingerprints and their Radon Transform as Input to Deep Learning for a Fingerprint Classification Task[C]. 15th International Conference on Control. Automation， Robotics and Vision （ICARCV）， 2018： 1448-1453.

[5] Yang J C， Park D S. Fingerprint Verification Based on Invariant Moment Features and Nonlinear BPNN[J]. International Journal of Control， 2008， 6（6）： 800-808.

[6] Yang J， Xie S ， Yoon S. el at. Fingerprint Matching Based on Extreme Learning Machine[J]. Neural Computing & Applications. 2013， 22（34）： 435-445.

[7] Kumar， R. Fingerprint Matching Using Rotational Invariant Orientation Local Binary Pattern Descriptor and Machine Learning Techniques[J]. International Journal of Computer Vision and Image Processing. 2017， 7（4）： 51-67.

[8] Adjimi A， Hacine-Gharbi A， Ravier P， el at. Extraction and Selection of Binarised Statistical Image Features for Fingerprint Recognition[J]. International Journal of Biometrics. 2017， 9（1）： 67-80.

[9] Sabour， Sara， Frosst， Nicholas， Hinton， Geoffrey E. Dynamic routing between capsules[J]. Advances in Neural Information Processing Systems. USA. 2017： 3857-3867.

[10] C. Xiang， L. Zhang， Y. Tang， W. Zou and C. Xu. MS-CapsNet： A Novel Multi-Scale Capsule Network[J]. IEEE Signal Processing Letters， 2018， 25（12）： 1850-1854.

[11] Z. Zhang， D. Zhang and H. Wei. Vehicle Type Recognition using Capsule Network[C]. Chinese Control And Decision Conference （CCDC）， China， 2019： 2944-2948.

[12] Y Xiong， G Su， S Ye， Y Sun， Y Sun. Deeper Capsule Network For Complex Data[C]. International Joint Conference on Neural Networks （IJCNN）. Budapest， Hungary， 2019： 1-8.

[13] Ye J， Chang Q， Jia X. Research on Image-to-Image Translation with Capsule Network[C]. Artificial Neural Networks and Machine Learning， Lecture Notes in Computer Science， 2019： 11727.

[14] T Zhao， Y Liu， G Huo and X Zhu. A Deep Learning Iris Recognition Method Based on Capsule Network Architecture[J]. IEEE Access， 2019（7）： 49691-49701.

[15] 陳屹. 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)實戰(zhàn)[M]. 機械工業(yè)出版社， 2019（08）： 266-270.

[16] Yahaya Isah Shehu， Ariel Ruiz-Garcia， Vasile Palade， Anne James. Sokoto Coventry Fingerprint Dataset. Kaggle. [EB/OL] （2018-7-23）[2020-2-29].