基于卷積神經(jīng)網(wǎng)絡(luò)的多光譜掌紋識別技術(shù)

劉雪微，王 磊，章 強(qiáng)，王繼帥，李選普

(1.哈爾濱工業(yè)大學(xué)(威海)信息科學(xué)與工程學(xué)院 山東 威海 264209；2.中國科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所 江蘇 蘇州 215163；3.中南大學(xué) 自動化學(xué)院 湖南 長沙 410083)

0 引言

隨著社會的飛速發(fā)展，生物特征識別技術(shù)作為身份辨認(rèn)的重要支撐技術(shù)逐漸發(fā)展起來，除了已經(jīng)大規(guī)模進(jìn)入市場使用的人臉識別和指紋識別技術(shù)，基于掌紋圖像識別的生物特征識別研究正在興起。掌紋識別技術(shù)的發(fā)展可以解決人臉識別依賴采集環(huán)境以及指紋識別無法全面覆蓋等問題，為身份識別提供了更加適用于市場的方法。掌紋識別的核心在于提取特征，文獻(xiàn)[1]利用形態(tài)學(xué)算子結(jié)合遞歸過程的兩級提取方法提取掌紋線；文獻(xiàn)[2]對Hilditch算法進(jìn)行細(xì)化，采用邊緣跟蹤的方法去除細(xì)枝和短線；文獻(xiàn)[3]提出基于改進(jìn)有限Radon變換(MFRAT)的主線提取算法。這些算法主要針對掌紋線進(jìn)行提取，而對掌紋特征提取不夠全面。近年來，隨著深度學(xué)習(xí)的發(fā)展，文獻(xiàn)[4]利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)對掌紋進(jìn)行識別，在部分公開掌紋數(shù)據(jù)庫中可達(dá)到99%以上的識別率，且不同CNN的識別效果有較大差別。此外，在自然光下所能提取的掌紋特征有限，且皮膚在不同波長光的照射下所反映的信息是不同的[5]。因此，本文提出一種基于CNN的多光譜掌紋識別方法，使用ResNet-18網(wǎng)絡(luò)進(jìn)行特征提取，并將融合后的特征送入SVM分類器，提高了掌紋識別的準(zhǔn)確率。

1 相關(guān)工作

掌紋識別主要對手指末端到手腕部分的手掌圖像進(jìn)行特征提取及分析，因?yàn)檎萍y采集設(shè)備采集的圖片是整張手掌的圖片，所以在特征提取前要進(jìn)行感興趣區(qū)域(ROI)的提取。目前掌紋的定位分割方法主要分為基于正方形的定位分割方法和基于內(nèi)切圓的定位分割方法兩類[6]?；谡叫蔚亩ㄎ环指罘椒▽τ诙ㄎ稽c(diǎn)的要求較高，需要先對圖像進(jìn)行平滑濾波去噪、二值化處理、輪廓跟蹤等基本操作，再對處理過的圖像進(jìn)行關(guān)鍵點(diǎn)定位，并提取感興趣掌紋中心區(qū)域，文獻(xiàn)[7]實(shí)現(xiàn)了基于Harris角點(diǎn)檢測和聚類算法確定關(guān)鍵點(diǎn)并畫出正方形區(qū)域。本文使用基于內(nèi)切圓的定位分割方法，首先用邊緣檢測算法求得手掌圖像的邊緣輪廓圖，依據(jù)手指角度對掌紋圖像進(jìn)行旋轉(zhuǎn)，通過計(jì)算各點(diǎn)到手指的距離求取手掌內(nèi)最大內(nèi)切圓，進(jìn)而獲得其內(nèi)切正方形，分割出掌紋的ROI。掌紋特征提取屬于圖像處理方向，可以使用CNN進(jìn)行掌紋圖像的特征提取。近年來，研究者在人臉識別中應(yīng)用CNN，其識別性能有較大提升，使人臉識別技術(shù)在市場上有了較大規(guī)模的發(fā)展。掌紋識別作為生物特征識別的熱門研究方向，基于CNN的掌紋識別研究也陸續(xù)開展起來。對于一組單光譜掌紋圖片，利用CNN通過卷積層、池化層和連接層的組合以及網(wǎng)絡(luò)參數(shù)的變化，并通過反向傳播和權(quán)重訓(xùn)練最終得到特征向量，在單光譜掌紋數(shù)據(jù)中識別率較高。但因?yàn)閱喂庾V下可提取的掌紋信息有限，需要對多個(gè)光譜下的掌紋進(jìn)行特征提取后完成特征級融合，從而提高識別率。

(1)

其中：a、b、c、d、e、f為融合系數(shù)。

2 關(guān)鍵技術(shù)實(shí)現(xiàn)

2.1 ROI的提取

CASIA多光譜掌紋圖像數(shù)據(jù)庫包含7 200張手掌圖片，100個(gè)人使用非接觸式多光譜成像設(shè)備對雙手在460 nm、630 nm、700 nm、850 nm、940 nm和白光中各采集6張手掌圖片。在采集過程中沒有限定手掌的位置和方向，因此需要對原始圖像進(jìn)行ROI的提取?；趦?nèi)切圓的定位分割方法的圖像預(yù)處理過程如圖1所示，具體步驟如下。1)對掌紋圖像進(jìn)行灰度化，同時(shí)為了更好地將掌紋圖像和背景圖像分離開，獲取原始圖像的灰度直方圖，采用雙峰法對灰度圖像進(jìn)行二值化處理。2)通過對目標(biāo)邊緣進(jìn)行跟蹤處理，順序找出邊緣點(diǎn)，進(jìn)而得到掌紋輪廓圖。根據(jù)掃描圖像時(shí)方向變量的不同，可以分為基于四連通或八連通區(qū)域的輪廓跟蹤。定義方向變量為7，進(jìn)行基于八連通區(qū)域的輪廓跟蹤。3)根據(jù)獲得的輪廓點(diǎn)生成輪廓圖片，并得到一個(gè)近似的橢圓，將原圖片根據(jù)橢圓角度進(jìn)行旋轉(zhuǎn)以盡可能地將手掌放為豎直。4)基于距離變換得到手掌中心，并根據(jù)最大半徑畫出手掌的內(nèi)切圓，已知圓的半徑和圓心坐標(biāo)，可以根據(jù)ROI提取出內(nèi)切正方形。

圖1 基于內(nèi)切圓的定位分割方法的圖像預(yù)處理過程

本文使用基于內(nèi)切圓的定位分割方法進(jìn)行ROI圖像的提取，通過雙峰法圖像灰度化、輪廓跟蹤、圖像旋轉(zhuǎn)、距離變換和圓內(nèi)切正方形等步驟，可以得到每個(gè)光譜下的ROI圖像，同一手掌在不同光譜下的ROI圖像如圖2所示。

圖2 同一手掌在不同光譜下的ROI圖像

2.2 經(jīng)典CNN的對比

自1998年LeNet網(wǎng)絡(luò)被提出，應(yīng)用基本的卷積層、池化層和全連接層進(jìn)行圖像處理，CNN開始發(fā)展起來，隨后出現(xiàn)了AlexNet、ResNet、DenseNet、VGG系列等CNN，其中AlexNet是早期CNN的代表。近年來，很多學(xué)者結(jié)合其他算法進(jìn)行掌紋識別，文獻(xiàn)[10]使用AlexNet提取特征，結(jié)合豪斯多夫距離進(jìn)行匹配識別，等錯(cuò)誤率在PolyU II數(shù)據(jù)庫中為0.04%。ResNet可以將CNN加深到100層以上，在獲取到較深掌紋信息的同時(shí)可以很好地訓(xùn)練；DenseNet是在ResNet基礎(chǔ)上的進(jìn)一步擴(kuò)展，充分利用了ResNet的跳躍連接，但為了網(wǎng)絡(luò)可以更好地復(fù)用特征，DenseNet中每一層輸出都直接在通道維進(jìn)行連接，再連接到之后的所有層。CASIA白光光譜數(shù)據(jù)庫在AlexNet、DenseNet、ResNet-18、ResNet-34、ResNet-50上訓(xùn)練的識別準(zhǔn)確率如圖3所示。使用CASIA多光譜掌紋數(shù)據(jù)庫中的白光光譜掌紋圖片在不同CNN中進(jìn)行80次訓(xùn)練，記錄后5次的平均值，實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯觯珹lexNet在訓(xùn)練次數(shù)較少時(shí)，識別率基本為0，在訓(xùn)練次數(shù)達(dá)15次左右時(shí)，識別率開始緩慢增長；DenseNet的識別率較低，且在訓(xùn)練過程中達(dá)到最佳效果所需次數(shù)較多，耗時(shí)長；ResNet的識別率均在50%以上，訓(xùn)練20次左右時(shí)可以達(dá)到最佳訓(xùn)練效果，其中ResNet-34的識別率最高，可達(dá)56.46%，比ResNet-18的識別率高0.22%，單次訓(xùn)練時(shí)間長10 s。在三種經(jīng)典CNN中，ResNet的識別率較高，且層數(shù)越深，提取的特征越全面，但是當(dāng)特征提取過于細(xì)致，在數(shù)據(jù)集較小的情況下容易造成過擬合的問題。綜合考慮訓(xùn)練時(shí)間和識別率，ResNet-18更適用于在CASIA數(shù)據(jù)集中進(jìn)行特征提取。

圖3 CASIA白光光譜數(shù)據(jù)庫在不同網(wǎng)絡(luò)上訓(xùn)練的識別準(zhǔn)確率

表1 不同CNN在CASIA白光光譜數(shù)據(jù)庫的訓(xùn)練數(shù)據(jù)

2.3 特征提取

通過CNN構(gòu)建的圖像處理系統(tǒng)不僅能夠有效地減小過擬合，還可以對大像素圖像有很好的識別效果，本文主要應(yīng)用CNN在圖像領(lǐng)域的優(yōu)勢進(jìn)行掌紋識別。通過文獻(xiàn)[4]中不同CNN在多種公開掌紋數(shù)據(jù)庫的識別率對比，選擇ResNet-18對6個(gè)光譜掌紋的圖片進(jìn)行訓(xùn)練，并保存每張圖片經(jīng)過訓(xùn)練好的網(wǎng)絡(luò)后所提取的特征向量。ResNet-18的第一層是輸出通道數(shù)為128、步幅為2、填充為3的7×7卷積層，批量歸一化后連接一個(gè)步幅為2的3×3最大池化層，接下來的殘差塊使用步幅為2的3×3卷積層對數(shù)據(jù)進(jìn)行長和寬的減半。ResNet-18共使用4個(gè)殘差塊結(jié)構(gòu)，每次為2個(gè)殘差塊的連接。由于在進(jìn)入殘差塊時(shí)數(shù)據(jù)已經(jīng)減半，所以對第一個(gè)殘差塊不需要減少長和寬，其余部分都會對長和寬進(jìn)行減半。在殘差塊之后得到1 024個(gè)特征輸出，再加入全局平均池化層，然后接上全連接層進(jìn)行輸出。一般在全連接層前加入dropout函數(shù)，數(shù)值設(shè)為0.5。

由于計(jì)算機(jī)硬件的限制，統(tǒng)一使用124×124像素圖片作為網(wǎng)絡(luò)的輸入。實(shí)驗(yàn)均在Pytorch下進(jìn)行，系統(tǒng)配置為i5 1.6 GHz處理器，Nvidia GeForce MX250顯卡，16 GB內(nèi)存以及Windows10操作系統(tǒng)。默認(rèn)使用Cross-EntropyLoss函數(shù)，Adam優(yōu)化器，學(xué)習(xí)率為5×10-5，訓(xùn)練次數(shù)為30。對6組單光譜掌紋圖像在ResNet-18中進(jìn)行訓(xùn)練，并將網(wǎng)絡(luò)參數(shù)保存，再重載網(wǎng)絡(luò)參數(shù)，輸入多光譜圖片，可以得到7 200張掌紋照片的特征向量。

2.4 多光譜融合并分類

特征級融合是圖像融合的一種，將提取獲得的特征融合產(chǎn)生一幅擁有更加完整可靠信息的圖像，可以更精準(zhǔn)地反映掌紋信息。特征級數(shù)據(jù)融合原理如圖4所示。文獻(xiàn)[11-12]中介紹的像素級融合和決策級融合不能同時(shí)滿足實(shí)時(shí)性和最大程度保留掌紋信息的要求。本文采用特征級融合方法，將單光譜下的掌紋圖片輸入到訓(xùn)練好的6個(gè)ResNet-18中，進(jìn)行全連接層之前的特征提取，每張圖片提取1 024個(gè)特征。對同一張掌紋在不同光譜下的圖片特征進(jìn)行并行融合，融合系數(shù)設(shè)為a=0.1,b=0.1,c=0.2,d=0.2,e=0.2,f=0.2，可以得到1 200個(gè)融合過的特征向量。

圖4 特征級數(shù)據(jù)融合原理

將融合過的特征向量輸入SVM中進(jìn)行分類，SVM的核函數(shù)使用poly核，degree參數(shù)為3，gamma參數(shù)為1，coef0參數(shù)為0。打亂并劃分?jǐn)?shù)據(jù)集，使用數(shù)據(jù)集中80%的數(shù)據(jù)進(jìn)行訓(xùn)練，其余20%的數(shù)據(jù)進(jìn)行驗(yàn)證。單光譜數(shù)據(jù)為測試集在ResNet-18中后5次準(zhǔn)確率的平均值，460 nm、630 nm、700 nm、850 nm、940 nm和白光光譜的準(zhǔn)確率分別為48.18%、34.08%、49.16%、52.66%、56.08%和56.24%。多光譜數(shù)據(jù)為測試集進(jìn)行10組預(yù)訓(xùn)練后的平均值，準(zhǔn)確率可達(dá)98.37%。可以看出，CASIA數(shù)據(jù)庫中單光譜掌紋圖片在ResNet-18中的準(zhǔn)確率結(jié)果總體不高，而使用多光譜掌紋識別技術(shù)的平均準(zhǔn)確率為98.37%，相比于沒有進(jìn)行多光譜融合時(shí)有大幅度提高。因此，多光譜融合之后的分類效果很好, 基于多光譜融合技術(shù)的掌紋識別可以滿足市場需求。單光譜識別率較低主要有以下原因：一是每類圖片只有6張，數(shù)據(jù)集較小，訓(xùn)練網(wǎng)絡(luò)過程中存在過擬合的問題；二是單光譜圖片中所包含的信息少，不能提取到全面的特征進(jìn)行身份驗(yàn)證，導(dǎo)致識別率較低?；贑NN的多光譜掌紋識別技術(shù)將單光譜中的信息通過卷積核提取并進(jìn)行特征級融合，然后使用SVM進(jìn)行分類，將識別率提高到98%以上。但是在代碼運(yùn)行中發(fā)現(xiàn)，制作一套完整的多光譜掌紋識別系統(tǒng)，需要提前對各個(gè)光譜下的圖片進(jìn)行訓(xùn)練，得到網(wǎng)絡(luò)參數(shù)并保存，實(shí)現(xiàn)過程比較復(fù)雜，所需時(shí)間較長。使用本文技術(shù)進(jìn)行身份識別時(shí)，在當(dāng)前硬件設(shè)備條件下需要10 s左右得到對應(yīng)掌紋的身份信息，在實(shí)際應(yīng)用中可以使用更好的硬件設(shè)備進(jìn)行識別。

3 基于多光譜掌紋識別的打卡機(jī)設(shè)計(jì)

目前指紋識別、人臉識別廣泛應(yīng)用于上班打卡中。指紋識別存在以下不足：對環(huán)境的要求很高，對手指的濕度、清潔度等很敏感，臟、油、水都會造成識別不了或影響識別結(jié)果；每次使用指紋時(shí)都會在指紋采集頭上留下用戶的指紋印痕，而這些指紋痕跡存在被用來復(fù)制指紋的可能性；使用指紋識別會存在通過偽造指紋膜進(jìn)行打卡的情況。而對于人臉識別，識別精度較低，其自然性、不易察覺性以及非接觸性也使人臉識別技術(shù)在一些特定領(lǐng)域面臨環(huán)境復(fù)雜性[13]。相對于這兩種識別方法，基于多光譜的掌紋識別受環(huán)境影響小、識別率高且不易偽造。通過將掌紋采集和掌紋識別兩者相結(jié)合，實(shí)現(xiàn)了基于多光譜的掌紋識別打卡機(jī)。其中掌紋采集系統(tǒng)由SCMOS、攝像機(jī)、激光產(chǎn)生器三部分組成，采集過程中對手掌照射不同波長的光，并通過攝像機(jī)拍攝得到同一個(gè)手掌的不同光譜圖像，以得到CNN訓(xùn)練所需的數(shù)據(jù)集。掌紋識別是在嵌入式計(jì)算機(jī)上搭建Pytorch深度學(xué)習(xí)平臺，并對數(shù)據(jù)集進(jìn)行訓(xùn)練以得到掌紋識別模型。在實(shí)際應(yīng)用過程中，需要采集每一位打卡者的多光譜掌紋信息，且重復(fù)采集多次。在采集過程中，需要求打卡者將手掌進(jìn)行不同程度的傾斜以實(shí)現(xiàn)更高的準(zhǔn)確率，因?yàn)樵谧R別時(shí)打卡者的手掌會有隨機(jī)的傾斜；當(dāng)采集完所有打卡者的掌紋信息后，嵌入式計(jì)算機(jī)將采集到的信息用于訓(xùn)練，最終得到所需要的掌紋識別模型。

在測試過程中采集了10個(gè)人的掌紋信息，光譜數(shù)量為7(波長分別為438 nm、472 nm、500 nm、535 nm、624 nm、655 nm、775 nm)，每個(gè)光譜采集掌紋的數(shù)量為12，因此數(shù)據(jù)集總共包括840張圖片。同一手掌在不同光譜下的原始圖像如圖5所示。通過使用采集到的掌紋圖片進(jìn)行訓(xùn)練和測試，其測試準(zhǔn)確率能夠達(dá)到98%以上。在硬件配置為GeForce GTX 1080 Ti/PCIe/SSE2的電腦上，對采集的多光譜掌紋數(shù)據(jù)進(jìn)行ROI的提取、特征提取、特征融合和SVM分類等步驟，平均經(jīng)過4.2 s即可獲得檢測結(jié)果。

圖5 同一手掌在不同光譜下的原始圖像

4 小結(jié)

本文提出一種基于CNN的多光譜掌紋圖像識別方法，該方法通過獲取ROI、CNN特征訓(xùn)練、特征提取與特征融合以及基于SVM的特征分類等操作實(shí)現(xiàn)身份識別，可以為醫(yī)療、刑偵等領(lǐng)域提供技術(shù)支持。仿真結(jié)果表明，在CASIA多光譜掌紋數(shù)據(jù)庫中使用多光譜掌紋識別技術(shù)的識別率明顯比單光譜方法高，平均可以達(dá)到98%以上，相比相關(guān)研究中使用的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，性能亦有顯著提升。未來將進(jìn)一步針對其他的掌紋識別算法進(jìn)行性能比較和技術(shù)應(yīng)用等工作。