基于多圖融合和改進(jìn)Xception網(wǎng)絡(luò)的跨設(shè)備手背靜脈識(shí)別研究

王一丁，曹曉彤

(北方工業(yè)大學(xué) 信息學(xué)院，北京 100144)

0 引言

當(dāng)今社會(huì)是信息化社會(huì)，信息安全問(wèn)題越來(lái)越受到人們的關(guān)注。身份識(shí)別技術(shù)是目前研究的熱點(diǎn)。身份識(shí)別技術(shù)主要包括傳統(tǒng)身份標(biāo)識(shí)識(shí)別(如證件和密碼等)和基于生物特征的身份識(shí)別兩大類?；谏锾卣鞯纳矸葑R(shí)別具有永久性、普遍性、可采集性、可接受性以及安全保密性強(qiáng)等特點(diǎn)。目前主流的生物特征識(shí)別技術(shù)主要包括指紋、虹膜、人臉、指靜脈以及手背靜脈等。

近年來(lái)，手背靜脈識(shí)別以其鮮明優(yōu)勢(shì)從眾多基于生物特征的身份識(shí)別技術(shù)中脫穎而出。相比于人臉識(shí)別，手背靜脈具有唯一性和穩(wěn)定性[1]，即使是擁有相似臉的雙胞胎的手背靜脈也是不同的，并且隨著年齡的增長(zhǎng)，拓?fù)浣Y(jié)構(gòu)基本保持不變。相比于指紋識(shí)別，手背靜脈位于皮下組織，具有更好的防偽造性和活體檢測(cè)性。相比于虹膜識(shí)別，手背靜脈不需要被采集者近距離采集，采集方式簡(jiǎn)單，更易被接受，具有友好性。

手背靜脈的識(shí)別分為強(qiáng)約束條件下和弱約束條件下兩種情況。強(qiáng)約束條件下，即訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)來(lái)自同一個(gè)采集設(shè)備。弱約束條件下，即跨設(shè)備條件下，訓(xùn)練集和測(cè)試集來(lái)自不同的設(shè)備。跨設(shè)備條件下采集到的手背靜脈圖像存在光照對(duì)比度、位移、尺寸大小、角度旋轉(zhuǎn)等差異。傳統(tǒng)算法中以改進(jìn)型SIFT(Scale-invariant Feature Transform)算法的識(shí)別率最高[2]，單庫(kù)識(shí)別率達(dá)99.40%. 但是在跨設(shè)備條件下，圖像差異較大，原始SIFT算法識(shí)別率僅為73.48%，改進(jìn)型SIFT識(shí)別率為90.80%，仍需進(jìn)一步研究手背靜脈識(shí)別算法以提高跨設(shè)備條件下的識(shí)別率。

利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理是目前的研究趨勢(shì)。神經(jīng)網(wǎng)絡(luò)(neual networks)是人工智能研究領(lǐng)域的一部分，是對(duì)生物神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)建模，當(dāng)前最流行的神經(jīng)網(wǎng)絡(luò)是深度卷積神經(jīng)網(wǎng)絡(luò)(CNNs，deep convolutional neural networks)。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深度前饋神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)目前已廣泛應(yīng)用于圖像分類、圖像分割、語(yǔ)音識(shí)別等領(lǐng)域。

針對(duì)手背靜脈樣本類別較多，每類樣本的數(shù)量過(guò)少的問(wèn)題，本文采用Xception網(wǎng)絡(luò)[3]進(jìn)行跨設(shè)備手背靜脈識(shí)別算法研究。Xception模塊采用深度可分離卷積代替了Inception模塊。深度可分離卷積是將一個(gè)完整的卷積分解為兩步，即Depthwise卷積和Pointwise卷積。深度可分離卷積的參數(shù)量和運(yùn)算量低于普通卷積，適用于Xception這種輕量級(jí)的網(wǎng)絡(luò)模型。由于Xception網(wǎng)絡(luò)將空間特征與通道特征完全分開提取，我們將手背靜脈二值圖像、距離圖像與骨架圖像融合為三通道的融合圖像。改進(jìn)Xception網(wǎng)絡(luò)的激活函數(shù)，使模型的非線性更佳，迫使網(wǎng)絡(luò)學(xué)習(xí)更稀疏的特征，實(shí)驗(yàn)證明跨設(shè)備條件下的最高識(shí)別率達(dá)93.54%。

1 手背靜脈圖像采集和預(yù)處理

1.1 手背靜脈灰度圖像庫(kù)

手背靜脈存在于皮下脂肪之下，肉眼觀察到的手背靜脈脈絡(luò)分布并不清晰。這說(shuō)明使用普通攝像頭或者在可見光下采集手背靜脈圖像并不理想。靜脈血管內(nèi)含有大量的血紅蛋白，血紅蛋白比血管以外的皮下組織更容易吸收700～1 000 nm波段的近紅外光[4]?；诖?，本實(shí)驗(yàn)采用850 nm的紅外光波采集手背靜脈圖像。圖像采集設(shè)備如圖1所示。

圖1 手背靜脈圖像采集設(shè)備

本實(shí)驗(yàn)對(duì)49位性別不同、年齡分布在20～25歲之間的被采集者進(jìn)行手背靜脈圖像采集，左右手各十張，使用兩個(gè)相同的設(shè)備共計(jì)采集98個(gè)類別的1 960張靜脈圖像。由此我們建立兩個(gè)手背靜脈灰度圖像庫(kù)：1庫(kù)和2庫(kù)。圖2是采集到的原始手背靜脈灰度圖像。

圖2 手背靜脈原始圖像

1.2 手背靜脈圖像預(yù)處理

原始手背靜脈圖像存在手柄等背景區(qū)域噪聲，因此需要提取感興趣區(qū)域(ROI)。同時(shí)由于采集設(shè)備的不同以及采集時(shí)手背靜脈擺放位置的不同和環(huán)境噪聲的干擾，同類別手背靜脈圖像的ROI在尺寸和亮度等方面存在很大差異，這會(huì)對(duì)識(shí)別結(jié)果造成影響。本文采用質(zhì)心自適應(yīng)方法提取ROI，由手背靜脈區(qū)域的長(zhǎng)寬比例得出圖像ROI的質(zhì)心C(x0,y0)，以此質(zhì)心為圓心，得出靜脈區(qū)域的最大內(nèi)接圓。以最大內(nèi)接圓的半徑作為標(biāo)準(zhǔn)，大小歸一化后截取ROI的大小為400×400，如圖3所示。

圖3 獲取手背靜脈感興趣區(qū)域

截取感興趣區(qū)域后，對(duì)手背靜脈圖像進(jìn)行灰度歸一化處理以減少圖像的灰度差異。這種灰度差異是由采集過(guò)程中光照強(qiáng)度不同和脂肪厚度不同帶來(lái)的。本文采用式(1)對(duì)手背靜脈圖像ROI進(jìn)行灰度歸一化處理，處理后的圖像如圖4所示。

圖4 灰度歸一化圖像

(1)

2 不同手背靜脈圖像的融合

2.1 二值圖、距離圖和骨架圖的生成

灰度歸一化后的圖像依然有噪聲，并且靜脈區(qū)域與其他區(qū)域的對(duì)比度較低。為提取靜脈部分的輪廓，本文采用基于檢測(cè)邊緣性能的梯度分割方法[5]。圖5為分割得到的二值手背靜脈圖像。

圖5 手背靜脈二值圖像

描述靜脈圖像的特征，不僅可以從紋理方面入手，還可以從形狀角度。分割后的手背靜脈圖像具有完整的拓?fù)浣Y(jié)構(gòu)，且不同類別的靜脈脈絡(luò)分布對(duì)應(yīng)于不同的拓?fù)浣Y(jié)構(gòu)，可以用于對(duì)圖像的描述。本文通過(guò)距離變換[6]將二值圖像轉(zhuǎn)化為距離圖像來(lái)描述靜脈的形狀特征。

距離圖包含靜脈區(qū)域每一個(gè)像素與靜脈輪廓的距離信息。對(duì)于靜脈區(qū)域的每一個(gè)像素，以此像素點(diǎn)為中心畫圓，增大內(nèi)接圓直徑直到圓與靜脈邊緣相切，然后以內(nèi)接圓的最大半徑作為該點(diǎn)的像素值，那么靜脈的中心像素就對(duì)應(yīng)靜脈的寬度。按此步驟遍歷靜脈區(qū)域的所有像素，就由二值圖像得到包含形狀信息的距離圖像。手背靜脈距離圖像如圖6所示。距離圖像在靜脈中心軸的像素值較高，并朝著邊緣方向像素值逐漸降低。

圖6 手背靜脈距離圖像

可以利用骨架描述圖像的形狀特征。此處我們所指的并不是解剖學(xué)上的骨骼，而是指形狀的中心軸。對(duì)二值圖像進(jìn)行細(xì)化操作，細(xì)化后的圖像保持原始二值圖的結(jié)構(gòu)特征。手背靜脈骨架圖如圖7所示。細(xì)化得到的骨架具有1像素寬和一條靜脈的骨架線條是連接的的特點(diǎn)。

圖7 手背靜脈骨架圖像

2.2 融合圖

為充分利用手背靜脈的紋理特征和形狀特征，我們將單通道的二值圖、距離圖和骨架圖疊加，得到三通道的融合圖，手背靜脈融合圖如圖8所示?；叶葓D是單通道圖像，不僅含有靜脈信息，而且含有過(guò)多的背景信息，造成信息冗余且跨設(shè)備條件下亮度差異較大，不利于匹配識(shí)別。而融合圖是三通道特征圖，既含有靜脈紋理特征，又含有距離、骨架的形狀特征，靜脈區(qū)域與背景區(qū)域?qū)Ρ葟?qiáng)烈，靜脈信息豐富且沒(méi)有冗余，有利于匹配識(shí)別。

圖8 手背靜脈融合圖

3 基于Xception網(wǎng)絡(luò)的實(shí)驗(yàn)分析

3.1 Xception網(wǎng)絡(luò)及改進(jìn)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基礎(chǔ)模塊是卷積流，包括卷積層、激活層、池化層以及全連接層[7]。卷積神經(jīng)網(wǎng)絡(luò)能夠有效地處理具有清楚的網(wǎng)格結(jié)構(gòu)拓?fù)涞臄?shù)據(jù)，尤其是對(duì)于二維圖像拓?fù)?，卷積神經(jīng)網(wǎng)絡(luò)最初就是為了解決圖像分類識(shí)別的問(wèn)題而設(shè)計(jì)的。

Inception網(wǎng)絡(luò)[8]中的Inception模塊如圖9所示，將大濾波卷積分解為小濾波卷積，減少了參數(shù)量和計(jì)算量，同時(shí)不會(huì)降低網(wǎng)絡(luò)的表征能力。全連接層被全局平均池化層[9]所代替。全局平均池化，將最后一層的特征圖的所有像素值相加求平均，得到一個(gè)數(shù)值，即形成一個(gè)特征點(diǎn)，這些特征點(diǎn)組成最后的特征向量。全局平均池化的目的是替代全連接層，以減少參數(shù)量、計(jì)算量和減少過(guò)擬合。通過(guò)全局平均池化操作，可以對(duì)整個(gè)網(wǎng)絡(luò)從結(jié)構(gòu)上進(jìn)行正則化以防止過(guò)擬合，以此剔除全連接層的黑箱子操作的特征。

圖9 Inception模塊

Xception模型是InceptionV3模型的極端情況。Xception模塊采用深度可分離卷積代替了Inception模塊。Xception結(jié)構(gòu)是由36個(gè)卷積層構(gòu)成網(wǎng)絡(luò)的特征提取基礎(chǔ)。36個(gè)卷積層被構(gòu)造成14個(gè)模塊，除了第一個(gè)和最后一個(gè)模塊，其余模塊的深度可分離卷積都有線性殘差連接。深度可分離卷積徹底將通道特征提取和空間特征提取分開。Xception模型基本模塊[3]如圖10所示，將深度可分離卷積的1×1卷積與3×3卷積的順序換了，首先通過(guò)1×1卷積進(jìn)行通道分離，然后通過(guò)3×3卷積對(duì)每個(gè)通道的空間信息進(jìn)行獨(dú)立提取，最后合并。

圖10 Xception模型的基本模塊

激活函數(shù)的作用是加入非線性因素，提高神經(jīng)網(wǎng)絡(luò)對(duì)模型的表達(dá)能力。Xception網(wǎng)絡(luò)使用的激活函數(shù)都是ReLU函數(shù)，如圖11(a)所示。它的數(shù)學(xué)表達(dá)式是：

f(x)=max(0,x)

(2)

ReLU只需要一個(gè)閾值就可以得到激活值，收斂速度比sigmoid函數(shù)和tanh函數(shù)快，可以增大網(wǎng)絡(luò)的稀疏性，提高網(wǎng)絡(luò)的泛化性能。但是隨著訓(xùn)練的進(jìn)行，使用ReLU激活函數(shù)，負(fù)的特征值為0，可能會(huì)出現(xiàn)神經(jīng)死亡，權(quán)重?zé)o法更新的情況。在MobileNetV3[10]一文中，作者表示swish激活函數(shù)能夠替代ReLU函數(shù)，減少梯度消失的同時(shí)能夠有效提高網(wǎng)絡(luò)的精度，但是swish的計(jì)算量太大。為此，在MobileNetV3中提出一種新的激活函數(shù)h-swish，如圖11(b)所示,其數(shù)學(xué)表達(dá)式是：

圖11 ReLU激活函數(shù)和h-swish激活函數(shù)

(3)

h-swish在對(duì)模型精度沒(méi)有明顯影響的情況下，具有諸多顯著優(yōu)勢(shì)：幾乎所有的軟硬件框架都提供了ReLU6的優(yōu)化實(shí)現(xiàn)；在量化模式下，減輕了不同實(shí)現(xiàn)下sigmoid引起的精度誤差。

為減少參數(shù)增長(zhǎng)，本文只把Xception結(jié)構(gòu)的第一個(gè)模塊和Middle flow部分的ReLU激活函數(shù)改為h-swish激活函數(shù)。改進(jìn)后的Xception網(wǎng)絡(luò)結(jié)構(gòu)如圖12所示。

圖12 改進(jìn)后的Xception網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.2 硬件平臺(tái)及框架

實(shí)驗(yàn)使用的電腦操作系統(tǒng)為Windows 10，電腦是16 G內(nèi)存、i7-7700K CPU、GTX 1080Ti顯卡。Python版本為3.6.8，深度學(xué)習(xí)框架使用2.0.0版本的TensorFlow.為方便以曲線和圖形形式展現(xiàn)數(shù)據(jù)，安裝TensorBoard可視化工具。

3.3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在由實(shí)驗(yàn)室自建的1庫(kù)和2庫(kù)兩個(gè)數(shù)據(jù)庫(kù)上進(jìn)行，每個(gè)庫(kù)都包含相同的98個(gè)類別，每個(gè)類別10張圖像，共1 960張手背靜脈圖像。首先以灰度圖為數(shù)據(jù)集進(jìn)行單庫(kù)手背靜脈識(shí)別，訓(xùn)練集、驗(yàn)證集、測(cè)試集比例按照6:2:2劃分。使用目前較新穎的分類網(wǎng)絡(luò)EfficientNet_b0、DenseNet_121和MobilenetV3_small進(jìn)行實(shí)驗(yàn)，識(shí)別率均在10%以下，說(shuō)明這些網(wǎng)絡(luò)不適用于手背靜脈圖像。而使用Xception網(wǎng)絡(luò)進(jìn)行手背靜脈分類實(shí)驗(yàn)，1庫(kù)識(shí)別率為98.47%，2庫(kù)識(shí)別率為100.00%. 因此本文選用Xception網(wǎng)絡(luò)進(jìn)行跨庫(kù)手背靜脈識(shí)別研究。

對(duì)于每一類手背靜脈圖像，實(shí)驗(yàn)以1庫(kù)的10張圖像為訓(xùn)練集，從2庫(kù)中隨機(jī)選取4張作為驗(yàn)證集，3張作為測(cè)試集。設(shè)置batch_size=2,EPOCHS=50，以灰度圖為數(shù)據(jù)集，跨庫(kù)識(shí)別率僅為4.42%，這是因?yàn)榛叶葓D含有過(guò)多的冗余信息，不利于網(wǎng)絡(luò)學(xué)習(xí)靜脈特征。因此，我們分別以二值圖、距離圖、骨架圖和融合圖為數(shù)據(jù)集，進(jìn)行基于Xception網(wǎng)絡(luò)的跨庫(kù)手背靜脈識(shí)別研究，實(shí)驗(yàn)結(jié)果如表1所示。不同圖像類型的驗(yàn)證集的精度曲線如圖13所示，可以看出融合圖的驗(yàn)證集精確度曲線明顯高于其他數(shù)據(jù)類型的。

表1是以不同圖像類型為數(shù)據(jù)集的基于Xception網(wǎng)絡(luò)的跨庫(kù)識(shí)別率的對(duì)比結(jié)果。由表1可知，使用融合圖作為數(shù)據(jù)集的識(shí)別率最高，為93.20%。由圖13可知，融合圖驗(yàn)證集的精確度相對(duì)較高，證明了前文多圖融合工作的必要性和有效性。Xception網(wǎng)絡(luò)將空間信息和通道信息完全解耦。融合圖的3個(gè)通道含有不同的圖像信息。以融合圖為數(shù)據(jù)集，能夠充分利用手背靜脈圖像的紋理特征和形狀特征，實(shí)驗(yàn)也證明在這種情況下的識(shí)別率是較高的。

圖13 基于Xception網(wǎng)絡(luò)的不同圖像類型的驗(yàn)證集精確度曲線

表1 不同圖像類型基于Xception網(wǎng)絡(luò)

為進(jìn)一步提高跨設(shè)備條件下手背靜脈的識(shí)別率，我們把Xception網(wǎng)絡(luò)的第一個(gè)模塊和Middle flow部分的ReLU激活函數(shù)改為h-swish激活函數(shù)，進(jìn)一步增加模型的非線性，使網(wǎng)絡(luò)學(xué)習(xí)更稀疏的特征。改進(jìn)Xception網(wǎng)絡(luò)后，我們同樣以1庫(kù)為訓(xùn)練集，2庫(kù)為驗(yàn)證集和測(cè)試集進(jìn)行跨庫(kù)手背靜脈識(shí)別實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。Xception網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)后，不同圖像類型的驗(yàn)證集的精確度曲線如圖14所示，以融合圖為數(shù)據(jù)集的驗(yàn)證集精確度曲線依然是最高的。對(duì)比表1和表2，可以看出，無(wú)論是哪一種圖像類型，改進(jìn)Xception網(wǎng)絡(luò)后對(duì)應(yīng)的識(shí)別率均有提升，說(shuō)明改進(jìn)后的Xception更適用于手背靜脈圖像的分類識(shí)別。其中使用融合圖作為數(shù)據(jù)集的識(shí)別率依然是最高的，為93.54%，進(jìn)一步說(shuō)明了多圖融合對(duì)識(shí)別率提升的有效性。

表2 不同圖像類型基于改進(jìn)Xception網(wǎng)絡(luò)的跨庫(kù)識(shí)別率對(duì)比

圖14 改進(jìn)Xception網(wǎng)絡(luò)后不同圖像類型的驗(yàn)證集精確度曲線

4 結(jié)束語(yǔ)

本文提出了一種基于多圖融合和Xception分類網(wǎng)絡(luò)的跨設(shè)備手背靜脈身份識(shí)別算法。為充分利用手背靜脈的紋理特征和形狀特征，同時(shí)減少背景部分的干擾，本文分別以二值圖、距離圖、骨架圖和融合圖為數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果證明以三通道的融合圖為數(shù)據(jù)集進(jìn)行訓(xùn)練得到的模型是最優(yōu)的，識(shí)別率達(dá)到93.20%。為進(jìn)一步提高跨設(shè)備條件下的識(shí)別率，將Xception網(wǎng)絡(luò)的第一個(gè)模塊和Middle flow部分的激活函數(shù)改為比ReLU非線性更佳的激活函數(shù)h-swish，進(jìn)一步防止梯度消失，使網(wǎng)絡(luò)能學(xué)習(xí)到更稀疏的特征。改進(jìn)Xception網(wǎng)絡(luò)后，二值圖、距離圖、骨架圖和融合圖的識(shí)別率均有提升。融合圖的識(shí)別率依然最高，達(dá)93.54%，驗(yàn)證了本文所提方法的有效性。