基于Patch 的多標(biāo)簽CSA-DNN 手指靜脈質(zhì)量評估

梁雪慧，趙 菲，程云澤，張瑞杰

（天津理工大學(xué)a.電氣電子工程學(xué)院；b. 天津市復(fù)雜系統(tǒng)控制理論與應(yīng)用重點實驗室，天津300384）

隨著互聯(lián)網(wǎng)的快速發(fā)展和對公民和訪問控制區(qū)域的威脅的增加，識別一個人成為保護(hù)隱私和財產(chǎn)的關(guān)鍵.不同于傳統(tǒng)的識別手段，如密鑰和密碼，生物識別難以竊取或復(fù)制，不能丟失.因此，生物特征認(rèn)證已被廣泛研究并成功應(yīng)用于個人識別.生物識別方法可以通過外在的，例如指紋[1]，面部[2]，虹膜[3]，簽名[4]，或內(nèi)在的，例如手指靜脈，手靜脈和手掌靜脈.外在形式在傳感器級別容易受到欺騙攻擊.與外在形態(tài)不同，內(nèi)在形式不在人體皮膚表面，這使得它們很難被盜取和偽造，因此更加安全. 在固有方式中，指靜脈生物測定學(xué)在實際應(yīng)用中是最方便的.

手指靜脈驗證仍然具有挑戰(zhàn)性，圖像采集會受到用戶行為[5]，環(huán)境光[6]，環(huán)境溫度[7]等因素影響.如果這些因素得不到很好的控制，則必須在驗證系統(tǒng)中處理許多低質(zhì)量的手指靜脈圖像.這些低質(zhì)量圖像最終會影響身份驗證性能.為了克服這個問題，研究人員提出了幾種方案，如，圖像增強[8]，圖像恢復(fù)[9]和質(zhì)量評估[10-11].圖像質(zhì)量評估已被廣泛研究并應(yīng)用于生物識別驗證.在生物識別系統(tǒng)中，測量圖像質(zhì)量有很多作用：1）監(jiān)測和報告生物識別系統(tǒng)中的圖像質(zhì)量；2）在訪問交易期間控制模板登記和/或樣本獲取的質(zhì)量；3）根據(jù)估計的質(zhì)量調(diào)整識別系統(tǒng)中的步驟；4）優(yōu)化和改進(jìn)降低驗證錯誤率的方法.這顯示了評估采集的手指靜脈圖像的質(zhì)量的重要性.

根據(jù)建立指靜脈圖像質(zhì)量評估模型的不同目的，現(xiàn)有的指靜脈圖像質(zhì)量評估方法可以大致分為三類：1）基于幾個人工設(shè)計的質(zhì)量特征參數(shù)融合的質(zhì)量評估方法[12]；2）基于靜脈模式檢測的靜脈點數(shù)質(zhì)量評估方法[13]；3）基于深度學(xué)習(xí)特征表示的質(zhì)量評估方法[14].第三種方法使用卷積神經(jīng)網(wǎng)絡(luò)來評估指靜脈圖像的質(zhì)量，該方法屬于深度學(xué)習(xí)領(lǐng)域是近年來研究的熱點.

目前深度學(xué)習(xí)的相關(guān)工作都是針對于兩類或者多類任務(wù)，但是由于一張低質(zhì)量圖像往往包含2 種以上的標(biāo)簽，因此對低質(zhì)量圖像通過配準(zhǔn)后再識別來提高系統(tǒng)識別率的任務(wù)就需要對低質(zhì)量圖像進(jìn)行多標(biāo)簽分類，得到對應(yīng)的標(biāo)簽類別后，用對應(yīng)的配準(zhǔn)方法得到高質(zhì)量圖像.

1 多標(biāo)簽深度網(wǎng)絡(luò)

深度學(xué)習(xí)已被應(yīng)用于靜脈生物識別技術(shù)的質(zhì)量評估，但是之前的評估都是基于二分類的方法，即分為低質(zhì)量和高質(zhì)量圖像，由于造成圖像低質(zhì)量的因素很多，因此低質(zhì)量圖像不能單獨被一個標(biāo)簽完全描述，同時低質(zhì)量圖像可能是含有兩種以上的標(biāo)簽，所以我們的方法引入了多標(biāo)簽分類，通過多標(biāo)簽的形式讓低質(zhì)量圖像得到全面的信息為提升身份識別系統(tǒng)性能提供支持. 包括提出CSA-DNN 多標(biāo)簽網(wǎng)絡(luò)、訓(xùn)練該網(wǎng)絡(luò)，驗證該網(wǎng)絡(luò).

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

1.1 CSA-DNN 結(jié)構(gòu)

最近，已經(jīng)在計算機視覺任務(wù)中研究了各種DNN，其結(jié)構(gòu)主要由卷積層，池化層和全連接層組成.同時結(jié)合了數(shù)據(jù)預(yù)處理技術(shù)，如ReLU，批量歸一化，以進(jìn)一步提高性能. 目前，一些DNN 在不同領(lǐng)域進(jìn)行了探究.網(wǎng)絡(luò)架構(gòu)通常由相關(guān)問題或?qū)嶒灥南闰炛R決定.對于表征質(zhì)量評估問題的指靜脈圖像特征學(xué)習(xí)，提出了基于CSA（通道空間注意力）DNN 模型，同時為了實現(xiàn)多標(biāo)簽的目的對圖像進(jìn)行分塊提取特征最終得到低質(zhì)量圖像豐富的標(biāo)簽信息.在結(jié)構(gòu)上，我們的DNN 由3 個卷積層組成，用于提取特征，然后是2 個CSA，1 個最大池化層，2 個完全連接的層和Softmax 輸出層.圖1 描繪了用于整個指靜脈圖像評估的DNN 架構(gòu).輸入是大小為80*240 的圖像塊數(shù)據(jù)，這種基于CSA 的DNN 由三個卷積層和兩個完全連接的層組成. 第一個卷積層中有95 個內(nèi)核，第二個卷積層中有5 個內(nèi)核，第三個卷積層中有3 個內(nèi)核，第一個完全連接層中有1000 個內(nèi)核，第二個完全連接層中有500 個內(nèi)核，第二個卷積層中有500 個內(nèi)核連通層.輸出的維度根據(jù)要預(yù)測的類的數(shù)量來確定.當(dāng)輸入大小更改時，每個圖層中的地圖寬度和高度會相應(yīng)更改.

1.2 基于通道空間注意力（CSA）的特征表示

同一類別的靜脈在圖像中會顯示出相似的形狀，因為它們具有微小的特征，因此，有必要對通道進(jìn)行加權(quán)，以使最具代表性的功能得以增強. 其次，由于對特征圖的學(xué)習(xí)不充分會產(chǎn)生潛在的錯誤風(fēng)險，這是因為卷積操作具有有限感受野的缺陷.因此，通過應(yīng)用全局空間注意來過濾特征圖，可以獲得更高的檢測性能.針對存在的這兩個問題，引入通道空間注意力模塊[15]，用于對來自每個CNN 塊輸出的通道和空間信息進(jìn)行加權(quán)，以增強特征圖的表示能力.

圖2 顯示了CSA 模塊的直觀框架，該框架由兩部分組成.在通道注意力模塊（圖2 上半部分）中，由CNN 塊提取的具有W×H×C 形狀的3D 特征映射被輸入到額外的全局池層，該層從每個通道中的完整特征映射獲取平均池.生成低維（1D）特征向量，其中平均值表示每個通道的全局特征.然后，應(yīng)用一組具有非線性激活ReLU 的卷積層.該1D 特征向量通過采用Sigmoid 函數(shù)映射到（0，1）區(qū)域，形狀為1×1×C 的輸出是所謂的通道關(guān)注因子.因此，該模塊的輸出是原始輸入3D 特征映射和1D 信道關(guān)注因子的廣播元素乘積.以這種方式，輸入的3D 特征圖在通道級別被激活.

圖2 的下半部分是空間注意模塊，其操作與通道注意力模塊類似.在這一部分中，輸入的3D 特征圖（W×H×C）被饋送到具有1×1 內(nèi)核和僅1 個濾波器的另一個卷積層以實現(xiàn)全局卷積.輸出是具有W×H×1 形狀的2D 特征圖，因此每個值可以是空間水平的全局特征.為了提取全局空間信息，我們采用具有大內(nèi)核大小的額外卷積運算并將特征映射縮小為W /2×H/2×1 形狀. 接下來，應(yīng)用相應(yīng)的去卷積運算以生成空間關(guān)注因子（W×H×1），并且將輸入的3D特征圖乘以每個空間位置中的空間關(guān)注因子，從而在空間水平上激活特征圖. 最后，CSA的輸出是兩個激活的特征映射的總和.

圖2 通道空間注意力模塊Fig.2 Channel-Spatial attention module

2 實 驗

在本文實驗中使用了兩個公開的靜脈數(shù)據(jù)集FV-USM 和MMCBNU_6000，將本文所提出的質(zhì)量評估算法在具有不同捕獲系統(tǒng)數(shù)據(jù)庫上進(jìn)行評估，數(shù)據(jù)集的具體參數(shù)如表1 中所列.

表1 不同靜脈數(shù)據(jù)庫的參數(shù)Tab.1 Parameters of different vein databases

2.1 數(shù)據(jù)集預(yù)處理

圖3 為圖像預(yù)處理流程.圖3（a）為原始采集圖像，將采集的手指靜脈圖像二值化（圖3（b）），使用Sobel 邊緣檢測器檢測其邊緣（圖3（c）），從二值化圖像中減去得到的邊緣圖.采用二進(jìn)制掩模圖像（圖3（d），其中白色區(qū)域中的像素值為1，后區(qū)域中的像素值為0）用于從背景中分割手指ROI.設(shè)B 和I 分別為原始灰度圖像和二值掩模圖像.由于B 中的白色區(qū)域和黑色區(qū)域像素是1 和0，因此手指ROI 圖像D 由I×B 計算.為了實現(xiàn)魯棒匹配，ROI 圖像進(jìn)一步經(jīng)歷對準(zhǔn)歸一化，使得ROI 主軸變?yōu)樗降模▓D3（e））根據(jù)二值化掩模B 的取向估計手指ROI 圖像的取向，使用掩模B 的估計取向?qū)OI 區(qū)域的取向歸一化為水平取向.最后，將2 個數(shù)據(jù)集中的所有指靜脈圖像的尺寸歸一化為80*240.

2.2 生成訓(xùn)練集

在實際驗證系統(tǒng)中，低質(zhì)量圖像不容易采集，采集到的絕大部分是高質(zhì)量圖像，因此造成訓(xùn)練集中的低質(zhì)量圖像與高質(zhì)量圖像數(shù)量不均衡，該現(xiàn)象會使得訓(xùn)練很快出現(xiàn)收斂，因為在訓(xùn)練的時候只有高質(zhì)量圖像起到了訓(xùn)練參數(shù)調(diào)節(jié)的作用，為了解決這個問題，首先，從訓(xùn)練集中選取高質(zhì)量圖像.接著，通過改變這些圖像中的亮度，噪聲，平移和旋轉(zhuǎn)來添加變化，以便它們不再匹配驗證系統(tǒng)中的相應(yīng)模板.此外，使用隨機合成少數(shù)過采樣技術(shù)（R-SMOTE）[16]生成低質(zhì)量圖像. 為了創(chuàng)建低質(zhì)量圖像x的合成樣本，通過

產(chǎn)生臨時樣本yl.其中x1和x2為隨機選擇的兩個低質(zhì)量圖像，L為上采樣倍率，rand（0，1）為區(qū)間（0，1）的一個隨機數(shù).然后，基于臨時樣本，使用

構(gòu)造新的小類樣本pl.用于訓(xùn)練的低質(zhì)量圖像集以這種方式擴展到一組新的圖像.最終在A，B 兩個數(shù)據(jù)集中隨機選取高低質(zhì)量圖像擴充為6 000 張圖像，其中各有3 000 張高質(zhì)量圖像，3 000 張低質(zhì)量圖像.

在本論文中一共有旋轉(zhuǎn)，光照，噪聲3 類低質(zhì)量因素，每張照片可能包含2 種或者2 種以上的標(biāo)簽類別，可能是暗—旋轉(zhuǎn)—噪聲，暗—正?！肼暎怠D(zhuǎn)—正常，亮—旋轉(zhuǎn)—噪聲，亮—正?！肼?，亮—旋轉(zhuǎn)—正常等.

圖3 圖像預(yù)處理Fig.3 Image preprocessing

2.3 網(wǎng)絡(luò)超參數(shù)與訓(xùn)練

2.3.1 網(wǎng)絡(luò)訓(xùn)練

根據(jù)實驗的硬件環(huán)境，CPU：I7 56 核心，雙CPU，GPU：GTX 1080TI，可知GPU 具有較大的容量因此選擇minibatchsize 為128，動量因子0.95，降采樣率0.4，學(xué)習(xí)率設(shè)置為5*10e-5，同時使用兩個數(shù)據(jù)集中各80%進(jìn)行訓(xùn)練，10%測試，10%驗證.

2.3.2 多標(biāo)簽預(yù)測

將訓(xùn)練好的CSA-DNN 模型用于低質(zhì)量圖像的多標(biāo)簽預(yù)測，如圖4（a）是一張低質(zhì)量圖像通過與標(biāo)準(zhǔn)高質(zhì)量圖像4（b）對比可知存在光照，噪聲，以及旋轉(zhuǎn)角度上的低質(zhì)量因素，對圖4（a）進(jìn)行本文網(wǎng)絡(luò)預(yù)測結(jié)果如圖5 所示.

圖4 多標(biāo)簽預(yù)測圖像Fig.4 Multi-label prediction image

一張低質(zhì)量圖像通過本文網(wǎng)絡(luò)預(yù)測后的結(jié)果如圖5 所示.

圖5 多標(biāo)簽預(yù)測結(jié)果Fig.5 Multi-label prediction results

由圖5 可知該圖像在光照過亮，噪聲，旋轉(zhuǎn)這3個標(biāo)簽上具有較大概率，因此預(yù)測的標(biāo)簽結(jié)果為光照亮—噪聲—旋轉(zhuǎn).

2.3.3 低質(zhì)量圖像配準(zhǔn)

經(jīng)基于CSA-DNN 的多標(biāo)簽預(yù)測后根據(jù)標(biāo)簽結(jié)構(gòu)，利用對應(yīng)的配準(zhǔn)濾波算法進(jìn)行處理，將低質(zhì)量圖像轉(zhuǎn)變?yōu)楦哔|(zhì)量圖像增加圖像利用率.

在圖像配準(zhǔn)方面采用剛性與非剛性的配準(zhǔn)算法B 樣條配準(zhǔn)算法，該過程通過與一張標(biāo)準(zhǔn)的高質(zhì)量圖像進(jìn)行對比，找到圖像之間相互關(guān)聯(lián)的特征，利用B 樣條函數(shù)建立這些對應(yīng)的特征點之間的映射關(guān)系，然后根據(jù)映射關(guān)系確定變換參數(shù)從而實現(xiàn)配準(zhǔn)，該配準(zhǔn)方法主要實現(xiàn)對圖像的亮度與仿射變換矯正.

在圖像濾波上，由于設(shè)備的影響導(dǎo)致圖像中可能含有高斯噪聲或者乘性噪聲等，由于無法確定噪聲類型因此本文擬采用融合濾波器的方式進(jìn)行濾波，該融合濾波器包含了高斯濾波，中值濾波，各向異性濾波，自適應(yīng)濾波4 種濾波方法，通過對4 種濾波方法得到的濾波圖像進(jìn)行加權(quán)融合輸出最終的融合濾波結(jié)果. 圖6 所示為不同濾波方法的峰值信噪比.

圖6 不同濾波方法的PSNRFig.6 PSNR of different filtering methods

2.4 實驗驗證

為驗證本文提出的基于Patch 的多標(biāo)簽CSADNN 評估方法的優(yōu)越性，將本文算法與文獻(xiàn)[12]使用的傳統(tǒng)人工特征的評估方法、文獻(xiàn)[14]使用的卷積神經(jīng)網(wǎng)絡(luò)對二值圖進(jìn)行評估的方法和本文未加入通道空間注意力模塊的基于CNN 的多標(biāo)簽評估方法進(jìn)行對比分析.4 種方法針對FV-USM 數(shù)據(jù)集的評估結(jié)果見表2. 針對MMCBNU_6000 數(shù)據(jù)集的評估結(jié)果見表3.

由表2 和3 可知，本文提出的算法在測試集和驗證集上的性能表現(xiàn)均優(yōu)于其他三類算法.

為了分析上述評估算法對身份驗證系統(tǒng)的最終識別率的影響程度，本文分別用這些評估算法對身份驗證識別進(jìn)行評估，采用gobar 提取紋理特征，用P-SVM 分類器進(jìn)行識別. 基于Patch 的多標(biāo)簽CSA-DNN 算法對低質(zhì)量圖像進(jìn)行配準(zhǔn)后得到高質(zhì)量圖像再進(jìn)行識別，以提高圖像利用率.圖像利用率計算如下：

表2 不同算法的評估性能比較（FV-USM 數(shù)據(jù)集）Tab.2 Comparison of evaluation performance of different algorithms（FV-USM data set）

表3 不同算法的評估性能比較（MMCBNU_6000 數(shù)據(jù)集）Tab.3 Comparison of evaluation performance of different algorithms（MMCBNU_6000 data set）

其中，N為身份驗證系統(tǒng)輸入的圖像總量；L為系統(tǒng)通過的圖像數(shù)量，通過的圖像越多，利用率越大，說明系統(tǒng)的抗干擾能力越強.

由表4 和5 可知，將圖像進(jìn)行質(zhì)量評估后再送入身份驗證系統(tǒng)后識別率有所提高，且本文算法的性能明顯優(yōu)于其他三種算法.

表4 不同算法的靜脈身份驗證利用率和精度（FV-USM 數(shù)據(jù)集）Tab.4 Vein authentication utilization and accuracy for different algorithms（FV-USM data set）

表5 不同算法的靜脈身份驗證利用率和精度（MMCBNU_6000 數(shù)據(jù)集）Tab.5 Vein authentication utilization and accuracy for different algorithms（MMCBNU_6000 data set）

3 結(jié) 論

本文針對手指靜脈身份驗證中低質(zhì)量圖像影響識別結(jié)果的問題，提出了基于Patch 的多標(biāo)簽CSADNN 的質(zhì)量評估算法.主要工作及研究成果如下.

1）通過對單張圖像賦予2 種或者以上的低質(zhì)量因素的標(biāo)簽，根據(jù)這些因素匹配正確的配準(zhǔn)方法得到高質(zhì)量圖像，增強了圖像利用率，提高了身份系統(tǒng)的識別率.

2）由實驗可知本文的特征提取方法引入了CSA通過最大池化與平均池化的組合再卷積得到空間特征，使重要特征得到增強，不重要特征得到抑制，網(wǎng)絡(luò)性能得到很大的改善.

3）驗證得出質(zhì)量評估最高準(zhǔn)確率為92.5%，靜脈身份驗證最高精度為93.7%，圖像最高利用率為98.5%，均高于文獻(xiàn)[12]的評估方法，文獻(xiàn)[14]的評估方法以及未加入注意力機制的基于CNN 的多標(biāo)簽方法.