低分辨率唇紋識別算法的性能評估*

韋 靜，周洪成，牛 犇

（1.鹽城工學院機械工程學院，江蘇 鹽城 224051；2.金陵科技學院電子信息工程學院，江蘇 南京 211169）

0 引 言

隨著高度智能化時代的到來，信息技術逐漸被應用到生活的各個角落，各類信息都在以前所未有的速度被共享和傳遞，個人身份信息安全時刻都在面臨著各類挑戰(zhàn)。生物特征識別技術［1］的發(fā)展與應用提供了有效的解決方案，即使用人體具有隱蔽性、唯一性和永久性的生理特征或行為特征，結合模式識別、計算機視覺和圖像處理等計算機技術來進行個人身份的識別和驗證。卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）作為深度學習的代表算法之一，被成功地應用于各項生物特征識別技術，主要包括人臉識別［2］、指紋識別［3］、掌紋識別［4］和虹膜識別［5］等。

在信息技術快速發(fā)展和應用的背景下，唇紋識別得到了快速發(fā)展，國內(nèi)外學者相繼提出了識別算法。Niu B 等人［6］提出融合Gabor特征和局部二值模式（local binary pattern，LBP）特征的唇紋識別框架，以支持向量機（support vector machine，SVM）為分類器進行識別，在自建的數(shù)據(jù)集上獲得86.7%的識別率。Wrobel K 等人［7］引入唇紋皺紋分析，分別建立唇紋皺紋模式進行分類識別，使用多個唇溝來確定4個方向最常見的唇溝分布，最終得到了92.73%的識別率。Sandhya S等人［8］實現(xiàn)了基于機器學習的唇紋識別系統(tǒng)，采用SVM、K 近鄰（K-nearest neighbor，KNN）、集成分類器和神經(jīng)網(wǎng)絡等分類器分別進行實驗，最終集成分類器在120張數(shù)據(jù)集上取得了97%的識別率。

綜合分析上述識別算法，建立的唇紋數(shù)據(jù)集規(guī)模較小，圖像均為高質(zhì)量和高分辨率，而低分辨率唇紋圖像的研究和分析相對較少。且算法中存在圖像預處理過程復雜、識別成本較高和特征提取效率較低等問題，以致識別周期較長和不具備實時性，而且識別率還有待提高，很難將其實際應用在生活場景中。

為解決上述算法中存在的問題，本文結合CNN 的優(yōu)勢，創(chuàng)建了低分辨率唇紋數(shù)據(jù)集，充分借鑒CNN 在人臉識別、掌紋識別等領域的成功應用，探索研究適用于唇紋識別的CNN模型。

1 CNN

1.1 AlexNet與GoogleNet

Krizhevsky A 等人［9］提出的AlexNet 包含5 個卷積（Conv）層和3 個全連接（fully connected，F(xiàn)C）層，采用并行結構設計且使用2 塊圖形處理器（graphic processing unit，GPU）同時進行訓練，在ImageNet數(shù)據(jù)集的分類大賽獲得冠軍。隨著計算機視覺技術的發(fā)展，以及硬件設備功能的提升，不斷地優(yōu)化改進網(wǎng)絡結構提出新的網(wǎng)絡，提升網(wǎng)絡模型識別效果最直接的方法就是增加網(wǎng)絡的深度和寬度，網(wǎng)絡結構越深，其特征表達能力越強。由Szegedy C 等人［10］提出的GoogleNet，其網(wǎng)絡結構是基于Inception 模塊的設計。如圖1所示，使用多個不同大小的卷積核，將網(wǎng)絡碎片化以增加網(wǎng)絡寬度，能夠提取多尺度的特征信息，最后將特征信息進行拼接融合，首次以模塊化的結構搭建網(wǎng)絡。

圖1 Inception模塊

1.2 ResNet與DenseNet

通過簡單的堆疊網(wǎng)絡層可以提高識別率，同時也會帶來梯度消失、梯度爆炸和參數(shù)量巨大等問題，還會產(chǎn)生網(wǎng)絡退化問題。即隨著網(wǎng)絡深度的增加，模型的準確率出現(xiàn)飽和現(xiàn)象，導致訓練集準確率下降。針對這些問題，He K 等人［11］提出基于殘差塊的網(wǎng)絡ResNet，能夠?qū)⒕W(wǎng)絡層數(shù)延伸至上千層，該網(wǎng)絡的殘差單元采用快捷方式（shortcut）的連接方式，如圖2 所示，恒等映射有效地解決了梯度消失問題，并將參數(shù)量巨大的FC層替換為全局平均池化層，同時提出ResNet_18、34、50和ResNet_101等網(wǎng)絡結構。

圖2 殘差模塊

Huang G 等人［12］以鼓勵特征重用的角度出發(fā)，提出DenseNet進一步將網(wǎng)絡層數(shù)從121 層增加至264 層，設計了稠密連接和過渡層，稠密連接是每一層的輸入都來自于前面所有層的輸出，使得低維和高維特征都能被有效利用，不僅有效地解決了梯度消失問題，還加強了特征信息之間的傳遞。過渡層則是控制特征通道數(shù)，該結構包含批歸一化（batch normalization，BN）、1 ×1 的卷積層和2 ×2 的均值池化層，降低了網(wǎng)絡的參數(shù)。

1.3 SqueezeNet與ShuffleNet

Iandola F N等人［13］提出了SqueezeNet，該網(wǎng)絡結構的亮點是設計了Fire模塊。如圖3 所示，包含壓縮層和擴展層2個部分，將3 ×3 的卷積核替換為1 ×1 大小以減少參數(shù)，減少輸入3 ×3 的輸入特征數(shù)量，每隔3 個Fire 模塊進行下采樣操作，使卷積層具有較大的激活圖。在ImageNet數(shù)據(jù)集上訓練達到與AlexNet相近的分類精度，且模型大小縮小了近510倍，同時降低了模型的計算與內(nèi)存開銷，從此揭開了對輕量級CNN的研究。

圖3 Fire模塊

ShuffleNet［14］是由曠視科技提出可應用于計算力受限的移動設備的網(wǎng)絡，其新穎性主要體現(xiàn)在使用分組卷積和通道混洗操作。為解決不同組之間的特征通信問題，在組卷積操作后使用通道混洗操作，提升不同組之間的信息融合度。通過改進后提出ShuffleNetV2［15］，在數(shù)據(jù)輸入后增加了通道分離操作，沒有使用分組卷積操作，并在特征圖拼接操作后再進行通道混洗，保證模型準確率的同時大幅度壓縮模型的大小。

1.4 MobileNet與GhostNet

Google 團隊提出一種新的輕量化神經(jīng)網(wǎng)絡，即MobileNet［16］，主要針對移動端與嵌入式設備視覺應用。傳統(tǒng)的標準卷積過程會產(chǎn)生大量的參數(shù)，該網(wǎng)絡的創(chuàng)新點是提出深度可分離卷積，有效減少了網(wǎng)絡參數(shù)。但深度卷積產(chǎn)生的特征通道數(shù)較少，在激活函數(shù)ReLU6 的作用下易產(chǎn)生較高的信息損耗。為此，改進后提出的MobileNetV2［17］，借鑒ResNet 的思想設計倒殘差結構和線性瓶頸結構，圖4（a）為倒殘差結構，將1 ×1 卷積核用來提升數(shù)據(jù)維度，使用ReLU6激活函數(shù)，以提高網(wǎng)絡的準確率。圖4（b）將ReLU6 替換成線性激活函數(shù)，減少對低維數(shù)據(jù)進行非線性激活運算，降低數(shù)據(jù)信息的丟失。

圖4 MobileNetV2 不同步長對應的塊結構

華為諾亞方舟實驗室［18］將ResNet_50 的第一個殘差塊處理輸出的特征圖進行可視化，發(fā)現(xiàn)存在很多相似的“特征圖對”，并提出特征圖對中的一個特征圖可以通過簡單的線性變換操作得到，以降低計算成本。GhostNet中的Ghost模塊如圖5所示，通過使用少量的參數(shù)來生成更多的特征圖，先用部分卷積核生成少量的內(nèi)部特征圖，再以簡單的線性變換操作生成Ghost特征圖，最后把兩組特征圖拼接在一起即輸出結果。在ImageNet數(shù)據(jù)集上與其他模型進行對比實驗，相同計算量的情況下，GhostNet 的識別精度相對較高。

圖5 Ghost模塊

2 低分辨率唇紋識別算法性能評估實驗

2.1 實驗數(shù)據(jù)與參數(shù)配置

2.1.1 數(shù)據(jù)采集與處理

文獻［6］采用接觸式采集方法，即使用美容霜、磁粉和磁粉涂抹器以及帶白紙的滾筒等，再將唇紋轉(zhuǎn)移到白紙，使用掃描儀將白紙上的唇紋轉(zhuǎn)化為數(shù)字圖像，建立了一個共350張灰度圖像的唇紋數(shù)據(jù)庫，圖像分辨率為800 ×400（300 dpi），如圖6（a）中所示，更適合應用于刑偵調(diào)查領域。

圖6 不同分辨率的唇紋圖像

實驗所用的唇紋圖像分別來自于30 個志愿者，采用非接觸式采集方法獲取圖像。為獲取到不同角度的唇紋圖像，采取視頻錄像的方式，使用海康威視的日夜型槍型網(wǎng)絡攝像機搭配高清鏡頭進行拍攝。在自然光照的條件下，志愿者將嘴唇與攝像機鏡頭保持30 cm的距離，并保持正常閉合狀態(tài)從左往右、從上往下的移動，得到每個志愿者的嘴唇視頻錄像。視頻中每個人唇紋的清晰度不同，因此以每隔5幀抓取一張圖片的方式獲得清晰的三原色（RGB）圖像。再將每張圖片大小統(tǒng)一裁剪為458 ×234（96 dpi），如圖6（b）中所示，與傳統(tǒng)識別方法建立數(shù)據(jù)庫相比，采集的圖片均屬于低分辨率唇紋圖像，更適用于實際生活場景的應用。最終每個志愿者提取70 張清晰的圖像，將30 個志愿者的圖像分別保存并建立以數(shù)字01～30 為類別標簽，整個數(shù)據(jù)集共2 100張唇紋圖像。

2.1.2 實驗環(huán)境與參數(shù)配置

實驗中所使用的網(wǎng)絡模型均基于Pytorch 深度學習框架進行搭建，硬件系統(tǒng)配置為AMD-R7 5800H處理器，Windows10 操作系統(tǒng)，16 GB 運行內(nèi)存，顯卡（GPU）為NVIDIA GeForce RTX3050Ti，CUDA是使用的CUDA11.4。數(shù)據(jù)集以8∶2的比例劃分為訓練集和測試集，即訓練集樣本數(shù)為1 680張圖像，測試集的樣本數(shù)為420 張。選擇Adam 網(wǎng)絡優(yōu)化算法進行訓練，采用交叉熵損失函數(shù)來計算損失值，批處理大?。╞atch_size）為16，網(wǎng)絡的訓練次數(shù)（epochs）為200。

實驗均采用準確率（Accuracy，A）作為評價網(wǎng)絡性能的指標，即模型正確預測的樣本數(shù)與樣本總數(shù)的比值，計算過程如下所示

式中 TP（true positive）為正樣本被預測為正的樣本數(shù)，F(xiàn)P（false positive）為負樣本被預測為正的樣本數(shù)，TN（true negative）為負樣本被預測為負的樣本數(shù)，F(xiàn)N（false negative）為正樣本被預測為負的樣本數(shù)。為保證模型的泛化能力，本文所有實驗結果中的識別率均取最后20 個epochs 的測試準確率的平均值。

2.2 實驗結果與分析

2.2.1 不同網(wǎng)絡模型的識別結果

選取8種經(jīng)典的和輕量化的網(wǎng)絡模型，除AlexNet的原始輸入圖像大小為227 ×227，其余模型的輸入圖像大小均為224 ×224，分別進行唇紋識別模型訓練，將學習率的大小設置為0.000 1，實驗結果如表1所示。

表1 不同網(wǎng)絡模型的識別效果

除SqueezeNet模型的識別率為81.21%，其余模型均達到了90%以上。綜合考慮各項評價指標，識別性能最好的是MobileNetV2網(wǎng)絡，倒殘差結構結合深度可分離卷積操作，既降低了模型的參數(shù)計算量，又提高了識別準確率，識別率高達97.22%。AlexNet網(wǎng)絡的參數(shù)量最大，采用單塊GPU進行訓練，識別率也達到了92.91%，而模型參數(shù)量最少及網(wǎng)絡訓練時間最短的是ShuffleNetV2，驗證了模型參數(shù)量是影響模型訓練速度的主要因素。由于DenseNet_121 的特征圖較大、卷積過程計算量大以及內(nèi)存訪問次數(shù)較多導致其訓練時間最長。因此，通過比較分析8 種網(wǎng)絡模型的識別性能，MobileNetV2是最適合應用于低分辨率唇紋識別的CNN模型。

2.2.2 不同學習率下的MobileNetV2網(wǎng)絡識別效果

在上述8類模型的性能比較實驗中，MobileNetV2 模型的識別率最高，所以選擇MobileNetV2作為網(wǎng)絡模型分別以不同的學習率進行訓練，對比分析實驗結果，討論學習率對模型識別性能的影響，實驗結果如表2所示。

表2 MobileNetV2 不同學習率下的識別結果

結合圖7不同學習率下模型的訓練損失變化曲線進行綜合分析，當學習率的大小為0.000 1 時MobileNetV2 網(wǎng)絡的性能達到了最佳，識別率高達97.22%；當學習率的值大于0.000 1時，隨著學習率的增大，收斂速度越來越快，而識別率卻在逐漸降低；當學習率小于0.000 1 時，模型收斂速度變慢且識別準確率大幅度地降低；在相同的訓練迭代次數(shù)內(nèi)，學習率為0.000 01的損失值最大，驗證了當學習率過小會導致模型收斂速度慢，其準確率也未達到90%以上。

圖7 不同學習率下訓練集的損失值變化曲線

2.2.3 不同層數(shù)的CNN唇紋識別性能

選擇ResNet和DenseNet 的不同層數(shù)的網(wǎng)絡進行唇紋識別實驗，將學習率的大小設置為0.000 1，其余參數(shù)保持不變，實驗結果如表3。

表3 不同網(wǎng)絡層數(shù)的模型識別結果

分析表3的實驗結果可以得出：ResNet 隨網(wǎng)絡層數(shù)的增加，識別率則逐漸降低。網(wǎng)絡層數(shù)由18 增加至50，識別率由96.32%降低至93.79%，主要原因是增加網(wǎng)絡層數(shù)使模型變得更復雜，且實驗訓練所用的數(shù)據(jù)較少，產(chǎn)生過擬合問題以及模型泛化能力較差。而DenseNet的網(wǎng)絡層數(shù)均在100層以上，與ResNet_18 相比，DenseNet_121 的網(wǎng)絡層數(shù)較多但參數(shù)量較少，其特征圖較大、卷積過程計算量大和內(nèi)存訪問次數(shù)較多等問題導致訓練時間更長。網(wǎng)絡層數(shù)從169層增加到201 層識別率下降了0.65%，主要原因是增加網(wǎng)絡層數(shù)使模型出現(xiàn)退化問題。所以網(wǎng)絡層數(shù)并非越多越好，需要綜合考慮網(wǎng)絡的識別性能影響因素進行設計。

3 結 論

本文選取AlexNet、GoogleNet 和MobileNet 等8 種不同的網(wǎng)絡，探索適合應用于低分辨率唇紋識別任務的最佳網(wǎng)絡，在創(chuàng)建的低分辨率數(shù)據(jù)集上開展不同的CNN 模型、學習率和網(wǎng)絡層數(shù)等方面的實驗。綜合分析實驗結果，輕量化網(wǎng)絡MobileNetV2較其他模型更適合唇紋識別任務，可以有效地解決傳統(tǒng)識別算法中存在的問題，其識別率高達97.22%，模型大小僅8.63 MB，較合適的學習率為0.000 1，并非網(wǎng)絡結構越深識別性能就越好，有助于未來在移動終端設備上實現(xiàn)唇紋的高效實時識別。

在未來的唇紋識別研究工作中，需要進一步擴大數(shù)據(jù)集規(guī)模，不斷改進優(yōu)化網(wǎng)絡結構和調(diào)整各項參數(shù)，構建識別率高、泛化能力強及更適用于移動設備的低分辨率唇紋識別模型。