余弦相似度保持的掌紋識別算法

丘展春，費倫科，滕少華，張 巍

（廣東工業(yè)大學 計算機學院, 廣東 廣州 510006）

隨著社會的飛速發(fā)展，如何高效、準確地進行身份認證變得越來越重要。和傳統(tǒng)的身份識別技術(shù)相比，基于生物特征[1]的識別技術(shù)由于具有方便、安全、可靠等優(yōu)點而受到廣泛關(guān)注。過去的十幾年里，掌紋、人臉、字跡、步態(tài)、指紋、DNA和聲音等[1-6]生物識別技術(shù)已在民用領(lǐng)域中廣泛使用。和其他生物特征識別技術(shù)相比，掌紋[7-11]主要有以下優(yōu)勢：(1) 穩(wěn)定的特征：掌紋不會像人臉一樣隨著年齡的變化而變化，也不會像指紋一樣被磨損；(2) 識別率高：掌紋不僅包含主線、褶皺和紋理特征等特征，還包含手型特征和靜脈特征；(3) 唯一性：研究人員在研究雙胞胎的掌紋特征時，發(fā)現(xiàn)掌紋可以將雙胞胎100%區(qū)分開來。

圖1為掌紋識別系統(tǒng)的工作流程，主要包含4個部分。(1) 掌紋圖像采集：掌紋采集設(shè)備用于采集掌紋圖像，以便構(gòu)建掌紋圖像數(shù)據(jù)庫。不同的掌紋采集設(shè)備可以采集到不同類型的掌紋圖像：二維掌紋圖像[10-11]、多光譜掌紋圖像[12-14]和三維掌紋圖像[15-16]。(2) 掌紋圖像預處理：在提取掌紋特征和識別之前需要對掌紋進行中心區(qū)域[17](region of interest)提取。原始掌紋圖像包含很多不必要信息，如背景區(qū)域和手指。除了將無用信息去除外，提取掌紋中心區(qū)域有利于掌紋對齊，以便后續(xù)的特征提取。(3) 掌紋特征提?。赫萍y圖像除了包含掌紋的特征信息外，還包含遮擋和光照變化等噪音。如何將掌紋特征從掌紋圖像中分離出來對后續(xù)掌紋分類的準確性有很大影響。(4) 掌紋分類：大部分掌紋數(shù)據(jù)庫提供的掌紋圖像都進行了預處理，本文將注意力集中在掌紋特征提取和分類上。

圖1 掌紋識別系統(tǒng)的工作流程Fig.1 Work flow of palmprint recognition system

過去的20年來，很多學者提出了多種有效的掌紋識別算法。大致可以把這些算法分為2大類：手工提取圖像特征的掌紋識別算法和基于學習的掌紋識別算法。

手工提取掌紋圖像特征的算法利用先驗知識設(shè)計一個效果良好的特征提取模型。掌紋圖像中最顯著的特征就是3條主線，即生命線，智慧線，感情線。因此基于手工提取特征的掌紋識別算法旨在通過邊緣檢測算子來提取掌紋主線特征。如Huang等[18]提出了一種基于掌紋主線的掌紋識別算法。特征提取階段，采用改進的有限Radon變換(Modified Finite Radon Transform, MFRT)來提取掌紋的主線特征并使用一種新的掌紋匹配算法(pixel-to-area)來計算2個掌紋之間的相似度。然而掌紋主線特征單一且在數(shù)據(jù)量大的時候容易出現(xiàn)主線特征相似的2個不同掌紋。因此，近期許多工作專注于提取掌紋的褶皺和紋理特征。如，Sun等[19]使用Gabor濾波器來提取相交2條線的響應(yīng)值并使用序數(shù)的方法對其進行編碼。Kong等[20]提出競爭編碼算法，即用6個方向的Gabor濾波器去提取掌紋中每一個點的方向，將響應(yīng)最大的方向設(shè)為該點主方向。由于競爭編碼采取贏者通吃的方法，使得它不能準確地提取到線特征的主方向。針對這個問題，Xu等[21]提出了區(qū)分性和魯棒性競爭編碼(Discriminative and Robust Competitive Code,DRCC)，使得提取的掌紋方向特征更加準確。Guo等[22]提出二進制方向向量(Binary Orientation Cooccurrence Vector, BOCV)算法來改進算法的性能。Zheng等[23]從二維掌紋圖像中提取三維特征來用于掌紋識別。Fei等[24]提出顯性和隱性方向編碼(Apparent and Latent Direction Code, ALDC)提取掌紋的雙層方向信息。后來，Jia等[25]提出線方向直方圖(Histogram of Oriented Lines，HOL)算法將提取到的掌紋線特征轉(zhuǎn)換成直方圖描述子用于掌紋的識別。

雖然手工提取的掌紋特征取得了很好效果，但是它不具備可擴展性。這些手工的圖像特征一般是由數(shù)據(jù)科學家根據(jù)特定的機器學習任務(wù)進行設(shè)計，這就要求數(shù)據(jù)科學家必須具有豐富的領(lǐng)域知識。手工提取特征是人去尋找特征，而基于學習的掌紋識別算法是讓機器從訓練樣本中學習數(shù)據(jù)的內(nèi)在特征。Zhao等[26]從掌紋中提取局部方向特征(Complete Local Direction Feature, CLDF)和卷積差異特征(Salient Convolution Difference Feature, SCDF)，并從CLDF和SCDF中學習掌紋的判別性特征。Fei等[27]通過最大化類間距離和最小化類內(nèi)距離,從掌紋的方向特征和紋理特征中學習判別性特征。一些子空間的方法，比如說獨立主成分分析[28-29]和局部保留映射[30]等也被用于掌紋識別中。得益于計算能力的飛速進步，近年來神經(jīng)網(wǎng)絡(luò)算法得到了快速的發(fā)展。深度學習也被用于掌紋識別的任務(wù)中[31-32]。神經(jīng)網(wǎng)絡(luò)雖然在人臉識別，圖像檢索、自然語言處理中取得很好的效果，然而神經(jīng)網(wǎng)絡(luò)的效果依賴于數(shù)據(jù)庫的大小和圖像分辨率。而現(xiàn)有的掌紋數(shù)據(jù)庫的數(shù)據(jù)量都比較小且分辨率低，是一個典型的小樣本問題，因此神經(jīng)網(wǎng)絡(luò)并不能取得最好的效果。

本文提出了一種基于余弦相似度保留的掌紋識別算法。圖2給出了算法的流程。對于訓練過程，首先提取掌紋的PDV (Pixel Different Vector)特征，然后通過余弦相似度保持模型(Cosine Similarity Preserving Learning, CSPL)同時學習PDV特征的二進制表示及其映射函數(shù)以減少PDV特征中的信息冗余。為了處理掌紋位置偏移和光照變化等噪音，將學習得到的二進制特征編碼成直方圖描述子。對于測試過程，利用學習到的映射函數(shù)將測試掌紋圖像的PDV特征快速編碼成二進制特征編碼，并將其轉(zhuǎn)化成直方圖描述子。通過比較訓練樣本和測試樣本的直方圖描述子可以識別相似的掌紋圖像。

圖2 算法流程Fig.2 Flowchart of algorithm

1 算法設(shè)計與分析

本節(jié)先介紹提取PDV[33]特征的方法，然后介紹如何通過余弦相似度保持模型將PDV特征映射為二進制特征，最后給出了將二進制特征編碼成直方圖描述子的過程。

1.1 PDV特征學習

PDV特征可以很好地刻畫圖像的局部特征，被廣泛應(yīng)用于計算機視覺算法中。

本文用X=[x1,x2,···,xn]∈Rn×d(其中d=w×h，w和h分別表示掌紋圖像的長和寬) 表示掌紋圖像的訓練集，其中d表示訓練樣本的維度，n表 示訓練樣本數(shù)，U表示最后提取到的PDV特征。PDV特征可以通過如下步驟計算所得：

(1) 對于訓練樣本的每個像素點，先計算該像素和周圍正方形區(qū)域像素的差值，接著以左上角為起點，以順時針的方向?qū)⑾袼夭钪颠B接起來形成PDV特征。圖3是提取像素I的PDV特征過程。

圖3 PDV的提取過程Fig.3 PDV extraction process

(2) 對于一個維度為d，樣本數(shù)為n的訓練集，首先將計算所得到的所有像素的PDV特征級聯(lián)在一起形成PDVs特征。記為U=[u1,u2,···,un×d]T∈R(n×d)×l，l表示PDV特征向量的長度。

1.2 二進制特征學習

和實值特征(real-valued feature)相比，二進制特征對光照變化具有魯棒性。為了去除PDV特征中的冗余信息并獲得更加魯棒性的特征，本文將實值的PDV特征轉(zhuǎn)化為二進制特征b∈{-1,1}k。

式中：ui表示PDV特征向量，bi表示二進制特征向量，W表示的是投影矩陣，r表示二進制編碼的長度。函數(shù) sgn(v) 是一個逐個元素求值函數(shù)，當v≥0的時候， sgn(v) =1，反之s gn(v)=-1。式(1)第一項計算任意2個PDV特征向量之間的余弦相似度，第二項計算任意2個二進制特征向量之間的余弦相似度。通過最小化2個余弦相似度之間的歐氏距離，可以在二進制空間中保持原始空間的特征結(jié)構(gòu)。由于ui是歸一化特征，bi是二進制特征，因此可以將式(1)簡化成如式(2)所示。

式中：U=[u1,u2,···,un×d]T∈R(n×d)×l表示的是PDVs特征矩陣,l表示PDV特征向量的長度。B=[b1,b2,···,bn×d]T∈{-1,1}(n×d)×k表示的是映射后的二進制特征矩陣，k表示二進制特征向量的長度。由于式(2)求解困難，通過放松其中一個二進制特征B成為連續(xù)特征UW來簡化目標函數(shù)優(yōu)化過程。因此式(2)可以改寫成如式(3)所示。

式中： λ1和 λ2表示平衡性參數(shù)。從式(3)的第一項可以看出，原始空間的特征結(jié)構(gòu)可以同時嵌入到二進制空間和映射函數(shù)中，使得學習到的二進制特征保留原始特征的空間結(jié)構(gòu)。式(3)的第二項通過最小化二進制特征和映射特征之間的歐氏距離，可以最小化投射特征和二進制特征之間的量化損失，減少放松二進制特征B的影響。

1.3 優(yōu)化算法

在這個部分，主要介紹對目標函數(shù)求解的優(yōu)化算法。首先對變量W和B進行隨機初始化，然后將目標函數(shù)分解為2個問題(W子問題和B子問題)進行交替迭代求解。

W子問題：固定等式(3)中的二進制特征矩陣B，投影矩陣W可以用式(4)計算得到。

使式(4)的導數(shù)為零，可以得到投影矩陣的解為

B子問題：對于式(3)，固定投影矩陣W，求解問題可以寫成如下形式。

為了求解離散編碼B，本文使用離散循環(huán)坐標下降的方法[34]求解式(7)。將式(7)改寫成式(8)形式。

式中：V=UW，Q=λ1UUTV+λ2V。

這 里 分 別 用bT表 示 矩 陣B的 第l行 向 量(l=1,2,···,k)，而用B′表 示矩陣B除 去向量bT后的矩陣。同 樣 的，使 用qT表 示 矩 陣Q的 第l行 向 量(l=1,2,···,k)，而用Q′表 示矩陣Q除 去向量qT后的矩陣，用wT表示矩陣W的第l行 向量(l=1,2,···,k)，而用W′表示矩陣W除去向量wT后的矩陣。然后，可以將||BVT||2寫成如式(9)的形式，其中const表示常量。

1.4 直方圖描述子學習

直方圖是一個統(tǒng)計學上的概念，反映了相應(yīng)變量的分布情況，所以變量的微小變化對直方圖的影響微乎其微。一些掌紋識別算法，比如ALDC[24]和HOL[25]使用直方圖描述子來處理掌紋圖像中光照，平移和旋轉(zhuǎn)等噪音。為了提高算法的魯棒性，本文將學習到的二進制特征編碼成直方圖描述子，相應(yīng)的計算過程包括：

(1) 將掌紋圖像分成m×m塊不重疊的區(qū)域(稱之為block)，每個block包含p×p個像素。

(2) 對于每個block，使用K-means聚類算法將學習到的二進制特征聚類成N個簇。用F N1表示第一個聚類中心的二進制特征的數(shù)量(Feature Number,FN)，每個block的直方圖描述子(Histogram of Block，HB)可以表示為

(3) 將每個block的直方圖連接起來為最終的直方圖描述子(Histogram of Graph, HG)。

2 實驗結(jié)果與分析

在這一節(jié)中，使用3個掌紋數(shù)據(jù)庫：polyU接觸式掌紋數(shù)據(jù)庫，ITTD非接觸式掌紋數(shù)據(jù)庫和CASIA非接觸式掌紋數(shù)據(jù)庫對本文提出的算法進行有效性驗證。在實驗中使用余弦相似度來進行識別。

2.1 掌紋數(shù)據(jù)庫

polyU掌紋數(shù)據(jù)集包含193名師生(每名師生提供左右手，即一共386個不同的掌紋)的7 752張掌紋圖像。掌紋的采集過程分為2個階段，每個階段對每個志愿者的左右手分別采集10張掌紋圖像。經(jīng)過ROI圖像裁剪后，每張掌紋圖像的分辨率為64×64。

ITTD掌紋數(shù)據(jù)庫包含2 601張掌紋圖像。對于每個手掌，分別收集5～7張不同手部姿勢變化的掌紋圖像。并且這些掌紋圖像的ROI(150×150分辨率掌紋圖像)以位圖的格式提供給大眾。

CASIA非接觸式掌紋數(shù)據(jù)庫是由中國科學院自動化研究所收集的。所有掌紋圖像均使用研究中心開發(fā)的掌紋識別系統(tǒng)采集，每個手掌分別采集6～18張掌紋圖像。CASIA掌紋數(shù)據(jù)庫一共包含5 501張來自310名志愿者的掌紋圖像(128×128分辨率掌紋圖像)。

圖4中從左到右的掌紋分別來自polyU、IITD和CASIA掌紋數(shù)據(jù)庫。從圖中可以看出polyU數(shù)據(jù)庫中的掌紋線特征清晰且表面沒有干擾的噪點。IITD中的掌紋雖然線特征清晰，但是從圖4(b)中紅框處可看出IITD掌紋表面有明顯陰影。CASIA數(shù)據(jù)庫中的掌紋圖像則是整體偏白，線特征不夠清晰。圖5為接觸式掌紋采集設(shè)備，在采集掌紋的時候需要用戶將手掌和采集設(shè)備接觸。接觸式的掌紋采集設(shè)備可以很方便地獲得清晰的掌紋圖像，但是對用戶不友好。圖6為非接觸式掌紋采集設(shè)備，在采集過程中，用戶只需將手掌對著采集設(shè)備即可。由于非接觸式的掌紋采集設(shè)備具有攜帶方便、對用戶友好等優(yōu)點，成為近年來研究的一個熱點。但受到光照和手掌位置偏移的影響，采集到的掌紋圖像常常出現(xiàn)偏移、噪音污染等情況。

圖4 來自不同掌紋數(shù)據(jù)庫的掌紋圖像Fig.4 Palmprint images from different palmprint databases

圖5 接觸式掌紋采集設(shè)備Fig.5 Contact palmprint collection device

圖6 非接觸式掌紋采集設(shè)備Fig.6 Contactless palmprint collection device

2.2 掌紋識別

掌紋識別是將一個待查詢的圖像與訓練集中的其他圖像進行比較，并確定該圖像與數(shù)據(jù)庫中的哪一類圖像最接近。實驗過程中，隨機選取每個掌紋的3張圖像作為訓練集，其余的圖像作為測試集。即在polyU掌紋數(shù)據(jù)庫中選取1 158張掌紋圖像作為訓練集，6 594張掌紋圖像作為測試集。IITD掌紋數(shù)據(jù)庫中選取1 380張掌紋圖像作為訓練集，1 221張掌紋圖像作為測試集。CASIA掌紋數(shù)據(jù)庫中選取1 860張掌紋圖像作為訓練集，3 641張掌紋圖像作為測試集。在實驗中，使用DRCC[21]，DoN[23], ALDC[24],HOL[25],Ordinal[19]和VGG-F[35]6種比較有代表性的算法來進行對比實驗。表1給出了本文算法和其他算法在polyU，IITD和CASIA 3個掌紋數(shù)據(jù)庫中的實驗結(jié)果。

表1 算法識別率Table 1 Algorithm recognition rate %

由于polyU接觸式掌紋數(shù)據(jù)庫中的掌紋圖像清晰，受到的噪聲干擾小。所有的算法都實現(xiàn)了較高的識別率，其中本文算法和ALDC的準確率最高。

同時，在非接觸式掌紋數(shù)據(jù)庫(IITD掌紋數(shù)據(jù)庫和CASIA掌紋數(shù)據(jù)庫)中，除了HOL算法、ALDC算法和本文的算法外，其他掌紋識別算法的表現(xiàn)大大不如在接觸式掌紋數(shù)據(jù)庫中的表現(xiàn)。即使在polyU數(shù)據(jù)庫中表現(xiàn)優(yōu)異的DRCC算法，在這兩個數(shù)據(jù)庫中的識別率下降了20%左右。由圖4可以看出，IITD和CASIA數(shù)據(jù)庫中普遍出現(xiàn)噪音干擾和線特征不清晰等問題[36]，所以在接觸式掌紋數(shù)據(jù)庫上表現(xiàn)優(yōu)秀的算法在非接觸式掌紋數(shù)據(jù)庫中不一定能取得一樣的效果。而本文的算法在得到掌紋的二進制的特征的時候?qū)⑵渚幋a成直方圖特征，和沒有使用直方圖特征的DRCC、DoN和Ordinal算法相比具有更好的抗干擾性。和同樣使用了直方圖的HOL和ALDC算法相比，本文的算法在提取了PDV特征后，通過學習將PDV特征的冗余信息去除后得到二進制特征，而HOL和ALDC是直接使用手工提取的特征。這表明本文的算法和手工提取特征的算法相比有更好的表現(xiàn)。

2.3 掌紋認證

掌紋認證(Palmprint Verification)是通過比較來確定兩張掌紋圖像是否屬于同一個人。通常先設(shè)定一個閾值，如果兩張圖片的相似度大于這個閾值則將判斷這兩張圖片來自同一個個體，否則將這兩張圖片判斷為來自不同個體。

圖7～9分別表示在3個數(shù)據(jù)庫中不同算法的表現(xiàn)。橫坐標表示錯誤接受率(False Accept Rate, FAR)，縱坐標表示錯誤拒絕率(False Reject Rate, FRR)。表2中給出的是等錯誤率(Equal Error Rate, EER)。從圖7～9和表2中可看出，在polyU數(shù)據(jù)庫中所有的算法的表現(xiàn)都非常接近。而在非接觸式數(shù)據(jù)庫(IITD和CASIA掌紋數(shù)據(jù)庫)中，本文提出的算法取得最好的性能。

表2 等錯誤率Table 2 Equal error rate

圖 7 算法在CASIA數(shù)據(jù)集上的ROC曲線Fig.7 ROC curves on the CASIA database

圖 8 算法在IITD數(shù)據(jù)集上的ROC曲線Fig.8 ROC curves on the IITD database

圖9 算法在polyU數(shù)據(jù)集上的ROC曲線Fig.9 ROC curves on the polyU database

2.4 消融實驗

本文所提算法首先提取了掌紋的PDV特征，然后使用余弦相似度保持模型(CSPL)將學習到的PDV特征映射為二進制特征，最后將其計算為直方圖特征。為了驗證余弦相似度保持模型(CSPL)的有效性，將使用局部二進制編碼[37](Local Binary Pattern,LBP)處理PDV特征、直接使用PDV向量作為特征表示與使用余弦相似度保持模型(CSPL)三者進行對比。

(1) LBP：對掌紋圖像提取了PDV特征后，使用LBP將其映射為二進制特征，最后將二進制特征計算為直方圖特征。

(2) PDV：對掌紋圖像提取了PDV特征后，直接將其計算成直方圖特征。

(3) CSPL：對掌紋圖像提取了PDV特征后，使用余弦相似度保持模型將其映射為二進制特征，最后將學習到的二進制特征計算為直方圖特征。

相關(guān)的實驗結(jié)果如表3所示。

表3 算法識別率Table 3 Algorithm recognition rate %

從表3可知，相對于使用LBP將PDV特征映射為二進制特征和不將PDV特征映射為二進制特征，使用余弦相似度保持模型(CSPL)比前兩者效果更好。

2.5 特征長度的敏感性

余弦相似度保持模型(CSPL)將PDV特征映射為二進制特征，不同長度的二進制特征包含不同的信息量。為了測試不同長度的二進制特征對算法準確率的影響，在IITD掌紋數(shù)據(jù)庫中測試了5，10，15，20，25這5種不同長度的二進制編碼對算法識別率的影響。圖10顯示了不同的二進制特征長度對算法準確率的影響。

圖10 二進制編碼長度對實驗結(jié)果的影響Fig.10 Influence of binary coding length

從圖10可以看出，將二進制編碼的長度設(shè)置為5的時候，算法的準確率可以達到84.3%。當二進制編碼的長度大于等于10的時候，算法的準確率呈緩慢上升的趨勢。但是二進制編碼的長度增加意味著訓練時間的增加，且當二進制編碼長度大于15的時候，準確率變化不大。綜合性能和時間成本，將最優(yōu)的二進制編碼的長度設(shè)置為15。

3 結(jié)論

本文設(shè)計了一種基于余弦相似度保持的掌紋識別算法。主要貢獻可以總結(jié)如下：

(1) 通過讓學習到的二進制特征的余弦值和原始特征的余弦值保持一致，使得學習得到的二進制特征保留原始空間結(jié)構(gòu)。

(2) 在3個廣泛使用的掌紋數(shù)據(jù)庫上進行了大量實驗，結(jié)果表明：和其他掌紋識別算法相比，本文提出的算法能更好地挖掘掌紋的潛在信息，體現(xiàn)了更高的精度和抗干擾性，驗證了本文算法的優(yōu)越性和有效性。