融合幾何信息和方向信息的三維掌紋識(shí)別方法

王 曦，蓋紹彥，達(dá)飛鵬

融合幾何信息和方向信息的三維掌紋識(shí)別方法

王 曦1,2，蓋紹彥1,2，達(dá)飛鵬1,2

(1. 東南大學(xué)自動(dòng)化學(xué)院，江蘇 南京 210096；2. 東南大學(xué)復(fù)雜工程系統(tǒng)測(cè)量與控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210096)

針對(duì)三維掌紋特征表示的魯棒性和準(zhǔn)確性問(wèn)題，提出一種融合曲面的幾何特征和方向特征的三維掌紋識(shí)別方法。基于現(xiàn)有的曲面類型編碼提取掌紋幾何特征的基礎(chǔ)上，提出使用基于形狀指數(shù)的編碼來(lái)共同表達(dá)三維掌紋的幾何特征，從而有效減少由閾值所引起的錯(cuò)誤編碼帶來(lái)的準(zhǔn)確性上的影響。此外，提出一種多尺度的改進(jìn)競(jìng)爭(zhēng)編碼來(lái)表達(dá)掌紋的方向特征。在決策層，使用基于多字典的協(xié)同表示框架融合上述幾何特征和方向特征以完成掌紋識(shí)別。在公開(kāi)的三維掌紋數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，所提方法可以在保持較低計(jì)算復(fù)雜度的同時(shí)實(shí)現(xiàn)最佳的識(shí)別精度。

三維掌紋識(shí)別；生物特征；形狀指數(shù)編碼；改進(jìn)競(jìng)爭(zhēng)編碼；協(xié)同表示

近年來(lái)，隨著社會(huì)科技的發(fā)展，在出入控制、機(jī)場(chǎng)和車站安檢、銀行和刑偵等應(yīng)用場(chǎng)景中，基于生物特征的身份識(shí)別由于其用戶友好性以及可靠性越來(lái)越受到人們的關(guān)注[1]。掌紋包含豐富的可用于識(shí)別內(nèi)在特征(主線、脊線、皺紋等)。這些特征被認(rèn)為是永久性的，對(duì)個(gè)體而言是唯一的。此外，掌紋識(shí)別由于其在采集時(shí)對(duì)手掌的約束性較低而容易被用戶接受。所以，掌紋是一種可以為身份識(shí)別提供高精度和用戶友好性的生物特征，研究掌紋識(shí)別是一項(xiàng)既有極大的社會(huì)應(yīng)用價(jià)值又在理論上有巨大挖掘潛力的工作。

目前已有的掌紋識(shí)別技術(shù)主要包括2D和3D掌紋識(shí)別。ZHANG等[2]首先提出了用Gabor濾波器在2D掌紋圖像上提取方向特征并進(jìn)行編碼，然后用漢明距離進(jìn)行識(shí)別。此后，許多基于方向特征的方法被提出，如競(jìng)爭(zhēng)編碼[3]，RLOC[4]，LLDP[5]，BOCV[6]，DOC[7]，DRCC[8]，F(xiàn)DR[9]等。另外，常見(jiàn)的基于圖像的機(jī)器學(xué)習(xí)方法也可以應(yīng)用于掌紋識(shí)別，如深度學(xué)習(xí)方法[10]。2D掌紋圖像識(shí)別具有明顯的優(yōu)點(diǎn)和缺點(diǎn)。優(yōu)點(diǎn)是2D圖像易于采集且成本較低，實(shí)時(shí)性較高；缺點(diǎn)是容易受光照、角度變化以及掌紋表面臟污的影響且易被偽造的假手掌欺騙。90年代起，隨著3D測(cè)量技術(shù)的發(fā)展，基于3D掌紋的識(shí)別技術(shù)快速發(fā)展起來(lái)。ZHANG等[11]搭建了一套基于結(jié)構(gòu)光技術(shù)的3D測(cè)量系統(tǒng)用于采集3D掌紋圖像。

3D掌紋的曲率信息描述了一個(gè)曲面固有的內(nèi)在屬性，不受旋轉(zhuǎn)和光照變化的影響，具有很好的穩(wěn)定性和魯棒性。在此前的3D掌紋識(shí)別中，很多學(xué)者使用的是BESL和JAIN[12]提出的根據(jù)高斯曲率和均值曲率的符號(hào)對(duì)3D掌紋中的點(diǎn)進(jìn)行分類的方法，該3D特征被稱為曲面類型(surface type，ST)。如，文獻(xiàn)[11]提出了一種通過(guò)對(duì)曲面曲率和ST特征進(jìn)行二進(jìn)制編碼的3D掌紋識(shí)別方法；文獻(xiàn)[13]通過(guò)拼接分塊ST直方圖形成了基于向量的3D掌紋描述符，并將協(xié)同表示用于特征識(shí)別。BAI等[14]通過(guò)結(jié)合分塊ST直方圖描述符和主成分分析法完成掌紋識(shí)別。

ST是基于曲率的閾值來(lái)劃分的，由于掌紋是非剛性物體，在測(cè)量過(guò)程中很容易產(chǎn)生微小形變以及存在2張掌紋點(diǎn)云的配準(zhǔn)不完全準(zhǔn)確的情況，導(dǎo)致閾值附近的點(diǎn)存在著被誤判的可能性。為了降低僅基于ST表達(dá)幾何特征造成的誤判所帶來(lái)的識(shí)別率上的影響，本文并行使用一種根據(jù)形狀指數(shù)(shape index，SI)[15]的數(shù)值區(qū)間對(duì)3D掌紋中的點(diǎn)進(jìn)行分類的方法，在此基礎(chǔ)上對(duì)每一個(gè)點(diǎn)進(jìn)行編碼，稱為形狀指數(shù)編碼(shape index coding，SIC)。本文首次提出對(duì)SI進(jìn)行離散地編碼并將其引入3D掌紋識(shí)別領(lǐng)域。實(shí)驗(yàn)證明，同時(shí)使用ST和SIC可以進(jìn)一步提高3D掌紋幾何特征表征的準(zhǔn)確性和魯棒性。此外，還提出一種多尺度的改進(jìn)競(jìng)爭(zhēng)編碼(multi-scale modified competitive coding，MSMCC)以提取掌紋的方向特征，并在決策級(jí)與上述MSMCC、SIC及ST特征進(jìn)行加權(quán)融合。在選擇分類算法時(shí)，若采用一對(duì)一身份驗(yàn)證的方法在樣本規(guī)模較大的情況下，計(jì)算速度難以令人滿意，為了解決一對(duì)多掌紋識(shí)別中的速度問(wèn)題，現(xiàn)有研究表明基于協(xié)同表示(collaborative representation，CR)的模型可以同時(shí)實(shí)現(xiàn)較高的準(zhǔn)確性和計(jì)算效率[13,16-17]。因此，本文將基于多字典協(xié)同表示的分類模型用于3D掌紋識(shí)別。

1 相關(guān)工作

本文將先介紹現(xiàn)有的3D掌紋的ST和SI的計(jì)算方法，以及2D掌紋中經(jīng)典的方向特征——競(jìng)爭(zhēng)編碼。

1.1 3D掌紋的曲面類型和形狀指數(shù)

3D掌紋表示一塊凹凸不平的手掌感興趣區(qū)域(region of interest，RoI)，而3D掌紋RoI圖像表達(dá)了一個(gè)手掌曲面的深度信息，圖1展示了3D掌紋RoI圖像，其中上面2張來(lái)自同一個(gè)手掌，下面2張來(lái)自另一個(gè)手掌。

對(duì)于3D掌紋中的任意一點(diǎn)，文獻(xiàn)[12]提供一種根據(jù)事先定義的一組窗口模板來(lái)計(jì)算均值曲率(mean curvature，MC)和高斯曲率(Gaussian curvature，GC)的方法。假設(shè)一個(gè)曲面片定義為(,,(,))，點(diǎn)(,)處的MC和GC分別為

其中，f,f,f,f和f分別為(,)的一階、二階和混合偏導(dǎo)，其可由一組窗口模板[12]計(jì)算得到。

1.1.1 曲面類型

為了更形象地描述3D曲面的特性，文獻(xiàn)[12]將一個(gè)曲面分成8種基本類型，并稱之為ST。這些曲面類型是根據(jù)()與零值的大小關(guān)系定義的。并指出一種特殊的ST是當(dāng)=0并且>0時(shí)的情況，雖然該類型實(shí)際中并不存在，但是為了完整性仍然被使用。因此，3D掌紋中的任意一點(diǎn)的ST可以被表示為9種曲面類型之一，見(jiàn)表1。

表1 曲面類型

當(dāng)根據(jù)和的符號(hào)對(duì)一個(gè)點(diǎn)分類時(shí)，需要判斷()等于零的情況，但由于和恰好等于零的情況極少，因此定義一對(duì)零值附近的對(duì)稱區(qū)間[–ε,+ε]和[–ε,+ε]，當(dāng)()的值落在區(qū)間內(nèi)，就認(rèn)為()等于零，具體做法參考文獻(xiàn)[12]。

1.1.2 形狀指數(shù)

為了直觀地描述一個(gè)3D形狀，文獻(xiàn)[15]提出了SI，其比曲面曲率更加直觀地表達(dá)了局部形狀的特性，并且具有尺度不變性。假設(shè)為曲面上的一點(diǎn)，對(duì)于上任意一條過(guò)點(diǎn)的曲線C，設(shè)曲線C在點(diǎn)處曲率值為k，其中1為曲率值k中的最大值，2為最小值，1和2又稱為曲面中點(diǎn)處的主曲率。1和2的計(jì)算如下

得到1和2后，點(diǎn)處的形狀指數(shù)S為

其中，S為曲面上點(diǎn)處的幾何信息。由此可知，形狀指數(shù)的取值都在[–1,1]之間。因此，根據(jù)形狀指數(shù)取值的區(qū)間[15]，可以將其劃分為9種局部形狀，見(jiàn)表2。

表2 形狀指數(shù)

1.2 競(jìng)爭(zhēng)編碼

在掌紋識(shí)別的研究中，方向特征被認(rèn)為是低分辨率2D掌紋識(shí)別中十分有效的特征，用一組方向不同的Gabor濾波器與2D掌紋圖像做卷積運(yùn)算，并在每一點(diǎn)比較卷積運(yùn)算的響應(yīng)結(jié)果，根據(jù)“winner-take-all”原則[3]將響應(yīng)最大的方向認(rèn)為是該點(diǎn)所在紋線的方向，這種方法稱為競(jìng)爭(zhēng)編碼。

Gabor濾波器是提取方向特征信息十分有效的工具。一般使用Gabor濾波器的實(shí)部來(lái)提取2D掌紋圖像的方向特征，即

其中，(,)為掌紋圖像；*為卷積運(yùn)算；(,)為卷積響應(yīng)值最大的濾波器的方向下標(biāo)。

2 形狀指數(shù)編碼與改進(jìn)競(jìng)爭(zhēng)編碼

本節(jié)提出了一種對(duì)SI按照區(qū)間編碼的特征——SIC，并分析了SIC與ST的互補(bǔ)性。此外，對(duì)傳統(tǒng)的競(jìng)爭(zhēng)編碼進(jìn)行了改進(jìn)，提出一種多尺度的改進(jìn)競(jìng)爭(zhēng)編碼——MSMCC。

2.1 形狀指數(shù)編碼

ST用于表征3D曲面的幾何特征。根據(jù)文獻(xiàn)[12]的做法，在判斷和的符號(hào)時(shí)，定義了一個(gè)零值附近的區(qū)間。在接觸式的3D掌紋采集過(guò)程中，被測(cè)手掌要求張開(kāi)平放在采集平臺(tái)上，因此采集到的3D掌紋中的大多數(shù)點(diǎn)的曲率值都比較小。換言之，一個(gè)3D掌紋中大量的點(diǎn)會(huì)聚集在上文所定義的區(qū)間附近。無(wú)論是區(qū)間選擇的合理性還是3D掌紋測(cè)量過(guò)程中的微小形變和噪聲，均會(huì)對(duì)判斷和的符號(hào)造成影響，從而產(chǎn)生一定數(shù)量的點(diǎn)的誤判。此外，在實(shí)際中并未有曲面對(duì)應(yīng)著=0且>0的情況。因此，單純地使用ST表達(dá)3D曲面的幾何特征必然存在著穩(wěn)定性和準(zhǔn)確性上的問(wèn)題。本文提出使用SIC來(lái)共同表征3D掌紋的幾何特征。盡管SI早已被提出，并且已廣泛的應(yīng)用于3D生物特征識(shí)別中(例如楊冰等[18]將SI轉(zhuǎn)化為灰度，然后從中再提取局部紋理特征用以掌紋識(shí)別)，但本文首次提出對(duì)SI進(jìn)行離散地編碼并引入三維掌紋識(shí)別。SIC根據(jù)9種不同的局部形狀對(duì)3D表面的幾何信息進(jìn)行編碼，且9種形狀均具有實(shí)際意義，見(jiàn)表3。

圖2中，左圖和右圖是不同時(shí)間采集自同一只手掌的2個(gè)3D掌紋樣本。現(xiàn)在分別在左、右手掌上的同一點(diǎn)執(zhí)行ST和SIC編碼。根據(jù)文獻(xiàn)[12]描述的區(qū)間，左、右掌紋的MC符號(hào)維持一致，但是由于形變和噪聲，此時(shí)右圖掌紋的GC符號(hào)發(fā)生改變，并以紅色字體標(biāo)記，因此，左、右掌紋在該點(diǎn)處的ST編碼不一致。但是，根據(jù)表3中SIC的編碼規(guī)則，此時(shí)左、右掌紋在該點(diǎn)處的SIC是一致的。這表明SIC和ST本質(zhì)上是2種不同的三維特征表達(dá)，且具有一定的互補(bǔ)性，使用SIC共同表征3D掌紋的幾何特征可以提高算法的穩(wěn)定性和準(zhǔn)確性。

2.2 多尺度的改進(jìn)競(jìng)爭(zhēng)編碼

SIC與ST均可對(duì)3D掌紋幾何特征進(jìn)行描述，為了進(jìn)一步提升算法的性能，本文提出的MSMCC可從均值曲率灰度圖(mean curvature image，MCI)中提取掌紋的方向特征。傳統(tǒng)的競(jìng)爭(zhēng)編碼僅使用單個(gè)尺度的Gabor濾波器來(lái)提取每個(gè)特定角度上的局部方向信息。實(shí)際上，不同尺度的Gabor濾波器可以感知不同的方向信息，即不同尺度的Gabor濾波器對(duì)應(yīng)于不同的感受野。感受野越小，所提取的方向信息就越局部化。此外，MCI圖中具有大量的灰度平坦區(qū)域。在這些平坦區(qū)域使用傳統(tǒng)競(jìng)爭(zhēng)編碼，因受形變等因素影響產(chǎn)生編碼錯(cuò)誤的可能性相對(duì)較大。受此啟發(fā)，本文使用MSMCC來(lái)更好地表征掌紋的方向特征。

圖2 SICs與STs互補(bǔ)性分析

在獲得8個(gè)方向的多尺度卷積響應(yīng)之后，通過(guò)響應(yīng)的極差來(lái)篩選出灰度平坦區(qū)域中的點(diǎn)，并將其的競(jìng)爭(zhēng)編碼置為零。本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，位于平坦區(qū)域的點(diǎn)上的競(jìng)爭(zhēng)編碼更容易受到形變和噪聲等因素的影響。經(jīng)過(guò)改進(jìn)，MSMCC的編碼規(guī)則為

其中，max為8個(gè)方向的多尺度響應(yīng)中的最大響應(yīng)，min為最小響應(yīng)；為控制篩選位于平坦區(qū)域點(diǎn)的值；(,)為式(7)所示的競(jìng)爭(zhēng)編碼。

因此，MSMCC將MCI的每個(gè)點(diǎn)都編碼為從0~8的數(shù)字。根據(jù)經(jīng)驗(yàn)，將設(shè)置為3，將Gabor濾波器的參數(shù)設(shè)置為5.617 9，并且由于參數(shù)與尺度直接相關(guān)，本文將4個(gè)不同尺度的Gabor濾波器的分別設(shè)置為0.176 7，0.125 0，0.091 6和0.062 5，且對(duì)應(yīng)的權(quán)重分別為0.2，0.2，0.3及0.3。

圖3第2行顯示，當(dāng)=3.0時(shí)，圖中白色的點(diǎn)即為篩選出的位于平坦區(qū)域的點(diǎn)，圖3第1行為其對(duì)應(yīng)的MCI圖。可以發(fā)現(xiàn)，在MCI中的主線及其他較明顯的皺線區(qū)域附近，圖3第2行中則均顯示為黑色的點(diǎn)，這與人們的認(rèn)知相符：有明顯方向特征的區(qū)域應(yīng)該使用Gabor濾波器來(lái)表示方向。

圖3 平坦區(qū)域點(diǎn)(T=3.0)

圖4展示了提取MSMCC的實(shí)際過(guò)程。對(duì)于MCI的每一點(diǎn)，使用8組包含4個(gè)尺度的Gabor濾波器與之卷積，然后依次將4個(gè)尺度的卷積響應(yīng)的加權(quán)值作為各個(gè)方向的最終響應(yīng)。最后利用極差篩選出“平坦區(qū)域”的點(diǎn)，以此形成多尺度的改進(jìn)競(jìng)爭(zhēng)編碼。

圖4 MSMCC特征提取示例

3 特征處理與分類方法

3.1 基于分塊的直方圖統(tǒng)計(jì)

本文通過(guò)SIC和ST編碼特征來(lái)表征3D掌紋的幾何特征，并提取了MSMCC來(lái)表征3D掌紋的方向特征。因此，對(duì)于一張3D掌紋RoI圖像，可以獲得對(duì)應(yīng)于SIC，ST和MSMCC特征的3個(gè)編碼特征圖。為了抵抗形變并降低計(jì)算復(fù)雜度，本文使用基于分塊直方圖統(tǒng)計(jì)的方法。

3D掌紋RoI圖像的大小為128×128像素，以不重疊的方式逐行進(jìn)行分塊。根據(jù)實(shí)驗(yàn)，當(dāng)每個(gè)小塊的大小為12×12像素時(shí)，其效果最佳。對(duì)每一個(gè)小塊分別進(jìn)行直方圖統(tǒng)計(jì)后，將其連成一個(gè)更大的直方圖特征。因此，對(duì)于一張3D掌紋RoI圖像，可以得到對(duì)應(yīng)于SIC，ST和MSMCC的3個(gè)降維后的直方圖特征向量。

3.2 基于多字典的協(xié)同表示的掌紋分類

根據(jù)文獻(xiàn)[13]，本文使用基于協(xié)同表示的分類模型。根據(jù)4.1節(jié)的方法，從訓(xùn)練集里的樣本中分別提取出SIC，ST和MSMCC直方圖特征，在算法描述過(guò)程中3種特征向量均簡(jiǎn)記為.j，其中為第類3D掌紋RoI圖像，為該類中第個(gè)掌紋樣本。將訓(xùn)練集中所有樣本提取出的.j按照如下順序排列構(gòu)建訓(xùn)練字典

其中，為掌紋樣本的類的數(shù)量；n為訓(xùn)練集中第類樣本的數(shù)量；為特征向量.j的維數(shù)；為訓(xùn)練樣本的總數(shù)。

本文利用SIC，ST和MSMCC特征構(gòu)造了3個(gè)獨(dú)立的字典，分別記錄為1，2，3。

給定一張測(cè)試3D掌紋RoI圖像，參考3.1節(jié)的做法分別提取SIC，ST和MSMCC直方圖特征向量，并記為1，2，3。并根據(jù)基于協(xié)同表示的分類模型，分別計(jì)算1(2,3)用字典1(2，3)來(lái)表示權(quán)重向量1(2,3)，即

然后，分別根據(jù)權(quán)重向量1,2,3計(jì)算出該測(cè)試樣本與訓(xùn)練集中的每類掌紋之間的匹配誤差，其可用歐式距離表示，即

其中，δ()為一個(gè)從衍生的新向量，即將中與類別相關(guān)聯(lián)的項(xiàng)保留不變，其余項(xiàng)均置零；()為向量與第類之間的匹配誤差。

最后，從獨(dú)立的字典1，2，3分別獲得3個(gè)獨(dú)立的匹配誤差，其分別代表該測(cè)試掌紋基于SIC，ST和MSMCC特征的分類結(jié)果。常用的融合方法包括特征級(jí)融合和決策級(jí)融合，經(jīng)過(guò)實(shí)驗(yàn)，本文選擇在決策級(jí)對(duì)上述3個(gè)匹配誤差進(jìn)行加權(quán)融合，如式(13)所示。其中，w為權(quán)重，=1對(duì)應(yīng)SIC，=2對(duì)應(yīng)ST，=3對(duì)應(yīng)MSMCC，相應(yīng)地，本文中1為0.30，2和3均為0.35；r()為該測(cè)試掌紋和第類之間的最終匹配誤差，誤差最小的類別可為識(shí)別結(jié)果，即

最后，本文的算法流程圖如圖5所示。首先，在離線訓(xùn)練部分，可從訓(xùn)練集中的所有掌紋樣本中提取SIC，ST和MSMCC特征，并形成SIC，ST和MSMCC圖。然后，使用基于分塊直方圖統(tǒng)計(jì)的方法進(jìn)一步提取降維的直方圖特征。之后，對(duì)于SIC，ST和MSMCC，分別將所有訓(xùn)練樣本的直方圖特征按列依次連接以形成訓(xùn)練字典A1，A2，A3。在線測(cè)試部分，對(duì)于3D測(cè)試掌紋，首先按照相同的步驟提取對(duì)應(yīng)于SIC，ST和MSMCC 的直方圖特征y1, y2, y3；然后根據(jù)y1 (y2, y3)計(jì)算由字典A1(A2，A3)表示的權(quán)重向量x1 (x2, x3)；接下來(lái)，根據(jù)權(quán)重向量x1, x2, x3，計(jì)算出該測(cè)試掌紋與訓(xùn)練集中的每一類掌紋之間的匹配誤差r1, r2, r3。最后，在決策層進(jìn)行加權(quán)融合，得出分類結(jié)果。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集及關(guān)鍵參數(shù)說(shuō)明

所有實(shí)驗(yàn)均在公開(kāi)的香港理工大學(xué)3D掌紋庫(kù)(Hong Kong Polytechnic University 3D palmprint database)上進(jìn)行的。該數(shù)據(jù)集包含了8 000張采集自400個(gè)(來(lái)自200名志愿者)不同手掌的3D掌紋樣本。志愿者包括136名男性和64名女性，年齡10~55歲。每個(gè)手掌都分2個(gè)階段采集，時(shí)間跨度為1個(gè)月，每個(gè)階段采集10個(gè)樣本。經(jīng)過(guò)處理數(shù)據(jù)集中每一個(gè)3D掌紋RoI圖像的大小為128×128像素。實(shí)驗(yàn)平臺(tái)的硬件規(guī)格為Intel(R) Core(TM) i7-4770 (3.40 GHz)的CPU，以及8 GB的ARM，軟件平臺(tái)為 Visual Studio 2015。

4.2 掌紋識(shí)別實(shí)驗(yàn)

為了證明本文方法的有效性，將本文方法與MCI_GCI_ST[11]，MCI_Comp[19]，SI_Comp_LTP[18]，ST_CR[13]，ST_PCA[14]，CBR[20]，PDCST[21]先進(jìn)的3D掌紋識(shí)別方法進(jìn)行了比較。實(shí)驗(yàn)中分別選擇每個(gè)類別的樣本數(shù)=1 (2，3，4，10)作為訓(xùn)練集，其余的樣本被選作測(cè)試集。在每類樣本數(shù)=1 (2，3，4)時(shí)，隨機(jī)選擇訓(xùn)練樣本并執(zhí)行10次以計(jì)算平均準(zhǔn)確率。在=10時(shí)，選擇第1階段采集的10張樣本作為訓(xùn)練集，第2階段采集的10張樣本則為測(cè)試集。實(shí)驗(yàn)結(jié)果見(jiàn)表4?？梢钥闯?，本文方法相比于其他7種方法具有更突出的性能。特別地，當(dāng)選擇1，2，3，4，10個(gè)掌紋樣本作為訓(xùn)練樣本時(shí)，本文方法在Rank-1準(zhǔn)確率上，相比其他7種方法的平均準(zhǔn)確率可以分別提高約7.64%，3.38%，1.99%，0.98%，3.15%。

表4 不同掌紋識(shí)別方法Rank-1準(zhǔn)確率比較(%)

此外，還將式(11)計(jì)算出的對(duì)應(yīng)SIC，ST和MSMCC權(quán)重向量拼接作為一個(gè)新的特征向量，然后再使用支持向量機(jī)(support vector machine，SVM)作為分類器，選擇C類支持向量分類機(jī)，核函數(shù)使用高斯徑向基核函數(shù)，=0.1，=0.1，記為CR_SVM_RBF；此外，將式(10)中的正則化項(xiàng)，即第二項(xiàng)替換成L1-范數(shù)，并使用Homotopy[22]方法求解近似解，記為CR_L1_Homotopy。使用第1階段采集的10張樣本作為訓(xùn)練集，將第2階段采集的10張樣本作為測(cè)試集，將2種對(duì)比方法和本文方法的Rank-1識(shí)別率及平均完成一次識(shí)別所需時(shí)間(包含模型訓(xùn)練和分類識(shí)別)列為表5。從表5中可見(jiàn)，本文方法比CR_SVM_RBF和CR_L1_Homotopy方法的計(jì)算時(shí)間要縮短很多，識(shí)別率比CR_SVM_RBF方法高2.33%，僅比CR_L1_Homotopy低0.04%，因此本文方法整體上優(yōu)于其他2種方法。

表5 基于協(xié)同表示的方法比較

4.3 SIC和MSMCC有效性實(shí)驗(yàn)

經(jīng)過(guò)一系列比較實(shí)驗(yàn)證明了本文提出的SIC和MSMCC特征的有效性。以下所有實(shí)驗(yàn)均使用與本文方法相同的處理過(guò)程(圖5)：即使用基于分塊直方圖統(tǒng)計(jì)和基于協(xié)同表示的分類算法。實(shí)驗(yàn)結(jié)果如圖6所示。

圖6(a)比較了當(dāng)訓(xùn)練樣本數(shù)分別為1 (2，3，4，10)時(shí)，單獨(dú)使用ST或SIC以及將ST和SIC在決策層融合(圖中記為ST+SIC)的Rank-1準(zhǔn)確率。圖6(b)比較了MSMCC以及其他4種先進(jìn)的基于方向特征的方法的Rank-1準(zhǔn)確率，其包括CompCode[3]，LLDP[5]，DOC[7]，BOCV[6]。圖6(c)比較了單獨(dú)使用ST，SIC，MSMCC以及在決策層將三者融合(記為Proposed)的Rank-1準(zhǔn)確率。

圖6(a)顯示，在將SIC與ST融合后，算法的準(zhǔn)確性有了明顯提高，表明本文利用SIC共同表征3D掌紋幾何特征的方法是有效的。由于形變等其他因素的影響，基于閾值的ST特征很容易造成閾值附近點(diǎn)的誤判。融合SIC之后，可在決策級(jí)上降低此類誤判對(duì)識(shí)別結(jié)果的影響，因此可以有效提高算法的魯棒性和準(zhǔn)確性。

圖6 SIC及MSMCC有效性實(shí)驗(yàn)

圖6(b)表明，MSMCC的性能優(yōu)于CompCode。此外，盡管MSMCC和LLDP，DOC，BOCV方法均利用了多個(gè)方向的信息，但MSMCC并非對(duì)多個(gè)方向進(jìn)行編碼，而是維持了競(jìng)爭(zhēng)編碼的“winner-take-all”原則：即在本文認(rèn)為的非平坦區(qū)域中，仍將具有最大響應(yīng)的Gabor濾波器的方向視為該點(diǎn)所在紋線的方向，但是對(duì)于由最大響應(yīng)和最小響應(yīng)篩選出的位于平坦區(qū)域的點(diǎn)將被統(tǒng)一地編碼。

圖6(c)表明，本文使用的幾何特征SIC和ST，在與方向特征MSMCC融合后，顯著地提高了算法的準(zhǔn)確性，說(shuō)明本文對(duì)3種特征的融合是有意義的，其間存在著強(qiáng)大的互補(bǔ)性。

4.4 計(jì)算復(fù)雜度分析

為了評(píng)估本文算法的計(jì)算復(fù)雜度，將本文算法與其他幾種方法進(jìn)行了特征提取時(shí)間和平均完成一次識(shí)別所需時(shí)間2方面的比較。實(shí)驗(yàn)中，每種方法均使用第1階段采集的10張掌紋樣本作為訓(xùn)練集，第2階段采集的另外10張掌紋樣本作為測(cè)試集。每種方法均重復(fù)10次，取平均值作為結(jié)果，見(jiàn)表6。

表6 不同方法的計(jì)算時(shí)間對(duì)比(ms)

從表6可以看出，本文方法在特征提取上花費(fèi)的時(shí)間比ST_CR和ST_PCA方法略長(zhǎng)，但與CBR和PDCST方法相當(dāng)接近。原因是ST_CR和ST_PCA僅提取單個(gè)ST特征，但本文方法與CBR、PDCST方法還提取了方向特征。本文方法需要在提取MSMCC時(shí)使用Gabor濾波器對(duì)圖像進(jìn)行卷積運(yùn)算，特別是MSMCC在每個(gè)方向上都需要使用4個(gè)不同尺度的濾波器進(jìn)行卷積，這是本文算法耗時(shí)的主要原因。

對(duì)于識(shí)別單張樣本所需的時(shí)間，本文方法僅比ST_CR和ST_PCA慢一些，但是快于其他方法，其原因是本文使用了基于協(xié)同表示的分類模型，該方法不需要與訓(xùn)練集中的所有訓(xùn)練樣本進(jìn)行一對(duì)一的比較。因此，本文方法可以在達(dá)到最佳的識(shí)別精度的同時(shí)保持較低的時(shí)間復(fù)雜度，并且在大規(guī)模的掌紋識(shí)別應(yīng)用中這一優(yōu)勢(shì)尤為明顯。

5 結(jié) 論

本文提出了一種新型的3D掌紋識(shí)別方法，其具有出色的識(shí)別精度并可滿足實(shí)時(shí)性要求。在特征提取方面，本文分別從3D掌紋的幾何特征和MCI圖上的方向特征入手。對(duì)于ST，處于閾值附近的點(diǎn)由于形變和噪聲干擾而容易被誤判，因而導(dǎo)致幾何特征表達(dá)的不確定性和不穩(wěn)定性，為了解決該問(wèn)題，提出了使用基于SI的編碼特征SIC來(lái)共同表征3D掌紋的幾何特征。另外，本文還提出MSMCC，并在基于多字典協(xié)同表示的分類模型的決策層將其與SIC和ST融合，有效提高了算法的準(zhǔn)確性和魯棒性。在公開(kāi)的數(shù)據(jù)庫(kù)PolyU3D palmprint database上的大量實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法在3D掌紋識(shí)別中的突出性能以及本文所提出的SIC和MSMCC特征在3D掌紋特征表示上的有效性。

[1] JAIN A K, ROSS A, PRABHAKAR S. An introduction to biometric recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2004, 14(1): 4-20.

[2] ZHANG D, KONG W K, YOU J, et al. Online palmprint identification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(9): 1041-1050.

[3] KONG A W K, ZHANG D. Competitive coding scheme for palmprint verification[C]//Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004. New York: IEEE Press, 2004: 520-523.

[4] JIA W, HUANG D S, ZHANG D. Palmprint verification based on robust line orientation code[J]. Pattern Recognition, 2008, 41(5): 1504-1513.

[5] LUO Y T, ZHAO L Y, ZHANG B, et al. Local line directional pattern for palmprint recognition[J]. Pattern Recognition, 2016, 50: 26-44.

[6] GUO Z H, ZHANG D, ZHANG L, et al. Palmprint verification using binary orientation co-occurrence vector[J]. Pattern Recognition Letters, 2009, 30(13): 1219-1227.

[7] FEI L K, XU Y, TANG W L, et al. Double-orientation code and nonlinear matching scheme for palmprint recognition[J]. Pattern Recognition, 2016, 49: 89-101.

[8] XU Y, FEI L K, WEN J, et al. Discriminative and robust competitive code for palmprint recognition[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018, 48(2): 232-241.

[9] 陳曉蔓, 賈偉, 李書杰, 等. 融合全局和局部方向特征的掌紋識(shí)別方法[J]. 圖學(xué)學(xué)報(bào), 2019, 40(4): 671-680. CHEN X M, JIA W, LI S J, et al. Palmprint recognition method combining global and local direction features[J]. Journal of Graphics, 2019, 40(4): 671-680 (in Chinese).

[10] ZHAO S P, ZHANG B. Deep discriminative representation for generic palmprint recognition[J]. Pattern Recognition, 2020, 98: 107071.

[11] ZHANG D, LU G M, LI W, et al. Palmprint recognition using 3-D information[J]. IEEE Transactions on Systems Man and Cybernetics Part C (Applications and Reviews), 2009, 39(5): 505-519.

[12] BESL P J, JAIN R C. Segmentation through variable-order surface fitting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1988, 10(2): 167-192.

[13] ZHANG L, SHEN Y, LI H Y, et al. 3D palmprint identification using block-wise features and collaborative representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(8): 1730-1736.

[14] BAI X F, GAO N, ZHANG Z H, et al. 3D palmprint identification combining blocked ST and PCA[J]. Pattern Recognition Letters, 2017, 100: 89-95.

[15] KOENDERINK J J, VAN DOORN A J. Surface shape and curvature scales[J]. Image and Vision Computing, 1992, 10(8): 557-564.

[16] ZHANG L, YANG M, FENG X. Sparse representation or collaborative representation: Which helps face recognition?[C]//2011 International Conference on Computer Vision. New York: IEEE Press, 2011: 471-478.

[17] YANG A Q, ZHANG L, LI L D, et al. Multi-dictionary based collaborative representation for 3D biometrics[M]//Intelligent Computing Theories and Application. Cham: Springer International Publishing, 2016: 39-48.

[18] 楊冰, 王小華, 楊鑫. 基于局部紋理特征的三維掌紋識(shí)別研究[J]. 光電工程, 2014, 41(12): 53-59. YANG B, WANG X H, YANG X. Research on 3D palmprint recognition based on local texture features[J]. Optoelectronic Engineering, 2014, 41(12): 53-59 (in Chinese).

[19] LI W, ZHANG D, ZHANG L, et al. 3-D palmprint recognition with joint line and orientation features[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2011, 41(2): 274-279.

[20] FEI L K, LU G M, JIA W, et al. Complete binary representation for 3-D palmprint recognition[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(12): 2761-2771.

[21] FEI L K, ZHANG B, XU Y, et al. Precision direction and compact surface type representation for 3D palmprint identification[J]. Pattern Recognition, 2019, 87: 237-247.

[22] MALIOUTOV D M, CETIN M, WILLSKY A S. Homotopy continuation for sparse signal representation[C]//Proceedings. (ICASSP ’05). IEEE International Conference on Acoustics, Speech, and Signal Processing 2005. New York: IEEE Press, 2005: 733-736.

Fusion of geometric and orientation information for 3Dpalmprint recognition

WANG Xi1,2, GAI Shao-yan1,2, DA Fei-peng1,2

(1. School of Automation, Southeast University, Nanjing Jiangsu 210096, China; 2. Key Laboratory of Measurement and Control of Complex Engineering System, Ministry of Education, Southeast University, Nanjing Jiangsu 210096, China)

In order to improve the robustness and accuracy of the feature representation of 3D palmprint, a method integrating the geometric and directional features of curved surfaces was proposed. Based on the existing method using the surface type (ST)-based coding to extract geometric features of a 3D palm, we proposed to use the shape index (SI)-based coding to jointly characterize the geometric features of 3D palmprints. This operation can effectively reduce the impact on accuracy brought by the error encoding caused by the threshold. Moreover, we proposed a multi-scale modified competitive coding (MSMCC) to characterize the orientation features. The multi-dictionary collaborative-representation (CR)-based framework was employed to merge the geometric and orientation features into the decision level to perform identification. Extensive experiments on the public 3D palmprint database prove that the proposed method can achieve an optimal rank-1 recognition accuracy while maintaining a relatively low computational complexity.

3Dpalmprint recognition; biometrics; shape index coding; modified competitive coding; collaborative representation

TP 391

10.11996/JG.j.2095-302X.2020030390

A

2095-302X(2020)03-0390-09

2019-12-13；

2020-02-14

國(guó)家自然科學(xué)基金項(xiàng)目(51475092，61462072)；江蘇省自然科學(xué)基金項(xiàng)目(BK20181269)；深圳市知識(shí)創(chuàng)新計(jì)劃基礎(chǔ)研究項(xiàng)目(JCYJ2018030 6174455080)

王 曦(1994-)，男，江蘇鹽城人，碩士研究生。主要研究方向?yàn)檎萍y識(shí)別、圖像處理。E-mail：929462704@qq.com

蓋紹彥(1979-)，男，江蘇南京人，副教授，博士，博士生導(dǎo)師。主要研究方向?yàn)槿S測(cè)量、計(jì)算機(jī)視覺(jué)和圖像處理。E-mail：qxxymm@163.com