基于卷積稀疏表示的內(nèi)外部指紋融合方法研究①

崔靜靜 王海霞 陳 朋 蔣 莉 張怡龍

(?浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 杭州 310000)

(??浙江工業(yè)大學(xué)信息工程學(xué)院 杭州 310000)

0 引言

隨著個(gè)人身份認(rèn)證越來(lái)越受到重視,生物特征識(shí)別技術(shù)得到了迅猛的發(fā)展。指紋由于其獨(dú)特性和終身不變性[1],成為當(dāng)前個(gè)體識(shí)別或認(rèn)證中使用最多的生物識(shí)別特征。傳統(tǒng)的指紋采集設(shè)備,例如光學(xué)設(shè)備[2]、電容性設(shè)備[3]等,能夠快速采集到對(duì)比度較高的指紋圖像。然而當(dāng)手指表皮存在污垢、磨損或疤痕時(shí),獲取的指紋圖像會(huì)出現(xiàn)信息模糊與缺失等現(xiàn)象,對(duì)指紋的匹配識(shí)別造成影響。此外,表皮指紋易遭受硅膠指紋膜等的欺騙攻擊[4]。事實(shí)上,手指指尖皮膚主要由表皮與真皮構(gòu)成,在兩者的交界處存在活性表皮層。生理學(xué)家發(fā)現(xiàn)表皮層構(gòu)成的外部指紋與活性表皮層構(gòu)成的內(nèi)部指紋結(jié)構(gòu)相同[4]。內(nèi)部指紋位于指尖皮下2 mm 內(nèi)[5],不易受外部皮膚狀態(tài)影響[5-6],且能夠有效地防止偽造指紋的欺騙。外部指紋與內(nèi)部指紋之間的一致性也已經(jīng)得到驗(yàn)證[6]。光學(xué)相干斷層掃描(optical coherence tomography,OCT)成功從指尖活性表皮層采集內(nèi)部指紋數(shù)據(jù)[7]。OCT 是一種無(wú)損、高分辨、非侵入式的成像技術(shù),基于低相干干涉成像原理,對(duì)活體組織進(jìn)行高分辨率成像,獲取指尖皮下的3D 體數(shù)據(jù)。文獻(xiàn)[8]利用輕量級(jí)神經(jīng)網(wǎng)絡(luò)精確提取OCT 內(nèi)外指紋。文獻(xiàn)[9]證明了OCT 指紋可以抵抗假指紋攻擊和惡劣的指尖情況。

通過(guò)光學(xué)設(shè)備采集的外部指紋圖像,有效面積大,圖像清晰度高,但抗干擾性不強(qiáng)。通過(guò)OCT 技術(shù)采集得到指尖皮膚的體數(shù)據(jù),利用指紋提取算法獲取到內(nèi)部指紋圖像,抗干擾性強(qiáng)。然而受傳感器與提取算法等影響,內(nèi)部指紋圖像通常包含噪聲和較低的對(duì)比度。通過(guò)上述采集方式獲取的內(nèi)外指紋圖像,是本文的主要研究對(duì)象。

內(nèi)外指紋圖像融合是將多張指紋圖像信息相互結(jié)合,使融合指紋圖像包含更多的細(xì)節(jié)紋理信息,便于后續(xù)識(shí)別研究。關(guān)于指紋圖像融合的研究較少,文獻(xiàn)[10]提出了將不同傳感器采集得到的外部指紋進(jìn)行融合,但當(dāng)外部指紋出現(xiàn)磨損等情況時(shí),外部指紋圖像均存在相同的信息缺失的情況,融合不會(huì)有助于信息的補(bǔ)充。文獻(xiàn)[11]利用OCT 獲取指尖皮膚體數(shù)據(jù),由指紋提取算法同步得到內(nèi)外指紋圖像,按照多尺度規(guī)則計(jì)算指紋圖像的方向確定度(orientation certainty level,OCL)分?jǐn)?shù),利用偏置算法將OCT 內(nèi)外指紋圖像進(jìn)行融合。該融合方法得到的融合指紋圖像,不受指尖表皮狀態(tài)的影響,但OCT 指紋圖像存在噪聲、對(duì)比度較低的問(wèn)題,無(wú)法解決。目前,沒(méi)有關(guān)于多傳感器內(nèi)外指紋圖像融合的研究,現(xiàn)有的多傳感器圖像融合的研究主要是針對(duì)醫(yī)學(xué)圖像和遙感圖像融合?；谙∈璞硎?sparse representation,SR)的方法已成功應(yīng)用于許多圖像處理領(lǐng)域,文獻(xiàn)[12]提出了基于稀疏表示的多傳感器圖像融合方法。文獻(xiàn)[13]提出了基于SR的形態(tài)成分分析(morphological component analysis,MCA)的融合方法,解決了單分量表示的問(wèn)題。文獻(xiàn)[14]提出了基于卷積稀疏表示(convolutional sparse representation,CSR)的全局圖像融合方法,解決了基于局部區(qū)域編碼的細(xì)節(jié)保存能力有限以及對(duì)誤配準(zhǔn)不敏感的缺點(diǎn)。文獻(xiàn)[15]把基于卷積稀疏的形態(tài)成分分析(convolutional sparsity based morphological component analysis,CSMCA)引入圖像融合領(lǐng)域,該方法將MCA 模型和CSR 模型集成到統(tǒng)一的優(yōu)化框架中,能夠同時(shí)實(shí)現(xiàn)源圖像的多分量和全局稀疏表示。

本文所研究的內(nèi)外指紋圖像,外部指紋圖像受指尖狀態(tài)影響,存在部分局部脊谷紋理信息缺失、模糊等情況;內(nèi)部指紋圖像受傳感器與手指皮層深度差異的影響,局部信息可能出現(xiàn)缺失或模糊等。若直接進(jìn)行融合,可能造成融合指紋比內(nèi)外指紋的質(zhì)量均差的情況。本文基于CSMCA 融合框架,結(jié)合像素級(jí)OCL 指紋質(zhì)量評(píng)估,提出基于OCL-CSMCA的內(nèi)外指紋融合方法,本文提出的方法具有以下兩點(diǎn)創(chuàng)新:(1)將內(nèi)外指紋圖像進(jìn)行融合,使融合指紋圖像包含更多的指紋細(xì)節(jié)紋理信息,便于識(shí)別匹配等操作;(2)將內(nèi)外指紋圖像的OCL 質(zhì)量圖作為約束條件添加到融合過(guò)程中,保證融合指紋能保留內(nèi)外指紋質(zhì)量較好的區(qū)域,降低或避免指紋較差和異常區(qū)域給融合帶來(lái)的影響。

1 指紋數(shù)據(jù)準(zhǔn)備

本文研究的內(nèi)外指紋圖像分別由全反射(total internal reflection,TIR)設(shè)備和OCT 設(shè)備采集,不同設(shè)備之間存在系統(tǒng)畸變無(wú)法對(duì)齊,且OCT 采集的內(nèi)部指紋需要從體數(shù)據(jù)中提取。多傳感器設(shè)備采集在灰度分布、噪聲水平、脊谷對(duì)比度以及脊谷厚度比等方面具有差異,稱之為指紋風(fēng)格差異,會(huì)影響指紋配準(zhǔn),進(jìn)而導(dǎo)致指紋融合結(jié)果不佳。因此,為避免上述影響,在指紋融合前需要進(jìn)行三步必要操作:(1)內(nèi)外指紋同步采集與去畸變;(2)內(nèi)部指紋提取;(3)內(nèi)外指紋風(fēng)格轉(zhuǎn)換與配準(zhǔn)。整體流程圖如圖1 所示,本節(jié)將對(duì)這3 個(gè)預(yù)處理步驟進(jìn)行簡(jiǎn)要介紹。

圖1 整體流程圖

1.1 指紋數(shù)據(jù)采集

多傳感器內(nèi)外指紋由不同設(shè)備采集。時(shí)間、按壓力度以及手指皮膚變化等因素造成指紋不同變形,造成內(nèi)外指紋差異較大。為了減少差異影響,本文通過(guò)文獻(xiàn)[6]提出的內(nèi)外指紋同步采集系統(tǒng),其通過(guò)梯形棱鏡組合TIR 和OCT 光路系統(tǒng),同時(shí)獲取同一區(qū)域的外部指紋和指尖皮膚體數(shù)據(jù)。由于該同步采集系統(tǒng)組合了兩個(gè)不同的光路系統(tǒng),采集的指紋圖像不處于同一坐標(biāo)系下且具有不同的畸變,采用基于網(wǎng)格標(biāo)定板的薄板樣條差值(thin plate spline,TPS)算法對(duì)內(nèi)外指紋進(jìn)行了校正與坐標(biāo)系的統(tǒng)一。

1.2 內(nèi)部指紋提取

OCT 系統(tǒng)采集到的是指尖皮膚體數(shù)據(jù),利用內(nèi)部指紋提取算法獲取到內(nèi)部指紋。精度較高的提取方法將使指紋圖像的細(xì)節(jié)紋理信息更加清晰,包含較少的錯(cuò)誤指紋信息,質(zhì)量更好。本文采用文獻(xiàn)[16]提出的基于BCL-U Net 的內(nèi)部指紋提取方法。該提取方法實(shí)現(xiàn)了對(duì)存在噪聲和對(duì)比度較低的OCT 體數(shù)據(jù)的準(zhǔn)確分割,從而實(shí)現(xiàn)了內(nèi)部指紋的準(zhǔn)確提取。其實(shí)驗(yàn)部分驗(yàn)證了內(nèi)外指紋的一致性,并對(duì)內(nèi)外指紋的識(shí)別能力進(jìn)行了全面的評(píng)估,在指尖皮膚狀態(tài)較差的情況下,內(nèi)部指紋的識(shí)別能力高于外部指紋。

1.3 風(fēng)格轉(zhuǎn)換與配準(zhǔn)

內(nèi)外指紋由不同傳感器在手指不同皮層深度得到,圖像風(fēng)格、圖像質(zhì)量等會(huì)存在較大的差異,此外,采集OCT 體數(shù)據(jù)大約需要30 s,比TIR 采集時(shí)間要長(zhǎng),在采集期間不可避免地會(huì)有手指抖動(dòng)等現(xiàn)象的發(fā)生,會(huì)造成內(nèi)外指紋位置發(fā)生錯(cuò)位或局部扭曲等現(xiàn)象。為了降低內(nèi)外指紋風(fēng)格差異與指紋間的相對(duì)形變給后續(xù)指紋圖像融合帶來(lái)的影響,本文采用文獻(xiàn)[17]提出的基于多傳感器差異最小化的內(nèi)外指紋配準(zhǔn)方法,實(shí)現(xiàn)指紋圖像融合前的配準(zhǔn)工作。該方法提出具有結(jié)構(gòu)約束的生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network,GAN)用以實(shí)現(xiàn)內(nèi)部指紋圖像的風(fēng)格轉(zhuǎn)換,使其風(fēng)格接近于外部指紋圖像;設(shè)計(jì)了快速數(shù)字圖像相關(guān)(fast digital image correlation,F-DIC)與離群排斥(outlier rejection,OR)相結(jié)合的兩步配準(zhǔn)方法實(shí)現(xiàn)內(nèi)外指紋全局和局部的精準(zhǔn)對(duì)齊。

1.4 融合必要性分析

同步采集等步驟實(shí)現(xiàn)了內(nèi)外指紋圖像的對(duì)齊,但無(wú)法消除指紋自身問(wèn)題的影響。圖2 展示3 組經(jīng)過(guò)配準(zhǔn)后的內(nèi)外指紋圖像,a(i)～a(iii)為T(mén)IR 采集到的外部指紋圖像,受指尖皮膚狀態(tài)等影響,有褶皺、汗?jié)n、缺失等情況影響指紋質(zhì)量。b(i)～b(iii)為基于BCL-U Net 的內(nèi)部指紋提取方法提取到的OCT 內(nèi)部指紋圖像,對(duì)比度較低,局部指紋圖像信息較為模糊。c(i)～c(iii)為對(duì)應(yīng)的經(jīng)過(guò)風(fēng)格轉(zhuǎn)換與精細(xì)配準(zhǔn)后的內(nèi)部指紋圖像,對(duì)比度較高,脊谷結(jié)構(gòu)較清晰,與外部指紋風(fēng)格較為相似,但有局部信息缺失、模糊以及脊谷結(jié)構(gòu)斷裂等特點(diǎn)。若直接利用內(nèi)部或外部指紋圖像進(jìn)行識(shí)別匹配等操作,會(huì)受到指紋局部信息缺失等影響。指紋圖像融合能將內(nèi)外指紋圖像信息互相結(jié)合、補(bǔ)充,減少局部較差區(qū)域帶來(lái)的影響,提高指紋圖像質(zhì)量,便于后續(xù)的識(shí)別匹配等操作。

圖2 配準(zhǔn)后的內(nèi)外指紋圖像對(duì)比圖

2 基于OCL-CSMCA 的內(nèi)外指紋圖像融合

本文提出基于OCL-CSMCA 的內(nèi)外指紋圖像融合方法,將指紋圖像的像素級(jí)OCL 質(zhì)量評(píng)估與CSMCA 融合模型相結(jié)合,確保融合過(guò)程中保留指紋質(zhì)量較好區(qū)域,降低質(zhì)量較差與異常區(qū)域帶來(lái)的影響。本節(jié)分為3 個(gè)部分,即CSMCA 融合模型概述,像素級(jí)質(zhì)量指標(biāo)OCL 和指紋圖像融合過(guò)程。

2.1 CSMCA 融合模型

基于CSMCA[15]的圖像融合模型將MCA 模型和CSR 模型集成到統(tǒng)一的優(yōu)化框架中,可以同時(shí)實(shí)現(xiàn)內(nèi)外圖像的多分量和全局稀疏表示,保留內(nèi)外指紋圖像紋理結(jié)構(gòu)較為完整的區(qū)域,減少由于磨損造成的指紋紋理信息模糊的影響。

MCA 模型將源指紋圖像分解為一個(gè)卡通分量和一個(gè)紋理分量,卡通分量主要包含指紋圖像平滑的脊線谷線結(jié)構(gòu);紋理分量主要包含脊谷紋理結(jié)構(gòu)重復(fù)變化的部分。通過(guò)將指紋圖像分解,能夠在融合過(guò)程中根據(jù)實(shí)際需求設(shè)計(jì)適合指紋圖像融合的策略,降低局部脊谷結(jié)構(gòu)不清晰給融合造成的影響。CSR 模型是一種有效的圖像融合模型,克服了基于稀疏表示SR 融合方法的細(xì)節(jié)保存能力有限以及對(duì)圖像誤配準(zhǔn)不敏感的缺點(diǎn)。CSR 模型是在整個(gè)圖像上進(jìn)行了優(yōu)化而不是將源圖像分解為重疊的局部塊,其有較好的圖像細(xì)節(jié)保存能力,另外該模型具有位移不變性,顯著提高了圖像誤配準(zhǔn)區(qū)域的融合質(zhì)量。將CSR 模型應(yīng)用于指紋圖像融合,能夠保留內(nèi)外指紋圖像的細(xì)節(jié)、紋理等信息,降低局部誤配準(zhǔn)給指紋圖像融合造成的影響。

通過(guò)將基于MCA 的方法和基于CSR 的方法集成到統(tǒng)一的優(yōu)化框架,來(lái)促進(jìn)基于SR 的指紋圖像融合,得到融合模型CSMCA,該模型被定義為

式(1)中,Y表示待分解的單幅指紋源圖像。dc,m和dt,m是兩種分量對(duì)應(yīng)的兩組字典過(guò)濾器,其數(shù)量分別是Mc和Mt,值皆為常數(shù)6。該過(guò)濾器由卷積稀疏表示的字典學(xué)習(xí)方法[18]從卡通圖像和紋理圖像中預(yù)先學(xué)習(xí)獲取得到。Xc,m和Xt,m分別表示源圖像分解后的卡通和紋理分量稀疏系數(shù)圖?！ご砭矸e運(yùn)算符。λc和λt分別表示卡通和紋理分量的正則化參數(shù),值皆為常數(shù)0.6;‖·‖1表示l1-范數(shù),‖·‖2表示l2-范數(shù),根據(jù)相關(guān)的基于SR 的融合方法[12-13],使用l1-范數(shù)用于約束稀疏性,使用l2-范數(shù)用于防止過(guò)擬合。

2.2 像素級(jí)質(zhì)量指標(biāo)OCL

指紋圖像受手指皮膚狀態(tài)與采集設(shè)備等影響質(zhì)量不均勻。質(zhì)量較好的指紋圖像由清晰的脊線、谷線沿相同方向均勻組成。質(zhì)量較差的指紋圖像則存在脊線谷線模糊不清或脊線斷裂等情況。OCL[19]是一種重要的指紋質(zhì)量檢測(cè)方法。它通過(guò)對(duì)圖像塊中的圖像梯度進(jìn)行主成分分析,尋找其特征向量和特征值來(lái)形成正交基。兩個(gè)向量分別指向平均脊線流向的法線和切線方向。兩個(gè)特征值之間的比值表示沿主導(dǎo)方向能量集中的強(qiáng)度,來(lái)判斷指紋圖像質(zhì)量。

傳統(tǒng)的OCL 計(jì)算方式是將指紋圖像劃分為大小相等的局部塊,計(jì)算每個(gè)局部塊的OCL 值,然后通過(guò)加權(quán)平均得到指紋圖像的OCL 值,用OCL 值的大小判斷指紋圖像整體的好壞。本文中,為實(shí)現(xiàn)像素級(jí)的內(nèi)外指紋圖像融合,本文需要對(duì)指紋圖像進(jìn)行像素級(jí)OCL 評(píng)估。因而,對(duì)指紋的每個(gè)像素點(diǎn)(x,y),以其為中心,取含N個(gè)像素的圖像塊P,構(gòu)建協(xié)方差矩陣如式(2)所示。

其中,(dxi,dyi)表示i處圖像的方向和方向強(qiáng)度,c1～c3是矩陣元素的簡(jiǎn)單表述。從協(xié)方差矩陣中C計(jì)算得到較小特征值λmin和較大特征值λmax。

求解公式為式(3)。

當(dāng)λmax大而λmin接近于0 時(shí),方向確定性高而指紋質(zhì)量好;當(dāng)λmin和λmax的值接近,方向確定性不高而指紋質(zhì)量較差。為使OCL 值能直接代表指紋質(zhì)量,本文將OCL 值計(jì)算如下。

最終獲取的OCL 值分布在[0,1]的范圍之間。OCL=1 表示一個(gè)區(qū)塊中的山脊和山谷在同一方向上一致地變化。OCL=0 表示山谷和山脊的方向垂直。通過(guò)對(duì)每一個(gè)像素進(jìn)行OCL 值的計(jì)算,對(duì)每個(gè)指紋圖,可獲取到相同大小的OCL 質(zhì)量圖。

2.3 內(nèi)外指紋融合過(guò)程

本文的內(nèi)外指紋圖像融合包括4 個(gè)步驟。(1)將內(nèi)外指紋圖像分別進(jìn)行分解,分別得到其卡通和紋理分量的稀疏系數(shù)圖;(2)將內(nèi)外指紋的OCL 作為約束條件分別融入到卡通和紋理分量的稀疏系數(shù)圖中;(3)采用最大值策略獲得卡通融合系數(shù)圖和紋理融合系數(shù)圖;(4)對(duì)卡通和紋理融合系數(shù)圖進(jìn)行重建,得到融合指紋圖像。指紋融合流程圖如圖3所示。

圖3 指紋融合流程圖

2.3.1 源指紋圖像分解

本節(jié)將基于CSMCA 模型的稀疏編碼分別應(yīng)用于一組配準(zhǔn)好的待融合的內(nèi)外指紋圖像,得到內(nèi)外指紋圖像的卡通分量與紋理分量的稀疏系數(shù)圖,分別表示外部指紋圖像分解后獲得的卡通分量和紋理分量的稀疏系數(shù)圖,分別表示內(nèi)部指紋圖像分解后獲得的卡通分量和紋理分量的稀疏系數(shù)圖。

2.3.2 融入OCL 質(zhì)量評(píng)估

傳統(tǒng)指紋圖像OCL 評(píng)估只得到單一的OCL 值評(píng)估圖像的整體質(zhì)量,不能對(duì)指紋細(xì)節(jié)質(zhì)量進(jìn)行體現(xiàn),不符合本文添加OCL 約束的要求。本文利用滑動(dòng)窗口技術(shù),逐像素移動(dòng)窗口遍歷整個(gè)指紋圖像進(jìn)行像素級(jí)OCL 評(píng)估。窗口過(guò)大會(huì)忽略局部細(xì)節(jié),過(guò)小包含的指紋信息不全,因此窗口過(guò)大或過(guò)小均不能很好地表示指紋圖像的質(zhì)量,本文指紋圖像大小為300×260,窗口大小設(shè)置為10×10。其中指紋及其對(duì)應(yīng)的OCL 質(zhì)量圖如圖4 所示。

其中,圖4 所示的質(zhì)量圖灰度值較大表示該區(qū)域指紋質(zhì)量較好,灰度值較小表示該區(qū)域指紋質(zhì)量較差。a(i)～a(iiii)分別為外部指紋圖像局部區(qū)域褶皺、磨損、較干以及較濕4 種情況,能夠看到,其對(duì)應(yīng)的b(i)～b(iiii)OCL 質(zhì)量圖在指紋較差區(qū)域灰度值較小,能夠很好地表征指紋的局部區(qū)域質(zhì)量。所以將指紋的OCL 質(zhì)量圖作為約束條件融入到指紋圖像融合過(guò)程,能保留內(nèi)外指紋較好的區(qū)域,降低或避免內(nèi)外指紋較差區(qū)域給融合指紋帶來(lái)的影響。

圖4 指紋OCL 質(zhì)量圖

指紋的卡通分量和紋理分量的稀疏系數(shù)圖和指紋圖像的大小相同,紋理結(jié)構(gòu)相同,且質(zhì)量好壞區(qū)域像素一一對(duì)應(yīng),因此指紋圖像的質(zhì)量圖同樣適用于其分量圖。本文通過(guò)構(gòu)建結(jié)合OCL 質(zhì)量評(píng)估的卡通與紋理分量稀疏系數(shù)圖,在融合過(guò)程中降低低質(zhì)量區(qū)域的影響。為簡(jiǎn)化符號(hào),本文使用n(n∈{c,t})通用地表示卡通與紋理分量,新的內(nèi)外指紋卡通與紋理分量表示如下。

其中,Ws為外部指紋權(quán)重,Wi為內(nèi)部指紋權(quán)重,Ws和Wi均分布在[0,1]的范圍之間;(x,y)為圖像坐標(biāo),OCLs(x,y)和OCLi(x,y)分別表示外部指紋和內(nèi)部指紋在(x,y)處的OCL 值;分別為外部指紋圖像添加權(quán)重Ws后的卡通分量與紋理分量稀疏系數(shù)圖;分別為內(nèi)部指紋圖像添加權(quán)重Wi后的卡通分量與紋理分量稀疏系數(shù)圖。

2.3.3 稀疏系數(shù)圖的融合

利用最大值融合策略對(duì)外部指紋與內(nèi)部指紋的卡通分量或紋理分量的稀疏系數(shù)圖進(jìn)行融合,需要對(duì)指紋的活度進(jìn)行測(cè)量。指紋圖像的初始活度圖采用稀疏系數(shù)向量的l1-范數(shù)實(shí)現(xiàn)如下。

為提高活度測(cè)量對(duì)指紋圖像噪聲和誤配準(zhǔn)的魯棒性,采用基于窗口的平均策略獲得內(nèi)外指紋的最終活度圖:

其中rc和rt分別為卡通分量和紋理分量的窗口半徑,在本文中設(shè)為相同的值5。基于最大值融合策略,卡通或紋理分量的融合系數(shù)圖的表達(dá)式為

2.3.4 稀疏系數(shù)圖的重建

使用得到的卡通融合系數(shù)圖和紋理融合系數(shù)圖,對(duì)指紋圖像進(jìn)行重建,重建表達(dá)式如式(13)所示。

其中If是最終的融合指紋圖像。

2.4 OCL 融合方式驗(yàn)證

指紋的卡通分量和紋理分量的稀疏系數(shù)圖和指紋圖像的大小相同,紋理結(jié)構(gòu)相同,且質(zhì)量好壞區(qū)域像素一一對(duì)應(yīng),因此指紋圖像的質(zhì)量圖同樣適用于其分量圖。如圖5 所示,a(i)～a(iii)為同一組外部指紋,b(i)～b(iii)為對(duì)應(yīng)的內(nèi)部指紋,c(i)～c(iii)為CSMCA 融合指紋,d(i)～d(iii)為OCL-CSMCA融合指紋。通過(guò)設(shè)置一個(gè)全黑的150×150 局部小塊分別遮擋內(nèi)部指紋b(i)、外部指紋a(ii),遮擋區(qū)域沒(méi)有指紋脊谷結(jié)構(gòu),故該局部區(qū)域OCL 值為0,則受遮擋的指紋在OCL-CSMCA 融合過(guò)程中不起作用。通過(guò)c(i)和c(ii)能夠看到,受全黑局部塊影響,CSMCA 融合指紋在局部塊內(nèi)融合結(jié)果整體偏黑,通過(guò)d(i)和d(ii)能夠看到,OCL-CSMCA 融合指紋在局部塊內(nèi)融合結(jié)果與未受遮擋指紋保持一致。未添加遮擋的OCL-CSMCA 融合指紋d(iii)比CSMCA 融合指紋c(iii)紋理結(jié)構(gòu)更加清晰。像素級(jí)OCL 質(zhì)量評(píng)估不僅能對(duì)指紋圖像質(zhì)量有很好的體現(xiàn),也能作為指紋質(zhì)量約束條件融入到CSMCA融合算法中,保證融合指紋圖像的質(zhì)量。

圖5 OCL 融合方式對(duì)比圖

融合算法偽代碼如算法1 所示。

3 實(shí)驗(yàn)與結(jié)果分析

本節(jié)將進(jìn)行指紋質(zhì)量對(duì)比實(shí)驗(yàn)來(lái)驗(yàn)證本文所提出指紋圖像融合方法的性能及融合指紋匹配情況。

3.1 指紋數(shù)據(jù)情況

在本實(shí)驗(yàn)中,指紋數(shù)據(jù)是經(jīng)過(guò)預(yù)先采集、提取、風(fēng)格轉(zhuǎn)換與配準(zhǔn)的320 組內(nèi)外指紋圖像。按照外部數(shù)據(jù)情況將指紋數(shù)據(jù)庫(kù)分為以下4 種情況:(1)外部指紋有褶皺,指紋脊線局部斷裂缺失的情況;(2)外部指紋有磨損,指紋信息缺失的情況;(3)外部指紋較干,脊線斷裂的情況;(4)外部指紋較濕,指紋脊谷結(jié)構(gòu)模糊的情況。以上4 種情況的外部指紋對(duì)應(yīng)的內(nèi)部指紋具有不同程度的缺失、指紋信息模糊等。情況(1)、(2)、(3)中的指紋數(shù)據(jù)各占數(shù)據(jù)總量的20%,情況4 約占數(shù)據(jù)總量的40%。圖6 中a(i)～a(iiii)所示的指紋圖像分別為以上描述的4 種內(nèi)外指紋,b(i)～b(iiii)為與a(i)～a(iiii)相對(duì)應(yīng)的風(fēng)格轉(zhuǎn)換與配準(zhǔn)后的內(nèi)部指紋圖像。b(i)存在局部信息缺失和模糊,b(ii)的脊谷結(jié)構(gòu)相對(duì)較完整,b(iii)局部缺失較嚴(yán)重,b(iiii)有效區(qū)域較小。

圖6 內(nèi)外指紋圖像對(duì)比

3.2 指紋質(zhì)量對(duì)比實(shí)驗(yàn)

本節(jié)對(duì)內(nèi)、外與融合指紋的質(zhì)量進(jìn)行評(píng)估與對(duì)比,采用指紋圖像質(zhì)量評(píng)估指標(biāo)NFIQ 分?jǐn)?shù)[20]、有效面積si[21]以及傳統(tǒng)的方向確定度OCL[19]。NFIQ2.0綜合了一系列指紋評(píng)估指標(biāo),獲得了0～100 之間的指紋圖像質(zhì)量得分。分?jǐn)?shù)越高,指紋圖像質(zhì)量越好。NFIQ2.0 專為500 dpi 的圖像開(kāi)發(fā),因此,本文的指紋圖像均被壓縮至500 dpi。OCL 的計(jì)算采用傳統(tǒng)的將指紋圖像分塊計(jì)算加權(quán)平均值的形式,值越接近于1,指紋圖像質(zhì)量越好。有效面積si 是前景區(qū)域面積與指紋圖像面積的比值,指紋有效面積越大,指紋包含的紋理、細(xì)節(jié)點(diǎn)信息更多,有利于識(shí)別匹配操作,si 的范圍為0～1 之間,值越大,指紋有效面積越大。

3.2.1 指紋質(zhì)量分?jǐn)?shù)對(duì)比

為了驗(yàn)證本文融合方法,本部分將對(duì)比320 組內(nèi)外指紋以及融合指紋圖像的質(zhì)量。融合指紋圖像由本文融合方法(OCL-CSMCA)、CSMCA 方法及Darlow 融合方法[13]獲得。為進(jìn)行公平的對(duì)比,上述融合方法所使用的指紋數(shù)據(jù)皆來(lái)自3.1 節(jié)的數(shù)據(jù)庫(kù)。圖7 展示了其中一些內(nèi)外和融合指紋圖像,a(i)～a(iiii)為外部指紋褶皺、磨損、較干以及較濕的4 種情況,b(i)～b(iiii)為對(duì)應(yīng)的內(nèi)部指紋圖像,c(i)～c(iiii)、d(i)～d(iiii)、e(i)～e(iiii)分別為Darlow 融合方法、CSMCA 融合方法、本文方法得到的融合指紋圖像。其中,Darlow 融合指紋對(duì)褶皺、磨損、較干以及較濕4 種情況的指紋彌補(bǔ)效果相對(duì)較差。CSMCA 融合指紋比Darlow 融合指紋的視覺(jué)效果要好,其對(duì)褶皺效果的彌補(bǔ)與本文方法相差不大,但在外部指紋出現(xiàn)磨損、較濕等情況時(shí),脊谷紋理清晰度稍差于OCL-CSMCA 融合指紋。總的來(lái)說(shuō),本文方法較好地保留了內(nèi)外指紋紋理清晰的區(qū)域,脊谷清晰情況與融合前較好的指紋圖像保持一致。

圖7 指紋圖像對(duì)比圖

將NFIQ2.0[20]應(yīng)用于320 組內(nèi)部、外部以及3種融合指紋圖像,5 種指紋圖像的NFIQ2.0 得分統(tǒng)計(jì)箱線圖如圖8 所示。

由圖8 能夠看到,內(nèi)部指紋圖像的整體質(zhì)量最差,外部指紋圖像整體質(zhì)量高于內(nèi)部指紋圖像。3種融合方法得到的融合指紋圖像質(zhì)量均高于內(nèi)外單種指紋圖像,本文融合方法得到的融合指紋圖像的質(zhì)量分?jǐn)?shù)高于其他兩種融合指紋圖像。這一對(duì)比結(jié)果表明本文融合方法得到的融合指紋圖像較好地保留了內(nèi)外指紋質(zhì)量較好區(qū)域的指紋信息,降低了局部指紋質(zhì)量較差區(qū)域帶來(lái)的影響,質(zhì)量相對(duì)于內(nèi)外指紋圖像和其他融合指紋圖像皆有提升。

圖8 指紋質(zhì)量對(duì)比圖

3.2.2 指紋方向確定度對(duì)比

將傳統(tǒng)的方向確定度[19]應(yīng)用于評(píng)估320 組內(nèi)部、外部以及3 種融合指紋圖像,5 種指紋圖像的方向確定度統(tǒng)計(jì)箱線圖如圖9 所示。

由圖9 能夠看出,內(nèi)部指紋圖像的OCL 值最小,方向確定性最差,其次依次是外部指紋、CSMCA融合指紋、Darlow 融合指紋與OCL-CSMCA 融合指紋。這一對(duì)比結(jié)果表明本文融合方法得到的融合指紋圖像局部方向確定性最好,包含更少的噪聲影響,脊谷紋理結(jié)構(gòu)更加清晰。

圖9 方向確定度對(duì)比圖

3.2.3 指紋有效面積對(duì)比

將有效面積si[2]應(yīng)用于評(píng)估320 組內(nèi)部、外部以及3 種融合指紋圖像,5 種指紋圖像的有效面積統(tǒng)計(jì)箱線圖如圖10 所示。

圖10 指紋有效面積對(duì)比圖

由圖10 能夠看到,內(nèi)部指紋圖像的有效面積大于外部指紋圖像。3 種融合方法得到的融合指紋圖像的有效面積均大于內(nèi)外指紋圖像,依次是CSMCA最大,本文融合方法次之,Darlow 融合方法最小。這一對(duì)比結(jié)果表明本文融合方法在提高融合指紋圖像質(zhì)量和方向確定性的同時(shí),保留了內(nèi)外指紋圖像的大部分有效面積。

3.3 指紋結(jié)構(gòu)相似性對(duì)比實(shí)驗(yàn)

結(jié)構(gòu)相似性指標(biāo)SSIM[22]基于圖像亮度、對(duì)比度、結(jié)構(gòu)3 個(gè)指標(biāo)測(cè)量2 張圖像的相似性,SSIM 的范圍為0～1 之間,SSIM 的值越高,說(shuō)明圖像越相似。為了驗(yàn)證融合指紋依然保留與源指紋相似的紋路信息,本節(jié)將SSIM 指標(biāo)應(yīng)用于評(píng)估320 組內(nèi)外指紋與融合指紋圖像的相似性。評(píng)估分兩部分進(jìn)行。

首先,對(duì)內(nèi)外指紋圖像以及OCL-CSMCA 融合指紋進(jìn)行評(píng)估,3 種結(jié)構(gòu)相似性統(tǒng)計(jì)箱線圖如圖11所示,內(nèi)部與外部指紋的SSIM 值最低,OCL-CSMCA融合指紋與內(nèi)部指紋SSIM 值最高,與外部指紋的SSIM 值位于前兩者之間。這一對(duì)比結(jié)果表明,本文OCL-CSMCA 融合指紋圖像提高了與內(nèi)外指紋圖像的結(jié)構(gòu)相似性,能與內(nèi)外指紋圖像達(dá)到較好的互相兼容效果。

其次,將SSIM 應(yīng)用于計(jì)算CSMCA 融合指紋、Darlow 融合指紋以及本文OCL-CSMCA 融合指紋與內(nèi)外指紋圖像的結(jié)構(gòu)相似性。3 種融合指紋圖像與外部以及內(nèi)部指紋圖像的結(jié)構(gòu)相似性箱線圖如圖12(a)與圖12(b)所示。

由圖12 能夠看到,Darlow 融合指紋與外部指紋的SSIM 值最高,與內(nèi)部指紋的SSIM 值最低,CSMCA 融合指紋與外部指紋SSIM 值最低,與內(nèi)部指紋SSIM 值最高,OCL-CSMCA 與內(nèi)外指紋的SSIM值位于前兩種融合指紋之間。

圖12 融合與源指紋相似性對(duì)比圖

本文所采用的外部指紋多受指尖外部褶皺、汗?jié)n、缺失等影響,風(fēng)格轉(zhuǎn)換后的內(nèi)部指紋會(huì)有局部信息缺失與模糊等情況。OCL-CSMCA 方法將內(nèi)外指紋紋理結(jié)構(gòu)區(qū)域進(jìn)行結(jié)合,不易受內(nèi)部或外部指紋單獨(dú)質(zhì)量的影響,降低了指紋質(zhì)量較差區(qū)域的影響,所以O(shè)CL-CSMCA 融合指紋圖像與外部以及內(nèi)部指紋的SSIM 值位于其他兩種融合方法中間。

3.4 指紋匹配實(shí)驗(yàn)

為了驗(yàn)證本文融合指紋的匹配性能,本小節(jié)將對(duì)比融合、外部與內(nèi)部指紋的匹配分?jǐn)?shù)。本文采用的匹配工具是VeriFinger 11.1 SDK[23],該工具可以提取兩組待匹配指紋各自的細(xì)節(jié)點(diǎn)并得出兩者的匹配分?jǐn)?shù),匹配分?jǐn)?shù)越高,說(shuō)明匹配性能越好。由于本文指紋數(shù)據(jù)庫(kù)量較少,無(wú)法做批量匹配實(shí)驗(yàn),后續(xù)將采集大批量?jī)?nèi)外指紋數(shù)據(jù),進(jìn)一步驗(yàn)證融合指紋圖像匹配的效果。

3.4.1 指紋匹配

本節(jié)對(duì)內(nèi)部、外部以及融合指紋的匹配能力進(jìn)行討論。首先,本節(jié)對(duì)同一種指紋的不同次采集進(jìn)行匹配測(cè)試。如圖13 所示,(a～c)與(d～f)分別為2 個(gè)不同手指的匹配結(jié)果,而(i)與(ii)分別為該手指第1 次與第2 次采集獲得的指紋圖像。以(a～c)為例,(a～c)分別對(duì)應(yīng)同一組指紋的外部、內(nèi)部以及融合指紋。通過(guò)指紋(i)與指紋(ii)的匹配,即同種指紋不同次采集的匹配,其匹配結(jié)果與匹配分?jǐn)?shù)表明,本文的融合指紋圖像相對(duì)于內(nèi)外指紋圖像細(xì)節(jié)點(diǎn)皆有所增加,融合指紋圖像的匹配能力有所提升。

圖13 指紋匹配結(jié)果圖

其次,本節(jié)對(duì)不同類型指紋的匹配能力進(jìn)行測(cè)試。如圖14 所示,(a～c)與(d～f)分別為2 個(gè)不同手指的匹配結(jié)果。以(a～c)為例,a(i)～c(i)分別對(duì)應(yīng)第1 個(gè)手指在第1 次采集時(shí)獲得的外部、內(nèi)部以及融合指紋,而a(ii)～c(ii)皆為第1 個(gè)手指在第2 次采集時(shí)獲得的融合指紋。通過(guò)指紋(i)與指紋(ii)的匹配,即外部、內(nèi)部與融合指紋與不同次采集的融合指紋的匹配,其匹配結(jié)果與匹配分?jǐn)?shù)表明,本文融合指紋圖像與內(nèi)部、外部以及融合指紋圖像能夠較好地匹配兼容。

圖14 指紋兼容匹配結(jié)果圖

3.4.2 內(nèi)外指紋細(xì)節(jié)點(diǎn)討論

為了驗(yàn)證指紋褶皺、缺失、斷裂以及模糊等對(duì)指紋細(xì)節(jié)點(diǎn)提取造成的影響,以及融合后的指紋圖像對(duì)細(xì)節(jié)點(diǎn)正確提取的改善作用,本節(jié)選取4 組內(nèi)外指紋和融合指紋圖像,對(duì)比融合前后的細(xì)節(jié)點(diǎn)情況,指紋細(xì)節(jié)點(diǎn)對(duì)比圖如圖15 所示。a(i)～a(iiii)為外部指紋圖像的4 種情況,b(i)～b(iiii)、c(i)～c(iiii)分別為對(duì)應(yīng)的內(nèi)部指紋與OCL-CSMCA 融合指紋圖像。a(i)有效面積較小,受噪聲影響,邊緣存在錯(cuò)誤提取的細(xì)節(jié)點(diǎn),b(i)有效面積較大,細(xì)節(jié)點(diǎn)較為完整,c(i)結(jié)合了內(nèi)外指紋的正確細(xì)節(jié)點(diǎn),減少了錯(cuò)誤細(xì)節(jié)點(diǎn)的影響。a(ii)較為完整提取了正確的細(xì)節(jié)點(diǎn),但b(ii)受缺失和噪聲影響,存在較多錯(cuò)誤細(xì)節(jié)點(diǎn),c(ii)彌補(bǔ)了內(nèi)部指紋的缺失,細(xì)節(jié)點(diǎn)提取的較為準(zhǔn)確完整。a(iii)存在褶皺缺失造成的指紋細(xì)節(jié)點(diǎn)錯(cuò)誤提取,b(iii)存在由于模糊造成的細(xì)節(jié)點(diǎn)錯(cuò)誤提取,c(iii)提取的細(xì)節(jié)點(diǎn)相對(duì)較為準(zhǔn)確。a(iiii)受濕度影響造成指紋脊谷模糊,細(xì)節(jié)點(diǎn)提取出現(xiàn)錯(cuò)誤,b(iiii)脊谷結(jié)構(gòu)清晰,指紋細(xì)節(jié)點(diǎn)比較準(zhǔn)確,c(iiii)提取的指紋細(xì)節(jié)點(diǎn)比較準(zhǔn)確完整。通過(guò)以上4 種情況能夠看到融合指紋圖像提取的細(xì)節(jié)點(diǎn)比較準(zhǔn)確,極大地改善了外部指紋褶皺、模糊以及內(nèi)部指紋缺失、斷裂造成的細(xì)節(jié)點(diǎn)提取錯(cuò)誤等情況。

圖15 指紋細(xì)節(jié)點(diǎn)對(duì)比圖

4 結(jié)論

本文提出了基于卷積稀疏表示與方向確定度質(zhì)量評(píng)估相結(jié)合的內(nèi)外指紋圖像融合方法。針對(duì)外部指紋易受磨損、劃傷、污染等影響,抗干擾能力較差以及內(nèi)部指紋易受噪聲影響,局部信息缺失模糊等問(wèn)題,本文將指紋OCL 質(zhì)量圖作為約束條件融入CSMCA 模型,通過(guò)將內(nèi)外指紋圖像進(jìn)行分解、加約束、融合、重建等操作得到融合指紋圖像。通過(guò)實(shí)驗(yàn)證明,本文方法得到的融合指紋圖像相對(duì)于其他指紋圖像,脊谷結(jié)構(gòu)清晰完整,在視覺(jué)效果、NFIQ 質(zhì)量分?jǐn)?shù)以及OCL 質(zhì)量分?jǐn)?shù)上均有所提升,局部紋理更加清晰,指紋的有效面積也有所增大。本文方法得到的融合指紋圖像在匹配能力和細(xì)節(jié)點(diǎn)正確提取方面表現(xiàn)良好,有利于指紋后續(xù)的匹配識(shí)別等操作。同時(shí)本文的工作為殘缺指紋的識(shí)別奠定了基礎(chǔ),未來(lái)可以將殘缺指紋的內(nèi)外指紋圖像進(jìn)行融合,研究融合后的殘缺指紋的識(shí)別匹配能力。