基于智能手機(jī)的多光譜指紋圖像采集研究

翟春婕,周桂雪

(1.南京森林警察學(xué)院 信息技術(shù)學(xué)院，南京 210023；2.南京森林警察學(xué)院 國(guó)家林業(yè)局森林公安司法鑒定中心 野生動(dòng)植物物證技術(shù)國(guó)家林業(yè)局重點(diǎn)實(shí)驗(yàn)室，南京 210023)

引 言

指紋是人類(lèi)獨(dú)一無(wú)二的特征，根據(jù)指紋特征追蹤鎖定嫌疑人是公安機(jī)關(guān)偵破刑偵案件的關(guān)鍵技術(shù)手段。大量實(shí)踐表明，案發(fā)現(xiàn)場(chǎng)指紋痕跡圖像的有效提取對(duì)于破獲案件能夠起到極為關(guān)鍵的作用[1-3]?，F(xiàn)代科技的發(fā)展為指紋檢驗(yàn)提供了新的理論依據(jù)及技術(shù)工具，目前學(xué)術(shù)界及工業(yè)界均開(kāi)展了大量研究，提出了多種新型檢驗(yàn)技術(shù)。

WOLSTENHOLME等人[4]通過(guò)光學(xué)與化學(xué)顯影相結(jié)合的方式成功采集了指紋中的血跡痕跡。LEINTZ等人[5]搭建了紫外光與自然光成像系統(tǒng)，表明自然光成像在合適照明角度時(shí)能夠采集到黃銅子彈殼上指紋信息，而紫外光成像無(wú)法采集。CRANE等人[6]使用近紅外光譜成像技術(shù)無(wú)損測(cè)量了犯罪現(xiàn)場(chǎng)的微弱指紋，表明近紅外波段更適合微弱指紋提取。TAHTOUH等人[7]優(yōu)化設(shè)計(jì)了光譜分辨率及照明角度，結(jié)合化學(xué)顯影及近紅外光譜成像提取了高分子紙幣、紙張及飲料罐等復(fù)雜表面的指紋?？梢?jiàn)案發(fā)現(xiàn)場(chǎng)情況復(fù)雜，單一照明條件難以滿(mǎn)足需求，現(xiàn)場(chǎng)檢測(cè)時(shí)多光譜成像必不可少。通過(guò)融合不同波段信息，多光譜成像技術(shù)有效增強(qiáng)了目標(biāo)場(chǎng)景圖像，已在遙感、農(nóng)業(yè)等領(lǐng)域廣泛應(yīng)用。目前研究人員已提出一系列融合算法，包括小波變換[8]、稀疏特征[9]、機(jī)器學(xué)習(xí)[10-11]等，各有適用場(chǎng)合，但目前對(duì)于多光譜指紋圖像融合的研究較少，尚沒(méi)有成熟的解決方案。

另一方面，現(xiàn)場(chǎng)指紋圖像質(zhì)量一般較低，為了準(zhǔn)確識(shí)別指紋，往往需要增強(qiáng)指紋圖像特征。目前指紋圖像增強(qiáng)技術(shù)已被系統(tǒng)研究，新的算法仍在不斷涌現(xiàn)。SHARMA等人[12]提出了一種兩步增強(qiáng)算法，首先基于機(jī)器學(xué)習(xí)算法識(shí)別指紋屬于干性、中性還是濕性，然后通過(guò)短時(shí)傅里葉變換進(jìn)行增強(qiáng)。GUPTA等人[13]提出綜合考慮特征點(diǎn)密度及指紋方向進(jìn)行圖像重建。KHAN等人[14]在計(jì)算指紋方向圖時(shí)考慮尺度因素，增加了方向圖的準(zhǔn)確性，并進(jìn)一步使用擴(kuò)散濾波器及Gabor濾波器對(duì)指紋增強(qiáng)。但文獻(xiàn)中增強(qiáng)算法一般基于標(biāo)準(zhǔn)指紋圖像庫(kù)，缺少多光譜指紋圖像應(yīng)用的驗(yàn)證。

智能手機(jī)近年來(lái)作為嵌入式裝置控制主機(jī)獲得了廣泛的關(guān)注，已開(kāi)發(fā)了一系列應(yīng)用，如流場(chǎng)測(cè)量[15-16]、條碼識(shí)別[17]、比色測(cè)量[18-20]等，其一方面集成了處理器及圖像、聲音等多種傳感器，功能強(qiáng)大，另一方面可通過(guò)無(wú)限局域網(wǎng)(wireless fidelity，WIFI)或藍(lán)牙等無(wú)線模塊易實(shí)現(xiàn)數(shù)據(jù)傳輸。針對(duì)現(xiàn)場(chǎng)指紋圖像的實(shí)際需求，本文中提出了一種基于智能手機(jī)的指紋圖像自動(dòng)化采集軟硬件系統(tǒng)，可實(shí)時(shí)采集、融合及增強(qiáng)指紋圖像，顯著提高了現(xiàn)場(chǎng)檢測(cè)效率及便攜性，在刑偵領(lǐng)域具有廣闊的應(yīng)用前景。

1 指紋圖像采集裝置

便攜式指紋圖像采集裝置包括智能手機(jī)及電控光源，3維機(jī)械結(jié)構(gòu)如圖1所示。

自行設(shè)計(jì)并使用3-D打印加工支架連接2個(gè)部分，智能手機(jī)通過(guò)支架孔拍攝電控光源照明的現(xiàn)場(chǎng)指紋圖像。智能手機(jī)使用Redmi 9A，操作系統(tǒng)為Android 9，電池容量為5000mAh，相機(jī)像素?cái)?shù)目為2500×3200，傳感器尺寸3mm×2mm，主要使用其藍(lán)牙及拍照功能。電控光源由4組不同顏色發(fā)光二極管(light-emitting diode,LED)組成，分別為紫色(410nm)、藍(lán)色(450nm)、綠色(550nm)及紅色(630nm)的LED組成，LED的功率均為3W。

圖.1 3-D mechanical configuration for acquiring fingerprint images

圖2為控制系統(tǒng)原理圖。智能手機(jī)與光源之間使用下位機(jī)STM32F103作為控制接口，下位機(jī)外接串口轉(zhuǎn)藍(lán)牙模塊HC42。智能手機(jī)通過(guò)藍(lán)牙功能向下位機(jī)發(fā)送光源控制命令，下位機(jī)接收命令后控制LED的開(kāi)關(guān)。需要注意的是，由于大功率LED的工作電流較大，普通光耦無(wú)法滿(mǎn)足電流要求，故使用固態(tài)繼電器進(jìn)行控制。系統(tǒng)工作時(shí)，智能手機(jī)控制4組LED輪流照明并分別拍攝每個(gè)光源照明時(shí)的場(chǎng)景。由于后續(xù)圖像處理算法相對(duì)復(fù)雜，因此智能手機(jī)通過(guò)WIFI基于網(wǎng)格接口將圖像上傳至服務(wù)器進(jìn)行處理。為避免控制軟件在不同手機(jī)機(jī)型的適配問(wèn)題，作者使用微信小程序編寫(xiě)了手機(jī)前端控制軟件，服務(wù)器端圖像處理則由Visual C#語(yǔ)言實(shí)現(xiàn)。

圖.2 Schematic diagram of the control system

2 指紋圖像增強(qiáng)算法

指紋識(shí)別技術(shù)在安保、門(mén)禁等領(lǐng)域已較為成熟，但與專(zhuān)用指紋采集設(shè)備不同，案發(fā)現(xiàn)場(chǎng)指紋圖像一般質(zhì)量較低、對(duì)比度較低，直接識(shí)別可能出現(xiàn)錯(cuò)誤，需要進(jìn)行一定的前處理以增強(qiáng)圖像。由于現(xiàn)場(chǎng)指紋情況復(fù)雜，難以針對(duì)性設(shè)計(jì)，本文中根據(jù)指紋特點(diǎn)提出一種自適應(yīng)增強(qiáng)算法，包括多光譜圖像融合增強(qiáng)及指紋圖像增強(qiáng)兩個(gè)步驟。

2.1 多光譜圖像融合增強(qiáng)

多光譜圖像增強(qiáng)技術(shù)已廣泛應(yīng)用于遙感探測(cè)領(lǐng)域。由于本裝置可獲得不同波段光源照明時(shí)的指紋圖片，因此,借鑒該技術(shù)能夠充分利用指紋在不同波段處反射率差異增加圖像對(duì)比度。目前已有多種多光譜圖像增強(qiáng)算法，本文中采用主成分分析(principal component analysis，PCA)技術(shù)。具體流程如下。

(1)由于智能手機(jī)一般拍攝為彩色圖像，需將其變換為灰度圖像，變換公式如下式所示:

g=0.2989R+0.5870G+0.1140B

(1)

式中,R,G及B分別為原圖像紅色、綠色及藍(lán)色分量，g為變換后灰度值，假設(shè)共拍攝N波段多光譜圖像，強(qiáng)度記為Ii(i= 1,…,N)，行數(shù)及列數(shù)分別記為r及c。

(2)將每個(gè)波段2維圖像矩陣轉(zhuǎn)成1維向量，獲得圖像向量矩陣M，其行數(shù)與列數(shù)分別為r×c及N，求解M的協(xié)方差矩陣C及其特征向量矩陣V與特征值對(duì)角矩陣A，提取最大特征值A(chǔ)m及對(duì)應(yīng)特征向量Vm。

(3)融合增強(qiáng)后圖像如下式所示:

I=M·Vm

(2)

2.2 指紋圖像濾波增強(qiáng)

研究人員已開(kāi)發(fā)了多種指紋圖像增強(qiáng)算法，如灰度均衡、小波變換、卷積神經(jīng)網(wǎng)絡(luò)等，這些算法各有優(yōu)缺點(diǎn)及適應(yīng)場(chǎng)合，本文中選擇改進(jìn)依據(jù)指紋本身特點(diǎn)進(jìn)行增強(qiáng)的方向?yàn)V波算法，使用與指紋局部紋線方向一致的濾波器，增強(qiáng)實(shí)用性，具體流程如下。

(1)方向圖計(jì)算。指紋圖像在紋線方向變化緩慢，垂直紋線方向則變化劇烈，因此紋線方向與圖像梯度密切相關(guān)。本文中使用Sobel算子計(jì)算圖像梯度，如下式所示：

(3)

式中，*表示卷積，I0是需要求解梯度的原圖像。由于梯度方向相反時(shí)方向圖應(yīng)保持一致，因此將方向角定義在第一象限和第四象限，如下式所示：

θ=arctan(Gy/Gx)

(4)

(4)式表明方向角范圍為(-π/2,π/2]，進(jìn)一步對(duì)其進(jìn)行離散化處理，將方向角范圍均勻離散至16個(gè)區(qū)間，即(-π/2,-7π/16],(-7π/16,-6π/16],…,(7π/16,π/2]，并新建數(shù)組保存方向角直方圖。由于指紋圖像在局部方向圖變化較為緩慢，因此為減小計(jì)算量，將圖像進(jìn)行分塊，尺寸為16×16，遍歷圖塊各像素，建立直方圖，選擇具有最多像素的方向角作為圖塊整體方向，最終獲得方向圖。

(2)方向?yàn)V波器設(shè)計(jì)。方向?yàn)V波器一方面增強(qiáng)沿著指紋紋線方向的點(diǎn)并減弱隨機(jī)噪聲影響，另一方面斷開(kāi)垂直紋線方向粘連以提高指紋質(zhì)量。假設(shè)圖塊中心像素坐標(biāo)為(0,0)，對(duì)應(yīng)方向角為θ0，則過(guò)圖塊中心的方向直線可表示為:

xsinθ0+ycosθ0=0

(5)

根據(jù)定義，方向?yàn)V波器應(yīng)在平行直線的方向具有相近權(quán)重，垂直直線的方向具有漸變權(quán)重，因此采用距離函數(shù)定義濾波器元素權(quán)值為:

W=A0-A1D

(6)

式中,A0及A1為經(jīng)驗(yàn)參量，分別設(shè)置為11及3;D是指數(shù)，表示該元素位置與過(guò)圖塊中心的直線之間的距離，單位為像素。

D=|x0sinθ0+y0cosθ0|

(7)

式中,(x0,y0)為元素的像素位置。由于方向角已離散為16個(gè)數(shù)值，方向?yàn)V波器可預(yù)先計(jì)算并存儲(chǔ)于內(nèi)存中，后續(xù)濾波時(shí)直接根據(jù)方向角調(diào)用相應(yīng)濾波器與圖塊進(jìn)行卷積運(yùn)算即可。

完成濾波器設(shè)計(jì)后，分別對(duì)每塊圖像進(jìn)行卷積濾波即可實(shí)現(xiàn)圖像增強(qiáng)。基于上述原理，本文中的算法流程如圖3所示。

圖.3 Flowchart of the algorithm for image processing

3 結(jié)果與討論

對(duì)搭建的指紋圖像自動(dòng)化采集裝置進(jìn)行了實(shí)驗(yàn)研究。首先在藍(lán)色背景顏色紙張上使用紅色印泥制作了指紋，進(jìn)一步測(cè)試了多光譜采集及圖像增強(qiáng)的效果。為了模擬現(xiàn)場(chǎng)實(shí)際指紋質(zhì)量可能較差的情況，實(shí)驗(yàn)中并未特別注重指紋質(zhì)量，指紋存在較嚴(yán)重的粘連。由于實(shí)驗(yàn)拍攝時(shí)只需固定好裝置，LED為電子控制，無(wú)需任何機(jī)械調(diào)節(jié)，因此圖像采集具有較高的效率，4幅圖像約需0.5s。

圖4為4種LED照明時(shí)拍攝的典型指紋圖像。由圖4a～圖4d分別為紫色、藍(lán)色、紅色、綠色LED照明時(shí)采集圖像的灰度圖。紅色LED照明時(shí)藍(lán)色背景強(qiáng)度較弱，部分紅色粘連指紋反射較強(qiáng)，顯示為白色，但左側(cè)及下方指紋反射很弱，對(duì)比度較差，表明紅色照明難以適用于該指紋的圖像采集需求。藍(lán)色與紫色LED的照明波長(zhǎng)較為接近，采集的圖像相近。與預(yù)期一致，指紋主體部分反射率低于背景部分，因此在圖像上顯示為黑色指紋，但值得注意的是，指紋中部及下方部分紋線之間背景為白色，這主要是因?yàn)橹谱髦讣y的紋線具有3維曲面面形，在特定角度光源照明時(shí)將光線鏡面反射至紋線中間的背景上，導(dǎo)致背景反射強(qiáng)度較高，表明光源入射角度對(duì)成像效果有較大的影響。由于智能手機(jī)鏡頭一般具有一定的變焦能力，因此在實(shí)際測(cè)量時(shí)，可移動(dòng)裝置，通過(guò)控制其與指紋的距離調(diào)節(jié)光源入射角度。相比之下，圖4d中綠色LED照明時(shí)藍(lán)色背景較亮，紅色指紋紋線較暗，具有更高的對(duì)比度，因此綠色照明更為適合實(shí)驗(yàn)中指紋及背景顏色。

圖.4 Fingerprint images with the illumination

對(duì)圖4中多光譜圖像進(jìn)行了融合及增強(qiáng)測(cè)試，服務(wù)器使用普通個(gè)人計(jì)算機(jī)進(jìn)行圖像處理，CPU為Intel(R)Core(TM)i7-7700@3.60GHz，內(nèi)存為8.0GB，圖像像素?cái)?shù)目為384×288，此配置下主成分分析法融合約需100ms。融合結(jié)果如圖5a所示。由于圖4d具有最高對(duì)比度，其對(duì)融合圖像主成分影響最大，因此融合圖像整體分布與圖4d相近，但圖4b中部及下方明亮的背景部分在融合圖像中亦有所體現(xiàn)，表明主成分分析法能夠?qū)⒚糠鶊D像的局部特征進(jìn)行融合。進(jìn)一步進(jìn)行了方向?yàn)V波測(cè)試，對(duì)其進(jìn)行分塊處理，每塊的像素為32×32，濾波器尺寸為7×7，濾波時(shí)間約需100ms，可滿(mǎn)足一般場(chǎng)景處理效率需求，若需要融合及增強(qiáng)海量指紋圖像，則可進(jìn)一步通過(guò)并行計(jì)算提高效率。圖5b為進(jìn)行方向?yàn)V波增強(qiáng)后的指紋圖像。與原圖像相比，圖像具有更高的對(duì)比度，可為后續(xù)識(shí)別提供更高質(zhì)量的指紋圖像。同時(shí),盡管圖像進(jìn)行了分塊，但并未觀察到馬賽克效應(yīng)，表明設(shè)計(jì)的圖像增強(qiáng)算法達(dá)到了預(yù)期的效果。

圖.5 Fingerprint images

為了進(jìn)一步定量研究算法性能，引入加權(quán)指紋圖像質(zhì)量評(píng)價(jià)指標(biāo)，包括平均灰度指標(biāo)、灰度模糊指標(biāo)、全局方向一致性及全局脊線紋理清晰度。具體參量為：灰度閾值為[0.2,0.8]，灰度方差閾值為0.2，方向一致性閾值為0.2，紋線清晰度閾值為[5,10,4]。4種指標(biāo)權(quán)值相同，指標(biāo)詳細(xì)解釋及參量意義見(jiàn)參考文獻(xiàn)[21]。計(jì)算結(jié)果如表1所示，可見(jiàn)照明波長(zhǎng)不同時(shí)，指紋圖像質(zhì)量變化明顯。經(jīng)過(guò)多光譜融合處理后，指紋圖像質(zhì)量相比最優(yōu)波長(zhǎng)有所改善，而在方向?yàn)V波之后大幅增加，表明多光譜融合及方向?yàn)V波能夠有效改善指紋圖像質(zhì)量，為后續(xù)指紋識(shí)別提供了良好的基礎(chǔ)。表中圖像質(zhì)量為純數(shù)值計(jì)算結(jié)果，灰度范圍值為0～1。

Table 1 Evaluation of fingerprint image quality

4 結(jié) 論

便攜式多光譜指紋采集系統(tǒng)在現(xiàn)場(chǎng)刑偵領(lǐng)域有廣泛的需求，針對(duì)此問(wèn)題，本文中搭建了一種基于智能手機(jī)的多光譜指紋圖像便攜式采集裝置。智能手機(jī)通過(guò)藍(lán)牙控制多波長(zhǎng)LED照明并拍攝對(duì)應(yīng)指紋圖像，然后將圖像通過(guò)網(wǎng)絡(luò)傳輸至服務(wù)器端進(jìn)行處理。設(shè)計(jì)了多光譜圖像融合及基于方向?yàn)V波的圖像增強(qiáng)算法，自行制作了指紋進(jìn)行了測(cè)試，結(jié)果表明，該裝置采集并處理4幅圖像可在1s內(nèi)完成，滿(mǎn)足了現(xiàn)場(chǎng)指紋圖像采集及處理效率的需求，提出的圖像融合及增強(qiáng)算法能夠保留多光譜圖像的各自特征并提高圖像質(zhì)量，適用于不同顏色背景與指紋的區(qū)分。由于一般手機(jī)鏡頭的微距拍攝效果一般，可通過(guò)外接鏡頭的方案進(jìn)一步改善微距拍攝時(shí)指紋圖像的質(zhì)量。與現(xiàn)有多光譜成像裝備相比，本裝置成本、便攜性及智能性得到了顯著提高，有望在現(xiàn)場(chǎng)指紋圖像采集領(lǐng)域得到廣泛應(yīng)用。