基于嵌入式GPU的汗孔識(shí)別算法并行設(shè)計(jì)*

劉義鵬， 曾宏翔， 王海霞， 楊熙丞， 陳 朋

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

0 引 言

汗孔已被證明是最有效的指紋識(shí)別信息[1]。汗孔識(shí)別主要包括汗孔提取與汗孔匹配兩部分。在汗孔提取上，Stosz A J D和Alyea L A等人[2]通過(guò)骨架化指紋圖像，跟蹤骨架輪廓來(lái)提取汗孔。Jain A等人[3]利用墨西哥帽小波變換定義了汗孔模型。Parsons N R等人[4]引入基于高斯差分(difference of Gaussian，DOG)的方法提取了汗孔，具有很好的抗噪效果。在汗孔匹配方面，Jain A K等人使用細(xì)節(jié)和相關(guān)2個(gè)匹配器用于的二級(jí)特征的匹配，然后使用改進(jìn)的迭代最近點(diǎn)(iterative closest point,ICP)算法匹配汗孔。Zhao Q等人[5]提出了一種汗孔—谷線描述符(pore-valley descriptor，PVD)，解決汗孔特征的旋轉(zhuǎn)和平移不變性，提高檢測(cè)的準(zhǔn)確性。

嵌入式設(shè)備已經(jīng)具有并行模塊，其中圖形處理器(graphics processing unit,GPU)并行方案更適用于汗孔等更精細(xì)的三級(jí)指紋特征[6]。Wang C等人[7]使用移動(dòng)GPU實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)對(duì)象檢測(cè)算法，提高了算法在異構(gòu)處理器上的能效。Qi X等人[8]基于移動(dòng)GPU針對(duì)人臉關(guān)鍵幀進(jìn)行分析，在視頻監(jiān)控復(fù)雜場(chǎng)景中獲得很高的成功率。利用嵌入式GPU加速指紋汗孔識(shí)別將是個(gè)人身份認(rèn)證更為安全和高效的途徑。

本文利用NVIDIA Jetson TX2平臺(tái)，采用DOG模型提取汗孔，并使用PVD描述符進(jìn)行匹配，提出基于嵌入式中央處理器(central processing unit,CPU)和GPU的異構(gòu)協(xié)同計(jì)算方案，實(shí)現(xiàn)并行加速。

1 基于PVD的高分辨率部分指紋匹配

圖1為汗孔提取的過(guò)程。圖1(a)，在接觸式的光學(xué)傳感器拍攝的高分辨率指紋圖像中，汗孔是處于脊線上的亮斑，具有類(lèi)圓形結(jié)構(gòu)。利用DOG算法實(shí)現(xiàn)汗孔提取，其中大高斯核模糊汗孔信息，小高斯核突顯脊線上的汗孔，并去除部分汗孔噪聲,DOG算法如下

F1=Gσ1*I,F2=Gσ2*I

(1)

(2)

P=F1-F2

(3)

式中I為指紋圖像；Gσ(x,y)為高斯函數(shù)；σ1和σ2為大小高斯濾波核；P為汗孔初步提取結(jié)果。為了獲得更好的DOG濾波效果，利用線性變換的方法拉伸圖像的對(duì)比度，觀察圖1(e)發(fā)現(xiàn)，除汗孔之外，DOG還能識(shí)別脊線邊界與其他非汗孔噪聲。圖1(f)為最終得到的汗孔。

圖1 汗孔提取過(guò)程

1.1 PVD描述符構(gòu)建

構(gòu)建特征描述以便于識(shí)別。Zhao Q等人[5]的PVD，將汗孔位置、周?chē)募狗较驁?chǎng)和谷線結(jié)構(gòu)進(jìn)行歸一化表示，具有旋轉(zhuǎn)和平移不變性。PVD定義為以下特征向量

(4)

(5)

PVD特征由4個(gè)部分組成：

1)汗孔的位置坐標(biāo)。

2)汗孔所在位置的方向信息θ，采用文獻(xiàn)[9]中基于梯度的方向場(chǎng)估計(jì)方法計(jì)算得到

(6)

式中Nz為以(x,y)為中心的方形鄰域;Ix(u,v)和Iy(u,v)分別為指紋圖在x和y方向的梯度。

3)汗孔鄰域的脊方向非一致性(orientation inconsistency，OIC)

[sin(2θ(u,v))-msin]2}

(7)

(8)

(9)

式中Np為汗孔所在圓形鄰域，其半徑為最大脊間距的3倍；|Np|為鄰域中的像素個(gè)數(shù)。

圖2 谷結(jié)構(gòu)采樣

1.2 PVD特征匹配

1)使用OIC值進(jìn)行汗孔的粗匹配。如果汗孔對(duì)之間的OIC差異大于給定的閾值Toic則不會(huì)進(jìn)入精匹配步驟。

(10)

非相似性越小，兩個(gè)汗孔越相似。經(jīng)過(guò)精匹配之后，找到與之非相似性最低的若干汗孔，形成汗孔之間的初始對(duì)應(yīng)關(guān)系。

(11)

則兩對(duì)汗孔得分均加1；否則，相似性高的孔對(duì)得分減1，另一對(duì)保持不變。最后得分為非負(fù)的即為最終匹配的汗孔對(duì)應(yīng)；否則，兩個(gè)指紋不能對(duì)齊。

圖3 雙重檢查

2 異構(gòu)嵌入式系統(tǒng)的PVD指紋匹配算法實(shí)現(xiàn)

通過(guò)對(duì)指紋汗孔識(shí)別算法進(jìn)行任務(wù)分解，有效利用NVIDIA Jetson TX2異構(gòu)處理器的計(jì)算處理優(yōu)勢(shì)，將計(jì)算密集型的負(fù)載調(diào)度到GPU以實(shí)現(xiàn)算法的加速與優(yōu)化。

2.1 計(jì)算統(tǒng)一設(shè)備架構(gòu)并行編程模型及設(shè)計(jì)

基于PVD算法的并行加速程序分為CPU處理的串行代碼和GPU的并行代碼，算法執(zhí)行流程如圖4所示。

圖4 并行程序執(zhí)行流程

1)在CPU上對(duì)原始圖像進(jìn)行填補(bǔ)和尺寸對(duì)齊，并利用GPU完成圖像對(duì)比度增強(qiáng)，歸一化等預(yù)處理步驟；

2)根據(jù)DOG模型檢測(cè)汗孔，利用開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)(open source computer vision library,OpenCV) 與計(jì)算統(tǒng)一設(shè)備架構(gòu)(compute unified device architecture,CUDA)模塊完成圖像的大小高斯核濾波，自定義CUDA核函數(shù)，對(duì)濾波結(jié)果二值化并作差，得到初始汗孔圖；

3)在CPU上根據(jù)4個(gè)約束條件，篩選出符合條件的汗孔，并計(jì)算汗孔的質(zhì)心坐標(biāo)；

4)利用OpenCV CUDA模塊完成Sobel梯度計(jì)算，并自定義CUDA核函數(shù)計(jì)算指紋方向場(chǎng)和脊方向非一致性；

5)利用CPU對(duì)二值化后的大高斯核模糊圖像進(jìn)行細(xì)化迭代處理，獲取谷線結(jié)構(gòu)圖；

6)利用GPU并行化提取每個(gè)汗孔的鄰域谷結(jié)構(gòu)特征；

7)利用GPU計(jì)算所有汗孔對(duì)之間的非相似性，在CPU上雙重檢查并計(jì)算得分。

2.2 異構(gòu)并行計(jì)算

在汗孔提取階段，可以通過(guò)CUDA Stream與Pthreads線程技術(shù)，對(duì)批量的圖片同時(shí)處理，以提高程序的效率。因此，在其中一幅圖像進(jìn)行內(nèi)核運(yùn)算時(shí)，其他圖像可以進(jìn)行數(shù)據(jù)的傳輸與結(jié)果的拷貝。通過(guò)CUDA流來(lái)隱藏?cái)?shù)據(jù)傳輸?shù)臅r(shí)間，并使GPU與CPU處于并發(fā)運(yùn)行狀態(tài)。

2.3 動(dòng)態(tài)并行計(jì)算

以汗孔為中心建立如圖5所示的矩形感興趣區(qū)域(region of interest,ROI)，通過(guò)遍歷ROI區(qū)域，找到滿足以下條件的點(diǎn)：1) 像素值非0 (在脊線上) ；2) 與汗孔所構(gòu)成的直線，與其中一條采樣直線的夾角足夠小，來(lái)保證為在直線段上的有效交點(diǎn)；3) 與汗孔的距離小于圓形鄰域的半徑，來(lái)消除在矩形ROI中的無(wú)效采樣;4)對(duì)同一直線段上的點(diǎn)進(jìn)行排序篩選確定不同脊線上的唯一交點(diǎn)。利用CUDA動(dòng)態(tài)并行技術(shù)，實(shí)現(xiàn)并行化加速，Parent Grid基于汗孔劃分，每個(gè)汗孔作為Parent Grid的子線程在自己的ROI區(qū)域建立child Grid，然后調(diào)用子內(nèi)核對(duì)ROI區(qū)域進(jìn)行訪問(wèn)和計(jì)算。

圖5 汗孔R(shí)OI區(qū)域

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)數(shù)據(jù)為香港理工大學(xué)提供的1 200 dpi高清指紋庫(kù)(PolyU High Resolution Fingerprint Database)。為了最大化GPU的利用率，對(duì)線程和線程塊資源進(jìn)行合理的分配。表1給出了對(duì)主要程序線程資源的分配情況。

表1 CUDA線程分配

3.1 準(zhǔn)確性測(cè)試

測(cè)試程序?qū)箍鬃R(shí)別算法的影響，分別統(tǒng)計(jì)2種程序的計(jì)算結(jié)果。表2為5張不同指紋圖像的汗孔數(shù)量，驗(yàn)證在汗孔檢測(cè)方面無(wú)明顯差異；對(duì)檢測(cè)到的汗孔作標(biāo)記，如圖6所示，經(jīng)過(guò)篩選和比對(duì)后的汗孔都在脊線上，證明程序在汗孔檢測(cè)具有較高精度。

表2 汗孔檢測(cè)數(shù)統(tǒng)計(jì)

圖6 汗孔檢測(cè)結(jié)果

3.2 實(shí)時(shí)性測(cè)試

驗(yàn)證異構(gòu)并行程序的執(zhí)行效率，將程序獨(dú)立執(zhí)行30次后，取平均運(yùn)行時(shí)間作為統(tǒng)計(jì)結(jié)果?？梢钥吹剑贜VIDIA Jetson TX2平臺(tái)上CUDA并行程序有著顯著的加速效果，與在ARM CPU上運(yùn)行的串行程序相比，提高了接近10倍的運(yùn)算效率，在脊方向場(chǎng)的計(jì)算中甚至達(dá)到180倍以上的加速比。由此可見(jiàn)提出的并行設(shè)計(jì)方案在準(zhǔn)確率和運(yùn)行速度方面均達(dá)到了較好的效果。并行程序的優(yōu)化效果如表3所示。

表3 并行優(yōu)化效果對(duì)比

4 結(jié) 論

針對(duì)使用DOG模型提取汗孔、PVD特征的指紋匹配算法，在嵌入式平臺(tái)進(jìn)行了移植，并提出了基于異構(gòu)嵌入式系統(tǒng)的并行實(shí)現(xiàn)方案，利用CUDA和OpenCV的多種優(yōu)化手段，達(dá)到了提高程序執(zhí)行效率的目的。實(shí)驗(yàn)證明：與單純利用異構(gòu)處理器中的CPU相比，異構(gòu)優(yōu)化下的CUDA并行程序有效提升了算法的執(zhí)行效率，并且在汗孔檢測(cè)與特征匹配中表現(xiàn)良好。

參考文獻(xiàn):

[1] 李陳美,李霓莎.指紋汗孔特征在指紋檢驗(yàn)鑒定中的價(jià)值[J].科技經(jīng)濟(jì)導(dǎo)刊,2016(7):198-199.

[2] Stosz A J D,Alyea L A.Automated system for fingerprint authentication using pores and ridge structure[C]∥Proc of Int’l Symp on Optics,Imaging,and Instrumentation,San Diego:SPIE,1994:210-223.

[3] Jain A,Chen Y,Demirkus M.Pores and ridges:Fingerprint mat-ching using level 3 features[C]∥Proc of Int’l Conf on Pattern Recognition,Hong Kong:IEEE,2006:477-480.

[4] Parsons N R,Smith J Q,Th?nnes E,et al.Rotationally invariant statistics for examining the evidence from the pores in fingerprint-s[J].Law Probability and Risk,2008,7(1):1-14.

[5] Zhao Q,Zhang D,Zhang L,et al.High resolution partial fingerprint alignment using pore-valley descriptors[J].Pattern Recognition,2010,43(3):1050-1061.

[6] Zhang C,Li P,Sun G,et al.Optimizing FPGA-based accelerator design for deep convolutional neural networks[C]∥Proc of the 2015 ACM/SIGDA Int’l Symp on Field Programmable Gate Arrays,Monterey:ACM,2015:161-170.

[7] Wang C,Wang Y,Han Y,et al.CNN-based object detection solutions for embedded heterogeneous multicore SoCs[C]∥Proc of the 22rd Asia and South Pacific Design Automation Conf,Chiba:IEEE,2017:105-110.

[8] Qi X,Liu C,Schuckers S.Key-frame analysis for face related video on GPU-accelerated embedded platform[C]∥Proc of Int’l Conf on Computational Science and Computational Intelligence,Las Vegas:IEEE,2016:682-687.

[9] 秦 強(qiáng).一種改進(jìn)的指紋方向圖算法[J].科技風(fēng),2016(24):48.