基于手指骨架提取的手形識別方法

李溫溫，劉富，高雷

(1. 吉林大學(xué) 通信工程學(xué)院，吉林 長春，130022；2. 白城師范學(xué)院 機(jī)械工程學(xué)院，吉林 白城，137000)

基于手指骨架提取的手形識別方法

李溫溫1,2，劉富1，高雷1

(1. 吉林大學(xué) 通信工程學(xué)院，吉林 長春，130022；2. 白城師范學(xué)院 機(jī)械工程學(xué)院，吉林 白城，137000)

針對使用非接觸式手形采集儀采集手形時(shí)，手掌圖像的指根處輪廓會因手掌張開幅度不同而出現(xiàn)不同程度的變形，增加手形精確定位和手形識別的難度這一問題，提出一種不受指根處輪廓變形影響的手形識別算法。該算法首先提取出細(xì)化的手指骨架，其次擬合手指骨架并定位手指中線，然后提取與指根部無關(guān)的指形特征，最后，計(jì)算注冊樣本與待識別樣本的差異特征統(tǒng)計(jì)值并進(jìn)行判別決策。研究結(jié)果表明：本文提出的手形識別算法對指根處輪廓變形有著較強(qiáng)的魯棒性，識別率可達(dá)99.62%。

手形識別；手指細(xì)化；骨架擬合；手指幾何特征

生物識別技術(shù)已經(jīng)被廣泛應(yīng)用于身份認(rèn)證領(lǐng)域。目前被成功用于身份識別的生物特征包括人臉、虹膜、步態(tài)、掌紋、指紋、手形等人體特征。但每種生物識別技術(shù)都有其局限性：虹膜識別和掌紋識別需要特定的采集環(huán)境和高分辨率的攝像頭；步態(tài)識別的準(zhǔn)確率較低；指紋識別的識別率高、設(shè)備體積小，雖然應(yīng)用最為成熟，但是易受指紋磨損等因素的影響；手形特征因其具有采集方便、穩(wěn)定性高等特點(diǎn)，在生物識別領(lǐng)域有重要的研究意義?，F(xiàn)有的手形識別算法較多，大體分為2類，即基于手指和手掌幾何尺寸的手形識別算法[1?8]與基于手指輪廓差異的手形識別算法[9?14]。雖然這2類算法所選用的手形識別特征不同，但都需要先定位手形。因此，手形定位的準(zhǔn)確性直接影響了手形識別的準(zhǔn)確率。常用的手形定位算法有6種：采用固定栓定位手形[10?11]；利用手形輪廓到手腕中點(diǎn)或掌心點(diǎn)距離的極值，得出指尖點(diǎn)和指根點(diǎn)的手形定位算法[1?2,11,15]；依據(jù)指尖點(diǎn)和指根點(diǎn)的曲率為局部最大值的手形定位算法[8?9,13]；擬合手指單側(cè)輪廓的手形定位算法[12?13]；基于手指和手掌最大內(nèi)切圓的手形定位算法[9,16?17]；粗略定位指根點(diǎn)后，連接指根點(diǎn)和其向前(或向后)若干像素的輪廓點(diǎn)形成1條直線，認(rèn)為在此段輪廓上離此直線距離最遠(yuǎn)的輪廓點(diǎn)為精確指根點(diǎn)的手形定位算法[8]。以上的6種手形定位算法都能很好解決手形旋轉(zhuǎn)、平移、縮放這3種仿射變換。但在手形采集時(shí)，手指張開程度不同會造成指根處輪廓變形，這種變形將會影響上述6種算法對手形定位的準(zhǔn)確性，大大降低了手形識別的準(zhǔn)確率。為很好地解決這個(gè)問題，本文作者提出一種通過擬合手指骨架來進(jìn)行手形定位的算法，選取與指根處輪廓無關(guān)的手形特征，從而使手形識別不受指根處輪廓變形的影響，實(shí)驗(yàn)表明本文作者提出的手形識別算法有著較高的識別率。

1　手形定位

本文作者提出的手形定位算法主要分4步，即四指分割、手指細(xì)化、修正手指骨架及二項(xiàng)式擬合手指骨架。

1.1四指分割

在手形圖像識別階段，由于大拇指的自由度相對較大，很難獲得穩(wěn)定的指形特征，因此，只提取小拇指、無名指、中指和食指這4根手指的指形特征。在圖像預(yù)處理階段，首先對采集到的圖像進(jìn)行二值化處理，然后采用文獻(xiàn)[5]的手指分離算法將四指分割，分割結(jié)果如圖1所示。

圖1　四指分割結(jié)果Fig. 1 Results of segmented fingers

1.2手指細(xì)化

表1所示為一些現(xiàn)有圖像細(xì)化算法的優(yōu)缺點(diǎn)比較[18?23]，細(xì)化算法缺陷如圖2所示。針對手指圖像特點(diǎn)，對基于模板匹配的細(xì)化算法進(jìn)行了改進(jìn)，在原有算法的基礎(chǔ)上增加了1個(gè)先驗(yàn)?zāi)０搴?個(gè)細(xì)化方程。改進(jìn)后的算法不僅提高了圖像細(xì)化的速度，也可保證細(xì)化取得令人滿意的結(jié)果。

1.2.1先驗(yàn)?zāi)０?/p>

比較表1所列的圖像細(xì)化算法可見：OPTA (one-pass thinning algorithm)算法需要判斷每個(gè)像素點(diǎn)是否符合消除條件，而馮星奎等[21?22]提出的改進(jìn)算法雖然一次細(xì)化可消除多個(gè)像素點(diǎn)，但這2種算法保存模板的數(shù)目較多，圖像細(xì)化時(shí)，在匹配消除模板和保存模板上，仍消耗了大量時(shí)間。針對這個(gè)問題，本文作者增加了1個(gè)先驗(yàn)?zāi)０?如圖3所示)，可避免不能被消除的像素點(diǎn)在匹配消除模板上消耗大量的時(shí)間。

由于文獻(xiàn)[21]中的消除模板可以解決圖像細(xì)化過程中常遇到毛刺過多和紋線扭曲的問題，文獻(xiàn)[20]中的保存模板數(shù)量較少，可減少圖像細(xì)化的時(shí)間，所以采用文獻(xiàn)[21]中的8個(gè)消除模板(如圖4所示)和文獻(xiàn)[20]中的2個(gè)保存模板(如圖5所示)用于圖像細(xì)化。

增加先驗(yàn)?zāi)０搴蟊疚牡募?xì)化算法描述如下：

表1　現(xiàn)有的圖像細(xì)化算法比較Table 1 Comparison of existing image thinning algorithms

圖2　細(xì)化算法缺陷示意圖Fig. 2 Schematic diagram of defects of thinning algorithms

圖3　先驗(yàn)?zāi)０錐ig. 3 Prior template

圖4　消除模板Fig. 4 Remove templates

圖5　保存模板Fig. 5 Preservation templates

采用本文所描述的細(xì)化算法對整幅圖像進(jìn)行迭代細(xì)化，直至沒有像素點(diǎn)被刪除為止。但因消除模板和保存模板存在缺陷，使細(xì)化結(jié)果不完全，需對細(xì)化后的圖像進(jìn)一步細(xì)化。

1.2.2進(jìn)一步細(xì)化

為了使細(xì)化結(jié)果為光滑且連續(xù)的圖像，本文設(shè)計(jì)了3個(gè)細(xì)化方程：

其中：xi+8=xi，變量xi的選取如圖6所示。

圖6　變量選取示意圖Fig. 6 Schematic diagram of xiselection

從圖像左上角開始，逐一掃描每個(gè)像素點(diǎn)，如果某像素點(diǎn)對應(yīng)的G＞2且M+N＞0就認(rèn)定此像素點(diǎn)為多余像素點(diǎn)，需要?jiǎng)h除。

1.2.3各種細(xì)化算法的比較

在Inter Daul?Core 2.66 GHz CPU，2 G內(nèi)存PC機(jī)上進(jìn)行算法的性能測試，利用Matlab 2010編程實(shí)現(xiàn)。圖7所示為本文細(xì)化算法的實(shí)驗(yàn)結(jié)果。由圖7可見：本文改進(jìn)的細(xì)化算法細(xì)化結(jié)果令人滿意，彌補(bǔ)了基于模板匹配細(xì)化算法的缺陷，細(xì)化結(jié)果改善了一些不光滑和間斷的脊線；而與其他幾種算法相比，主要的改進(jìn)表現(xiàn)在執(zhí)行時(shí)間上的明顯改善。表2所示為各種算法執(zhí)行的時(shí)間。由表2可知：本文改進(jìn)的細(xì)化算法在執(zhí)行時(shí)間上得到了很明顯的改善。

圖7　本文細(xì)化算法結(jié)果Fig. 7 Result of thinning algorithms in this paper

表2　各種算法的執(zhí)行時(shí)間Table 2 Running time of various algorithms　s

1.3手指骨架的修正

因手指圖像細(xì)化后得到的手指骨架在指根端是分叉的，所以需要對其進(jìn)行修正，提取計(jì)算手指特征所需要的主要骨架。本文設(shè)計(jì)的修正算法步驟如下。

1) 通過計(jì)算每個(gè)骨架點(diǎn)的8個(gè)鄰域內(nèi)含有骨架點(diǎn)的數(shù)量找到分叉點(diǎn)。若其8個(gè)鄰域內(nèi)含有3個(gè)骨架點(diǎn)，則認(rèn)為其為骨架的交叉點(diǎn)。

2) 從交叉點(diǎn)出發(fā)，長度最長的骨架分支為主要骨架，刪除其他2個(gè)長度較短的分支。圖8所示為修正前后的手指骨架對比。

圖8　手指骨架修正示意圖Fig. 8 Schematic diagram of revise finger skeleton

3) 通過計(jì)算各點(diǎn)曲率，對個(gè)別彎曲的手指骨架進(jìn)行修正。

少數(shù)手指圖像細(xì)化后得到的手指骨架沒有分叉，但在原有分叉點(diǎn)位置會出現(xiàn)明顯的彎曲，即在手指骨架上存在1個(gè)曲率極小的點(diǎn)。通過觀察可以發(fā)現(xiàn)，從曲率為極小值的骨架點(diǎn)出發(fā)，有2段手指骨架，長度較長的骨架為所需要的主要骨架應(yīng)保留，長度較短的骨架已經(jīng)偏離手指中軸線，應(yīng)剔除。

骨架點(diǎn)曲率的計(jì)算如圖9所示，計(jì)算手指骨架點(diǎn)曲率的公式為

手指骨架上各點(diǎn)的曲率如圖10所示，實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)手指骨架點(diǎn)曲率的最小值小于2.7時(shí)，可以認(rèn)為這段手指骨架已偏離手指中軸線，應(yīng)剔除。圖11所示為修正彎曲的手指骨架結(jié)果。

圖9　曲率的計(jì)算模型Fig. 9 Calculation model of curvature

圖10　手指骨架上各點(diǎn)曲率Fig. 10 Curvature of finger skeleton points

圖11　修正彎曲的手指骨架示意圖Fig. 11 Schematic diagram of revised finger crooked skeleton

1.4定位手指中軸線

算法采用二項(xiàng)式曲線擬合算法擬合手指骨架，定位手指中軸線，擬合直線方程的計(jì)算如式(5)和式(6)所示。手指中線定位結(jié)果如圖12所示。

圖12　手指中線定位Fig. 12 Location of finger centerline

2　手形識別

2.1手形特征提取

本文選取手指的寬度作為手形識別的特征，如圖13所示，從手指中軸線的頂端開始，沿手指中線，每隔10個(gè)像素單位做中線的垂線，與手指兩側(cè)輪廓交點(diǎn)間的距離，即為手指寬度特征。提取到的手指特征向量為，Ti為得到的指形特征數(shù)，為提取到的指形寬度特征。

圖13　手指特征提取示意圖Fig. 13 Schematic diagram of feature selection of finger

2.2手形識別計(jì)算方法

手形識別所選用的特征為注冊手形與待識別手形之間差異的統(tǒng)計(jì)特征，Ci為手指寬度特征數(shù)的差異，計(jì)算方法為

其中：Mi(1)為注冊手形特征向量中第i個(gè)手指指形特征數(shù)；Ni為待識別手形的特征向量中第i個(gè)手指指形特征數(shù)。

手指寬度特征差異Di的計(jì)算方法為

統(tǒng)計(jì)Di(j)≥n的數(shù)為，n為設(shè)定閾值。

定義G≥n為2手指相似程度的度量，其值越小代表2個(gè)手指的相似程度越大。G≥n的計(jì)算方法為

在手形識別實(shí)驗(yàn)中，當(dāng)G≥n小于某個(gè)設(shè)定閾值時(shí)，可認(rèn)為這2個(gè)手掌屬于同一人，否則認(rèn)為這2個(gè)手掌屬于不同的人。

3　實(shí)驗(yàn)結(jié)果及分析

針對本文提出的手形識別算法，設(shè)計(jì)了手形采集儀器，其主要特點(diǎn)是手形平面與攝像頭平面始終平行且距離固定，這樣可以避免在每次采集手形時(shí)手形平面與攝像頭平面夾角的變化而引起的圖像變形。對于二維手形圖像，算法能夠解決手形旋轉(zhuǎn)、平移和伸縮的問題，但對于因采集時(shí)夾角變化造成手形圖像變形是無能無力的，所以應(yīng)盡量避免。用上述儀器采集100個(gè)人每人10幅手掌圖像，采用本文算法做手形識別實(shí)驗(yàn)。

為了驗(yàn)證n的取值與識別率的關(guān)系，n分別取0.02，0.03，0.04，0.05，0.06和0.07這6個(gè)值，進(jìn)行6組實(shí)驗(yàn)，對采集到的1 000幅手形圖片進(jìn)行499 500次匹配實(shí)驗(yàn)，其中類內(nèi)匹配4 500次，類間匹配

495 000次，得到n的取值與識別率的關(guān)系曲線(如圖14)。由圖14可知：當(dāng)n=0.04，閾值取12時(shí)，識別率最高為99.62%。當(dāng)n=0.04時(shí)，拒識率和誤識率曲線如圖15(a)所示。由圖15(a)可以看出：當(dāng)閾值取12時(shí)，拒識別率為0.81%，誤識率為0.37%，類間數(shù)據(jù)和類內(nèi)數(shù)據(jù)分布曲線如圖15(b)所示。

圖14　手形認(rèn)證實(shí)驗(yàn)識別率曲線Fig. 14 Accuracy curve of hand shape recognition

圖15　n=0.04時(shí)實(shí)驗(yàn)結(jié)果Fig. 15 Results of n=0.04

4　結(jié)論

1) 提出了一種基于擬合手指骨架的手形定位算法，對基于模板匹配的細(xì)化算法進(jìn)行了改進(jìn)，改進(jìn)后的算法不僅提高了圖像細(xì)化的速度，也保證細(xì)化取得令人滿意的結(jié)果。

2) 設(shè)計(jì)提取出1組與指根處輪廓無關(guān)的手形特征用于手形識別，成功地解決了指根輪廓變形對手形識別準(zhǔn)確性的影響。針對本文提出的手形識別算法，設(shè)計(jì)了手形采集儀器。經(jīng)實(shí)驗(yàn)表明，本文算法的識別率高達(dá)99.62%。

[1] GUO J M, HSIA C H, LIU Y F, et al. Contact-free hand geometry-based identification system[J]. Expert Systems with Applications, 2012, 39(14): 11728?11736.

[2] JIANG X, XU W, SWEENEY L, et al. New directions in contact free hand recognition[C]// 2007 IEEE International Conference on Image Processing. Texas, USA: ICIP, 2007: II-389?II-392.

[3] XIN C, WU X, QIUSHI Z, et al. A contactless hand shape identification system[C]// The 3rd IEEE International Conference on Advanced Computer Control. Harbin, China: ICACC, 2011: 561?565.

[4] KANHANGAD V, KUMAR A, ZHANG D. A unified framework for contactless hand verification[J]. IEEE Transactions on Information Forensics and Security, 2011, 6(3): 1014?1027.

[5] ZHANG J, GAO W. Application of fuzzy algorithm based on distance in hand-shape dentification[C]// The 9th International Conference on Electronic Measurement & Instruments. Beijing, China: ICEMI, 2009: 2-818?2-821.

[6] 苑瑋琦, 董茜. 基于手部尺寸特征的手形認(rèn)證方法[J]. 光學(xué)學(xué)報(bào), 2010, 30(10): 2994?2999. YUAN Weiqi, DONG Qian. Hand shape verification method based on hand geometry feature[J]. ACTA Optica Sinica, 2010, 30(10): 2994?2999.

[7] KUMAR A, ZHANG D. Personal recognition using hand shape and texture[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2454?2461.

[8] 苑瑋琦, 朱春艷, 柯麗. 手指寬度選取與識別率對應(yīng)關(guān)系分析[J]. 光學(xué)精密工程, 2009, 17(7): 1730?1736. YUAN Weiqi, ZHU Chunyan, KE Li. Analysis of relationship between finger width and recognition rate[J]. Optics and Precision Engineering, 2009, 17(7): 1730?1736.

[9] AMAYEH G, BEBIS G, EROL A, et al. Hand-based verification and identification using palm–finger segmentation and fusion[J]. Computer Vision and Image Understanding, 2009, 113(4): 477?501.

[10] SU C L. Finger shape expansion and recognition by wavelet transform[J]. Applied Mathematics and Computation, 2007, 190(2): 1583?1592.

[11] HU R X, JIA W, ZHANG D, et al. Hand shape recognition based on coherent distance shape contexts[J]. Pattern Recognition, 2012, 45(9): 2248?2259.

[12] ZHU Leqing. 2D finger shape recognition based on local zero-order moment features[C]// The 2nd International Congress on Image and Signal Processing. Tianjin, China: ICISP, 2009: 1?4.

[13] MA Y L, POLLICK F, HEWITT W T. Using b-spline curves for hand recognition[C]// The 17th International Conference on Pattern Recognition. Cambridge, UK: ICPR, 2004: 274?277.

[14] DUTA N. A survey of biometric technology based on hand shape[J]. Pattern Recognition, 2009, 43(11): 2797?2806.

[15] YORUK E, KONUKOGLU E, SANKUR B, et al. Shape-based hand recognition[J]. IEEE Transactions on Image Processing, 2006, 15(7): 1803?1815.

[16] BAKINA I, MESTETSKIY L. Hand shape recognition from natural hand position[C]// 2011 International Conference on Hand-Based Biometrics. Hong Kong, China: ICHB, 2011: 1?6.

[17] MESTETSKIY L, BAKINA I, KURAKIN A. Hand geometry analysis by continuous skeletons[C]// The 8th International Conference on Image Analysis and Recognition. Burnaby, Canada: ICIAR, 2011: 130?139.

[18] 竺樂慶, 張三元, 幸銳. 基于指節(jié)紋的個(gè)人身份自動(dòng)識別[J].自動(dòng)化學(xué)報(bào), 2009, 35(7): 875?881. ZHU Leqing, ZHANG Sanyuan, XING Rui. Automatic personal authentication based on finger phalangeal prints[J]. Acta Automatica Sinica, 2009, 35(7): 875?881.

[19] GONZALEZ R C, WOODS R E. Digital image processing[M]. Beijing: Publishing House of Electronics Industry, 2003: 650?653.

[20] CHIN R T, WAN HK, STOVER D L, et al. A one-pass thinning al-gorithm and its parallel implementation[J]. Computer Vision Graphics Image Processing, 1987, 40(1): 30?40.

[21] 馮星奎, 李林艷, 顏?zhàn)嫒? 一種新的指紋圖象細(xì)化算法[J]. 中國圖象圖形學(xué)報(bào), 1999, 4(10): 835?838. FENG Xingkui, LI Linyan, YAN Zuquan. A new Thinning Algorithm for Fingerprint Image[J]. Journal of Image and Graphics, 1999, 4(10): 835?838.

[22] 王家隆, 郭成安. 一種改進(jìn)的圖像模板細(xì)化算法[J]. 中國圖象圖形學(xué)報(bào), 2004, 9(3): 297?301. WANG Jialong, GUO Chengan. An improved image template thinning algorithm[J]. Journal of Image and Graphics, 2004, 9(3): 297?301.

[23] 王朋, 張有光, 張爍. 指紋圖像細(xì)化的綜合化算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2009, 21(2): 179?182. WANG Peng, ZHANG Youguang, ZHANG Shuo. A synthetically thinning algorithm for fingerprint image[J]. Journal of Computer-Aided Design & Computer Graphics, 2009, 21(2): 179?182.

(編輯 劉錦偉)

A method of hand-shape recognition based on extraction of finger skeleton

LI Wenwen1,2, LIU Fu1, GAO Lei1
(1. School of Communications Engineering, Jilin University, Changchun 130022, China; 2. School of Mechanical Engineering, Baicheng Normal University, Baicheng 137000, China)

When a non-contact hand shape acquisition instrument is used to collect hand shape, there will be a kind of deformation at different levels in the finger root contour because of the difference in open degree of palm, which increases the difficulty of the accurate positioning and recognition hand-shape. In order to solve this problem, a new method for hand-shape recognition was presented, which was not affected by the deformation of the finger root contour. Firstly, the thinning finger skeleton was extracted, and then the finger central axis and the binomial fitting finger skeleton were located. The finger geometric features unrelated to the finger root contour were extracted. Finally, the statistics of differences characteristic between the registered samples and identifying samples were calculated to recognize the hand shape. The results show that the proposed method is robust to the deformation of the finger root contour, and the recognition rate can reach 99.62%.

hand-shape recognition; finger refinement; fitting finger skeleton; finger geometric features

TP 391

A

1672?7207(2016)03?0777?07

10.11817/j.issn.1672-7207.2016.03.010

2015?03?27；

2015?05?11

國家自然科學(xué)基金資助項(xiàng)目(51105170)；吉林省科技發(fā)展計(jì)劃項(xiàng)目(SC0701028) (Project(51105170) supported by the National Natural Science Foundation of China; Project(SC0701028) supported by the Scientific and Technological Planning Project of Jilin Province)

劉富，博士，教授，從事計(jì)算機(jī)視覺及生物識別技術(shù)研究；E-mail: liufu@jlu.edu.cn