基于自適應(yīng)手指分割與判別的靜態(tài)手勢(shì)識(shí)別

崔家禮　解　威　王一丁　賈瑞明

(北方工業(yè)大學(xué)電子信息工程學(xué)院　北京 100144)

?

基于自適應(yīng)手指分割與判別的靜態(tài)手勢(shì)識(shí)別

崔家禮解威王一丁賈瑞明

(北方工業(yè)大學(xué)電子信息工程學(xué)院北京 100144)

由于動(dòng)態(tài)手勢(shì)可以看作是多幀靜態(tài)手勢(shì)的融合，研究靜態(tài)手勢(shì)成為解決手勢(shì)識(shí)別問(wèn)題的重點(diǎn)。針對(duì)靜態(tài)手勢(shì)，提出一種自適應(yīng)手指分割與判別的手勢(shì)識(shí)別算法。首先，運(yùn)用YCbCr顏色空間的膚色聚類特性對(duì)手勢(shì)圖像進(jìn)行分割，并采用質(zhì)心點(diǎn)漂移的理念確定手指方向并作旋轉(zhuǎn)歸一化處理；其次，針對(duì)手勢(shì)輪廓點(diǎn)的梯度方向和跨度確定手指的候選區(qū)域，并結(jié)合形態(tài)學(xué)的方法重建出單一手指的二值化形態(tài)；最后，選取恰當(dāng)?shù)男螤钐卣?，運(yùn)用SVM分類器對(duì)其形狀特征進(jìn)行分類。實(shí)驗(yàn)表明該方法具有較好的識(shí)別率。

手勢(shì)識(shí)別手指重建手指判別手指分割形狀特征

0　引　言

在智能化的今天，高效的人機(jī)交互使人類的生活變得更為便捷，交流變得更為簡(jiǎn)單。隨著科技的迅猛發(fā)展，人機(jī)交互成為智能化世界的重要組成部分，一個(gè)簡(jiǎn)單的操作、一句簡(jiǎn)短的指令，往往就能使計(jì)算機(jī)完成較為復(fù)雜的工作。最常見(jiàn)的人機(jī)交互是使用簡(jiǎn)單的機(jī)械設(shè)備對(duì)計(jì)算機(jī)發(fā)出操作指令，如使用鼠標(biāo)、鍵盤等，這些設(shè)備盡管在生活中隨處可見(jiàn)，但其速度和自然性依然限制了人與計(jì)算機(jī)之間的互交[1-4]。傳統(tǒng)鼠標(biāo)、鍵盤的簡(jiǎn)單輸入已經(jīng)不能滿足人們對(duì)更復(fù)雜行為的需求，人機(jī)交互的目標(biāo)正向著一種更為自然、便捷的非接觸式交互方式邁進(jìn)。

在虛擬現(xiàn)實(shí)領(lǐng)域中，手勢(shì)的檢測(cè)和識(shí)別逐漸成為該領(lǐng)域中研究的重點(diǎn)。人與人的交流時(shí)，除自然和書面的語(yǔ)言以外手語(yǔ)的交流也是一種重要的溝通方式。其較為自然、簡(jiǎn)單、高實(shí)時(shí)性的特點(diǎn)不僅不受地域文化等限制，而且使其在某些程度上成為比自然語(yǔ)言更為方便的交流方式。其目的就是為了使計(jì)算機(jī)更為有效、準(zhǔn)確地理解人類所表達(dá)的語(yǔ)義[5]。迄今為止，手勢(shì)識(shí)別算法在機(jī)器視覺(jué)方向有著廣泛的應(yīng)用，例如機(jī)器人視覺(jué)、體感游戲和聾啞人的交流等[2,3]。

傳統(tǒng)意義上的手勢(shì)識(shí)別分為靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別兩種[6]，而動(dòng)態(tài)手勢(shì)可以看作是多幀靜態(tài)手勢(shì)的融合，故研究靜態(tài)手勢(shì)是解決手勢(shì)識(shí)別問(wèn)題的重點(diǎn)[1,15]。上海理工大學(xué)的王先軍等人[7]運(yùn)用手勢(shì)分割圖像中的7個(gè)不變Hu矩描述子來(lái)表征手勢(shì)的輪廓特征，并利用BP神經(jīng)網(wǎng)絡(luò)優(yōu)秀的學(xué)習(xí)特性進(jìn)行手勢(shì)識(shí)別，但由于BP神經(jīng)網(wǎng)絡(luò)的收斂速率受學(xué)習(xí)速率的影響，故其實(shí)時(shí)性能并不理想。另外，隨著Kinect相機(jī)的普及，為了解決復(fù)雜背景下的手勢(shì)識(shí)別問(wèn)題，許多研究者選擇使用手勢(shì)的深度信息對(duì)其進(jìn)行分析[8]，如江南大學(xué)的李吉等人[9]利用手勢(shì)的深度信息對(duì)手指和手部進(jìn)行跟蹤，解決了因不同光照和復(fù)雜背景造成的影響。但由于深度信息的精度問(wèn)題，使手指垂直指向攝像頭時(shí)的檢測(cè)率并不理想，而提高圖像質(zhì)量必然會(huì)帶來(lái)計(jì)算量的增大，降低識(shí)別效率。為了解決手勢(shì)的多樣性問(wèn)題，Deval G.Patel等人[10]利用SFIT特征點(diǎn)匹配算法對(duì)美國(guó)手語(yǔ)(ASL)的26靜態(tài)手勢(shì)字母A-Z和10個(gè)數(shù)字0-9進(jìn)行匹配識(shí)別。而對(duì)于動(dòng)態(tài)手勢(shì)方面華南理工大學(xué)的許杏等人[11]運(yùn)用隱馬爾科夫模型(HMM)對(duì)手勢(shì)的空間特性和時(shí)間特性及其相關(guān)關(guān)系建立模型，實(shí)現(xiàn)對(duì)動(dòng)態(tài)手勢(shì)的識(shí)別，并對(duì)系統(tǒng)跟蹤算法的性能和識(shí)別率的高低進(jìn)行綜合評(píng)估。而燕山大學(xué)的荊雷等人[12]利用動(dòng)態(tài)時(shí)間規(guī)整算法(DTW)，計(jì)算測(cè)試模板與參考模版之間的相似度，準(zhǔn)確率方面較HMM算法有所提高。

對(duì)比以上手勢(shì)算法研究，現(xiàn)階段手勢(shì)識(shí)別的難點(diǎn)主要集中在:①?gòu)?fù)雜背景下的手勢(shì)分割問(wèn)題；②手掌和手腕處冗余信息的去除問(wèn)題；③手勢(shì)的旋轉(zhuǎn)性、不固定性等差異問(wèn)題；④手勢(shì)的識(shí)別的復(fù)雜度等幾個(gè)方面[1,13]。針對(duì)以上問(wèn)題，本文提出了一種新的基于手勢(shì)形態(tài)特征的識(shí)別方法。利用梯度方向性結(jié)合邊緣跨度的方法對(duì)手指候選區(qū)域與手掌手臂部分進(jìn)行區(qū)分，有效地減少了冗余信息，并利用形態(tài)學(xué)原理重建出單一手指候選區(qū)域，選擇合理的手指形狀特征，運(yùn)用SVM良好的高維分類特性對(duì)手指特征進(jìn)行分類識(shí)別，達(dá)到了良好的識(shí)別率。為了驗(yàn)證識(shí)別精度，本文選用文獻(xiàn)[10] SIFT特征點(diǎn)匹配的方法對(duì)相同數(shù)據(jù)庫(kù)的手勢(shì)進(jìn)行識(shí)別，對(duì)比了兩種方法的優(yōu)缺點(diǎn)。

1　基于形狀的靜態(tài)手勢(shì)數(shù)字識(shí)別

本文主要針對(duì)0-5的靜態(tài)手勢(shì)識(shí)別，手勢(shì)0-5可以表示數(shù)字0-5，也可以映射為不同的指令，從而實(shí)現(xiàn)人機(jī)交互。首先對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理，分割出手勢(shì)的二值圖像，然后對(duì)圖像進(jìn)行特征提取，設(shè)計(jì)出合理的分類器。識(shí)別時(shí)，將待測(cè)數(shù)據(jù)集進(jìn)行預(yù)處理、重建、特征提取后送入設(shè)計(jì)好的分類器中，從而識(shí)別手勢(shì)，整個(gè)程序主要流程如圖1所示。

圖1　手勢(shì)識(shí)別基本流程圖

1.1圖像預(yù)處理、膚色分割及歸一化

圖2　手勢(shì)圖像預(yù)處理步驟

在手勢(shì)圖像采集過(guò)程中，下列因素可能影響手勢(shì)圖片的質(zhì)量，從而使識(shí)別造成誤差：(1)手勢(shì)的姿態(tài)不統(tǒng)一，存在平移、扭動(dòng)、旋轉(zhuǎn)等變化；(2)每個(gè)人手的大小不一致，手指大小、長(zhǎng)寬比等形狀特征也不盡相同，與此同時(shí)，不同手勢(shì)離攝像頭的距離也不能始終保持一致，故歸一化手的大小顯得至關(guān)重要；(3)由于不同時(shí)間采集時(shí)外界環(huán)境的改變會(huì)造成膚色空間的不同，導(dǎo)致手勢(shì)分割結(jié)果的偏差，從而直接影響識(shí)別結(jié)果；(4)采集時(shí)由于攝像頭焦距的改變和采集卡對(duì)攝像頭靜態(tài)圖像掃描時(shí)，會(huì)受到硬件電路電流不穩(wěn)定而產(chǎn)生的暗電流噪聲影響，對(duì)分割結(jié)果造成影響。針對(duì)以上問(wèn)題，本文設(shè)計(jì)如下步驟對(duì)圖像進(jìn)行預(yù)處理，如圖2所示。

本文對(duì)不同手勢(shì)進(jìn)行分類采集，由于采集時(shí)間和不同攝像頭焦距的差異，光照強(qiáng)度可能會(huì)有所不同，在不同的時(shí)間段，手背圖像的灰度級(jí)分布在不同的范圍。為減少差異，對(duì)采集的手勢(shì)圖片進(jìn)行光照補(bǔ)償。同時(shí)噪聲的存在會(huì)使手勢(shì)分割和特征提取及分類準(zhǔn)確度下降，為了減少采集圖片含有的噪聲，本文選用傳統(tǒng)的中值濾波器來(lái)降低噪音。盡管進(jìn)行過(guò)光照補(bǔ)償處理，但光強(qiáng)仍然會(huì)對(duì)分割造成影響，由于YCbCr顏色空間亮度和色度可以分離的性質(zhì)可以克服一定程度的光照干擾，故本文運(yùn)用YCbCr色彩空間對(duì)膚色進(jìn)行分割，提取手勢(shì)區(qū)域。由于背景因素影響，分割后結(jié)果會(huì)含有不同程度的噪聲，為減少噪聲，對(duì)分割后的二值圖像采用去除小連通域和洞孔填充處理?；叶葓D像預(yù)處理結(jié)果如圖3所示。

圖3　灰度圖像預(yù)處理示意圖

考慮到采集手勢(shì)時(shí)的實(shí)時(shí)性和連續(xù)性，對(duì)圖像進(jìn)行旋轉(zhuǎn)矯正。設(shè)手勢(shì)二值分割圖像的質(zhì)心為C(x0,y0)：

(1)

其中x,y為圖像坐標(biāo)，I(x,y)為在圖像在該坐標(biāo)下像素的灰度值。

圖4　手指方向判斷

對(duì)分割后的手勢(shì)圖像進(jìn)行形態(tài)學(xué)腐蝕處理，根據(jù)每個(gè)手指的寬度遠(yuǎn)小于手掌寬度，并且手指均在同一垂直方向這一特點(diǎn)，本文利用形態(tài)學(xué)質(zhì)心偏移的方法來(lái)確定手指的大概方向。如圖4所示，(X1,Y1)為原手勢(shì)質(zhì)心，(X2,Y2)為腐蝕質(zhì)心偏移后的新質(zhì)心。

以原質(zhì)心點(diǎn)和腐蝕后的質(zhì)心點(diǎn)為基準(zhǔn)點(diǎn)，以y軸作為旋轉(zhuǎn)的最終方向，來(lái)估計(jì)到垂直旋轉(zhuǎn)的角度θ，如式(2)所示：

(2)

對(duì)手勢(shì)圖像做角度為θ的旋轉(zhuǎn)變換，得到旋轉(zhuǎn)后的配準(zhǔn)圖像，并對(duì)其旋轉(zhuǎn)后的圖像運(yùn)用Sobel算子求出邊界圖像，如圖5所示。

(a) 手勢(shì)旋轉(zhuǎn)結(jié)果B(x,y)　　(b) Sobel算子提取邊緣結(jié)果圖5　手勢(shì)圖像旋轉(zhuǎn)后結(jié)果

根據(jù)式(3)對(duì)旋轉(zhuǎn)后的手勢(shì)圖像B(x,y)中對(duì)其邊界圖像上的每個(gè)像素點(diǎn)的梯度分量gx和gy。

(3)

并運(yùn)用式(4)計(jì)算其梯度的方向θ′。梯度方向如圖6所示。

(4)

圖6　手勢(shì)輪廓梯度方向

沿著每個(gè)點(diǎn)的梯度方向，根據(jù)式(5)求出每個(gè)邊緣點(diǎn)梯度方向內(nèi)最小的跨度dmin。

(5)

前景最小跨度dmin(x,y)的取值結(jié)果如圖7所示。橫軸為梯度方向內(nèi)前景跨度的取值，縱軸為此跨度大小時(shí)內(nèi)像素點(diǎn)的個(gè)數(shù)。

圖7　梯度方向前景寬度

圖8　梯度方向前景寬度分割效果

將圖7看作一張圖片的直方圖，假設(shè)手指為圖像前景，手掌和手臂為圖像背景，根據(jù)Otsu閾值分割方法，可計(jì)算出閾值T1將部分前景和背景分隔開，將T1之前的所有數(shù)據(jù)近似擬合成一條高斯曲線，如圖7所示?？捎?jì)算出該高斯曲線的均值μ和方差。根據(jù)式(6)計(jì)算出分割手指候選區(qū)域的閾值T2。分割結(jié)果如圖8所示，可得到手掌圖像V，即圖8中虛線圈出部分。手指和手臂下部圖像F。

T2=σ+3μ

(6)

對(duì)手掌部分向豎直方向進(jìn)行縱向積分，根據(jù)積分曲線最高點(diǎn)可得到手掌的大概寬度Wpalm，如圖9所示。

圖9　手掌部分縱向積分圖

根據(jù)解剖學(xué)資料，手掌寬度與手掌長(zhǎng)度存在如式(7)所示比例關(guān)系[14]?？晒浪愠鍪终频墓烙?jì)長(zhǎng)度和面積Lpalm和Spalm。

(7)

由于無(wú)論手指?jìng)€(gè)數(shù)多少，手掌大小均不會(huì)發(fā)生改變，故本文將手掌面積大小Spalm作為手勢(shì)歸一化的衡量標(biāo)準(zhǔn)，根據(jù)式(8)，確定手勢(shì)的縮放因子，通過(guò)映射采樣，將手勢(shì)大小按比例系數(shù)Rnorm歸一化為統(tǒng)一尺度。

Rnorm=Spalm/Snorm

(8)

根據(jù)式(7)，為了減少手臂產(chǎn)生的誤差，本文從手掌起始位置向下計(jì)算Lpalm個(gè)像素長(zhǎng)度，定為手掌根部與前臂連接處如圖10所示。

圖10　手臂位置判斷

為減少計(jì)算量，對(duì)大小歸一化后的手勢(shì)圖像利用最大外接矩形提取ROI (Region of interest)感興區(qū)域，提取結(jié)果如圖11所示。

圖11　手勢(shì)歸一化結(jié)果

1.2特征提取

根據(jù)圖8分割出來(lái)的手指部分和多余手臂部分F，為了統(tǒng)計(jì)彎曲手指的長(zhǎng)度，對(duì)F進(jìn)行細(xì)化處理得到細(xì)化結(jié)果T，處理結(jié)果如圖12所示。

圖12　手勢(shì)細(xì)化結(jié)果

對(duì)細(xì)化后的整幅圖像進(jìn)行檢索，跟蹤出每條骨骼細(xì)化結(jié)果，對(duì)每條獨(dú)立的骨骼運(yùn)用特定的結(jié)構(gòu)元素S，進(jìn)行T2/2次形態(tài)學(xué)膨脹處理，并用原圖像與膨脹后結(jié)果的乘積作為后置候選結(jié)果Fingern，如式(9)所示，其中N為細(xì)化骨骼個(gè)數(shù)?；謴?fù)結(jié)果如圖13所示。

Fingern=F×[Tn⊕S(T2/2)]n=1,2,…,N

(9)

圖13　手指候選區(qū)域恢復(fù)結(jié)果

根據(jù)恢復(fù)出的手指候選區(qū)域結(jié)果，假設(shè)目標(biāo)區(qū)域Fingern(x,y)的大小為M×N，對(duì)于二值圖像，用邏輯1表示目標(biāo)部分，邏輯0表示背景部分。則每個(gè)候選區(qū)域的面積的計(jì)算公式如下，其中N為手指候選區(qū)域個(gè)數(shù)。

(10)

為了解決不同人手指粗細(xì)和手指面積的差異問(wèn)題，本文在提取單一候選區(qū)域面積的同時(shí)，計(jì)算每個(gè)候選區(qū)域占整個(gè)手掌區(qū)域面積Spalm的比例RArean作為分類器的一項(xiàng)重要參數(shù)，公式如下：

(11)

(12)

其中，Ce和C分別代表鏈碼中方向值為偶數(shù)和奇數(shù)的數(shù)目。

為了克服周長(zhǎng)的不魯棒性，本文使用每個(gè)候選區(qū)域中周長(zhǎng)的平方和面積的比例作為分類器的第二個(gè)參數(shù)，公式如下：

(13)

根據(jù)解剖學(xué)研究表明，手指的長(zhǎng)度與寬度存在一定的比例關(guān)系，并且手指長(zhǎng)度一般大于手指寬度。本文將每個(gè)候選區(qū)域細(xì)化的骨骼長(zhǎng)度Ln作為手指的長(zhǎng)度，并將每個(gè)手指假設(shè)成一個(gè)長(zhǎng)方向區(qū)域，故手指長(zhǎng)度Ln與寬度Wn的比例RLWn可近似于如下公式：

(14)

本文將每個(gè)手指的長(zhǎng)寬比RLWn作為分類器的第三個(gè)參數(shù)。

1.3分類器設(shè)計(jì)

支持向量機(jī)SVM是根據(jù)統(tǒng)計(jì)學(xué)理論提出的一種新的通用學(xué)習(xí)方法，它是建立在統(tǒng)計(jì)學(xué)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，能較好地解決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問(wèn)題。支持矢量為訓(xùn)練集中一組特征子集，使得對(duì)特征子集的線性劃分等價(jià)于對(duì)整個(gè)數(shù)據(jù)集的分割。目前，SVM算法在模式識(shí)別、回歸估計(jì)、概率密度函數(shù)估計(jì)等方面都有應(yīng)用，并且該算法在精度上表現(xiàn)在某些領(lǐng)域已經(jīng)超過(guò)傳統(tǒng)的學(xué)習(xí)算法，具有更好的學(xué)習(xí)性能[16]。故本文采用SVM分類器對(duì)三維空間下的手勢(shì)特征進(jìn)行分類。

(15)

(16)

根據(jù)合理的核函數(shù)K(x,y)進(jìn)行訓(xùn)練可得到最優(yōu)的判別公式:

(17)

其中sgn()為符號(hào)函數(shù)，而b*是分類的賦值，可通過(guò)兩對(duì)支持向量求得。經(jīng)過(guò)反復(fù)試驗(yàn)，根據(jù)式(18)本文選用徑向基核函數(shù)對(duì)訓(xùn)練樣本進(jìn)行分類，分類結(jié)果如圖14所示。

K(x,y)=exp(-γ‖x-y‖2)

(18)

(a) 正負(fù)樣本3維圖

(b) SVM分類器曲面圖14　SVM分類結(jié)果

圖14(a)中“?！睌?shù)據(jù)集為負(fù)樣本，“+”數(shù)據(jù)集為正樣本。由圖14(b)可以看出SVM分類器訓(xùn)練出的分類面將正樣本完全包裹，將正負(fù)樣本基本分開。

2　實(shí)驗(yàn)結(jié)果分析

2.1實(shí)驗(yàn)數(shù)據(jù)介紹

本文定義0-5六種手勢(shì)，分別代表六種運(yùn)動(dòng)狀態(tài)，由于網(wǎng)絡(luò)上并沒(méi)有完全公開的手勢(shì)識(shí)別數(shù)據(jù)庫(kù)，故本文使用1920×1080P高清攝像頭對(duì)不同性別的358人的左右手進(jìn)行分類采集，每個(gè)手勢(shì)左右手分別采集10張。其中，從258人中的每個(gè)手勢(shì)的左右手圖像中各拿出一張作為訓(xùn)練集，訓(xùn)練集大小為{6×2×1×258}，將剩下的圖片作為測(cè)試集，測(cè)試集大小為{6×2×9×258+6×2×10×100}。為增加識(shí)別難度，采集的數(shù)據(jù)包括左/右手，手心/手掌和對(duì)統(tǒng)一手勢(shì)下的不同手指的采集，有彎曲手指存在的手勢(shì)，采集數(shù)據(jù)庫(kù)如圖15所示。

手勢(shì)0　手勢(shì)1　手勢(shì)2　手勢(shì)3　手勢(shì)4　手勢(shì)5圖15　手勢(shì)數(shù)據(jù)樣本示例

2.2算法性能分析與比較

SIFT(Scale Invariant Feature Transform)算法是David G.Lowe提出的一種具有尺度不變特性的優(yōu)秀算法。通過(guò)提取特征點(diǎn)，并對(duì)特征點(diǎn)進(jìn)行描述，最終把每張圖片變成特征向量的集合，該算法擁有對(duì)尺度，旋轉(zhuǎn)的不變性，并且對(duì)光照變化和幾何變化也有一定抗性。如圖16所示，其中(a)為訓(xùn)練數(shù)據(jù)庫(kù)中手勢(shì)五通過(guò)SIFT算法檢測(cè)出的結(jié)果，“+”表示所檢測(cè)出的SIFT特征點(diǎn)，(b)為測(cè)試數(shù)據(jù)庫(kù)中手勢(shì)五通過(guò)SIFT算法檢測(cè)出的結(jié)果，(a)共檢測(cè)出了107個(gè)特征點(diǎn)，(b)檢測(cè)出115個(gè)特征點(diǎn)，連線表示兩幅圖像共有10個(gè)特征點(diǎn)匹配成功。

(a) 訓(xùn)練數(shù)據(jù)庫(kù)圖像　(b) 測(cè)試數(shù)據(jù)庫(kù)圖像圖16　SIFT算法識(shí)別匹配結(jié)果

實(shí)驗(yàn)數(shù)據(jù)在4G RAM、3.20GHz Intel CPU臺(tái)式機(jī)上進(jìn)行，采用Matlab2012編程，對(duì)數(shù)字0-5六種手勢(shì)進(jìn)行識(shí)別。分別采用本文提出的方法與SIFT特征點(diǎn)匹配方法[10]對(duì)2.1中的相同數(shù)據(jù)進(jìn)行識(shí)別比較，識(shí)別率和識(shí)別速度結(jié)果如圖17、圖18所示。

圖17　手勢(shì)識(shí)別率比對(duì)結(jié)果

圖18　手勢(shì)識(shí)別時(shí)間比對(duì)結(jié)果

由圖17可以看出，本文提出的算法識(shí)別率遠(yuǎn)遠(yuǎn)高于SIFT特征點(diǎn)匹配法識(shí)別率。其中本算法平均識(shí)別率達(dá)到97.52%。而SIFT特征點(diǎn)匹配算法平均識(shí)別率只有83.87%。而在識(shí)別效率方面，圖18分別對(duì)比了兩種算法對(duì)不同手勢(shì)的識(shí)別速度，曲線展示了識(shí)別的平均時(shí)間、最大時(shí)間和最小時(shí)間。由圖18可以看到本文提出的算法在識(shí)別速度上要快于SFIT算法平均2 s左右。

實(shí)驗(yàn)對(duì)每個(gè)手勢(shì)的誤識(shí)率FAR (False Acceptance Rate)和誤拒率FRR (False Rejection Rate) 進(jìn)行統(tǒng)計(jì)，實(shí)驗(yàn)結(jié)果如表1所示。由于SIFT算法匹配時(shí)需要對(duì)匹配點(diǎn)個(gè)數(shù)的閾值進(jìn)行設(shè)定，故會(huì)出現(xiàn)與模板庫(kù)中0-5任何一個(gè)手勢(shì)數(shù)據(jù)均無(wú)法匹配的結(jié)果。

表1　手勢(shì)識(shí)別算法FAR與FRR比較

實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果表明，由于SIFT算法對(duì)手勢(shì)圖像進(jìn)行特征點(diǎn)提取，并分析其周圍的紋理信息，通過(guò)控制閾值，實(shí)現(xiàn)對(duì)關(guān)鍵點(diǎn)的匹配，故其對(duì)較為復(fù)雜的手勢(shì)特征具有一定優(yōu)勢(shì)。但當(dāng)特征點(diǎn)的拓?fù)浞植蓟蛱卣鼽c(diǎn)周圍紋理改變時(shí)(如手指間隙改變或拍攝角度改變時(shí)) 識(shí)別率會(huì)大幅下降。并且由于提取特征時(shí)需要對(duì)數(shù)據(jù)庫(kù)中所有手勢(shì)提取的SIFT特征進(jìn)行一一對(duì)比，故識(shí)別速度較慢。如圖19 (a)所示，由于手勢(shì)零的紋理特征并不明顯，故導(dǎo)致其與數(shù)據(jù)庫(kù)中的手勢(shì)零只有6個(gè)特征點(diǎn)匹配成功，而圖19(b)中手勢(shì)0與數(shù)據(jù)中的手勢(shì)4卻有8個(gè)特征點(diǎn)匹配成功。故識(shí)別結(jié)果發(fā)生錯(cuò)誤。

圖19　SIFT算法識(shí)別錯(cuò)誤圖片

本文的算法在這種情況下則不會(huì)受到影響。但是本文算法對(duì)膚色分割的穩(wěn)定性要求較高，并且對(duì)兩手指之間有粘連的靜態(tài)手勢(shì)識(shí)別效果并不理想。如圖20識(shí)別錯(cuò)誤示例所示，識(shí)別錯(cuò)誤原因是由于光照強(qiáng)度過(guò)大，即使經(jīng)過(guò)光照補(bǔ)償處理，其仍然受到膚色分割的影響，故識(shí)別錯(cuò)誤。而SIFT算法是根據(jù)灰度圖像提取的特征點(diǎn)，并沒(méi)有進(jìn)行膚色分割，故對(duì)于這種光照過(guò)強(qiáng)的圖像仍能進(jìn)行識(shí)別。而圖21所示圖片，由于采集時(shí)食指和中指相距太近，分割出的手勢(shì)圖像兩手指粘連在一起，本文提出的算法會(huì)造成識(shí)別錯(cuò)誤。

圖20　本文算法識(shí)別錯(cuò)誤圖片1

圖21　本文算法識(shí)別錯(cuò)誤圖片2

3　結(jié)　語(yǔ)

本文提出了一種新穎的基于形狀特征的靜態(tài)手勢(shì)識(shí)別算法，運(yùn)用質(zhì)心點(diǎn)漂移的方法確定手指方向，針對(duì)手勢(shì)分割圖像輪廓點(diǎn)的梯度方向和跨度確定手指的候選區(qū)域，結(jié)合形態(tài)學(xué)重建出手指形態(tài)，并選取恰當(dāng)?shù)男螤钐卣?，運(yùn)用SVM分類器對(duì)其形狀特征進(jìn)行分類。并且對(duì)比SIFT算法表明本算法識(shí)別率和時(shí)間均有顯著提高。本文的創(chuàng)新點(diǎn)在于：

(1) 采用形態(tài)學(xué)質(zhì)心漂移的方法判斷手指的方向，并結(jié)合邊界輪廓梯度方向和邊界最小跨度判斷出手指的候選區(qū)域，減少了手臂和手掌部分的干擾。

(2) 選擇合理的形狀特征，不僅能完整地描述手指的形狀，而且減少了特征提取的復(fù)雜度。并運(yùn)用SVM分類器對(duì)高維特征優(yōu)秀的訓(xùn)練特性對(duì)靜態(tài)手勢(shì)進(jìn)行識(shí)別。

[1] 關(guān)然,徐向民,羅雅愉，等．基于計(jì)算機(jī)視覺(jué)的手勢(shì)檢測(cè)識(shí)別技術(shù) [J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(1):155-159,164.

[2] 武霞,張崎,徐艷旭,等.手勢(shì)識(shí)別研究發(fā)展現(xiàn)狀綜述[J].電子科技，2013，26(6)：171-174.

[3] Barkoky A,Charkari N M.Static hand gesture recognition of Persian sign numbers using thinning method[C]//2011 International Conference on Multimedia Technology,2011,6548-6551.

[4] 翁漢良,戰(zhàn)萌偉.基于視覺(jué)的多特征手勢(shì)識(shí)別[J].計(jì)算機(jī)工程與科學(xué)，2012，34(2)：123-127.

[5] Song Y,Demirdjian D,Davis R.Continuous body and hand gesture recognition for natural human-computer interaction [J].ACM Transactions on Interactive Intelligent Systems,2012,2(1):5.

[6] 楊波,宋曉娜,馮志全,等.復(fù)雜背景下基于空間分布特征的手勢(shì)識(shí)別算法[J] .計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(10):1841-1848.

[7] 王先軍,白國(guó)振,楊勇明,等.復(fù)雜背景下BP神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用與軟件，2013,30(3):247-249,267.

[8] 陳皓,路海明.基于深度圖像的手勢(shì)識(shí)別綜述[J].內(nèi)蒙古大學(xué)學(xué)報(bào),2014,45(1):105-111.

[9] 李吉,顧德,劉飛,等.基于Kinect深度信息的手指及手部跟蹤研究[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(3)：79-83.

[10] Deval G Patel.Point Pattern Matching Algorithm for Recognition of 36 ASL Gestures [J].International Journal of Science and Modern Engineering,2013,7(1):24-28.

[11] 許杏.基于隱馬爾科夫模型手勢(shì)識(shí)別研究[D].廣東:華南理工大學(xué),2011.

[12] 荊雷,馬文君,常丹華,等.基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速信號(hào)識(shí)別[J].傳感技術(shù)學(xué)報(bào),2012,25(1):72-76.

[13] 林水強(qiáng),吳亞?wèn)|，陳永輝,等.基于幾何特征的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(2):636-640.

[14] Padam Priyal S,Prabin Kumar Bora.A robust static hand gesture recognition system using geometry based normalizations and Krawtchouk moments [J].Pattern Recognition,2013,46(8):2202-2219.

[15] 王凱,于鴻洋，張萍.基于Adaboost算法和光流匹配的實(shí)時(shí)手勢(shì)識(shí)別[J].微電子學(xué)與計(jì)算機(jī),2012,29(4):138-141.

[16] 張秋余,王道東，張墨逸.基于特征包支持向量機(jī)的手勢(shì)識(shí)別[J].計(jì)算機(jī)應(yīng)用,2012,32(12):3392-3396.

STATIC GESTURE RECOGNITION BASED ON ADAPTIVE SEGMENTATION AND DISCRIMINATION OF FINGERS

Cui JialiXie WeiWang YidingJia Ruiming

(CollegeofInformationEngineering,NorthChinaUniversityofTechnology,Beijing100144,China)

Since dynamic hand gestures can be regarded as the fusion of multi-frame static gestures,thus static gesture study becomes the key of solving gesture recognition problem.Aiming at static hand gestures,this paper puts forward a gesture recognition method which is based on adaptive segmentation and discrimination of fingers.First,the method segments hand gesture image using skin colour clustering feature of YCbCr colour space,and adopts the idea of centroid drift for finger direction determination and makes rotation normalisation processing.Secondly,it determines candidate area of fingers aimed at the gradient direction and span of gestures contour points,and restores in combination with morphological method the binary form of a single finger.Finally,it selects appropriate shape features and uses support vector machine (SVM) classifier to classify its shape features.Experimental results show that the method has promising recognition rate.

Gesture recognitionFinger restorationFinger discriminationFinger segmentationShape feature

2015-04-08。北京市教委面上項(xiàng)目(KM201510009005)。崔家禮，講師，主研領(lǐng)域：圖像處理與智能識(shí)別。解威，碩士。王一丁，教授。賈瑞明，講師。

TP391.41

A

10.3969/j.issn.1000-386x.2016.10.040