基于指尖角度集核密度估計(jì)手勢特征提取

林海波　周　庭　張　毅

(重慶郵電大學(xué)信息無障礙工程研發(fā)中心　重慶 400065)

?

基于指尖角度集核密度估計(jì)手勢特征提取

林海波周庭張毅

(重慶郵電大學(xué)信息無障礙工程研發(fā)中心重慶 400065)

針對手勢識別實(shí)時(shí)性和魯棒性不足的問題，提出基于指尖角度集核密度估計(jì)的特征提取方法。通過對一般手勢定義指尖角度集并提取指尖角度集核密度估計(jì)特征。為解決形狀匹配的相位漂移問題和進(jìn)一步提高實(shí)時(shí)性，對該特征集有效區(qū)間歸一化和均勻采樣得到指尖角度集核密度估計(jì)序列?；诨ハ嚓P(guān)系數(shù)形狀匹配算法進(jìn)行手勢識別。實(shí)驗(yàn)分析表明，采用該特征提取方法的任意手勢識別實(shí)時(shí)性和魯棒性比現(xiàn)有方法有顯著提高。

手勢特征提取指尖角度集核密度估計(jì)形狀匹配實(shí)時(shí)性和魯棒性

0　引　言

基于機(jī)器視覺的手勢交互是智能人機(jī)交互HCI(Human Computer Interaction)的關(guān)鍵技術(shù)之一[1-5]，旨在提供更方便快捷的人機(jī)視覺接口。在靜態(tài)手勢識別中，主要解決三個(gè)問題[2,3,5-7]：手勢分割、手勢特征提取與分析和手勢識別。文獻(xiàn)[1,5]等的方法能很好地分割出精確手勢區(qū)域，為手勢特征提取和識別提供了良好的基礎(chǔ)。手勢識別廣泛采用實(shí)時(shí)性較好的模版匹配算法[1,5]獲得魯棒的識別結(jié)果。

不同手勢類型主要由不同手指數(shù)量和組合表示，手指部分代表了手勢的關(guān)鍵[1,5]。在手勢特征提取與分析中，文獻(xiàn)[8]通過“U”特征分析手勢類型，但并非每個(gè)手勢都有平滑的“U”特征，魯棒性較差，手勢類型數(shù)也受到限制。文獻(xiàn)[1]通過提取手勢邊緣與掌心的相對距離曲線特征并引入FEMD的概念，通過模版匹配可靠地判斷出手勢類型。文獻(xiàn)[6]通過計(jì)算手勢邊緣梯度分解特征，得到了較好的識別效果。文獻(xiàn)[5]使用的基于半徑的凸包分解算法，經(jīng)過多次計(jì)算形狀凹度和復(fù)雜的手勢骨架提取算法，最后進(jìn)行模版匹配，較好地判斷出手勢類型。然而，文獻(xiàn)[1,5,6]的方法計(jì)算復(fù)雜度均較高，不利于實(shí)時(shí)識別。為提高手勢識別實(shí)時(shí)性并同時(shí)保持健壯的魯棒性，本文提出并證明了任意手勢基于指尖角度集核密度估計(jì)序列KDES-FAS(Kernel Density Estimation Sequence of Fingertip Angle Set)特征提取方法的有效性。

1　手勢分割

采用文獻(xiàn)[1]的結(jié)合有標(biāo)記的RGB圖像和Kinect深度數(shù)據(jù)[9]方法，容易獲得精確的手勢分割效果，如圖1所示。

圖1　文獻(xiàn)[1]的手勢分割效果

2　指尖角度集核密度估計(jì)序列特征提取

2.1指尖角度集

圖2　手腕切割向量定義

通常手勢類型，如圖2所示，l1表示手小臂所在直線(本文采用圖1(c)手勢圖像長軸所在的直線)，l2表示圖1(a)中標(biāo)記手環(huán)所在的直線，l1⊥l2?？偪梢杂幸粋€(gè)沿直線l2向右的單位向量e，此時(shí)<90°。本文定義向量e為手腕切割向量。

圖3是精確分割后的手勢模型，向量e為手腕切割向量，點(diǎn)O為將精確分割的手勢圖像距離變換[1]取距離灰度圖像最大灰度值點(diǎn)所得的手勢中心點(diǎn)，R2為手勢以O(shè)為圓心的手勢外接圓半徑。

圖3　指尖角度集的定義

(1)

式中α1、α2值的選取需滿足對任意手勢指尖區(qū)域(陰影部分)互不連通。向量Mi表示從點(diǎn)O指向指尖區(qū)域每個(gè)像素點(diǎn)的向量，稱Mi為指尖向量。

以下定義指尖角度集：有這樣一個(gè)角度集合S：

0<θi<π,0

(2)

其中N1為指尖區(qū)域像素點(diǎn)數(shù)。稱集合S為手勢指尖角度集。

2.2核密度估計(jì)

核密度估計(jì)[10]在概率論中用來估計(jì)未知的密度函數(shù)，屬于非參數(shù)檢驗(yàn)方法之一，由Rosenblatt和Emanuel Parzen提出，又名Parzen窗。對于數(shù)據(jù)x1,x2,…,xN，核密度估計(jì)的形式為：

(3)

其中h>0。

2.3指尖角度集核密度估計(jì)序列

精確的手腕切割向量e在實(shí)際中不易取得，而傳統(tǒng)的基于互相關(guān)系數(shù)的形狀匹配算法需要相位漂移參數(shù)[11]，這給后文手勢特征形狀匹配帶來困難。為此，先將集合S在有效角度區(qū)間[θmin,θmax]內(nèi)歸一化處理，即：

(4)

式中，Nangle表示一個(gè)指尖角度集樣本的元素?cái)?shù)，與式(2)中相應(yīng)樣本的N1相等。

鑒于指尖角度集的性質(zhì)，選取高斯核作為核函數(shù)K(·)，即：

(5)

推導(dǎo)得核密度估計(jì)：

(6)

其中i=1,2,…,Nangle,h>0。

式中，帶寬h的選取本文在第4節(jié)詳細(xì)討論。

其中:

(7)

式中，Nsam為均勻采樣點(diǎn)數(shù)。

對于拓?fù)浣Y(jié)構(gòu)[5]相同的不同手勢類型，由于指尖區(qū)域間距離和各指尖所占的比重不同，這給KDES-FAS特征帶來明顯差異。本文方法僅選取指尖區(qū)域進(jìn)行特征提取，這也有效解決了文獻(xiàn)[1]中手指相互靠得過近所帶來的識別困難。另外，KDES-FAS特征完全滿足手勢平移，縮放和旋轉(zhuǎn)不變性。

3　手勢識別

采用基于KDES-FAS互相關(guān)系數(shù)形狀匹配[11]的方法識別手勢類型，KDES-FAS平均互相關(guān)系數(shù)：

c=1,2,…,N

(8)

式中，c表示手勢類型，N表示手勢類型數(shù)，n表示每種手勢類型的模版數(shù)，Hinput表示輸入手勢，T表示模版手勢，手勢識別匹配算法如下：

{

Houtput=″Shapec″;

}

else

Houtput=″Unrecognized″;

其中，Γmat為匹配閾值，Γmat∈(-1,1)，Houtput表示輸出手勢類型。

4　實(shí)驗(yàn)分析與比較

4.1帶寬h的選取

圖4　手勢距離變換和關(guān)鍵位置獲取

圖5　不同帶寬h下的KDES-FAS特征

圖6　6種一般手勢類型

圖7　不同帶寬h下的內(nèi)部手勢平均相關(guān)系數(shù)

4.2特征提取的比較

對圖6中6種一般手勢，分別采用文獻(xiàn)[1]和本文的方法對其特征提取，相對距離特征和KDES-FAS特征如圖8所示。由圖像可知，本文提取了一般手勢的概率特征KDES-FAS，而不是精確表征手勢的手勢特征。KDES-FAS特征比精確表征手勢類型的一般特征更穩(wěn)定光滑，可以采用計(jì)算量較小且魯棒性好的相關(guān)系數(shù)形狀匹配算法進(jìn)行匹配識別，而不需要文獻(xiàn)[1]計(jì)算量巨大的FEMD算法，這有利于手勢識別的魯棒性和實(shí)時(shí)性。

圖8　相對距離和KDES-FAS特征

4.3魯棒性與實(shí)時(shí)性實(shí)驗(yàn)驗(yàn)證與比較

本文實(shí)驗(yàn)硬件環(huán)境包括臺式計(jì)算機(jī)一臺(Win7系統(tǒng)，Core(TM)i3處理器，2 GB內(nèi)存)，Microsoft公司的XBOX 360一臺。軟件環(huán)境為Visual Studio 2010，所有代碼基于Kinect for Windows SDK v1.7采用C#語言編寫完成。

一般地，取匹配閾值Γmat=0.75，式(8)中n=5，可以很好地識別出待識別手勢和區(qū)分出未采樣手勢。在相同硬件和軟件環(huán)境條件下，將600個(gè)手勢樣本(分別來自10位實(shí)驗(yàn)者，每位實(shí)驗(yàn)者分別采集正常和較暗光照條件下各30個(gè)樣本。實(shí)驗(yàn)背景均為如圖1(a)所示實(shí)驗(yàn)室一般復(fù)雜背景條件)。分別連續(xù)采用文獻(xiàn)[1]和本文方法統(tǒng)計(jì)識別率和耗時(shí)，實(shí)驗(yàn)結(jié)果如表1所示。由表可知，本文方法平均識別率比文獻(xiàn)[1]提高4.23%，平均耗時(shí)僅為文獻(xiàn)[1]閾值分解+FEMD方法的7.7%。實(shí)驗(yàn)表明，該特征提取方法的手勢識別魯棒性強(qiáng)，實(shí)時(shí)性有顯著提高。

表1　魯棒性和實(shí)時(shí)性實(shí)驗(yàn)結(jié)果

5　結(jié)　語

本文通過對一般手勢定義指尖角度集和引入核密度估計(jì)理論，對任意手勢進(jìn)行指尖角度集核密度估計(jì)序列特征提取并采用形狀匹配算法進(jìn)行識別。對不同狀態(tài)下的一般手勢識別率達(dá)到93.6%，單幅識別平均耗時(shí)僅為0.0367 s。顯著提高了任意手勢識別的魯棒性和實(shí)時(shí)性，對手勢的實(shí)時(shí)識別人機(jī)交互具有理論意義和實(shí)際應(yīng)用價(jià)值。

[1] Ren Z,Yuan J,Meng J,et al.Robust part-based hand gesture recognition using kinect sensor[J].Multimedia,IEEE Transactions on,2013,15(5):1110-1120.

[2] Suarez J,Murphy R R.Hand gesture recognition with depth images:A review[C]//RO-MAN,2012 IEEE,2012:411-417.

[3] Yao Y,Zhang F,Fu Y.Real-Time Hand Gesture Recognition Using RGB-D Sensor[M].Computer Vision and Machine Learning with RGB-D Sensors.Springer International Publishing,2014:289-313.

[4] Kao C Y,Fahn C S.A human-machine interaction technique:hand gesture recognition based on hidden Markov models with trajectory of hand motion[J].Procedia Engineering,2011,15(1):3739-3743.

[5] Qin S,Zhu X,Yang Y,et al.Real-time hand gesture recognition from depth images using convex shape decomposition method[J].Journal of Signal Processing Systems,2014,74(1):47-58.

[6] ElSaadany O S,Abdelwahab M M.Real-Time 2DHoG-2DPCA Algorithm for Hand Gesture Recognition[M]//Image Analysis and Processing-ICIAP 2013.Springer Berlin Heidelberg,2013:601-610.

[7] 包加桐,宋愛國,郭晏,等.基于SURF特征跟蹤的動態(tài)手勢識別算法[J].機(jī)器人,2011,33(4):482-489.

[8] Lahamy H,Lichti D.Real-time hand gesture recognition using range cameras[C]//Proceedings of the Canadian Geomatics Conference,Calgary,Canada,2010,38(5):357-362.

[9] Zhang Z.Microsoft kinect sensor and its effect[J].MultiMedia,IEEE,2012,19(2):4-10.

[10] Luo N,Qian F.Multi-objective evolutionary of Distribution Algorithm using kernel density estimation model[C]//Intelligent Control and Automation (WCICA),2010 8th World Congress on.IEEE,2010:2843-2848.

[11] Lv L,Liu Y,Zhang W,et al.Shape Profile Matching and Its Applications[J].Journal of Software,2009,4(5):413-421.

GESTURE FEATURE EXTRACTION BASED ON KERNEL DENSITY ESTIMATION OF FINGERTIP ANGLE SET

Lin HaiboZhou TingZhang Yi

(Engineering Research and Development Center of Information Accessibility,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

We propose the hand gesture feature extraction method, which is based on kernel density estimation of fingertip angle set, for the problems of gesture recognition in lacking robustness and real-time property. For common gestures, the method extracts kernel density estimation of fingertip angle set by defining fingertip angle set. In order to solve the phase shift of shape matching and to further increase the real-time property, the method normalises the effective range of feature set and samples uniformly so as to obtain the estimation sequence of kernel density of fingertip angle set. The hand gesture recognition is achieved based on the shape matching of cross-correlation coefficient. It is demonstrate by the experiments that the real-time performance and robustness in arbitrary gesture recognition using the proposed feature extraction method are significantly improved compared with current method.

Hand gesture extractionFingertip angle setKernel density estimationShape matchingReal-time property and robustness

2015-05-06?？萍疾繃H科技合作項(xiàng)目(2010DFA12 160)。林海波，副教授，主研領(lǐng)域：智能系統(tǒng)與機(jī)器人。周庭，碩士生。張毅，教授。

TP391

A

10.3969/j.issn.1000-386x.2016.09.046