基于手輪廓的深度圖像手勢識別方法*

許 凱，王 敏

(河海大學(xué)計算機與信息學(xué)院,江蘇 南京 211100)

基于手輪廓的深度圖像手勢識別方法*

許 凱，王 敏

(河海大學(xué)計算機與信息學(xué)院,江蘇 南京 211100)

提出了一種新的手勢識別方法，該方法從深度圖像中提取手形輪廓，通過計算手形輪廓與輪廓形心點的距離，使用離散傅里葉變換獲得手勢的表觀特征，引入徑向基核的支持向量機識別手勢。建立了一個常見的10種手勢的數(shù)據(jù)集，測試獲得了97.9%的識別率。

深度圖像；手勢識別；支持向量機；離散傅里葉變換

1 引言

人機交互HCI(Human-Computer Interaction)是一門研究設(shè)計、評估和實現(xiàn)人與計算機之間交互的綜合學(xué)科[1]。手勢識別是人機交互的一個重要研究領(lǐng)域，它在虛擬現(xiàn)實、手語識別、電腦游戲等方面有著廣泛的應(yīng)用[2]。

基于視覺的手勢識別是通過獲取圖像信息來得到手勢的姿態(tài)信息，從而對不同的手勢進行分類。相比傳統(tǒng)人機交互的方法，基于視覺的手勢識別具有更為自然和非接觸式的特點，是當(dāng)前研究熱點[3,4]。通常一個基于視覺的手勢識別過程包括兩個主要步驟：(1)特征提取，從圖像中提取手勢的特征向量；(2)分類，依據(jù)特征向量進行手勢識別。特征向量的選取直接關(guān)系到識別的準(zhǔn)確率。一個好的特征向量提取算法必須足夠魯棒，相同的手勢可以提取獲得相近的特征向量，從而使隨后的識別過程相對簡單。另一方面，Cortes C和Vapnik V[5]提出“只有在特征向量選擇良好時，分類器才會變得高效、精確”。同樣，由于訓(xùn)練集、自由參數(shù)等因素影響，分類算法的選擇也是一難點。這些分類算法包括神經(jīng)網(wǎng)絡(luò)[6]、隱馬爾可夫模型[7]、決策樹[8]等?？傊?，特征提取技術(shù)和分類方法兩者緊密而復(fù)雜地聯(lián)系在一起，構(gòu)成了識別系統(tǒng)的兩大部分。

手勢特征提取主要包括手勢定位和特征向量的選取。手勢定位常采用膚色分割來定位圖像中手的位置[9,10]，但這類方法易受膚色、光照和場景的影響。Mistry P等人[11]使用了彩色指套標(biāo)記來輔助定位手，但該方法需要用戶佩戴額外的裝置，在人機交互的過程中有一定的侵入性。Shotton J等人[8]使用了深度攝像機來輔助分割識別肢體。由于深度攝像機分辨率只有640×480，該方法只能有效識別較大目標(biāo)，例如肢體。在這個分辨率的深度圖像下，手在圖像中僅占很小的部分，很難精確定位跟蹤。

本文提出了一種基于輪廓的深度圖像手勢識別方法。在手勢定位階段，區(qū)別于傳統(tǒng)的有標(biāo)記的手勢定位，使用了深度攝像機來定位手勢。這個方法可以有效地減少膚色、光照和復(fù)雜場景對檢測的干擾。在特征提取階段，提出了使用手形形心點和手形的輪廓作為特征點，計算形心點至輪廓的歐氏距離，使用離散傅里葉變換DFT(Discrete Fourier Transform)獲得特征向量。在識別階段，使用了帶徑向基核函數(shù)的支持向量機來訓(xùn)練分類器，通過實驗計算出支持向量機參數(shù)值(γ,C)。最后在所建立的測試樣本上獲得了97.9%的識別率，較同類方法[12]具有更高的識別率和無需佩戴輔助標(biāo)識的優(yōu)點。

2 手勢特征提取

深度圖像技術(shù)在近年來得到飛速發(fā)展，Prime Sense公司的深度攝像機可以在640×480的分辨率下達到30 fps的采樣率。使用深度攝像機，人體跟蹤和人臉跟蹤已經(jīng)獲得了巨大的成功。但是，當(dāng)前深度攝像機獲得圖像分辨率較低，只能較好地追蹤象人體這樣的大目標(biāo)，而人手這樣的小目標(biāo)，很難獲得較高的偵測識別率。

基于輪廓的深度圖像手勢識別方法，可以有效地利用深度攝像機識別手勢。

2.1 手勢定位

假定手是離攝像機最近的物體，且在攝像機有效距離內(nèi)。將所獲得的深度信息值轉(zhuǎn)換到灰度空間，從而獲得的原始深度圖像如圖1所示。圖1中灰度值越小，表明該目標(biāo)距離攝像機越遠。可以看到，手是離攝像機最近的目標(biāo)，在深度圖像中灰度值最大(黑色灰度值為0，白色灰度值為255)。

2.1.1 灰度拉伸

深度攝像機的物理有效距離是0.4至3米[13]，如圖1所示，可見所采集的原始深度圖像灰度值均較小，圖像偏暗，不方便觀察、計算。對原始深度圖像灰度值作2.5倍的拉伸，獲得如圖2所示的圖像。拉伸后深度圖像中各點灰度值分布較均勻，手形可以更清晰地分辨出來。

Figure 1 Original depth image圖1 原始深度圖像

Figure 2 Stretched depth image圖2 拉伸后深度圖像

2.1.2 高斯濾波

由于深度攝像機固有屬性、圖像目標(biāo)自遮擋等原因，灰度拉伸后的深度圖像中存在部分噪聲。引入3×3模板的高斯平滑濾波來減少和抑制圖像噪聲，其中sigma取0.85。平滑濾波后，圖像中噪聲得到有效抑制，且圖像細節(jié)被較好地保留下來。

2.1.3 二值化與形態(tài)學(xué)操作

手被假設(shè)為距離攝像機最近的目標(biāo)物體，因此在圖像中搜索灰度值最小點,獲得手的最近距離為dmin。設(shè)手掌的厚度為dh，取閾值為dmin+dh，對圖像進行手勢區(qū)域與背景區(qū)域圖像二值化操作，這樣，手形就從深度圖像中分離出來。通過連續(xù)的形態(tài)學(xué)膨脹、腐蝕操作，可以去除手形圖像中的孤立點。最后獲得手形的圖像如圖3所示。

Figure 3 Hand segmentation result圖3 手形分割效果

使用深度信息進行手勢定位受光照、背景的影響較小，且不受膚色影響。

2.2 特征提取

通過提取手勢的表觀特征，根據(jù)手勢的形心點至手勢輪廓的距離，對不同手勢進行分類，從而實現(xiàn)手勢的準(zhǔn)確識別。相比其他的手勢特征提取方法，該方法手勢在圖像中受旋轉(zhuǎn)和縮放的影響較小，定位快速精確。

2.2.1 輪廓查找

對于分割處理后獲得的圖像(圖 3)查找手形的輪廓。設(shè)vi,j為二值化圖像中一點，如圖4所示，若vi,j為白色點，且vi,j的八鄰域vi-1,j-1,vi-1,j,vi-1,j+1,vi,j-1,vi+1,j+1,vi+1,j-1,vi+1,j,vi+1,j+1中有一個或一個以上為黑點，則vi,j為輪廓點。從而可以獲得整個手形的輪廓點序列V=array(x,y)，其中x、y為輪廓點在圖像中的坐標(biāo)。

Figure 4 Eight neighborhood of the pixel圖4 像素點八鄰域

如圖5所示，曲邊ABCDE為分割獲得的手形輪廓。

Figure 5 Hand contour segmentation result圖5 手形輪廓分割效果

2.2.2 形心點查找

把一個歸一化的灰度圖像理解為一個二維隨機變量的概率密度，則這個隨機變量的屬性可以用統(tǒng)計特征矩來描述。因此，計算輪廓序列的空間矩mji為：

圖5中點O為輪廓序列點A、B、C、D、E的形心點。

2.2.3 距離變換

對于輪廓序列array(x,y)上的點(xi,yi)，i=1,2,…,n，計算形心點至輪廓的歐氏距離{dn}：

由圖 5手形輪廓計算獲得的距離序列如圖6所示，圖6中橫坐標(biāo)表示輪廓序列點的序列號，縱坐標(biāo)為輪廓形心點至輪廓的歐氏距離。

Figure 6 Hand contour distance sequence圖6 手形輪廓距離序列

2.2.4 距離規(guī)格化

使用最大最小數(shù)據(jù)規(guī)格化法，對距離序列{dn}數(shù)據(jù)進行線性轉(zhuǎn)換，獲得序列{an}。設(shè)minsrc和maxsrc為{dn}的最小和最大值，將{dn}的一個值di映射為ai：

其中ai∈[mindst,maxdst]。如果取ai∈[0,1]，則:

圖7為圖6作規(guī)格化后所得的結(jié)果。從圖 7中可以看到，規(guī)格化后的距離序列{an}的波形是對原有距離序列波形的振幅縮小，保留了原有頻率的全部信息。這樣不同大小的手形輪廓就可以縮放到相同大小的數(shù)值范圍進行計算了。

Figure 7 Normalized hand contour distance sequence圖7 歸一化手形輪廓距離序列

2.2.5 離散傅里葉變換

傅里葉變換可以看作是時間域上的函數(shù)在頻率域上的表示。傅里葉變換在頻率域中包含的信息和原時間域函數(shù)所包含的信息是等價的，不同的是信息的表達方式。將傅里葉變換離散化得到離散傅里葉變換(DFT)。對N點序列{xn}，0≤n≤N，它的離散傅里葉變換(DFT)為：

其中，e是自然對數(shù)底數(shù)，i是虛數(shù)單位。用符號F表示這一變換，即:

離散傅里葉變換的逆變換(IDFT)為：

可以記為：

對計算所得的距離序列A={an}做離散傅里葉變換B=F·A。對于序列B,取前N′項值，獲得子序列B′，當(dāng)N′→N時，C=F-1B′→A。

如圖 8所示，圖8a～圖8d分別為當(dāng)N′=1,3,4,8時，離散傅里葉逆變換所恢復(fù)獲得的序列。圖8d中當(dāng)N′=8時，序列C已經(jīng)與原序列A(圖7)比較接近，且有效地濾除了原序列A中部分噪聲。

Figure 8 Inverse Fourier transform result圖8 傅里葉逆變換結(jié)果

3 手勢識別

支持向量機SVM(SupportVectorMachine)[5]是在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的新一代機器學(xué)習(xí)方法，通常用來識別二分類問題。它在文本分類、手寫識別、圖像分類等領(lǐng)域獲得了較好的應(yīng)用。

采用適當(dāng)?shù)膬?nèi)積核函數(shù)可以實現(xiàn)從低維向高維空間的映射，從而實現(xiàn)某一非線性分類變換后的線性分類，而計算復(fù)雜度卻沒有增加。常用的核函數(shù)包括線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)RBF(RadialBasisFunction)和Sigmoid核函數(shù)。

作為一種對應(yīng)于非線性映射的核函數(shù)，徑向基核函數(shù)能夠處理非線性可分的情況；通過適當(dāng)?shù)剡x擇參數(shù)，徑向基核函數(shù)總可以得到與帶有錯誤代價參數(shù)C的線性核函數(shù)相同的結(jié)果；某些情況下，Sigmoid的行為類似于徑向基核函數(shù)，但Sigmoid核函數(shù)參數(shù)不易確定；多項式核函數(shù)需要計算內(nèi)積，這有可能產(chǎn)生計算溢出的問題。故引入帶徑向基核函數(shù)的支持向量機作為分類器，來對手勢進行識別。

4 實驗

4.1 實驗數(shù)據(jù)

使用PrimeSense公司深度攝像機，采樣圖片分辨率設(shè)置為640×480，分別采集了10組，每組300個樣本，總共3 000個常見手勢。根據(jù)上文提出的手勢定位方法，進行手勢定位分割后的圖像如圖9所示。

Figure 9 Ten kinds of common gestures圖9 10種常見手勢

4.2 參數(shù)選擇

在選擇了RBF核函數(shù)的情況下，總共有兩個參數(shù)需要確定，即RBF核自身的參數(shù)γ以及錯誤代價系數(shù)C。這是一個變量γ和C的優(yōu)化問題，目標(biāo)函數(shù)值是SVM對于測試集的識別率。

使用基于交叉驗證和網(wǎng)格搜索的方法[15]來選擇參數(shù)(γ,C)。將數(shù)據(jù)集合中3 000個樣本取2 000個為訓(xùn)練集(Training)，1 000個為測試集(Testing)。圖 10顯示對于訓(xùn)練集使用不同的特征向量長度，所獲得的訓(xùn)練集上交叉驗證的識別率與測試集上的識別率。

Figure 10 Gesture recognition rate with different spatial frequency cycles圖10 不同特征向量長度的手勢識別率

圖 10中當(dāng)空間頻率周期取12時，訓(xùn)練集上交叉驗證的識別率最高，達到98.6%，此時參數(shù)γ=8,C=8。由離散傅里葉變換(DFT)：

可知，空間頻率周期取12，即N=12，共有23個參數(shù)，即手的輪廓序列使用長度為23的特征向量。當(dāng)N>12時，隨著N的增長，識別率趨于穩(wěn)定值。

4.3 實驗結(jié)果與分析

選取長度為23的特征向量，參數(shù)γ=8,C=8，在Intel?CoreTMi5-2410MCPU@ 2.30GHz，8GBRAM，Windows7 64bit的系統(tǒng)上，識別1 000張手勢圖像，平均每張所需時間為0.15毫秒，測試集識別率為97.9%，識別結(jié)果的混淆矩陣如圖11所示。

Figure 11 Confusion matrix of recognition results圖11 識別結(jié)果混淆矩陣

由圖11可見,手勢3受深度圖像分辨率影響，食指與中指處部分圖像易產(chǎn)生粘連，影響識別率。手勢9特征提取后的距離波形與手勢2接近，少數(shù)手勢9錯分為手勢2。

由圖12可見，基于手形輪廓與輪廓形心點距離的特征提取方法(Contour-Distance)，較RenZ等人[12]提出的基于Thresholding分解的FEMD方法(平均90.6%識別率)和基于near-convex分解的FEMD方法(平均93.9%識別率)具有更好的識別效果。RenZ等人[12]的兩種方法都使用了深度攝像機，在特征提取階段均需依賴于“blackbelt”的輔助標(biāo)識，基于手形輪廓與輪廓形心點距離的特征提取方法具有更為自然的優(yōu)點。

Figure 12 Recognition results contrast圖12 識別結(jié)果對比

5 結(jié)束語

本文針對復(fù)雜背景條件下的手勢識別問題，引入了深度攝像機來捕捉圖像，提取深度圖像中手形的輪廓與輪廓形心點的距離作為特征點，利用離散傅里葉變換獲得特征向量，使用支持向量機訓(xùn)練分類器、識別手勢，獲得了較高的識別率，有效克服了膚色和場景對手勢識別的影響，且該方法無需依賴其他輔助標(biāo)識，較現(xiàn)有的方法具有更為自然的優(yōu)點。

由于在分割手形時引入閾值，對圖像進行了二值化操作，手勢的部分三維信息被丟失。若保留手在空間中的三維信息，建立手的三維模型，將可以使手勢識別獲得更多的特征信息，進一步提高識別率。

[1]ACMSIGCHICurriculaforHuman-ComputerInteraction[EB/OL]. [2012-08-14].http://old.sigchi.org/cdg/cdg2.html#2_1.

[2]WachsJP,K?lschM,SternH,etal.Vision-basedhand-gestureapplications[J].CommunicationsoftheACM, 2011,54(2):60-71.

[3]MurthyG,JadonRS.Areviewofvisionbasedhandgesturesrecognition[J].InternationalJournalofInformationTechnologyandKnowledgeManagement, 2009,2(2):405-410.

[4]CaoChu-qing,LiRui-feng,ZhaoLi-jun.Handposturerecognitionmethodbasedondepthimagetechnoloyy[J].ComputerEngineering, 2012,38(8):16-18. (inChinese)

[5]CortesC,VapnikV.Support-vectornetworks[J].MachineLearning, 1995,20(3):273-297.

[6]BourdevL,MalikJ.Poselets:Bodypartdetectorstrainedusing3dhumanposeannotations[C]∥Procofthe12thIEEEInternationalConferenceonComputerVision, 2009:1365-1372.

[7]RajkoS,QianC.AhybridHMM/DPAadaptivegesturerecognitionmethod[C]∥ProcofISVC’05, 2005:227-234.

[8]ShottonJ,FitzgibbonA,CookM,etal.Real-timehumanposerecognitioninpartsfromsingledepthimages[C]∥ProcofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2011:3.

[9]MoZ,LewisJP,NeumannU.SmartCanvas:Agesture-drivenintelligentdrawingdesksystem[C]∥Procofthe10thACM

InternationalConferenceonIntelligentUserInterfaces, 2005:239-243.

[10]vandenBerghM,Koller-MeierE,BoscheF,etal.Haarlet-basedhandgesturerecognitionfor3Dinteraction[C]∥ProcofIEEEComputerSocietyonWACV, 2009:1-8.

[11]MistryP,MaesP,ChangL.WUW-wearUrworld:Awearablegesturalinterface[C]∥ProcofCHIEA’09, 2009:4111-4116.

[12]RenZ,YuanJ,ZhangZ.Robusthandgesturerecognitionbasedonfinger-earthmover′sdistancewithacommoditydepthcamera[C]∥Procofthe19thACMInternationalConferenceonMultimedia, 2011:1093-1096.

[13]PrimeSenseNaturalInteraction[EB/OL]. [2012-08-14].http://www.primesense.com/.

[14]HsuCW,ChangCC,LinCJ.Apracticalguidetosupportvectorclassification[Z]. 2003.

[15]ChangCC,LinCJ.LIBSVM:Alibraryforsupportvectormachines[J].ACMTransactionsonIntelligentSystemsandTechnology(TIST), 2011,2(3):27.

附中文參考文獻

[4] 曹雛清, 李瑞峰, 趙立軍. 基于深度圖像技術(shù)的手勢識別方法[J]. 計算機工程, 2012,38(8):16-18.

XUKai,born in 1983,MS candidate,his research interests include computer vision,machine learning,and data mining.

王敏(1978-),女，江蘇鎮(zhèn)江人，博士，副教授，研究方向為計算機視覺、機器學(xué)習(xí)、圖像處理與分析。E-mail:mwang@hhu.edu.cn

WANGMin,born in 1978,PhD,associate professor,her research interests include computer vision,machine learning,image processing and analysis.

Handgesturerecognitioninadepthimagebasedonhandcontour

XU Kai,WANG Min

(College of Computer and Information,Hohai University,Nanjing 211100,China)

A new hand gesture recognition method is proposed,which extracts hand contour from a depth image.The distance between hand contour and the center of contour is calculated, the representation feature of the hand gesture is obtained by using Discrete Fourier Transform (DFT),and the hand gesture is identified by using Support Vector Machine (SVM) with Radial Basis Function (RBF).A dataset with 10 common hand gestures are established in order to demonstrate the effectiveness of the proposed method and achieve about 97.9% recognition rate.

depth image;hand gesture recognition;support vector machine;discrete Fourier transform (DFT)

1007-130X(2014)05-0941-06

2012-11-30;

：2013-01-21

教育部新世紀(jì)優(yōu)秀人才支持計劃(NCET-10-0327)；中央高?；究蒲袠I(yè)務(wù)費項目(2009B21014)；國家自然科學(xué)基金資助項目(30700183)；教育部博士點基金項目(20070294001)

TP391.41

：A

10.3969/j.issn.1007-130X.2014.05.026

許凱(1983-),男，江蘇蘇州人，碩士生，研究方向為計算機視覺、機器學(xué)習(xí)和數(shù)據(jù)挖掘。E-mail:Cauchy_xu@163.com

通信地址：211100 江蘇省南京市河海大學(xué)計算機與信息學(xué)院

Address:College of Computer and Information,Hohai University,Nanjing 211100,Jiangsu,P.R.China