基于表觀特征分析的手勢(shì)識(shí)別及其應(yīng)用*

屈燕琴，李 昕，盧夏衍

(上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院，上海 200072)

基于表觀特征分析的手勢(shì)識(shí)別及其應(yīng)用*

屈燕琴，李 昕，盧夏衍

(上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院，上海 200072)

針對(duì)復(fù)雜背景下的手勢(shì)識(shí)別容易受到環(huán)境干擾造成的識(shí)別困難問(wèn)題，通過(guò)分析手勢(shì)的表觀特征，提出并實(shí)現(xiàn)了一種可用于自然人機(jī)交互的手勢(shì)識(shí)別算法。該算法基于Kinect深度圖像實(shí)現(xiàn)手勢(shì)區(qū)域分割，然后提取手勢(shì)手指弧度、指間弧度、手指數(shù)目等具有旋轉(zhuǎn)縮放不變性的表觀特征，運(yùn)用最小距離法實(shí)現(xiàn)快速分類。并將該算法成功運(yùn)用于實(shí)驗(yàn)室三指靈巧手平臺(tái)，達(dá)到了理想的控制效果。實(shí)驗(yàn)表明該算法具有良好的魯棒性，針對(duì)九種常用手勢(shì)，平均識(shí)別率達(dá)到94.3%。

計(jì)算機(jī)視覺(jué);深度圖像;手指弧度;表觀特征;手勢(shì)識(shí)別

1 引言

近年來(lái)自然人機(jī)交互技術(shù)NHCI(Natural Human Computer Interaction)越來(lái)越多地受到人們的重視，取得了快速的發(fā)展進(jìn)步。相比于傳統(tǒng)的人機(jī)交互輸入工具，如鍵盤(pán)、鼠標(biāo)、游戲桿等，人的姿態(tài)、手勢(shì)、語(yǔ)音等是更加自然、直觀的交流方式。所以，近年來(lái)人臉識(shí)別、表情識(shí)別、手勢(shì)識(shí)別以及體勢(shì)識(shí)別等由于符合人際交流習(xí)慣，均成為NHCI的重要課題并取得重大進(jìn)展。其中手勢(shì)無(wú)論是日常生活中還是虛擬現(xiàn)實(shí)中，都是一種常用的自然而直觀的交流方式，符合人類交流一般行為習(xí)慣，是很受親睞的交互方式之一。

手勢(shì)識(shí)別是自然人機(jī)交互技術(shù)的一個(gè)重要課題，但由于手勢(shì)本身的多樣性、多義性以及視覺(jué)本身的不確定性，使得基于視覺(jué)的手勢(shì)識(shí)別成為一個(gè)極富挑戰(zhàn)的和多學(xué)科交叉的研究課題。一般基于視覺(jué)的手勢(shì)識(shí)別過(guò)程可分為三個(gè)階段：手勢(shì)分割、手勢(shì)特征提取和手勢(shì)分類。本文按照上述三個(gè)階段，提出一種利用深度圖像實(shí)現(xiàn)復(fù)雜背景下的手勢(shì)識(shí)別的方法，具體做法是：首先，在手勢(shì)分割階段，設(shè)定動(dòng)態(tài)分割閾值實(shí)現(xiàn)手勢(shì)分割，在深度圖像中像素是以物體距離攝像機(jī)物理距離為度量的，所以分割時(shí)設(shè)定動(dòng)態(tài)距離作為分割閾值，得到粗略手勢(shì)分割圖像；其次，在特征提取階段，利用數(shù)學(xué)形態(tài)學(xué)、邊緣提取算法求得手勢(shì)重心和手勢(shì)輪廓，計(jì)算手指弧度、手指數(shù)目等表觀特征用于識(shí)別；然后，在手勢(shì)識(shí)別階段，利用少量的已有樣本建立樣本庫(kù)，利用最小距離法實(shí)現(xiàn)快速分類識(shí)別。最后，將該手勢(shì)識(shí)別算法成功地運(yùn)用于三指靈巧手控制系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該方法取得了較高的識(shí)別率。

2 相關(guān)工作

手勢(shì)識(shí)別是根據(jù)人手的姿態(tài)及其變化過(guò)程來(lái)解釋說(shuō)明其高層次的含義的過(guò)程。根據(jù)手勢(shì)識(shí)別的一般過(guò)程，建立一個(gè)完整的視覺(jué)手勢(shì)識(shí)別系統(tǒng)需解決手勢(shì)識(shí)別三個(gè)階段分別面臨的問(wèn)題。由于三個(gè)階段面臨的問(wèn)題各不相同，因此其研究還存在著一定的障礙，具體實(shí)現(xiàn)時(shí)根據(jù)實(shí)際需要進(jìn)行取舍。

目前，基于視覺(jué)的手勢(shì)識(shí)別研究主要偏重于基于皮膚顏色建模，利用膚色信息和運(yùn)動(dòng)信息等分割得到手部區(qū)域，提取圖像屬性參數(shù)如輪廓、圖像矩、區(qū)域直方圖等手勢(shì)特征，運(yùn)用HMM、SVW、BP、DTW等算法進(jìn)行識(shí)別[1～4]。如1991年富士通實(shí)驗(yàn)室完成了46個(gè)手勢(shì)符號(hào)的識(shí)別[5]。Lee J和Kunii T L[6]利用攝像機(jī)獲得手的運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)自動(dòng)分析三維手勢(shì),并提取輪廓邊界特征進(jìn)行識(shí)別, 成功地提取了27 個(gè)交互手參數(shù),實(shí)現(xiàn)了三維手勢(shì)重構(gòu)。任海兵等人[7]利用膚色信息和人手運(yùn)動(dòng)信息結(jié)合人手區(qū)域的形狀特征,采用獨(dú)立分布的多狀態(tài)高斯概率模型, 實(shí)現(xiàn)了12種手勢(shì)的識(shí)別。Francke H等人[8]運(yùn)用Boost 分類器和自主學(xué)習(xí)算法搭建一個(gè)實(shí)時(shí)手勢(shì)偵測(cè)識(shí)別系統(tǒng)。楊波等人[9]根據(jù)手勢(shì)圖像的區(qū)域形狀特征，經(jīng)過(guò)膚色分割，提取包括空間相對(duì)密度特征和指節(jié)相對(duì)間距特征的手勢(shì)空間分布特征, 通過(guò)綜合手勢(shì)的兩個(gè)手勢(shì)特征向量計(jì)算總的相似性來(lái)識(shí)別手勢(shì)。 Peng Sheng-yu等人[10]運(yùn)用顏色信息檢測(cè)人手，運(yùn)用Camshift進(jìn)行人手跟蹤，通過(guò)PCA檢測(cè)和識(shí)別六種手勢(shì)。

利用膚色建模的手勢(shì)識(shí)別方法實(shí)現(xiàn)手部有效區(qū)域與環(huán)境無(wú)效區(qū)域的分離很困難[11]，光照、人臉膚色區(qū)域、類膚色區(qū)域?qū)κ謩?shì)分割的影響難以消除。故實(shí)際實(shí)現(xiàn)時(shí)通常使用加以限定的方式，如強(qiáng)調(diào)前景弱化背景，或要求環(huán)境簡(jiǎn)單等。但是，外部環(huán)境不可預(yù)知，加以限制的手勢(shì)交互不利于自然的人機(jī)交互。針對(duì)上述諸多問(wèn)題，本文提出了一種基于深度圖像表觀特征的手勢(shì)識(shí)別方法，可以有效地區(qū)分手部與背景，達(dá)到有效實(shí)時(shí)的識(shí)別效果，并成功地運(yùn)用于靈巧手平臺(tái)。

3 手勢(shì)識(shí)別

本文選用微軟公司的Kinect傳感器作為視頻輸入，Kinect共有三個(gè)鏡頭，中間的鏡頭是RGB彩色攝像機(jī)，左右兩邊鏡頭分別為紅外線發(fā)射器和紅外線CMOS攝像機(jī)，共同構(gòu)成3D 深度感應(yīng)器，可以生成具有深度的灰度圖像。其深度圖像像素以物體離傳感器的距離度量，距離越遠(yuǎn)像素值越大，黑色代表無(wú)窮近，白色代表無(wú)窮遠(yuǎn)。其實(shí)際可探測(cè)的距離為0～4 096 mm，其中1 200～3 600 mm誤差較小,為5 mm左右。

3.1 手勢(shì)分割

由Kinect采集的深度圖像，當(dāng)采樣大小為640×480時(shí),采樣速度可以達(dá)到30 f/s。每一幀深度圖像其像素均為12 bit，0～4 096的數(shù)據(jù)。為更好地分割出手部區(qū)域，本文將圖像逐像素進(jìn)行灰度直方圖統(tǒng)計(jì)，轉(zhuǎn)換為256灰度階，同時(shí)可以去除圖像重影?；叶戎狈綀D統(tǒng)計(jì)圖像中具有每種灰度級(jí)的像素個(gè)數(shù)，反映出圖像中每種灰度出現(xiàn)的頻率。

經(jīng)過(guò)灰度直方圖量化處理后，通過(guò)OpenNI HandDetect得到粗略手部區(qū)域質(zhì)心點(diǎn)PHand Center(x,y,z)。將區(qū)域質(zhì)心PHand Center深度像素值Z轉(zhuǎn)換為空間實(shí)際距離dHand Center，以此距離作為手部動(dòng)態(tài)分割的閾值。分割公式如下:

其中,Dhand(x,y)為分割的手勢(shì)區(qū)域，d(x,y)為深度圖像中(x，y)處實(shí)際深度值。

以上述方法進(jìn)行手部區(qū)域分割，得到初步分割二值圖，但該二值圖序列存在明顯的邊緣噪聲及少量非手部區(qū)域噪聲、同距離噪聲等，對(duì)其做形態(tài)學(xué)濾波并填充孔洞，同時(shí)利用PHand Center(x,y,z)的(x，y)濾除二值圖序列中與手勢(shì)區(qū)域不連通區(qū)及小面積區(qū)域,得到精確分割序列。形態(tài)學(xué)濾波流程如圖1所示。

Figure 1 Morphological filtering

實(shí)驗(yàn)所得部分分割結(jié)果如圖2所示。

Figure 2 Part of the segment binary image圖2 部分分割二值圖

3.2 手勢(shì)表觀特征分析及提取

3.2.1 手勢(shì)表觀特征分析

從手勢(shì)識(shí)別的建模方法來(lái)講，主要有基于3D手(臂)模型的手勢(shì)建模和基于表觀的手勢(shì)建模。本文采用表觀建模的方式。一般基于圖像表觀的手勢(shì)識(shí)別方法是直接從圖像中提取表觀特征，如輪廓矩、區(qū)域矩、直方圖等參數(shù)，而人手是一個(gè)關(guān)節(jié)式的復(fù)雜變形體, 隨著關(guān)節(jié)的運(yùn)動(dòng),手的形狀不斷變化，所以手勢(shì)特征參數(shù)構(gòu)造應(yīng)具有一定的相對(duì)不變性，在旋轉(zhuǎn)與縮放情況下要能有效實(shí)時(shí)識(shí)別。

為實(shí)現(xiàn)旋轉(zhuǎn)與縮放條件下快速有效識(shí)別，本文提取具有旋轉(zhuǎn)縮放不變性的手指弧度、指間弧度和手指弧度數(shù)目分別作為手勢(shì)的識(shí)別特征。如圖3所示，定義相鄰點(diǎn)A1、A2間弧段對(duì)應(yīng)弧度為手指弧度，點(diǎn)A2、A3間弧段對(duì)應(yīng)為手指弧度，手指弧段的數(shù)目為手指弧度個(gè)數(shù)。

Figure 3 Hierarchical view of gesture finger radians

根據(jù)人手特征，人手為手掌連接五根手指，通過(guò)關(guān)節(jié)和手掌的變動(dòng)產(chǎn)生不同手勢(shì)，如圖3為以手勢(shì)質(zhì)心A0為圓心，以手勢(shì)邊界輪廓距質(zhì)心最大值為半徑將手勢(shì)區(qū)域n等分，圖中僅顯示最外四層劃分區(qū)域。通過(guò)圖3可知，不同手勢(shì)其手指弧度個(gè)數(shù)是不同的，且手指弧度和指間弧度也不相同，并且同種手勢(shì)在不同層區(qū)域手指弧度的個(gè)數(shù)是不同的；同種手勢(shì)的手指弧度取決于人的手指粗細(xì)，不受其他環(huán)境影響；同種手勢(shì)其指間弧度取決于手指分開(kāi)的角度，但當(dāng)其中某個(gè)手指間弧度較大時(shí)其他手指間弧度減小，本文均綜合單層手指弧度、指間弧度和弧度個(gè)數(shù)的總和予以考慮。

定義特征向量HDR=(α1,α2,…,αn;β1,β2,…,βn;N1,N2,…,Nn)描述手勢(shì)，其中，αi表示每一個(gè)區(qū)域劃分層上的手指弧度，βi表示每一個(gè)區(qū)域劃分層上的指間弧度，Ni表示每一層上手指弧度的個(gè)數(shù)。

3.2.2 手勢(shì)特征提取

手勢(shì)識(shí)別中使用何種手勢(shì)特征對(duì)識(shí)別結(jié)果的好壞具有極其重要的影響。本文提取具有旋轉(zhuǎn)、平移、縮放不變性的手指弧度、指間弧度、手指數(shù)目作為識(shí)別特征。

手勢(shì)特征提取步驟如下：

(1)針對(duì)分割的二值圖像，運(yùn)用cvMoments結(jié)構(gòu)求取距參數(shù)得到手勢(shì)重心點(diǎn)。

坐標(biāo)軸為x、y的二維圖像坐標(biāo)系中, 區(qū)域D的二維p、q階中心矩M及質(zhì)心坐標(biāo)如下:

(2)計(jì)算手勢(shì)邊緣距離手部區(qū)域重心點(diǎn)最大值L，以重心點(diǎn)為圓心,以L值為半徑做外接圓，對(duì)當(dāng)前手勢(shì)的最大外接圓區(qū)域由內(nèi)而外進(jìn)行等距離劃分;本文將其10等分，即以d=L/10，以手勢(shì)區(qū)域中心為圓心做同心圓，同心圓半徑每次遞加d直到最大圓半徑為L(zhǎng)；定義i=1,2,…，10為分層層數(shù)，Oi為第i層的圓軌跡。

(3)計(jì)算第i層(5≤i<10)圓軌跡Oi上手指弧度和指間弧度。以人手質(zhì)心為極坐標(biāo)極點(diǎn)，以極坐標(biāo)方式遍歷圓軌跡上像素發(fā)生變化的點(diǎn)，分別為白色像素變化為黑色像素的點(diǎn)和黑色像素變化為白色像素的點(diǎn)，記錄像素發(fā)生變化的像素點(diǎn)的角度，進(jìn)而計(jì)算手指弧度和指間弧度。

(4)弧度的數(shù)目即是手指手腕與手掌連接的分支總和，根據(jù)手腕處寬度遠(yuǎn)大于手指處寬度，計(jì)算各個(gè)分支寬度平均值，以寬度最大值對(duì)應(yīng)手腕處分支，其他為手指分支，則手指的數(shù)目為N-1。但是，手指長(zhǎng)度不一，根據(jù)劃分情況外層的手指數(shù)目將會(huì)減少，故分層記錄手指數(shù)目用于識(shí)別。

(5)分層記錄統(tǒng)計(jì)手指弧度αi,j和指間弧度βi,j、手指弧度數(shù)目Ni，作為特征用于識(shí)別。

3.3 分類識(shí)別

靜態(tài)手勢(shì)識(shí)別就是在某特定時(shí)刻的輸入圖像中，識(shí)別用戶做出的是何種手形，目前有很多手勢(shì)識(shí)別的分類算法，如HMM分類方法、模板匹配和查表的方法、貝葉斯分類器、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。其中模板匹配是圖像識(shí)別中最具代表性的方法之一，其算法實(shí)現(xiàn)容易、匹配速度快。算法的核心是將從待識(shí)別的圖像提取的若干特征量與模板對(duì)應(yīng)的特征量進(jìn)行比較，計(jì)算圖像和模板特征量之間的距離，用最小距離法判定所屬類。本文所述即運(yùn)用最小距離法達(dá)到快速識(shí)別的目的。常用的九種手勢(shì)如圖4所示，每種手勢(shì)設(shè)定五個(gè)模板建立模板庫(kù)。

Figure 4 Nine kinds of commonly used gestures

具體識(shí)別過(guò)程如下：輸入一幅手勢(shì)圖像，運(yùn)用前述算法提取手勢(shì)圖像的特征向量Mx[αi,j,βi,j,Ni]，其中αi,j為手指弧度，βi,j為指間弧度，Ni為弧度個(gè)數(shù)(也為單層手指?jìng)€(gè)數(shù))；i為特征提取層，本文為5層,即i≤5;j為單層手指弧度的個(gè)數(shù),j≤5。求取待識(shí)別手勢(shì)特征向量Mx[αi,j,βi,j,Ni]與模板庫(kù)標(biāo)準(zhǔn)手勢(shì)向量M0[α0(i,j),β0(i,j),N0]的均方誤差(其中隱含關(guān)系Ni=j)：

(β(i,j)-β0(i,j))2];m,n=5

以均方誤差E(Mx,M0)作為識(shí)別分類標(biāo)準(zhǔn)，以其最小值作為識(shí)別結(jié)果輸出。

4 手勢(shì)識(shí)別實(shí)驗(yàn)

4.1 旋轉(zhuǎn)不變性驗(yàn)證

為驗(yàn)證上述算法所提取的特征具有旋轉(zhuǎn)不變性，邀請(qǐng)實(shí)驗(yàn)者在Kinect前做手勢(shì)，識(shí)別時(shí)并不限定左右手，不限定手勢(shì)的方向。實(shí)驗(yàn)識(shí)別的Four、Eight圖像如圖5和圖6所示，圖5a、圖5b分別為手勢(shì)Four的左右手手勢(shì)，圖6a、圖6b分別為手勢(shì)Eight的左右手手勢(shì)。界面上顯示的圖像左邊為實(shí)時(shí)采集的深度灰度圖，右邊為手勢(shì)分割二值圖，并在二值圖上顯示識(shí)別的結(jié)果。

Figure 5 Chinese number gesture for 4 by two hands respectively

Figure 6 Chinese number gesture for 8 by two hands respectively

由圖5a和圖5b可以看出，當(dāng)手勢(shì)旋轉(zhuǎn)一定角度時(shí)，該識(shí)別系統(tǒng)可以完成識(shí)別；由圖6a和圖6b可以看出，當(dāng)從左手手勢(shì)變換為右手手勢(shì)時(shí)，該手勢(shì)識(shí)別系統(tǒng)亦可以完成識(shí)別。同時(shí)，亦可以看出圖5和圖6變換了四種不同背景，該系統(tǒng)均能完成識(shí)別工作。

4.2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證上述算法實(shí)際性能，邀請(qǐng)實(shí)驗(yàn)者在不同背景不同光線下在攝像機(jī)前做手勢(shì)，對(duì)圖4中九種常用手勢(shì)每種手勢(shì)打100遍，這樣共計(jì)采集900幅圖像用于實(shí)驗(yàn)，圖像采樣大小為640×480，采集圖像時(shí)并不限定左右手，每個(gè)手勢(shì)采集樣本時(shí)左右手手勢(shì)各占一定數(shù)量。這樣組成一共有900幅樣本的手勢(shì)樣本庫(kù)，實(shí)驗(yàn)結(jié)果如表1所示。

表1顯示出對(duì)于九種常用手勢(shì)本系統(tǒng)均能達(dá)到很好的識(shí)別效果，整體上的平均識(shí)別率達(dá)到94.3%，這驗(yàn)證了本文算法的有效性和可行性。同時(shí)，針對(duì)傳統(tǒng)的膚色分割存在人手與人臉重疊而造成的分割難題，本文采用深度圖像分割較好地解決了該難題，即人手與人臉通常處于不同距離區(qū)域，采用動(dòng)態(tài)距離閾值進(jìn)行分割，可以完整地提取到手部區(qū)域。同時(shí)，本文提取的手指弧度、指間弧度和手指數(shù)目手勢(shì)特征用于識(shí)別，均具有旋轉(zhuǎn)不變性。實(shí)驗(yàn)表明本文提取的手勢(shì)特征可良好地運(yùn)用于手勢(shì)識(shí)別。

5 手勢(shì)識(shí)別系統(tǒng)在三指靈巧手上的應(yīng)用

實(shí)驗(yàn)平臺(tái)三指靈巧手模型及結(jié)構(gòu)如圖7所示，

該靈巧手由手掌、一個(gè)拇指和兩根食指四個(gè)部分組成，每根手指皆可獨(dú)立控制。食指和拇指的結(jié)構(gòu)相同，各有三個(gè)關(guān)節(jié)，其中拇指多一個(gè)關(guān)節(jié)，即向掌心彎曲的關(guān)節(jié)。這樣該靈巧手共10個(gè)自由度。使用三個(gè)電機(jī)和一個(gè)舵機(jī)來(lái)驅(qū)動(dòng)。舵機(jī)用來(lái)控制拇指向掌心的轉(zhuǎn)動(dòng)。當(dāng)要抓取物體時(shí)，各手指的彎曲則通過(guò)電機(jī)正傳拉線牽引的方式來(lái)驅(qū)動(dòng)，當(dāng)要釋放物體時(shí)，電機(jī)反轉(zhuǎn)配合手指背上的彈簧片將手指繃直。采取這樣的欠驅(qū)動(dòng)方式以降低控制的復(fù)雜度，并節(jié)約成本。

Figure 7 Platform of three-finger dexterous hand

本文將本手勢(shì)識(shí)別系統(tǒng)應(yīng)用于該三指靈巧手上，圖8為手勢(shì)靈巧手控制系統(tǒng)原理圖。

當(dāng)實(shí)驗(yàn)者對(duì)著攝像頭做出手勢(shì)時(shí)，系統(tǒng)首先利用前述手勢(shì)識(shí)別方法得到識(shí)別結(jié)果，轉(zhuǎn)變?yōu)榭刂浦噶?，通過(guò)串口傳遞給下位機(jī)，控制靈巧手指做出相應(yīng)動(dòng)作?？紤]到該靈巧手為三指的限制，設(shè)計(jì)九種手勢(shì)動(dòng)作如圖9所示，分別對(duì)應(yīng)圖4中的九種手勢(shì)。

Table 1 Experimental results

Figure 8 Schematic of dexterous hand gestures control system

Figure 9 Three-finger dexterous hand gestures

實(shí)驗(yàn)時(shí)，當(dāng)實(shí)驗(yàn)者在攝像頭之前做出圖4中的手勢(shì)時(shí)，三指靈巧手相應(yīng)地做出圖9中的手勢(shì)，部分實(shí)驗(yàn)結(jié)果如圖10所示，圖10a表示實(shí)驗(yàn)者做出手勢(shì)One時(shí)，三指靈巧手做出的相應(yīng)手勢(shì)動(dòng)作，圖10b表示實(shí)驗(yàn)者做出手勢(shì)Two時(shí)，該靈巧手亦能做出對(duì)應(yīng)手勢(shì)。實(shí)驗(yàn)表明，本文手勢(shì)識(shí)別方法可良好地應(yīng)用于靈巧手平臺(tái)，滿足靈巧手實(shí)時(shí)控制需求。

Figure 10 Gestures one and gestures two

6 結(jié)束語(yǔ)

本文搭建了一個(gè)手勢(shì)識(shí)別系統(tǒng)，具有系統(tǒng)穩(wěn)定、識(shí)別效果好、實(shí)時(shí)應(yīng)用的特點(diǎn)。結(jié)合Kinect深度圖像提取手勢(shì)中具有旋轉(zhuǎn)不變性的角度特征和手指數(shù)目作為手勢(shì)特征用于識(shí)別。解決了通常手勢(shì)識(shí)別過(guò)程中受環(huán)境背景復(fù)雜、光照強(qiáng)弱、膚色重合等影響造成的分割難題。實(shí)驗(yàn)結(jié)果表明，本文系統(tǒng)穩(wěn)定，實(shí)時(shí)性好、識(shí)別率高。同時(shí)，將本文手勢(shì)識(shí)別方法成功應(yīng)用在三指靈巧手平臺(tái)，取到了較好的人機(jī)交互效果。

[1] Tang Zhi-yan，F(xiàn)eng Zhe．A gesture recognition system used on robot vision[J]．Computer Engineering and Applications，2005，41(6)：51-54．(in Chinese)

[2] Chen Yi-min, Zhang Yun-hua. Research on human-robot interaction technique based on hand gesture recognition[J]. ROBOT, 2009, 31(4):353-356. (in Chinese)

[3] Tan Chang, Xiao Nan-feng. Static hand gesture recognition based on improved RCE neural network and RBF neural network[J]. Computer Engineering and Applications, 2011, 47(7):172-176. (in Chinese)

[4] Dardas N H，Georganas N D．Real-time hand gesture detection and recognition[J]．Computer Vision and Image Understanding，2011，60(11)：3592-3607．

[5] Takahashi T，Shino F K．Hand gesture coding based on experiments using a hand gesture interface device[J]．SIGCHI Bulletin，1991，23(2)：67-73．

[6] Lee J, Kunii T L. Model based analysis of hand posture[J]. Computer Graphics and Applications, 1995, 5(5):77-86.

[7] Ren Hai-bing，Zhu Yuan-xin，Xu Guang-you, et al．Hand gesture segmentation and recognition with complex backgrounds[J]．ACTA Automatica SINICA，2002，28(2)：118-121．(in Chinese)

[8] Francke H,Ruiz-del-Solar J,Verschae R.Real-time hand gesture detection and recognition using boosted classifiers and active learning[C]∥Proc of PSIVT’07,2007:533-547.

[9] Yang Bo, Song Xiao-na, Feng Zhi-quan, et al. Gesture recognition in complex background based on distribution features of hand[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(10):1841-1848. (in Chinese)

[10] Peng Sheng-yu, Wattanachote K, Lin Hwei-jen, et al. A real-time hand gesture recognition system for daily information retrieval from Internet[C]∥Proc of IEEE the 4th International Conference on Ubi-Media Computing, 2011:146-151.

[11] Chen Duan-sheng,Liu Zheng-kai.A survey of skin color detection[J]. Chinese Journal of Computers, 2006, 29(2):194-207. (in Chinese)

附中文參考文獻(xiàn)：

[1] 湯志彥，馮哲．適用于機(jī)器人視覺(jué)的手勢(shì)識(shí)別系統(tǒng)[J]．計(jì)算機(jī)工程與應(yīng)用，2005，41(16)：51-54．

[2] 陳一民，張?jiān)迫A．基于手勢(shì)識(shí)別的機(jī)器人人機(jī)交互技術(shù)研究[J]．機(jī)器人，2009，31(4)：353-356．

[3] 譚昶，肖南峰．基于改進(jìn)的RCE和RBF神經(jīng)網(wǎng)絡(luò)的靜態(tài)手勢(shì)識(shí)別[J]．計(jì)算機(jī)工程與應(yīng)用，2011，47(7)：172-176．

[7] 任海兵, 祝遠(yuǎn)新, 徐光祐, 等. 復(fù)雜背景下的手勢(shì)分割與識(shí)別[J]. 自動(dòng)化學(xué)報(bào), 2002, 28(2):118-121.

[9] 楊波，宋曉娜，馮志全．復(fù)雜背景下基于空間分布特征的手勢(shì)識(shí)別算法[J]．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22(10)：1841-1848．

[11] 陳鍛生，劉政凱．膚色檢測(cè)技術(shù)綜述[J]．計(jì)算機(jī)學(xué)報(bào)，2006，29(2)：194-207．

QU Yan-qin,born in 1989,MS candidate,her research interests include gesture recognition based on vision, image recognition, and human-computer interaction.

李昕(1970-),男，江蘇鹽城人，博士，副研究員，研究方向?yàn)檎Z(yǔ)音識(shí)別和智能機(jī)器人。E-mail:xli@staff.shu.edu.cn

LI Xin,born in 1970,PhD,associate research fellow,his research interests include speech recognition, and intelligent robot.

Hand gesture recognition based on analysis of appearance features and its application

QU Yan-qin，LI Xin，LU Xia-yan

(School of Mechatronic Engineering and Automation，Shanghai University，Shanghai 200072,China)

Hand gesture recognition in complex background is susceptible to environmental interference, thus leading to recognition difficulty. According to this recognition problem, by analyzing the appearance features of hand gesture, a hand gesture recognition algorithm for natural human computer interaction is proposed and implemented. By using depth images which obtain from Kinect, we extract features like gesture finger radians, radians between fingers and the number of fingers, and properly utilize minimum distance algorithm for achieving fast and efficient classification. Experimental results show that the algorithm is robust and real-time with an average recognition rate of 94.3% for nine frequently-used gestures.

computer vision；depth image；finger radian；appearance features；gesture recognition

1007-130X(2015)01-0139-07

2013-04-15;

2013-07-24

TP391.4

A

10.3969/j.issn.1007-130X.2015.01.021

屈燕琴(1989-),女,河南信陽(yáng)人，碩士生，研究方向?yàn)榛谝曈X(jué)的手勢(shì)識(shí)別、圖像識(shí)別與人機(jī)交互。E-mail:qyq1212@126.com

通信地址：200072 上海市閘北區(qū)廣延路140號(hào)西部自動(dòng)化樓311

Address:Room 311，West Automation Building,140 Guangyan Rd,Zhabei District,Shanghai 200072,P.R.China