基于CW-RNNs網(wǎng)絡(luò)的手勢識別算法

卓少偉 柳培忠 黃德天 王銘航 汪鴻翔

?

基于CW-RNNs網(wǎng)絡(luò)的手勢識別算法

卓少偉 柳培忠 黃德天 王銘航 汪鴻翔

華僑大學(xué)工學(xué)院

該文在分析表征手勢特征和神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)上，根據(jù)手運(yùn)動軌跡的連續(xù)性規(guī)律來研究適用于手勢識別的關(guān)鍵技術(shù)——基于手勢軌跡模型的新型神經(jīng)網(wǎng)絡(luò)算法。針對手勢識別的模糊性和準(zhǔn)確性問題，基于手勢局部區(qū)域跟蹤結(jié)果，采用一種新型神經(jīng)網(wǎng)絡(luò)算法，實(shí)現(xiàn)用于人機(jī)交互的動態(tài)手勢識別。手勢識別部分的研究是采用一種新型的循環(huán)神經(jīng)網(wǎng)絡(luò)(CW-RNNs)對手勢運(yùn)動的軌跡進(jìn)行識別。根據(jù)跟蹤部分提取的手指運(yùn)動軌跡坐標(biāo)，定義手勢模版，采用該方法對手勢模版進(jìn)行學(xué)習(xí)。首先定義連續(xù)動態(tài)手勢模版，采用時間頻率循環(huán)神經(jīng)網(wǎng)絡(luò)對手勢模版進(jìn)行學(xué)習(xí)，對每組孤立的動態(tài)手勢模版進(jìn)行學(xué)習(xí)，形成手勢識別模型。對影響CW-RNNs模型的因素進(jìn)行了實(shí)驗(yàn)驗(yàn)證和深度分析，通過與多層RNNs、三層RNNs的識別效果進(jìn)行比較，論證了本文模型對手勢軌跡模版識別的優(yōu)越性。

手勢識別 CW-RNNs 手運(yùn)動軌跡 手勢模版

1 概述

人機(jī)交互(Human - Computer Interaction, HCI)[1]是人工智能、模式識別和計算機(jī)視覺等科技領(lǐng)域的重要技術(shù)逐步成為研究者熱衷研究的對象。人機(jī)交互的方式從傳統(tǒng)的人手工操作轉(zhuǎn)變到現(xiàn)在的智能輸入。所以,人機(jī)交互技術(shù)也逐漸從以計算機(jī)或者機(jī)器人為中心轉(zhuǎn)移到以人為中心，加速了手勢識別、手語識別、行為識別等模式識別和人工智能領(lǐng)域的蓬勃發(fā)展[2]。

目前的手勢識別技術(shù)還遠(yuǎn)遠(yuǎn)不夠穩(wěn)定，仍然處在實(shí)驗(yàn)研究階段，沒有進(jìn)入穩(wěn)定期。人的手是一個靈活復(fù)雜的彈性物體，而且手勢具有靈活性、非固定性和多義性等特點(diǎn)，再加上手勢需要在一個特定的、實(shí)時的環(huán)境中應(yīng)用，不同的研究者可能所研究的環(huán)境也不同，這樣就導(dǎo)致研究出的算法無法具有普適性，且只局限于某一類特定場景。手勢動作的可變性和復(fù)雜性與應(yīng)用環(huán)境的大量干擾因素，如手臂、膚色和光照等，使研究者們暫時無法研究出一種具有統(tǒng)一性和通用性的手勢識別算法，因此，手勢識別目前仍然是一個具有挑戰(zhàn)性的研究方向。為了使手勢識別理論、算法和技術(shù)更加魯棒和成熟，研究者們會不斷突破技術(shù)局限，使手勢識別的理論和算法能夠應(yīng)用到具體的實(shí)踐中。

Tom Defanti和Dniel Sandin[3]等人研究出的手勢識別產(chǎn)品——Sayre Glove手套式傳感器系統(tǒng)，是數(shù)據(jù)手套的早期產(chǎn)品。Grimes等在Bell實(shí)驗(yàn)室，使用“數(shù)據(jù)手套”所做的手勢識別的研究成果，取得了數(shù)據(jù)手套的專利。日本富士通實(shí)驗(yàn)室也是在“數(shù)據(jù)手套”的基礎(chǔ)上，進(jìn)行了更加精確的手勢識別技術(shù)研究，當(dāng)時的手勢識別技術(shù)可以正確并且完整識別出46個手勢；之后，J. Davis和M. Shah在Grimes的“數(shù)據(jù)手套”基礎(chǔ)上進(jìn)行了拓展研究，他們首次使用帶有高亮度標(biāo)記特點(diǎn)的手套，通過突出來的指尖進(jìn)行實(shí)驗(yàn)，這樣可以識別出七種手勢[4]；Stamer等對美國手語進(jìn)行了研究，使用美國手勢中具有詞性的40個單詞組成短句子，識別率達(dá)到了驚人的99.2%[5，6]；隨著手勢識別的研究逐漸風(fēng)靡，Sturman等人也采用數(shù)據(jù)手套來進(jìn)行手勢識別，對數(shù)據(jù)手套的識別方法作了豐富而詳細(xì)的介紹，其構(gòu)想是將識別方法應(yīng)用于虛擬現(xiàn)實(shí)[7]。后來，Christopher Lee和Xu等人使用CyberGlove對手勢識別進(jìn)行研究，開發(fā)了一套基于手勢控制的機(jī)器人系統(tǒng)，可以通過手勢來控制機(jī)器人上下左右的移動，而對提出的新手勢，先通過機(jī)器學(xué)習(xí)，而后再進(jìn)行識別[8]。2007年，Caifeng Shan[9]等人利用Mean Shift算法以及粒子濾波等算法研究出一個手勢控制機(jī)器人，其識別率可以達(dá)到97.3%。

手勢識別的發(fā)展研究逐漸從基于外設(shè)的階段過渡到自然手勢研究階段，大量研究表明，基于自然的手勢識別更加靈活。比如，文獻(xiàn)[10]提出一種基于YCrCb的膚色提取方法；Valentino等人在Kinect平臺上開發(fā)了一套手勢跟蹤和識別彎曲系統(tǒng)[11]；同年，文獻(xiàn)[12]采用顏色和深度信息檢測的方式跟蹤人手，應(yīng)用基于Haarlet小波的手勢識別方法識別手勢。Rimkus等人開發(fā)了一套基于Kinect的3D手勢運(yùn)動識別系統(tǒng)，其手勢分類算法采用的是神經(jīng)網(wǎng)絡(luò)[13]。Kjeldsen等人在Windows系統(tǒng)下開發(fā)出了一套基于計算機(jī)視覺的手勢控制軟件，其原理是通過手勢的運(yùn)動軌跡識別來控制Windows系統(tǒng)[14]。Pavlovic等人也設(shè)計了一套基于計算機(jī)視覺的手勢交互系統(tǒng)，可以通過雙手之間的手勢動作來模擬鼠標(biāo)的拖拽，單擊及雙擊等操作[15]。Lars等提出了一種先采用顏色特征對手勢進(jìn)行分割，后利用粒子濾波對手勢動作進(jìn)行跟蹤，由于顏色特征的分割效果不佳，并且粒子濾波算法又相對比較復(fù)雜，導(dǎo)致手勢識別系統(tǒng)最終的識別效果不是很好[16]。Ho-SubYoon等人也采用HMM進(jìn)行手勢識別，達(dá)到了不錯的識別效果[17]。Aditya Ramamoorthy等人也同樣利用膚色分割獲取輪廓，同時采用卡爾曼濾波的運(yùn)動跟蹤方法，進(jìn)行動態(tài)手勢識別，效果一般[18]。Hyeon-Kyu Lee等人提出了一種基于HMM門限的連續(xù)手勢識別模型，可以將手勢動作和無意義的動作區(qū)分開，而且能夠確定手勢動作的終點(diǎn)和起點(diǎn)[19,20]。

2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型

在模式識別領(lǐng)域內(nèi)，神經(jīng)網(wǎng)絡(luò)是一種具有自學(xué)習(xí)和自組織能力的算法。從本質(zhì)而言，模式識別與人工智能所研究的內(nèi)容是，如何使計算機(jī)具備人的一些功能，尤其是學(xué)習(xí)和記憶的功能，而神經(jīng)網(wǎng)絡(luò)的研究目的就是構(gòu)造一種跟人的腦神經(jīng)類似的網(wǎng)絡(luò)結(jié)構(gòu)，并且具備人腦學(xué)習(xí)和記憶的功能。在手勢識別研究中，神經(jīng)網(wǎng)絡(luò)也被廣泛應(yīng)用，例如，Yung-Hui Lee等人在臺灣手語研究中引入了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法[21]；Maung等通過神經(jīng)網(wǎng)絡(luò)來識別MAL靜態(tài)手勢庫一個子集，其平均識別率可以達(dá)到90%[22]；Stergiopoulou等構(gòu)建了一種SGONG神經(jīng)網(wǎng)絡(luò)，提取到手勢特征輸出一種神經(jīng)元網(wǎng)格，實(shí)現(xiàn)了提取手掌的形態(tài)學(xué)特征，其手勢識別方法采用的是基于相似度的分割技術(shù)[23]。

神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是通過模擬人腦結(jié)構(gòu)，讓機(jī)器也具有人腦那樣的感知、學(xué)習(xí)和推理功能。在圖像識別系統(tǒng)中，根據(jù)是否需要特征可以將神經(jīng)網(wǎng)絡(luò)分為兩類：有特征提取部分和無特征提取部分。存在特征提取的神經(jīng)網(wǎng)絡(luò)可以利用先驗(yàn)知識來獲取特征，然后利用網(wǎng)絡(luò)的分類能力來達(dá)到識別目標(biāo)的目的。這種方法在抗干擾方面的能力不如無特征提取神經(jīng)網(wǎng)絡(luò)。后者不具備特征提取的能力，該神經(jīng)網(wǎng)絡(luò)的輸入為整幅圖像，導(dǎo)致其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度大大增加，輸入模式的增加會導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)規(guī)模的龐大，同時還需要自身消除模式變形影響的能力。無特征提取神經(jīng)網(wǎng)絡(luò)的抗干擾能力好，識別率高于有特征提取神經(jīng)網(wǎng)絡(luò)?？傊?，神經(jīng)網(wǎng)絡(luò)可處理一些環(huán)境復(fù)雜、樣本缺損或畸變的問題，具有運(yùn)行速度快、自適應(yīng)性能優(yōu)良、識別率高等特點(diǎn)。

神經(jīng)網(wǎng)絡(luò)模型具有多種網(wǎng)絡(luò)結(jié)構(gòu)，比較典型的是三層前饋網(wǎng)絡(luò)、徑向基核函數(shù)網(wǎng)絡(luò)等。其中，應(yīng)用最廣的是BP神經(jīng)網(wǎng)絡(luò)模型。BP神經(jīng)網(wǎng)絡(luò)是一種單向傳播的多層前向神經(jīng)網(wǎng)絡(luò)，它主要分為輸入層、隱含層、輸出層。BP神經(jīng)網(wǎng)絡(luò)的主要思想是從前向后逐層傳遞權(quán)值，從后向前逐層傳播輸出層的誤差，進(jìn)行權(quán)值調(diào)整。

BP算法步驟如下：

①選定權(quán)系數(shù)初始值；②重復(fù)下述5個步驟直到收斂。

步驟1：從前向后各層計算單元

（2）

步驟4：計算并保存各權(quán)值修正量

（4）

步驟5：修正權(quán)值

在上述公式中，j表示處于某一層的第j個計算單元，i代表其前層的第i個單元，k代表后層的第k個單元，代表輸出，表示前層到本層的權(quán)值。

手勢識別算法的趨勢是基于學(xué)習(xí)的方法，隨著神經(jīng)網(wǎng)絡(luò)乃至深度學(xué)習(xí)算法的普及，手勢識別算法的精度會逐步提升，算法的復(fù)雜度也會提升。

3 基于CW-RNNs算法的手勢識別

時鐘頻率驅(qū)動循環(huán)神經(jīng)網(wǎng)絡(luò)(Clockwork RNNs)是一種新型的RNNs模型[24]，是RNNs的一個改良版本，是一種使用時鐘頻率來驅(qū)動的RNNs模型。

圖1 CW-RNNs定向循環(huán)結(jié)構(gòu)圖

3.1 網(wǎng)絡(luò)訓(xùn)練

對RNNs的訓(xùn)練和對傳統(tǒng)的ANN訓(xùn)練一樣，也是使用BP誤差反向傳播算法，如果將RNNs進(jìn)行網(wǎng)絡(luò)展開，那么參數(shù)是共享的，而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)卻不是。在使用梯度下降算法中，每一步的輸出不僅依賴當(dāng)前步的網(wǎng)絡(luò)，而且還依賴于前面若干步網(wǎng)絡(luò)的狀態(tài)。比如，在t=4時，我們還需要向后傳遞三步，后面的三步都需要加上各種梯度值。其學(xué)習(xí)算法稱為Back propagation Through Time (BPTT)。

前向傳播的推導(dǎo)為：

（7）

（8）

后向傳播的推導(dǎo)為：

（10）

（11）

其中，a表示匯集計算的值，b表示經(jīng)過激活函數(shù)計算的值，是不同節(jié)點(diǎn)之間連接的參數(shù)，帶下標(biāo)k的是輸出層，帶下標(biāo)h的是隱層相關(guān)的，除此之外，所有帶括號的的函數(shù)都是激活函數(shù)。L是損失函數(shù)(Loss Function)，具體的計算方法跟傳統(tǒng)的NN是一樣的，而輸出層和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)也是完全一樣的，接收隱層傳入的數(shù)據(jù)并乘以參數(shù)求和，每一個計算出來的值都有個時間上標(biāo)t，表示它是t時刻的節(jié)點(diǎn)。

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同的是隱層的計算，隱層會接受來自上一時間戳隱層傳入的數(shù)據(jù)，在公式里體現(xiàn)為：第一，求和是與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)一致的，接收來自輸入層的數(shù)據(jù)，第二，是接收來自上一隱層的數(shù)據(jù)。這里主要給出的是計算隱藏層的累積殘差的公式，因?yàn)檩敵鰧优c經(jīng)典的神經(jīng)網(wǎng)絡(luò)類似，由公式（4）～（6）可知，為當(dāng)前時間輸出層傳回的殘差值，是接收下一時間隱層傳回的殘差值。

3.2 模型推導(dǎo)

CW-RNNs與傳統(tǒng)的RNNs一樣，可以按照下式來計算：

（13）

同時，CW-RNNs與傳統(tǒng)的RNNs也有不同，在第t步時，只有那些滿足的隱藏層組才會執(zhí)行。并且每一隱藏層組的周期都可以是任意的。原文中是選擇指數(shù)序列作為它們的周期，即。

因此與將被劃分為g個塊。

（15）

（17）

執(zhí)行的組所對應(yīng)的o才會有輸出，處于非執(zhí)行狀態(tài)下的隱藏層組仍保留著上一步的狀態(tài)。圖2是含5個隱藏層組在t=6時的計算圖。

圖2 隱藏層計算圖

在CW-RNNs中，慢速組（周期大的組）處理、保留、輸出長依賴信息，而快速組則會進(jìn)行更新。CW-RNNs的誤差后向傳播也和傳統(tǒng)的RNNs類似，只是誤差僅處于執(zhí)行狀態(tài)的隱藏層組進(jìn)行傳播，而非執(zhí)行狀態(tài)的隱藏層組也復(fù)制其連接的前面的隱藏層組的后向傳播。即執(zhí)行態(tài)的隱藏層組的誤差后向傳播的信息不僅來自于輸出層，并且來自于其連接到的左邊隱藏層組的后向傳播信息，而非執(zhí)行態(tài)的后向傳播信息只來自于其連接到的左邊的隱藏層組的后向傳播數(shù)據(jù)。

3.3 本文算法步驟

搭建三層時鐘驅(qū)動循環(huán)神經(jīng)網(wǎng)絡(luò)，如圖3所示。T1

使用CW-RNNs對手勢進(jìn)行識別，將手勢跟蹤提取出來的手勢軌跡的特征向量作為網(wǎng)絡(luò)的輸入，構(gòu)建訓(xùn)練樣本。該手勢軌跡特征向量的維數(shù)等于網(wǎng)絡(luò)的輸入個數(shù)。

基于時鐘頻率驅(qū)動循環(huán)神經(jīng)網(wǎng)絡(luò)的手勢識別方法訓(xùn)練步驟如下：

①初始化網(wǎng)絡(luò)的參數(shù)。具體的參數(shù)配置包括各網(wǎng)絡(luò)層節(jié)點(diǎn)的個數(shù)、最大迭代次數(shù)、最小目標(biāo)誤差精度、學(xué)習(xí)率等，各層權(quán)值的初值一般采用隨機(jī)的0~1之間的數(shù)。

②選取構(gòu)建好的手勢軌跡模版庫，提取出手勢運(yùn)動軌跡的特征向量，作為訓(xùn)練網(wǎng)絡(luò)的輸入層。

③對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，一直到最小誤差函數(shù)小于預(yù)設(shè)的誤差精度或者訓(xùn)練次數(shù)大于預(yù)設(shè)的網(wǎng)絡(luò)迭代次數(shù)為止。

④網(wǎng)絡(luò)的訓(xùn)練過程結(jié)束，對網(wǎng)絡(luò)進(jìn)行測試，測試過程與訓(xùn)練過程不同，只需得到訓(xùn)練輸出，進(jìn)行識別。

圖3 三層CW-RNNs網(wǎng)絡(luò)圖

訓(xùn)練過程如圖4所示。

圖4 CW-RNNs網(wǎng)絡(luò)訓(xùn)練流程圖

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中，本文將手勢動作劃分為兩類：單手勢和組合手勢。其中單手勢為21個，組合手勢為27個，對每個手勢進(jìn)行旋轉(zhuǎn)、縮放、平移、放大或縮小，形成規(guī)格統(tǒng)一的手勢軌跡模版，每個手勢選擇80個模版，形成3840個訓(xùn)練樣本，另外，再選擇7個作為測試樣本，測試樣本庫為336個。單手勢的軌跡模版由19個英文字母和2個圖形構(gòu)成，其中2個圖形表示手勢動作的開始和結(jié)束，如圖5～圖8所示。

單手勢和組合手勢采用的網(wǎng)絡(luò)結(jié)構(gòu)稍有不同，不同之處是：由于輸出層的個數(shù)不同，隱層的節(jié)點(diǎn)數(shù)也不同；組合手勢由單手勢組成，組合手勢的軌跡可以看成多個單手勢運(yùn)動軌跡的合成，組合手勢軌跡需要一個標(biāo)識。

CW-RNNs網(wǎng)絡(luò)訓(xùn)練參數(shù)為：采用三層的網(wǎng)絡(luò)結(jié)構(gòu)，單手勢輸出層節(jié)點(diǎn)數(shù)m=21，輸入層的節(jié)點(diǎn)數(shù)為66；組合手勢輸出層節(jié)點(diǎn)數(shù)m=30，輸入層的節(jié)點(diǎn)數(shù)為94。目標(biāo)誤差值為0.001，最大迭代次數(shù)M=2000次，學(xué)習(xí)速率為0.05。

隨著隱層節(jié)點(diǎn)數(shù)的增加，識別率在提高的過程中，出現(xiàn)了波動，但是整體還是保持穩(wěn)定的增長趨勢。波動現(xiàn)象表明，網(wǎng)絡(luò)模型的誤差還很大，沒有趨于平穩(wěn)。圖9為迭代次數(shù)為2000時，單手勢網(wǎng)絡(luò)的誤差下降曲線。

本文實(shí)驗(yàn)選擇學(xué)習(xí)率為0.05，單手勢網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)為21，組合手勢網(wǎng)絡(luò)三類手勢的隱層節(jié)點(diǎn)數(shù)均為10，得到的識別結(jié)果如表1所示。由上述實(shí)驗(yàn)結(jié)果可以得知，CW-RNNs網(wǎng)絡(luò)的識別效果良好，但是需要設(shè)置并初始化很多參數(shù)，比如隱層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率、迭代次數(shù)和時間戳等，而且這些參數(shù)的選取理論性不足，卻會影響網(wǎng)絡(luò)的收斂速度和識別率，一般參數(shù)的選取會憑借經(jīng)驗(yàn)值，這樣會導(dǎo)致運(yùn)算的效率較低。此外，訓(xùn)練網(wǎng)絡(luò)模型的過程非常耗時，尤其是調(diào)整權(quán)值的過程比較復(fù)雜，并且當(dāng)輸入樣本發(fā)生變化的時候，要重新對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，泛化能力一般。

表1 手勢識別結(jié)果

為了驗(yàn)證CW-RNNs網(wǎng)絡(luò)對手勢軌跡識別的特性，本文選取其它兩種循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較，多層循環(huán)神經(jīng)網(wǎng)絡(luò)RNNs和三層簡化循環(huán)神經(jīng)網(wǎng)絡(luò)(Simple RNNs)。單手勢軌跡模版作為訓(xùn)練樣本，輸出層個數(shù)為21，網(wǎng)絡(luò)的迭代次數(shù)為2000次，學(xué)習(xí)率為0.05。三個不同RNNs模型的實(shí)驗(yàn)結(jié)果如圖10所示。其中，綠色實(shí)線是多層循環(huán)經(jīng)網(wǎng)絡(luò)模型(RNNs)，藍(lán)色實(shí)線是三層簡化循環(huán)神經(jīng)網(wǎng)絡(luò)模型(SRNs)，紅色實(shí)線為本文采用的時鐘頻率驅(qū)動循環(huán)經(jīng)網(wǎng)絡(luò)模型(CW-RNNs)。可以看出，本文模型的最終識別率時鐘高于SRNs模型，低于RNNs模型，本文模型在時間維度上能夠做到具有更快的收斂速度，在特定時間范圍內(nèi)，SRNs模型識別率還沒有趨于穩(wěn)定，學(xué)習(xí)速率較慢，RNNs模型的識別率雖然高于本文算法，但其由于網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，需要耗費(fèi)時間成本來換取識別效果，本文算法可以在最短的時間開銷前提下，收斂速度更快，在保證識別率的前提下，可以更快地趨于穩(wěn)定。

圖5 單手勢軌跡模版圖

圖6 雙軌跡手勢模版圖

圖7 三軌跡手勢模版圖

圖8 四軌跡手勢模版圖

圖9 誤差下降曲線圖

圖10 模型比較圖

5 結(jié)束語

本文首先構(gòu)建動態(tài)手勢運(yùn)動軌跡模版，然后利用一種新型的循環(huán)神經(jīng)(CW-RNNs)對構(gòu)建的訓(xùn)練集進(jìn)行訓(xùn)練學(xué)習(xí)，并對訓(xùn)練的結(jié)果進(jìn)行測試。本文對影響CW-RNNs網(wǎng)絡(luò)模型的識別率的因素進(jìn)行了分析，通過實(shí)驗(yàn)比較來驗(yàn)證隱層的節(jié)點(diǎn)數(shù)和學(xué)習(xí)率等參數(shù)對CW-RNNs網(wǎng)絡(luò)模型的作用。最后，通過實(shí)驗(yàn)對比，比較了本文算法模型與RNNs和SRNs兩種網(wǎng)絡(luò)模型的差異，對各個模型的優(yōu)缺點(diǎn)進(jìn)行了分析總結(jié)，證明本文算法效果還有一定的提升空間。

參考文獻(xiàn)：

[1] Human-Computer Interaction[EB/OL]. http://en.wikipedia.org/wiki/Human- cmputer_interaction.

[2] Takahashi T., Kishino F.. A hand gesture recognition method and its application[J]. Systems and Computersin Japan,1992,23(3): 38-48

[3] Defanti T,Sandin D. Final report to the National Endowment of the arts[J].USNEAR60-34-163. University of Illinois at Chicago Circle,1977.

[4] Davis J, Shah M. Visual gesture recognitions[J]. IEEE Proceedings on Vision-Image Signal Processing,1994,141(2):101-106.

[5] Starner T, Pentland A. Visual Recognition of American Sign Language Using Hidden Markov Models[J]. International Workshop on Automatic Face & Gesture Recognition,1995:189-194.

[6] Grobel K, Assam M. Isolated sign language recognition using hidden Markov models[J]. IEEE International Conference on Systems, Man & Cybernetics, 1997:162-167.

[7] Sturman D.J,Zeltzer. D,Pieper S. Handson. Interaction with virtual environments[C]//Proceedings of the 2nd Annual ACM SIGGRAPH Symposium on User interface Software and Technology,1989:19-24.

[8] Lee C, Xu Y. Online interactive learning of gestures for human/robot interfaces[C]// IEEE International Conference on Robotics & Automation, 1996: 2982-2987.

[9] Shan C, Tan T, Wei Y. Real-time hand tracking using a mean shift embedded particle filter[J]. Pattern Recognition,2007, 40(7): 1958-1970.

[10] Choi KM,Na YG,Chae Sb,Jung KH. A hand gesture-based remote control of robot[C]// Proc. of KSBE Fall Conference, 2010:196-199.

[11] Valentino Frati, Domenico Prattichizzo. Using kinect for hand tracking and rendering in wearable haptics[C]//IEEE World haptics Conference, 2011: 317-321.

[12] Van den Bergh M, Van Gool L. Combining RGB and ToF cameras for real-time 3D hand gesture interaction[C]//IEEE Workshop on Applications of Computer Vision,2011:66-72

[13] Van den Bergh M, Van Gool L. Combining RGB and ToF cameras for real-time 3D hand gesture interaction[C]//IEEE Workshop on Applications of Computer Vision,2011:66-72

[14] Kjeldsen R, Kender J. Visual hand gesture recognition for windows system control[J]. Proc.int.workshop on Autom.face & Gesture Recognition, 1995:184-188

[15] Pavlovic V, Sharma R, Huang TS. Visual interpretation of hand gestures for human-computer interaction: a review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(7): 677-695.

[16] Bretzner L, Laptev I, Lindeberg T. Hand gesture recognition using multi-scale color features, hierarchical model and particle filtering[C]//Fifth IEEE International Conference of Automatic Face and Gesture Recognition, 2002:423-428.

[17] Yoon HS, Soh J, Bae YJ, et al. Hand gesture recognition using combined features of location,angle and velocity[J].Pattern Recognition,2001,34(7): 1491-1501.

[18] Ramamoorthy A, Vaswani N, Chaudhury S, et al. Recognition of dynamic hand gestures[J]. Pattern Recognition,2003,36(9):2069-2081.

[19] Lee HK, Kim JH. An HMM-Based Threshold Model Approach for Gesture Recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, October,1999, 21(10):961-973.

[20] Elmezain M, Al-Hamadi A. A Hidden Markov Model-Based Isolated and Meaningful Hand Gesture Recognition[J]. Proceedings of World Academy of Science Engineering & Technology,2008:394.

[21] Lee YH, Tsai CY. Taiwan sign language (TSL) recognition based on 3D data and neural networks[J]. Expert Systems with Application,2009,36(2): 1123-1128.

[22] Maung THH. Real-Time Hand Tracking and Gesture Recognition System Using Neural Networks[J]. Proceedings of World Academy of Science Engineering & Technology, 2009: 362-368.

[23] Chang CC, Lin CJ. LIBSVM: A Library for Support Vector Machines[J]. ACM Transactions on Intelligent Systems & Technology, 2011,2(3):389-396

[24] Jan Koutnik, Klaus Greff, Faustino Gomez, Juergen Schmidhuber. A Clockwork RNN[C]//Proceedings of The 31st International Conference on Machine Learning, 2014: 1863-1871.