面向月面探測(cè)的空間機(jī)器人?航天員手勢(shì)交互方法的研究

高 慶，劉金國(guó)，張飛宇，鄭永春

（1.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，沈陽(yáng)110016；2.中國(guó)科學(xué)院大學(xué)，北京100049；3.中國(guó)科學(xué)院國(guó)家天文臺(tái)，北京100012）

1 引言

月面人機(jī)聯(lián)合探測(cè)是載人月球探測(cè)任務(wù)的基礎(chǔ)，是制定載人登月任務(wù)模式、設(shè)計(jì)登月飛行器系統(tǒng)方案的前提。對(duì)于月面人機(jī)聯(lián)合任務(wù)，月面六分之一重力環(huán)境、多自由度被控機(jī)器人以及人機(jī)多空間范圍等特點(diǎn)給傳統(tǒng)空間人機(jī)交互方法帶來(lái)了很大的挑戰(zhàn)［1］。隨著計(jì)算機(jī)和人工智能技術(shù)的發(fā)展，月面人機(jī)交互方式從以機(jī)器人為中心逐漸發(fā)展到目前以航天員為中心。其中，手勢(shì)交互是新型交互方式中的一種主要技術(shù)路線，其自然、直觀、且不受環(huán)境限制等優(yōu)點(diǎn)非常適合空間人機(jī)交互任務(wù)［2?3］。手勢(shì)識(shí)別是手勢(shì)人機(jī)交互中的核心技術(shù)，很多學(xué)者都對(duì)其進(jìn)行了深入的研究。針對(duì)面向月面探測(cè)的人機(jī)交互任務(wù)，按航天員與月面探測(cè)機(jī)器人的空間位置可分為航天員在空間艙內(nèi)、空間機(jī)器人在月面的遙操作和航天員、空間機(jī)器人同在月面的近距離交互控制兩種。對(duì)于前者，航天員可用裸手進(jìn)行交互；對(duì)于后者，航天員需要穿戴航天服手套進(jìn)行交互。因此，該部分的復(fù)雜性也使面向月面探測(cè)人機(jī)交互的手勢(shì)識(shí)別具有更大的難點(diǎn)和挑戰(zhàn)。

手勢(shì)識(shí)別技術(shù)中，基于視覺(jué)的手勢(shì)識(shí)別方法目前還處在發(fā)展階段，隨著kinect等深度傳感器的出現(xiàn)，融合深度和彩色圖像信息的視覺(jué)手勢(shì)識(shí)別成為目前主流的研究方向。應(yīng)用深度圖像可以很好地解決傳統(tǒng)紅綠藍(lán)（Red，Green，Blue，RGB）圖像受到背景和光照影響的問(wèn)題，能有效提高手勢(shì)的識(shí)別率［4］。在識(shí)別算法方面，傳統(tǒng)的視覺(jué)手勢(shì)識(shí)別算法包括動(dòng)態(tài)時(shí)間規(guī)整法（Dynamic Time Warping，DTW）、人工神經(jīng)網(wǎng)絡(luò)法和隱馬爾科夫模型法等，都存在一些問(wèn)題。隨著深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的發(fā)展和成功，越來(lái)越多的學(xué)者開(kāi)始將深度學(xué)習(xí)方法應(yīng)用于視覺(jué)手勢(shì)識(shí)別的研究中，并取得了一定的研究成果［5?8］。

本文針對(duì)航天員?空間機(jī)器人交互手勢(shì)交互的需求，設(shè)計(jì)一種手勢(shì)人機(jī)交互框架。并針對(duì)8種靜態(tài)的空間人機(jī)交互手勢(shì)，設(shè)計(jì)一種雙通道并聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)。將RGB圖像的分類結(jié)果與對(duì)應(yīng)深度圖像的分類結(jié)果融合，得到最后的預(yù)測(cè)結(jié)果。

2 空間機(jī)器人?航天員手勢(shì)交互框架

空間機(jī)器人選擇由中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所研制的第二代航天員助手機(jī)器人（AAR?2）［9?10］，它可以作為航天員的助手輔助或者代替航天員在月球表面惡劣環(huán)境中完成任務(wù)。該機(jī)器人具有6個(gè)自由度，可利用自身的位姿傳感器和涵道風(fēng)扇推進(jìn)系統(tǒng)在微重力環(huán)境中自由飛行或懸停；且具有一定的環(huán)境感知能力和手勢(shì)識(shí)別能力，航天員可通過(guò)手勢(shì)操控該機(jī)器人完成一些特定的任務(wù)。圖1所示為航天員在月球表面通過(guò)手勢(shì)操控航天員助手機(jī)器人。

為航天員與空間機(jī)器人的手勢(shì)交互，需要設(shè)計(jì)一套空間人機(jī)交互手勢(shì)語(yǔ)義庫(kù)。為了實(shí)現(xiàn)手勢(shì)庫(kù)的通用性，從如圖2所示的American Sign Language（ASL）手勢(shì)［11］中選取8種（圖2方框中）作為空間人機(jī)交互手勢(shì)，其對(duì)應(yīng)的手勢(shì)語(yǔ)義如表1所示。

圖1 AAR?2 機(jī)器人 3D 模型［9］Fig.1 3D solid model of AAR?2［9］

圖2 空間人機(jī)交互手勢(shì)［11］Fig.2 Space human?robot interaction hand ges?tures［11］

表1 空間人機(jī)交互手勢(shì)語(yǔ)義對(duì)照表Table 1 Space human?robot interaction gesture seman?tic comparison table

3 深度學(xué)習(xí)模型

手勢(shì)具有顏色、形狀、空間深度等多種信息，利用多種信息融合的方式可以實(shí)現(xiàn)更好的手勢(shì)識(shí)別效果［12?13］。 因此，本文針對(duì)手勢(shì)的靜態(tài)識(shí)別問(wèn)題，從信息融合的角度出發(fā)，提出一種圖3所示的并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。RGB?CNN通道用來(lái)處理手勢(shì)的RGB圖像，以手的顏色特征為主要信息對(duì)手勢(shì)進(jìn)行識(shí)別；Depth?CNN通道用來(lái)處理手勢(shì)的深度圖像，以手的深度特征為主要信息對(duì)手勢(shì)進(jìn)行識(shí)別；最后將兩個(gè)通道的輸出結(jié)果進(jìn)行融合，實(shí)現(xiàn)手勢(shì)語(yǔ)義的最終預(yù)測(cè)。RGB通道主要對(duì)手勢(shì)的顏色信息及細(xì)節(jié)特征進(jìn)行提取，深度通道可以彌補(bǔ)RGB圖像受光照及背景影響的問(wèn)題，并能提取手勢(shì)的深度信息，將兩個(gè)通道的預(yù)測(cè)結(jié)果進(jìn)行融合，可以更充分地利用手勢(shì)的信息，因此理論上能提高手勢(shì)的識(shí)別率。

圖3 并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 The structure of the parallel CNNs

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出方法的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該網(wǎng)絡(luò)借鑒了 Ciresan的并聯(lián)結(jié)構(gòu)思想［14］，將 RGB?CNN子網(wǎng)絡(luò)和Depth?CNN子網(wǎng)絡(luò)以并聯(lián)的方式運(yùn)行，先分別對(duì)手勢(shì)的RGB圖像和對(duì)應(yīng)的深度圖像進(jìn)行預(yù)測(cè)，再將預(yù)測(cè)結(jié)果進(jìn)行融合，得到最終的預(yù)測(cè)結(jié)果。下面分別對(duì)兩個(gè)子網(wǎng)絡(luò)和預(yù)測(cè)結(jié)果融合方式進(jìn)行說(shuō)明。

3.1.1 RGB?CNN 子網(wǎng)絡(luò)

RGB?CNN子網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，該網(wǎng)絡(luò)共有7層，前4層為卷積層，后兩層為全連接層，最后一層為分類層。具體來(lái)說(shuō)，輸入為3通道的尺寸為100×100的RGB圖像，經(jīng)過(guò)一個(gè)具有9個(gè)5×5卷積核的卷積層、一個(gè)ReLU層和一個(gè)核為2×2的最大池化層，轉(zhuǎn)化為9個(gè)尺寸為48×48的特征圖；再經(jīng)過(guò)一個(gè)具有18個(gè)5×5卷積核的卷積層，一個(gè)ReLU層和一個(gè)核為2×2最大池化層，轉(zhuǎn)化為18個(gè)22×22的特征圖；再經(jīng)過(guò)一個(gè)具有36個(gè)5×5卷積核的卷積層，一個(gè)ReLU層和一個(gè)核為2×2的最大池化層，轉(zhuǎn)化為36個(gè)尺寸為9×9的特征圖；再經(jīng)過(guò)一個(gè)具有72個(gè)卷積核的卷積層和一個(gè)ReLU層，轉(zhuǎn)化為72個(gè)尺寸為5×5的特征圖；再經(jīng)過(guò)一個(gè)具有144個(gè)神經(jīng)元的全連接層和一個(gè)具有72個(gè)神經(jīng)元的全連接層，最后采用softmax方法進(jìn)行分類，得到具有針對(duì)8種語(yǔ)義手勢(shì)的預(yù)測(cè)概率。

圖4 并聯(lián)CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The structure of the parallel CNNs

整個(gè)子網(wǎng)絡(luò)中，除了softmax層，其余每層都含有一個(gè)Rectified Linear Unit（ReLU）層，其激活函數(shù)表示為式（1）［7］：

其中，z為輸出神經(jīng)元的值。分類層采用softmax［2］方法，其表達(dá)式為式（2）：

其中，x為手勢(shì)的觀察量，C為手勢(shì)實(shí)際語(yǔ)義的神經(jīng)元，W為網(wǎng)絡(luò)的權(quán)值參數(shù)，zq為神經(jīng)元q的輸出。

3.1.2 Depth?CNN 子網(wǎng)絡(luò)

Depth?CNN子網(wǎng)絡(luò)與RGB?CNN子網(wǎng)絡(luò)結(jié)構(gòu)類似，最后得到具有8種語(yǔ)義手勢(shì)的預(yù)測(cè)結(jié)果。

3.1.3 結(jié)果融合方法

RGB?CNN子網(wǎng)絡(luò)中，網(wǎng)絡(luò)參數(shù)為WRGB，手勢(shì)的觀察量為x，則對(duì)于手勢(shì)語(yǔ)義C的預(yù)測(cè)概率為P（C｜x， WRGB）。 Depth?CNN 子網(wǎng)絡(luò)中，網(wǎng)絡(luò)參數(shù)為WD，手勢(shì)的觀察量為x，則對(duì)于手勢(shì)語(yǔ)義C的預(yù)測(cè)概率為 P（C｜x， WD）。 根據(jù)文獻(xiàn)［15］中提出的融合方法，對(duì)兩個(gè)子網(wǎng)絡(luò)的預(yù)測(cè)概率進(jìn)行融合，得到最終的手勢(shì)分類器針對(duì)8種語(yǔ)義手勢(shì)的預(yù)測(cè)概率為式（3）：

3.2 訓(xùn)練

訓(xùn)練的過(guò)程中，將數(shù)據(jù)分成幾批（batches）進(jìn)行訓(xùn)練，可以提高訓(xùn)練的效率。令每批數(shù)據(jù)的數(shù)量（batch＿size）為 N，此時(shí)的 loss函數(shù)為為式（4）：

其中，fW（x（i））計(jì)算的是數(shù)據(jù) x（i）上的 loss，先將每個(gè)單獨(dú)的樣本x的loss求出來(lái)，然后求和，最后求均值。 r（W）是權(quán)重衰減相（weight＿de?cay），為了減弱過(guò)擬合現(xiàn)象。有了loss函數(shù)后，就可以迭代地求解loss和梯度來(lái)優(yōu)化這個(gè)問(wèn)題。在神經(jīng)網(wǎng)絡(luò)中，用forward pass來(lái)求解loss，用back?ward pass來(lái)求解梯度。

本文的梯度求解方法采用了隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD），SGD 在通過(guò)負(fù)梯度L（W）和上一次的權(quán)重更新值Vt的線性組合來(lái)更新 W，迭代公式如式（5） ～ （6）所示［16］：

其中，α是負(fù)梯度的學(xué)習(xí)率（base＿lr），μ是上一次梯度值的權(quán)重（momentum），用來(lái)加權(quán)之前梯度方向?qū)ΜF(xiàn)在梯度下降方向的影響。這兩個(gè)參數(shù)需要通過(guò)tuning來(lái)得到最好的結(jié)果，一般是根據(jù)經(jīng)驗(yàn)設(shè)定的。t表示當(dāng)前的迭代次數(shù)。學(xué)習(xí)率的調(diào)節(jié)方法選擇step均勻分布策略，該方法能使網(wǎng)絡(luò)前期快速地收斂，后期減小震蕩，趨于穩(wěn)定。其計(jì)算公式如式（7）所示：

其中，α0表示初始學(xué)習(xí)率，γ為調(diào)節(jié)參數(shù)，一般設(shè)置為0.1，s表示調(diào)節(jié)學(xué)習(xí)率的迭代長(zhǎng)度，即當(dāng)當(dāng)前迭代次數(shù)t達(dá)到s的整數(shù)倍時(shí)，進(jìn)行學(xué)習(xí)率的調(diào)節(jié)。

4 驗(yàn)證試驗(yàn)

4.1 手勢(shì)數(shù)據(jù)庫(kù)

依據(jù)上述設(shè)計(jì)的并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別方法，在ASL數(shù)據(jù)集上對(duì)8種空間人機(jī)交互手勢(shì)進(jìn)行識(shí)別，ASL數(shù)據(jù)集如圖5所示，其中粗方框中為選擇的空間人機(jī)交互手勢(shì)數(shù)據(jù)集。每個(gè)手勢(shì)包含5000個(gè)樣本圖片，其中2500張 RGB圖片，2500張深度圖片，分別由5個(gè)人在不同的背景和不同光照之下完成。則實(shí)際的手勢(shì)圖片樣本經(jīng)過(guò)鏡像處理可得到共80 000張圖片，選取其中的60 000張作為訓(xùn)練樣本，剩余20 000張作為測(cè)試樣本。圖片經(jīng)過(guò)尺寸變換、數(shù)據(jù)范圍變化和均值操作等預(yù)處理后，輸入到網(wǎng)絡(luò)。

圖5 ASL手勢(shì)數(shù)據(jù)庫(kù)Fig.5 ASL hand gesture database

4.2 試驗(yàn)平臺(tái)

物理試驗(yàn)采用FT?200小型氣浮平臺(tái)模擬月面六分之一重力環(huán)境，在大理石平臺(tái)上進(jìn)行試驗(yàn)驗(yàn)證，如圖6所示。

圖6 物理實(shí)驗(yàn)平臺(tái)Fig.6 Physical experiment platform

試驗(yàn)的硬件設(shè)備選擇 Intel Core i5?6400 CPU，NVIDIA GeForce GTX 1060 6 GB GDDR5，16 GB內(nèi)存。試驗(yàn)在Ubuntu 14.04 64bit OS系統(tǒng)環(huán)境下的Caffe開(kāi)發(fā)環(huán)境進(jìn)行。

4.3 試驗(yàn)結(jié)果及分析

按照上述網(wǎng)絡(luò)結(jié)構(gòu)，分別采用RGB?CNN網(wǎng)絡(luò)、Depth?CNN網(wǎng)絡(luò)和兩個(gè)子網(wǎng)絡(luò)并聯(lián)的RGBD?CNN網(wǎng)絡(luò)在ASL數(shù)據(jù)集上對(duì)上述8種空間人機(jī)交互手勢(shì)進(jìn)行靜態(tài)手勢(shì)識(shí)別試驗(yàn)，可獲得關(guān)于三種網(wǎng)絡(luò)的訓(xùn)練誤差、測(cè)試誤差和測(cè)試準(zhǔn)確率的數(shù)據(jù)，如圖7～圖9所示。

圖7 訓(xùn)練誤差對(duì)比圖Fig.7 The comparison of training errors

圖8 測(cè)試誤差對(duì)比圖Fig.8 The comparison of test errors

圖9 測(cè)試準(zhǔn)確率對(duì)比圖Fig.9 The comparison of test accuracies

圖7 為三種網(wǎng)絡(luò)的訓(xùn)練誤差對(duì)比圖，從圖中可以看出，三種網(wǎng)絡(luò)的訓(xùn)練誤差最終都趨于0。圖8為三種網(wǎng)絡(luò)的測(cè)試誤差對(duì)比圖，RGB?CNN網(wǎng)絡(luò)的測(cè)試誤差趨于 0.356，Depth?CNN 網(wǎng)絡(luò)的測(cè)試誤差趨于1.071，RGBD?CNN網(wǎng)絡(luò)的測(cè)試誤差趨于0.331。三種網(wǎng)絡(luò)的測(cè)試準(zhǔn)確率如圖9和表2所示，RGB?CNN網(wǎng)絡(luò)的測(cè)試準(zhǔn)確率趨于90.3%，Depth?CNN 網(wǎng)絡(luò)的準(zhǔn)確率趨于 81.4%，RGBD?CNN網(wǎng)絡(luò)的測(cè)試準(zhǔn)確率趨于93.3%。因此可知，本文所設(shè)計(jì)的并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相較于傳統(tǒng)的RGB卷積神經(jīng)網(wǎng)絡(luò)和深度卷積神經(jīng)網(wǎng)絡(luò)，在靜態(tài)手勢(shì)識(shí)別任務(wù)的準(zhǔn)確率上具有一定的優(yōu)勢(shì)。

表2 網(wǎng)絡(luò)測(cè)試準(zhǔn)確率對(duì)比Table 2 The comparison of test accuracies

除此之外，本文還將提出的并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)方法的試驗(yàn)結(jié)果與 Pugeault［17］和 K.Otiniano［18］提出方法的試驗(yàn)結(jié)果進(jìn)行了對(duì)比，如表3所示。

表3 網(wǎng)絡(luò)測(cè)試準(zhǔn)確率對(duì)比Table 3 The comparison of test accuracies

三種方法均采用ASL數(shù)據(jù)集，且均使用了RGB圖像和深度圖像融合的方法。從表3可以看出，本文所提出的并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)方法實(shí)驗(yàn)的準(zhǔn)確率要高于Pugeault和K.Otiniano等學(xué)者提出方法的準(zhǔn)確率。因此本文提出的方法對(duì)于靜態(tài)手勢(shì)識(shí)別準(zhǔn)確率的提高有很好的效果。

在月面探測(cè)的人機(jī)交互過(guò)程包括艙內(nèi)裸手操作和艙外佩戴航天服手套的操作，而上述試驗(yàn)的ASL數(shù)據(jù)庫(kù)只有裸手圖片。為了進(jìn)一步實(shí)現(xiàn)手勢(shì)識(shí)別方法對(duì)于月面探測(cè)過(guò)程中人機(jī)交互的應(yīng)用，本文自制了一套小型空間人機(jī)交互手勢(shì)數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)由6名不同的工作人員佩戴航天員手套錄制而成，分別對(duì)每位工作人員采集本文中8種不同的手勢(shì)，共1000張手勢(shì)圖像。則該數(shù)據(jù)庫(kù)共6000張帶有航天服手套的手勢(shì)圖像，如圖10所示。將其中3000張?jiān)黾拥接?xùn)練數(shù)據(jù)中，另外3000張?jiān)黾拥綔y(cè)試數(shù)據(jù)中，采用本文提出的并聯(lián)RGBD?CNN網(wǎng)絡(luò)進(jìn)行重新測(cè)試，測(cè)試準(zhǔn)確率為92.8%，對(duì)一幅圖片的平均識(shí)別時(shí)間是26.3 ms，滿足實(shí)時(shí)性?？勺C明本文提出的靜態(tài)手勢(shì)識(shí)別方法對(duì)于月面探測(cè)的空間人機(jī)交互應(yīng)用的可行性。

圖10 空間人機(jī)交互手勢(shì)數(shù)據(jù)集Fig.10 Hand gestures database of space human?ro?bot interaction

5 結(jié)論

1）本文設(shè)計(jì)了一種并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將RGB子網(wǎng)絡(luò)和深度子網(wǎng)絡(luò)并聯(lián)，將各自的預(yù)測(cè)結(jié)果進(jìn)行融合，得到最終的手勢(shì)語(yǔ)義預(yù)測(cè)結(jié)果。

2）設(shè)計(jì)了含有八種手勢(shì)的空間人機(jī)交互手勢(shì)集，并自制了數(shù)據(jù)庫(kù)。

3）試驗(yàn)結(jié)果顯示，設(shè)計(jì)的并聯(lián)網(wǎng)絡(luò)能夠提高手勢(shì)的語(yǔ)義識(shí)別率。

4）本文方法能夠保證月面探測(cè)聯(lián)合任務(wù)更加順利的進(jìn)行。

［ 1 ］ Fong T，Nourbakhsh I.Interaction challenges in human?robot space exploration ［J］.Interactions， 2005， 12（2）： 42?45.

［ 2 ］ Liu Jinguo， Luo Yifan， Ju Zhaojie.An interactive astronaut?robot system with gesture control［J］.Computational Intelli?gence and Neuroscience， 2016，2016：314?325.

［3］ Wolf M T，Assad C，Stoica A.Decoding static and dynamic arm and hand gestures from the JPL BioSleeve ［C］／／Pro?ceedings of the IEEE Aerospace Conference， MT， USA，2013：1302?1310.

［4］ Yamashita T，Watasue T.Hand posture recognition based on bottom?up structured deep CNN with curriculum learning［C］ ／／2014 IEEE International Conference on Image Process?ing （ICIP），Paris， France， 2014：853?857.

［5］ Pisharady P K，Saerbeck M.Recent methods and databases in vision?based hand gesture recognition： a review ［J］.Com?put.Vis.Image Underst， 2015， 141： 152?165.

［ 6 ］ Hasan H， Abdul?Kareem S.Human?computer interaction u?sing vision?based hand gesture recognition systems： a survey［J］.Neural Comput.Appl.，2014， 25（2）： 251?261.

［ 7 ］ Molchanov P， Mello SD， Kim K，et al.Hand gesture recog?nition with 3D convolutional neural networks［C］／／Proceed?ings of the IEEE Computer Vision and PatternRecognition，Boston， USA，2015：384?391.

［ 8 ］ Nagi J， Ducatelle F， Caro G D， et al.Max?pooling convolu?tional neural networks for vision?based hand gesture recogni?tion ［C］ ／／Proceedings of the 2011 IEEE International Con?ference on Signal and Image Processing Applications （ICSI?PA），Kuala Lumpur， Malaysia，2011：342?347.

［ 9 ］ Gao Qing， Liu Jinguo， Tian Tongtong， et al.Free?flying dy?namics and control of an astronaut assistant robot based on fuzzy sliding mode algorithm ［J］.Acta Astronautica， 2017，138：467?474.

［10］ Liu Jinguo， Gao Qing， Liu Zhiwei，et al.Attitude control for astronaut assisted robot in the space station ［J］.International Journal of Control， Automation and Systems （IJCAS），2016，14（4）：1082?1095.

［11］ Gattupalli S， Ghaderi A， Athitsos V.Evaluation of deep learning based pose estimation for sign language recognition［C］ ／／9th ACM International Conference on PErvasive Tech?nologies Related to Assistive Environments，Greece2016：12?19.

［12］ Ju Zhaojie， Gao Dongxu， Cao Jiangtao，et al.A novel approach to extract hand gesture feature in depth images ［J］.Multimedia Tools and Applications，2015， 75（19）：11929?11943.

［13］ Ju Zhaojie， Wang Yuehui， Zeng Wei，etal.A modified EM algorithm for hand gesture segmentation in RGB?D data［C］／／IEEE World Congress on Computational Intelligence，Beijing， China， 2014： 1736?1742.

［14］ Ciresan D， Meier U， Schmidhuber J.Multi?column deep neu?ral networks for image classification［C］／／Proceedings of the CVPR，Providence， USA， 2012：3642?3649.

［15］ Lin H I， Hsu M H， Chen WK.Human hand gesture recogni?tion using a convolution neural network ［C］ ／／2014 IEEE In?ternational Conference on Automation Science and Engineer?ing （CASE）， Taipei， Taiwan，2014： 1038?1043.

［16］ Le Cun Y，Bengio Y，Hinton G.Deep learning［J］.Nature，2015， 521：436?444.

［17］ Pugeault N， Bowden R.Spelling it out： real?time ASL finger spelling recognition ［C］ ／／Proceedings of the IEEE Interna?tional Conference on Computer Vision Workshops（ICCV Workshops），Barcelona， Spain，2011：1114?1119.

［18］ Odriguez K O，Chavez G C.Finger spelling recognition from RGB?D information using kernel descriptor ［C］ ／／Proceed?ings of the26th SIB?GRAPI?Conferenceon Graphics， Patterns and Images （SIBGRAPI），Arequipa， Peru， 2013：1?7.