基于LeapMotion 的數(shù)字手勢識別

林書坦　尹長青

摘要：虛擬現(xiàn)實技術(shù)隨著體感交互設(shè)備的不斷更新而取得了快速的發(fā)展。LeapMotion控制器是近兩年新推向市場的專精于捕獲手部信息的高精度體感交互設(shè)備，已經(jīng)被大量應(yīng)用于游戲程序和項目演示領(lǐng)域。中國特有的數(shù)字手勢在國內(nèi)項目演示中可作為控制選項的選擇輸入。通過分析LeapMotion探測并建立的手部模型，匹配手勢的識別特征來判定用戶所指示的數(shù)字。實驗結(jié)果證明，提取的特征總體識別程度高、效果好，但對于稍復(fù)雜的手勢識別度仍有待加強(qiáng)。

關(guān)鍵詞：手勢識別；LeapMotion；體感交互

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）35-0108-02

Abstract： With rapid development of human interaction devices， virtual reality technology is rising quickly. LeapMotion controller is launched to the market in last two years specializing in capturing hands information with high precision， which has been applied in computer games and project demonstration areas. China's unique gestures for numbers can be used to choose options in domestic projects. After analyzing the hand model created by LeapMotion controller， it is feasible to recognize the number the model represents by matching certain features. The experimental results show that the extracted features are highly recognizable and effective in general， but the recognition rate is not as expected for complicated gestures.

Key words： gesture recognition； leap motion； human interaction

近年來，虛擬現(xiàn)實技術(shù)發(fā)展迅速，這與體感交互設(shè)備的發(fā)展密不可分。目前主流的交互方式還是實體按鍵（鍵盤鼠標(biāo)、遙控器、游戲手柄）和觸摸（觸摸屏幕、繪圖板）的形式。新出現(xiàn)的可穿戴式交互設(shè)備，如偵測手臂肌電信號的Myo智能臂環(huán)，Google眼鏡等大大增加了增強(qiáng)現(xiàn)實和虛擬現(xiàn)實技術(shù)的影響力[1]。另外，三維體感交互設(shè)備也不斷有突破性產(chǎn)品的出現(xiàn)，微軟最早在2010年推出的Kinect for windows能夠捕捉人體形狀、動作，識別并跟蹤面部，引發(fā)了研究和娛樂互動的一次浪潮；2012年，Leap Motion 公司推出了Leap Motion Controller小型運動控制系統(tǒng)，能夠捕捉150°視場以及約8平方英尺的交互式空間內(nèi)的多個物體，并且能夠識別出手部細(xì)節(jié)與手勢，又一次帶來了體感交互的新方式。新的體感交互方式在游戲領(lǐng)域、項目展示領(lǐng)域得到了很好的應(yīng)用。

Leap motion controller作為手部信息捕獲設(shè)備能夠以200幀/秒的速度追蹤雙手，并且達(dá)到0.01mm的識別精度[2]。Leap motion controller現(xiàn)在最主要的兩個應(yīng)用方向：一個是作為游戲交互設(shè)備增強(qiáng)虛擬現(xiàn)實感受目；另一個是作為三維演示項目的控制設(shè)備。在項目演示這一應(yīng)用中，有一種實際場景是，采用手勢代表數(shù)字完成控制項選擇。數(shù)字手勢是中國自古就有的、使用一只手就能表示一到九的數(shù)字的一種方法。因此，在許多國內(nèi)演示項目中采用這一方式，不僅符合傳統(tǒng)習(xí)慣，又能提高交互效率。

1 LeapMotion技術(shù)介紹

LeapMotion的基礎(chǔ)技術(shù)是飛行時間（Time of Flight， TOF）技術(shù)，其基本原理是測量光線的往返時間判定距離，即掃描時通過調(diào)制光脈沖并連續(xù)發(fā)送和捕獲整個場景的深度[1]。LeapMotion上裝有2個灰階攝像頭傳感器和3個紅外線LED光源，能夠一次性感知被測物體的所有像素，再對大量的像素數(shù)據(jù)進(jìn)行按預(yù)置算法處理，在三維坐標(biāo)上實時輸出手勢模型，精確地在虛擬環(huán)境中表示出現(xiàn)實人體運動情況。LeapMotion可以將手指、手掌或手臂能作為一個整體對象來追蹤捕捉[3]。

LeapMotion將采集到的手掌、手指的位置和其他信息保存在一幀（Frame）當(dāng)中，并分配唯一ID，算法通過檢測幀中數(shù)據(jù)的連續(xù)性，生成運動信息。

2 數(shù)字手勢識別

手勢識別技術(shù)的關(guān)鍵在于根據(jù)LeapMotion設(shè)備捕捉到的圖像信息，提取出關(guān)鍵特征進(jìn)行識別。圖1是數(shù)字手勢的示意圖。圖2展示了由Leap Motion所采集到的數(shù)字1-9的手勢模型的圖像，可知，不同的數(shù)字手勢所使用的手指個數(shù)、具體哪只手指都是不同的，可以以此作為手勢識別的特征。

具體的特征分析如下：

數(shù)字1，食指伸直，其他手指并攏于掌心；

數(shù)字2，食指與中指伸直，其他手指并攏于掌心；數(shù)字3，中指、無名指、小指伸直，食指與大拇指相扣成環(huán)；數(shù)字4，大拇指貼于掌心彎曲，其他手指向各自前方伸直；數(shù)字5，各手指向各自指向伸直；數(shù)字6，大拇指與小拇指伸出，其他手指并攏于掌心；數(shù)字7，大拇指、食指、中指緊挨在掌心外一點，其余手指并攏于掌心；數(shù)字8，大拇指與食指伸向各自指向，其他手指并攏于掌心；數(shù)字9，食指伸出并彎曲成勾，其他手指并攏于掌心。定義數(shù)字1、2、3、4、5、6、8的手勢為簡單手勢，數(shù)字7、9為復(fù)雜手勢。

Leap Motion能夠檢測到手部手掌、手指、關(guān)節(jié)及其相關(guān)信息，并建立在計算機(jī)中建立模型，并提供對象可直接調(diào)用。根據(jù)以下算法進(jìn)行處理：

1）獲取Frame中的手指列表（FingerList），輸入應(yīng)當(dāng)為單一只手操作，在被偵測到的手指列表中有且僅有5個手指；

2）分別計算每個手指根據(jù)手掌的方向（Direction）與指尖的方向（Direction）之間的夾角和手掌的法向量（PalmNomal）與指尖方向（Direction）指尖的夾角，判定指尖是否為用來表示數(shù)字的手指，若是，則記為有效手指，并將此手指放入檢索列表中；

3）統(tǒng)計檢索列表中手指個數(shù)，按表1劃分出5種情況，其中當(dāng)手指個數(shù)為4和5時，即可判定手勢對應(yīng)的指令數(shù)字為4或5，否則進(jìn)入（4）；

4）檢索列表中按照手指類型（FingerType）得到不同的組合：當(dāng)手指個數(shù)為1時，判斷是否為食指，若為食指，判斷指尖方向（Direction）與掌心方向（Direction）是否接近90°，若是，則判定為數(shù)字1，若不是，則判定為數(shù)字9；當(dāng)手指個數(shù)為2或3時，判斷手指類型，并根據(jù)表1中的組合得到相應(yīng)的數(shù)字。

本算法的難點在于檢索列表的建立時，手勢7和手勢9的有效手指和對應(yīng)的無效手指的區(qū)分。手勢9雖然僅使用了一根手指，但手指存在彎曲現(xiàn)象；手勢7中的3個有效手指都略微彎曲且聚集于一點。而無效手指均攥緊于掌心，與有效手指相比，其手指指向與手掌指向與手掌法向量差異較大，可先界定無效手指，將不在無效角度內(nèi)的手指標(biāo)記為有效。

3 實驗結(jié)果與分析

分別為對每種手勢采用正面、傾斜45度的兩組方式采集數(shù)據(jù)，待結(jié)果穩(wěn)定后，記錄一次，每組方式中正確手勢100次，錯誤手勢100次，統(tǒng)計程序識別的準(zhǔn)確率。

實驗結(jié)果表明，對于簡單手勢，識別正確率能夠達(dá)到90%以上，而對于復(fù)雜手勢，識別正確率偏低，數(shù)字9手勢達(dá)到85%，而手勢7只有53%。分析原因，LeapMotion對于手指重疊下的復(fù)雜情況不能準(zhǔn)確捕獲，建立的模型與實際情況存在較大偏差?？傮w而言，本文實現(xiàn)的算法能有效判斷數(shù)字手勢。

4 總結(jié)與展望

本文結(jié)合目前新型的人體交互設(shè)備LeapMotion，針對國內(nèi)項目演示中使用數(shù)字手勢作為選項控制輸入的特定應(yīng)用場景，提出了一種數(shù)字手勢識別算法，該算法通過分析LeapMotion探測并建立的手部模型提取特征，判定該手勢代表的數(shù)字。經(jīng)過驗證，算法的總體識別準(zhǔn)確率較高，但對于復(fù)雜的手勢，如數(shù)字7的手勢，由于LeapMotion本身的限制識別率較低，可進(jìn)一步研究提高算法識別率。

參考文獻(xiàn)：

[1] 周忠，周頤，肖江劍. 虛擬現(xiàn)實增強(qiáng)技術(shù)綜述[J]. 中國科學(xué)：信息科學(xué)，2015（2）：157-180.

[2] 朱鴻展，宋漢辰，吳玲達(dá)，等.基于方向鏈碼的書空手勢識別[J].中國科技論文，2014（10）：1155-1159.

[3] 黃俊，景紅. 基于Leap Motion的手勢控制技術(shù)初探[J]. 計算機(jī)系統(tǒng)應(yīng)用，2015（10）：259-263.