基于Leap Motion的動(dòng)態(tài)手勢(shì)識(shí)別方法①

高 宇，何小海，吳曉紅，王正勇，張?jiān)?/p>

1(四川大學(xué) 電子信息學(xué)院 圖像信息研究所，成都 610065)

2(成都西圖科技有限公司，成都 610065)

隨著計(jì)算機(jī)、虛擬現(xiàn)實(shí)等各方面技術(shù)的顯著進(jìn)步，人機(jī)交互技術(shù)在虛擬現(xiàn)實(shí)中扮演的角色地位逐漸提升[1].人們不僅對(duì)人機(jī)交互的實(shí)時(shí)性、識(shí)別率等標(biāo)準(zhǔn)的要求愈發(fā)嚴(yán)苛，而且提出人機(jī)交互方式更簡(jiǎn)單、準(zhǔn)確率更高和參與性更強(qiáng)的發(fā)展需求[2].手勢(shì)作為一種變化方式和表達(dá)含義都很豐富的肢體語(yǔ)言，自然成為人機(jī)交互的一種重點(diǎn)媒介.

手勢(shì)識(shí)別有動(dòng)態(tài)手勢(shì)識(shí)別和靜態(tài)手勢(shì)識(shí)別，相較于靜態(tài)手勢(shì)識(shí)別而言，動(dòng)態(tài)手勢(shì)識(shí)別特點(diǎn)在于跟蹤目標(biāo)伴隨時(shí)間和空間的改變而產(chǎn)生形態(tài)和運(yùn)動(dòng)軌跡的變化.動(dòng)態(tài)手勢(shì)識(shí)別一般分為特征數(shù)據(jù)采集、手勢(shì)模型訓(xùn)練和手勢(shì)分類識(shí)別3 個(gè)步驟[3].其中，手勢(shì)模型的訓(xùn)練和建立是至關(guān)重要的一步.選擇不同手勢(shì)之間區(qū)分度較大的特征參與手勢(shì)模型的訓(xùn)練，才能準(zhǔn)確建立出相似手勢(shì)的不同手勢(shì)模型.張琪祥利用掌心位移、掌心法向量、掌心球半徑和五指伸展程度作為特征訓(xùn)練HMM 手勢(shì)模型[4]，但是一些相似手勢(shì)的識(shí)別率差強(qiáng)人意；Lu W 等人選取相鄰指尖距離、指尖梯度和五指分開度作為特征進(jìn)行手勢(shì)模型訓(xùn)練[5]，然而對(duì)相似單指動(dòng)態(tài)手勢(shì)的識(shí)別不夠理想.針對(duì)以上識(shí)別率不足的問(wèn)題，提出在特征數(shù)據(jù)的提取中不僅提取掌心位移、掌心法向量、掌心球半徑和手指伸展程度，而且加入掌心位移向量角度的提取，并且在進(jìn)行HMM手勢(shì)模型訓(xùn)練的過(guò)程中將拐點(diǎn)判定計(jì)數(shù)也作為手勢(shì)的特征參與訓(xùn)練，建立更準(zhǔn)確的手勢(shì)模型，提升手勢(shì)識(shí)別的準(zhǔn)確率.

1 Leap Motion 簡(jiǎn)介

動(dòng)態(tài)手勢(shì)識(shí)別中手部會(huì)根據(jù)時(shí)間和空間的改變而產(chǎn)生手勢(shì)和運(yùn)動(dòng)軌跡的變化.提取用于手勢(shì)模型訓(xùn)練的特征量需要能以高精度追蹤到掌心、關(guān)節(jié)、指尖等的位置信息和手指手掌的方向向量及法向量信息，得到針對(duì)手部特征信息的描述.Leap Motion 作為一種新型傳感器，能夠檢測(cè)出手部更細(xì)微的動(dòng)作變化、提取出更詳細(xì)的手部信息，動(dòng)態(tài)手勢(shì)在Leap Motion 的跟蹤下具有清楚的運(yùn)動(dòng)特征.

如圖1所示，Leap Motion 主要由2 個(gè)攝像頭和3 個(gè)紅外LED 構(gòu)成，鑒于使用紅外檢測(cè)目標(biāo)手部的特點(diǎn)，不易受外界條件的干擾，能夠采集到超低噪聲的幀圖像便于后續(xù)的數(shù)據(jù)處理[6].Leap Motion 對(duì)手部運(yùn)動(dòng)的追蹤頻率可達(dá)到每秒200 幀，能夠?qū)崿F(xiàn)精度高達(dá)0.01 mm 的追蹤，可追蹤空間呈一個(gè)塔尖在設(shè)備中心的倒四棱錐型體，范圍大約在設(shè)備前方25-600 mm，并且擁有150°的圓形空間視場(chǎng).Leap Motion 將能夠采集到的數(shù)據(jù)封裝在每一幀當(dāng)中，每幀數(shù)據(jù)均有一個(gè)跟蹤數(shù)據(jù)列表，包含目標(biāo)手及其組成部分等，也包含識(shí)別出的手勢(shì)和發(fā)生在跟蹤范圍內(nèi)運(yùn)動(dòng)因素的描述[7].本文從幀中提取深度信息，然后利用預(yù)處理后的特征數(shù)據(jù)進(jìn)行手勢(shì)模型的訓(xùn)練和未知手勢(shì)的識(shí)別.

圖1 Leap Motion 結(jié)構(gòu)示意圖

2 動(dòng)態(tài)手勢(shì)特征的提取和預(yù)處理

Leap Motion 跟蹤目標(biāo)手得到的幀數(shù)據(jù)中包含PLAM、HAND 等對(duì)象，其中PLAM 對(duì)象中包含掌心法向量、手指方向向量和掌心坐標(biāo)等數(shù)據(jù)，HAND 對(duì)象中包含手指伸展程度等數(shù)據(jù).經(jīng)典手勢(shì)識(shí)別方法中通過(guò)從幀數(shù)據(jù)中提取或計(jì)算的特征有：掌心位移、掌心法向量、掌心球半徑、手勢(shì)速度、手指伸展程度、手指分開度和運(yùn)動(dòng)方向變化率等.由于一些動(dòng)作類似手勢(shì)的以上特征也非常相似，所以導(dǎo)致識(shí)別率差強(qiáng)人意.經(jīng)過(guò)對(duì)相似手勢(shì)分析和調(diào)研，手勢(shì)位移向量角度和拐點(diǎn)的判定計(jì)數(shù)在相似手勢(shì)中區(qū)分度較大，故本文動(dòng)態(tài)手勢(shì)識(shí)別方法中添加提取以上兩種特征.其中掌心球半徑、掌心法向量和手指伸展程度均可從Leap Motion 采集到的幀數(shù)據(jù)中直接得出.而剩余的掌心位移、手勢(shì)位移向量角度、手勢(shì)速度、拐點(diǎn)判定計(jì)數(shù)和運(yùn)動(dòng)方向變化率則需要通過(guò)一定的計(jì)算處理之后才能得出.

2.1 經(jīng)典特征提取

動(dòng)態(tài)手勢(shì)識(shí)別方法中提取的經(jīng)典手勢(shì)特征包含掌心位移、手勢(shì)速度和運(yùn)動(dòng)方向變化率等.

(1) 掌心位移數(shù)據(jù)的獲取

從一個(gè)時(shí)刻起，到另一個(gè)時(shí)刻止，兩個(gè)時(shí)刻追蹤目標(biāo)手的掌心坐標(biāo)之間的歐氏距離即為掌心位移.計(jì)算過(guò)程如下：

其中，P為掌心位移，(xi,yi,zi) 為掌心在i時(shí)刻的空間坐標(biāo)，(xc,yc,zc)為 掌心在c時(shí)刻的空間坐標(biāo).

(2) 手勢(shì)速度的獲取

速度特征能夠體現(xiàn)出手勢(shì)運(yùn)動(dòng)的快慢，且在本文中速度特征還作為判定手勢(shì)運(yùn)動(dòng)開始、結(jié)束以及運(yùn)動(dòng)拐點(diǎn)的標(biāo)準(zhǔn)之一.因?yàn)長(zhǎng)eap Motion 的追蹤頻率能夠達(dá)到200 幀/秒，所以本文中把每?jī)蓭膸g速率近似為瞬時(shí)速率，手勢(shì)在第i幀的速率計(jì)算如下：

其中，T為幀間時(shí)間差.當(dāng)手勢(shì)速度大于閾值 σ時(shí)滿足開始采集手勢(shì)的速度條件，小于閾值 σ時(shí)則滿足停止手勢(shì)采集的速度條件.

(3) 運(yùn)動(dòng)方向變化率的獲取

獲取運(yùn)動(dòng)方向變化率是為能夠區(qū)分出由于拐點(diǎn)造成的速度低于閾值和手勢(shì)停止時(shí)速度低于閾值這兩種情況，避免發(fā)生誤判.運(yùn)動(dòng)方向變化率需要從幀數(shù)據(jù)中提取出掌心的空間坐標(biāo)(xt,yt,zt)，根據(jù)如下公式：

可求出x在單位時(shí)間t內(nèi)于y軸上的手勢(shì)運(yùn)動(dòng)方向θxy，用同等方法也可求出θxz和θzy.

2.2 新特征提取

本文方法中，為提升動(dòng)作類似的手勢(shì)識(shí)別率，加入新特征拐點(diǎn)的判定計(jì)數(shù)和手勢(shì)位移向量角度的提取，提升相似手勢(shì)的區(qū)分度，建立更準(zhǔn)確的手勢(shì)模型.

(1) 拐點(diǎn)的判定及計(jì)數(shù)的獲取

由于手勢(shì)位于拐點(diǎn)處附近時(shí)速度是先降低后升高，所以得出當(dāng)瞬時(shí)速率為0 的某一時(shí)刻Ti，通過(guò)判斷該時(shí)間段內(nèi)手勢(shì)序列中前后兩端速率滿足：

式中，τ取0.5，判定該點(diǎn)為手勢(shì)運(yùn)動(dòng)的拐點(diǎn)位置.

單指手勢(shì)的傳統(tǒng)特征掌心位移、掌心法向量等由于手勢(shì)的隨機(jī)性容易發(fā)生局部相似或者整體相似的情況.

但是如圖2所示，它們的拐點(diǎn)存在情況和數(shù)目有明確的差別.單指畫叉和單指畫三角形雖然有可能拐點(diǎn)數(shù)目相同，但是結(jié)合掌心位移等特征也能明確的區(qū)分.故在判定出一個(gè)拐點(diǎn)后并對(duì)拐點(diǎn)計(jì)數(shù)作加1 操作，以此為特征提升相似手勢(shì)的區(qū)分度.

(2) 手勢(shì)位移向量角度的獲取

通過(guò)獲取掌心在手勢(shì)運(yùn)動(dòng)的開始位置和停止位置的空間坐標(biāo)(xo,yo,zo) 和(xs,ys,zs)，則手勢(shì)位移向量計(jì)算如下：

圖2 單指手勢(shì)指尖軌跡示意圖

如圖3中所示，向上劃和向后劃、向下劃和向前劃分別為兩對(duì)相似手勢(shì)，每對(duì)相似手勢(shì)由于手部運(yùn)動(dòng)的不規(guī)則性均有可能出現(xiàn)掌心位移、掌心球半徑、五指伸展程度、五指分開度和經(jīng)典特征等相似的情況，造成手勢(shì)識(shí)別混亂的結(jié)果.但是手勢(shì)位移向量角度在這些相似手勢(shì)中有明顯的差別，經(jīng)過(guò)分析實(shí)驗(yàn)得出結(jié)果如表1所示.故添加此特征的提取有助于提升手勢(shì)識(shí)別率.

圖3 手勢(shì)位移向量角度

3 基于HMM 模型的動(dòng)態(tài)手勢(shì)識(shí)別

3.1 基于HMM 模型的動(dòng)態(tài)手勢(shì)識(shí)別的原理

基于HMM 的動(dòng)態(tài)手勢(shì)識(shí)別流程如圖4所示，首先用Leap Motion 采集訓(xùn)練數(shù)據(jù)集并從中提取出需要的特征數(shù)據(jù)，然后對(duì)提取數(shù)據(jù)進(jìn)行預(yù)處理，再將處理好的數(shù)據(jù)用于訓(xùn)練動(dòng)態(tài)手勢(shì)HMM 模型，模型訓(xùn)練完成后即可對(duì)未知手勢(shì)進(jìn)行識(shí)別.

隱馬爾科夫模型(HMM) 是被Baum LE 等人在20世紀(jì)60年代提出的一種具有馬爾科夫性質(zhì)的統(tǒng)計(jì)模型.一個(gè)完整的HMM 由 (π,A,B,S,V)五種參數(shù)構(gòu)成，其中 π表示隱含狀態(tài)的初始分布概率，A是隱含狀態(tài)轉(zhuǎn)移矩陣，B則代表觀測(cè)狀態(tài)發(fā)生的概率矩陣，S是隱含狀態(tài)集合，V是觀測(cè)狀態(tài)集合.其中B、V組成的觀測(cè)狀態(tài)隨機(jī)輸出過(guò)程和 π 、A、S組成的隱含狀態(tài)隨機(jī)轉(zhuǎn)移過(guò)程構(gòu)成HMM 的雙重隨機(jī)性[8].HMM 模型的應(yīng)用中主要需解決的3 類問(wèn)題有：

圖4 動(dòng)態(tài)手勢(shì)識(shí)別流程圖

(1) 評(píng)價(jià)問(wèn)題：在已知參數(shù)λ =(π,A,B,S,V)和觀測(cè)狀態(tài)序列O的條件下，計(jì)算出全部模型的輸出概率P(O|λ).

(2) 解碼問(wèn)題：在已知參數(shù)λ =(π,A,B,S,V)和觀測(cè)狀態(tài)序列O的條件下，求出與觀測(cè)序列O匹配度最高的隱藏狀態(tài)序列Q.

(3) 學(xué)習(xí)問(wèn)題：觀測(cè)狀態(tài)序列O已知的條件下，通過(guò)反復(fù)訓(xùn)練和迭代得出使P(O|λ)最 大的模型參數(shù) λ.

HMM 模型在時(shí)序信號(hào)的處理上表現(xiàn)突出，已經(jīng)廣泛被運(yùn)用于語(yǔ)音識(shí)別等范疇中[9].由于語(yǔ)音序列和動(dòng)態(tài)手勢(shì)序列類似程度頗高，因此動(dòng)態(tài)手勢(shì)識(shí)別領(lǐng)域也愈加頻繁的使用HMM 模型參與研究.基于HMM 的動(dòng)態(tài)手勢(shì)識(shí)別中需解決的問(wèn)題主要是學(xué)習(xí)問(wèn)題和評(píng)價(jià)問(wèn)題，動(dòng)態(tài)手勢(shì)識(shí)別中通過(guò)訓(xùn)練而建立每一個(gè)手勢(shì)模型的過(guò)程即為解決HMM 中的學(xué)習(xí)問(wèn)題的過(guò)程，評(píng)價(jià)問(wèn)題的解決即通過(guò)得到的手勢(shì)觀測(cè)狀態(tài)序列而判斷出該手勢(shì)屬于哪一個(gè)模型.

本文中解決HMM 學(xué)習(xí)問(wèn)題時(shí)選擇Baum-Welch算法[10]來(lái)求解最優(yōu)模型參數(shù) λ，λ的求取過(guò)程即動(dòng)態(tài)手勢(shì)模型的訓(xùn)練過(guò)程.在得到觀測(cè)序列即得到特征向量時(shí)，通過(guò)反復(fù)迭代計(jì)算并更新模型參數(shù)直到滿足式(7) 為止得到最優(yōu)模型參數(shù)，其中和為相鄰兩次迭代的結(jié)果.

本文中解決HMM 評(píng)價(jià)問(wèn)題選擇前向算法[11]，評(píng)價(jià)問(wèn)題的處理過(guò)程和結(jié)果即為對(duì)未知?jiǎng)討B(tài)手勢(shì)的識(shí)別過(guò)程和手勢(shì)識(shí)別結(jié)果.在經(jīng)過(guò)手勢(shì)模型的訓(xùn)練階段，已經(jīng)得出每個(gè)手勢(shì)模型的最優(yōu)模型參數(shù) λ.前向算法從未知手勢(shì)觀測(cè)序列O中提取特征量，然后計(jì)算出特征向量與每個(gè)HMM 的匹配概率，選擇匹配概率P(O|λ)最大的手勢(shì)模型作為識(shí)別結(jié)果.

3.2 結(jié)合新特征的實(shí)驗(yàn)分析

為檢驗(yàn)出加入新特征后的手勢(shì)識(shí)別方法的效果，實(shí)驗(yàn)設(shè)計(jì)單指畫圈、單指畫叉、單指畫三角形三種單指手勢(shì)運(yùn)動(dòng)，此類手勢(shì)為食指向前舒展，其余手指握緊；向左劃、向右劃、向前劃、向后劃、向上劃、向下劃六種手勢(shì)運(yùn)動(dòng)選自文獻(xiàn)[4]，此類手勢(shì)運(yùn)動(dòng)均為五指伸展，且運(yùn)動(dòng)時(shí)掌心方向與運(yùn)動(dòng)方向相同進(jìn)行劃動(dòng).文獻(xiàn)[4]方法對(duì)每種手勢(shì)采集的樣本數(shù)據(jù)包括掌心位移、掌心球半徑、掌心法向量、五指伸展程度；文獻(xiàn)[5]采集的特征數(shù)據(jù)包括相鄰指尖距離、指尖梯度和五指分開度；而加入新特征后的方法中的樣本數(shù)據(jù)包括掌心位移、掌心球半徑、掌心法向量、拐點(diǎn)的判定及計(jì)數(shù)、位移向量角度和運(yùn)動(dòng)方向變化率.實(shí)驗(yàn)分別對(duì)每種手勢(shì)采集特征數(shù)據(jù)樣本，通過(guò)加載同一手勢(shì)下特征數(shù)據(jù)樣本訓(xùn)練得到9 種HMM 手勢(shì)模型，最后通過(guò)各個(gè)模型對(duì)未知樣本的評(píng)價(jià)來(lái)判斷對(duì)每個(gè)模型的匹配率，選擇與待測(cè)樣本具有最高匹配率的模型作為識(shí)別結(jié)果.

實(shí)驗(yàn)數(shù)據(jù)的錄制采樣由4 人完成，每個(gè)人對(duì)每種手勢(shì)進(jìn)行40 組采樣.每組手勢(shì)的160 組樣本數(shù)據(jù)按照3∶1 比例隨機(jī)分成120 組數(shù)據(jù)作為HMM 模型的訓(xùn)練數(shù)據(jù)和40 組數(shù)據(jù)作為HMM 模型的測(cè)試數(shù)據(jù).以上述方式進(jìn)行5 次交叉實(shí)驗(yàn)，取識(shí)別率的平均值作為最終結(jié)果.實(shí)驗(yàn)主要對(duì)比本文方法和文獻(xiàn)[4]、文獻(xiàn)[5]的方法，得出實(shí)驗(yàn)結(jié)果如表2所示.

表2 HMM 手勢(shì)模型識(shí)別結(jié)果

由表2可以得出，對(duì)于參與實(shí)驗(yàn)的9 組手勢(shì)，文獻(xiàn)[4]方法中近似的手勢(shì)之中有一組識(shí)別率較高而剩余的一組或兩組識(shí)別率較低.如單指畫圈、單指畫叉和單指畫三角形為近似手勢(shì)，單指畫圈的識(shí)別率較高而其余兩組的識(shí)別率略顯不足.分析可得就文獻(xiàn)[4]的方法而言，單指畫叉和單指畫三角形本身就與單指畫圈整體類似或者局部類似，導(dǎo)致一些單指畫叉和單指畫三角形的手勢(shì)被誤判成單指畫圈的手勢(shì).文獻(xiàn)[5]方法在單指近似手勢(shì)中表現(xiàn)略比文獻(xiàn)[4]的方法更好，但是其余的相似手勢(shì)識(shí)別率依舊不夠理想.分析可得文獻(xiàn)[5]主要提取的特征量基本代表手指之間的相對(duì)特征，而后6 組實(shí)驗(yàn)手勢(shì)手掌姿態(tài)均保持高度相似所以導(dǎo)致此類相似手勢(shì)識(shí)別率較低.在本文方法中加入拐點(diǎn)的判定計(jì)數(shù)使單指相似手勢(shì)能夠區(qū)分開，如單指畫圈就沒(méi)有拐點(diǎn)，而單指畫叉和單指畫三角形的拐點(diǎn)數(shù)均在2 個(gè)及以上.同一類型中相似手勢(shì)的位移向量角度均有較大的差異，所以加入位移向量角度作為特征量，突出相似手勢(shì)的不同點(diǎn)，使識(shí)別率提升.從實(shí)驗(yàn)結(jié)果中能夠總結(jié)出：由于錄制實(shí)驗(yàn)數(shù)據(jù)時(shí)極少的誤差對(duì)于本文方法提出的新特征判定的影響大于對(duì)文獻(xiàn)[4]和文獻(xiàn)[5]的影響，故一些手勢(shì)的識(shí)別率略低于文獻(xiàn)[4]、文獻(xiàn)[5]的方法，但差異范圍低于1%且仍舊表現(xiàn)出較高的識(shí)別率.而對(duì)于文獻(xiàn)[4]、文獻(xiàn)[5]方法中識(shí)別率較低的手勢(shì)，本文方法識(shí)別率均有3%-8%的提升.總體而言，平均識(shí)別率由89.48%和89.85%提升至92.30%，且本文方法的一組數(shù)據(jù)平均訓(xùn)練時(shí)間為0.79 s，相較于文獻(xiàn)[4]和文獻(xiàn)[5]的0.69 s 和0.71 s 并未增加過(guò)多，即本文方法在保障工作效率的前提下使識(shí)別率提升，可見本文方法的有效性.

4 結(jié)束語(yǔ)

Leap Motion 的出現(xiàn)使HMM 模型在基于時(shí)序序列的模式識(shí)別領(lǐng)域內(nèi)具有更好的應(yīng)用前景，本文討論了基于HMM 模型的動(dòng)態(tài)手勢(shì)識(shí)別的研究現(xiàn)狀，根據(jù)對(duì)現(xiàn)存且具有代表性的基于HMM 的動(dòng)態(tài)手勢(shì)識(shí)別方法進(jìn)行優(yōu)劣分析，通過(guò)在模型訓(xùn)練的過(guò)程中添加拐點(diǎn)的判定計(jì)數(shù)和位移向量角度這兩個(gè)特征，使相似手勢(shì)的區(qū)分識(shí)別率提升，進(jìn)而提升手勢(shì)識(shí)別的整體識(shí)別率.