基于雙重優(yōu)化的連續(xù)手勢識別方法

高 暢， 蔣 浩， 毛天露， 王兆其

(1. 中國科學(xué)院計(jì)算技術(shù)研究所移動(dòng)計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室，北京 100190；2. 四川大學(xué)軟件學(xué)院，四川 成都 610225)

基于雙重優(yōu)化的連續(xù)手勢識別方法

高 暢1,2， 蔣 浩1， 毛天露1， 王兆其1

(1. 中國科學(xué)院計(jì)算技術(shù)研究所移動(dòng)計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室，北京 100190；2. 四川大學(xué)軟件學(xué)院，四川 成都 610225)

基于計(jì)算機(jī)視覺的連續(xù)手勢識別因?yàn)槠渥匀恍院捅憬菪栽诖笮突?dòng)娛樂、互動(dòng)教育等方面得到了廣泛應(yīng)用。在連續(xù)手勢識別過程中，解決手勢分割問題的已有方案多存在計(jì)算量大效率低的缺點(diǎn)；解決獨(dú)立手勢識別問題的已有方案多存在訓(xùn)練參數(shù)設(shè)定過程復(fù)雜的缺點(diǎn)。針對這兩個(gè)問題做出兩點(diǎn)優(yōu)化：其一，提出一種基于隱狀態(tài)模式歸一化的方法對連續(xù)手勢進(jìn)行分割，提高了手勢分割的效率；其二，提出一種基于參數(shù)自反饋調(diào)節(jié)的獨(dú)立手勢訓(xùn)練和識別方法，降低了獨(dú)立手勢訓(xùn)練的難度，并提高了識別的精度。實(shí)驗(yàn)證明，提出的基于雙重優(yōu)化的連續(xù)手勢識別方法與原有方法相比在精度和效率上都有較大提升。

人機(jī)交互；連續(xù)手勢識別；手勢分割；獨(dú)立手勢識別

近年來，人機(jī)交互技術(shù)快速發(fā)展，如何與計(jì)算 機(jī)進(jìn)行自然的交互已成為了研究的熱點(diǎn)。以往基于鍵盤和鼠標(biāo)的交互方式已經(jīng)十分成熟，出現(xiàn)了越來越多新穎的交互方式[1-3]如語音交互，腦機(jī)交互，手勢交互，這些新穎的交互方式更加自然、直觀，給人們帶來了更加良好地交互體驗(yàn)。其中，手勢交互技術(shù)因?yàn)槠淇旖菪院椭庇^性得到了巨大發(fā)展，也已經(jīng)在諸如大型互動(dòng)娛樂、互動(dòng)教育等方面得到了成功應(yīng)用。

手勢從運(yùn)動(dòng)特點(diǎn)出發(fā)，可以分為靜態(tài)與動(dòng)態(tài)手勢。靜態(tài)手勢是僅依靠手的外部形狀與輪廓傳遞信息的方式，被視為動(dòng)態(tài)手勢的特例；動(dòng)態(tài)手勢是指手的形狀與位置都隨時(shí)間發(fā)生變化的手勢，可表達(dá)更加豐富和準(zhǔn)確的信息，也是人們?nèi)粘Ｉ钪凶顬槌Ｓ玫慕涣鞣绞街籟4]。其中，用戶在三維空間不斷揮動(dòng)手臂，畫出圖形，計(jì)算機(jī)得到手的三維空間軌跡數(shù)據(jù)，從連續(xù)數(shù)據(jù)中自動(dòng)剔除冗余數(shù)據(jù)，實(shí)時(shí)發(fā)現(xiàn)并識別出手勢種類是一個(gè)重要問題，此問題被稱作連續(xù)手勢識別，是本文的研究對象(本文中所涉方法解決無手性變化只考慮手的空間軌跡的問題)。

一般情況下，用戶在空間做連續(xù)手勢時(shí)，并不會(huì)明確手勢的起點(diǎn)和終點(diǎn)，在做不同手勢的間隙也存在一些冗余手勢。在連續(xù)手勢識別問題中首先需要識別器剔除冗余數(shù)據(jù)，明確目標(biāo)手勢的開始和結(jié)束位置，被稱為手勢分割。在手勢分割后，識別器對分割好的手勢數(shù)據(jù)進(jìn)行識別，發(fā)出對應(yīng)指令，這個(gè)問題被稱為獨(dú)立手勢識別。這兩個(gè)問題，是連續(xù)手勢識別過程中存在的主要問題。以往的研究人員已經(jīng)對這兩個(gè)問題進(jìn)行了一些研究，也提出了一些解決策略。

在手勢分割過程中，由于數(shù)據(jù)是實(shí)時(shí)更新的，所以識別器需要循環(huán)對數(shù)據(jù)流進(jìn)行檢測，不斷判斷已接收到數(shù)據(jù)流中是否存在已定義的手勢，假如檢測到存在已定義的手勢，則對手勢進(jìn)行識別并發(fā)出指令。以往研究人員主要的思路是為已定義的獨(dú)立手勢和冗余數(shù)據(jù)分別建立模型，通過把當(dāng)前數(shù)據(jù)分別帶入這些模型，求出當(dāng)前數(shù)據(jù)與這些模型的相似度，通過比較相似度來判斷待識別的數(shù)據(jù)屬于冗余數(shù)據(jù)還是已定義的手勢。以往的研究提出了基于隱馬爾可夫模型(hidden Markov model，HMM)和閾值模型的手勢識別方法[5-8]，這種方案在解決手勢分割問題有一定效果，但由于系統(tǒng)實(shí)際運(yùn)行過程中待識別數(shù)據(jù)往往由冗余手勢和已定義手勢連接組成，此方法在處理這種情況時(shí)往往不能達(dá)到良好的效果。

在連續(xù)手勢被分割之后，需要對分割完成的獨(dú)立手勢進(jìn)行識別，在獨(dú)立手勢識別過程中，經(jīng)常會(huì)出現(xiàn)訓(xùn)練過程中不能對 HMM參數(shù)進(jìn)行合適的設(shè)置，造成識別不準(zhǔn)的問題。

針對研究過程中存在的兩個(gè)問題，本文在原有基礎(chǔ)上做出了雙重優(yōu)化：

(1) 針對連續(xù)手勢識別過程中存在的問題，提出了基于隱狀態(tài)模式歸一化的連續(xù)手勢識別方法，是指在使用HMM進(jìn)行手勢的訓(xùn)練和連續(xù)識別的過程中，均對手勢數(shù)據(jù)進(jìn)行時(shí)序上的逆序處理。經(jīng)處理后，連續(xù)手勢中的冗余數(shù)據(jù)對整體手勢的影響都被推后至末端的隱狀態(tài)，從而在識別過程中隱狀態(tài)模式歸一化為逆序手勢連接逆序冗余數(shù)據(jù)的模式。

(2) 針對獨(dú)立手勢進(jìn)行識別過程中存在的問題，本文提出了一種基于參數(shù)自反饋調(diào)節(jié)的獨(dú)立手勢訓(xùn)練和識別方法，即在訓(xùn)練過程時(shí)，系統(tǒng)會(huì)根據(jù)樣本數(shù)據(jù)進(jìn)行自反饋，不斷調(diào)節(jié)訓(xùn)練參數(shù)使其達(dá)到最佳，自動(dòng)訓(xùn)練出識別率最高的HMM。

1 相關(guān)工作

基于計(jì)算機(jī)視覺的連續(xù)動(dòng)態(tài)手勢識別主要分為人手運(yùn)動(dòng)軌跡數(shù)據(jù)收集，手勢分割，獨(dú)立手勢識別三個(gè)階段。一般人手運(yùn)動(dòng)軌跡數(shù)據(jù)收集方法主要是通過識別人手特征(手型，膚色)定位手的空間位置和通過識別手持標(biāo)志物定位手的空間位置兩種方法，在以往的研究過程中，通過這兩種方法均可以得到人手精確的軌跡數(shù)據(jù)[1]。本文中假定人手運(yùn)動(dòng)軌跡數(shù)據(jù)收集過程已經(jīng)完成，重點(diǎn)研究對象在于手勢分割和獨(dú)立手勢識別。有關(guān)手勢分割和手勢識別分割，前人主要提出了以下四種方案。

(1) 基于HMM的方法：HMM的基本理論最初提出于20世紀(jì)60年代末，它是一個(gè)雙重隨機(jī)過程，即狀態(tài)轉(zhuǎn)移隨機(jī)過程與觀測隨機(jī)過程。模型的狀態(tài)不可見，只能通過觀察序列觀測到，狀態(tài)轉(zhuǎn)移隨機(jī)過程決定了隱含狀態(tài)轉(zhuǎn)移的過程，觀測隨機(jī)過程決定了從隱含狀態(tài)到觀察序列輸出間的對應(yīng)關(guān)系?；贖MM曾有人提出了一系列連續(xù)手勢識別的解決方案[5-8]。在最初的研究過程中，相關(guān)研究人員曾試圖建立冗余手勢的HMM，使用模型就可以判斷當(dāng)前識別的數(shù)據(jù)是已定義的手勢還是冗余手勢，但冗余手勢種類繁多，此方案雖然可以達(dá)到一定效果但整體識別率不佳。Lee和 Kim[8]在此基礎(chǔ)上提出了基于HMM和閾值模型的解決方案，通過對比待識別數(shù)據(jù)在已定義手勢對應(yīng)的HMM和閾值模型的相似度關(guān)系來確定當(dāng)前待識別數(shù)據(jù)是否是已定義手勢。該方案在以往方案的基礎(chǔ)上獲得了顯著提升，但同樣存在效率不高，有時(shí)還是需要人為進(jìn)行停頓來分割手勢的缺點(diǎn)。

(2) 基于條件隨機(jī)場的方法：條件隨機(jī)場(conditional random fields，CRF)是Lafferty于2001年提出的一種判別式概率無向圖模型，主要用于標(biāo)注和切分有序數(shù)據(jù)。CRF作為一種分類方法，用于動(dòng)態(tài)手勢識別時(shí)，能很好地描述手勢序列間的依賴關(guān)系，是進(jìn)行連續(xù)手勢識別的一種有效方案。前人在此理論基礎(chǔ)上提出了一系列基于 CRF和閾值模型的方法[9-15]，有效地解決了手語識別中的手語分割問題。手語分割與連續(xù)手勢識別屬于同類問題，但基于CRF的方法大多存在訓(xùn)練過程較為復(fù)雜，訓(xùn)練比較耗時(shí)的缺點(diǎn)。

(3) 基于動(dòng)態(tài)時(shí)間規(guī)整的方法：動(dòng)態(tài)時(shí)間規(guī)整(dynamic time warping，DTW)是Sakoe提出的。由于手勢在運(yùn)動(dòng)速度上存在較大差異，導(dǎo)致手勢的采樣點(diǎn)不同，DTW 通過在時(shí)間軸上調(diào)整手勢序列以消除這種速度差異。運(yùn)用該方法調(diào)整輸入手勢的時(shí)間軸，使之非線性地映射到模板手勢的時(shí)間軸上，使得二者之間距離最小，然后再進(jìn)行模板匹配得到最終識別結(jié)果。Alon等[16]提出了基于DTW的連續(xù)手勢分割和識別框架，在連續(xù)手勢識別的問題上取得了很大進(jìn)展。但原始的基于DTW的方法大多存在識別過程比較耗時(shí)的缺點(diǎn)。

(4) 基于混合模型的解決方案：在研究過程中，一些學(xué)者發(fā)現(xiàn)使用混合模型比使用單一模型可以達(dá)到更好的效果。如王西穎等[4]提出了一種基于HMM-FNN模型的復(fù)雜動(dòng)態(tài)手勢識別方法。這種方案整合了HMM對時(shí)序數(shù)據(jù)的建模能力與模糊神經(jīng)網(wǎng)絡(luò)的模糊規(guī)則的構(gòu)建與推理能力，將其運(yùn)用到復(fù)雜手勢的識別中，取得了良好地識別效果，但使用混合模型同樣存在訓(xùn)練過程復(fù)雜，識別過程計(jì)算量大的缺點(diǎn)。

在大型互動(dòng)娛樂，互動(dòng)教育產(chǎn)品應(yīng)用過程中，多存在多人參與、多人互動(dòng)的情況，多人參與過程中仍然要求系統(tǒng)具備較高實(shí)時(shí)性和識別精度。而且為了達(dá)到更好的用戶體驗(yàn)，系統(tǒng)的訓(xùn)練學(xué)習(xí)過程應(yīng)做到簡單高效。針對此情況，選用基于HMM和閾值模型的方案，在前人研究基礎(chǔ)上做出雙重優(yōu)化，提出了一種高效和高識別精度的識別方法。

2 本文方法

2.1 方法概況

為了達(dá)到高效連續(xù)手勢識別的目的，本文在基于HMM和閾值模型思想的基礎(chǔ)上，對訓(xùn)練樣本和待識別數(shù)據(jù)進(jìn)行隱狀態(tài)模式歸一化處理，顯著提高了識別效率。為了在保證識別精度的同時(shí)降低模型訓(xùn)練的難度，本文采用了參數(shù)自反饋的模型訓(xùn)練方法。圖1為本文方法整體流程圖。

圖1 算法框架圖

基于隱狀態(tài)模式歸一化的方法主要分為離線訓(xùn)練和在線識別兩個(gè)模塊。這兩個(gè)模塊的理論基礎(chǔ)都是HMM。

在離線訓(xùn)練部分中，首先進(jìn)行的是訓(xùn)練樣本收集的過程，然后進(jìn)行特征提取，最后再使用合適的參數(shù)對HMM進(jìn)行訓(xùn)練，在訓(xùn)練過程中，可采用的是隱狀態(tài)模式歸一化后的HMM。

在實(shí)時(shí)識別過程中，在收集到實(shí)時(shí)連續(xù)數(shù)據(jù)之后，要對數(shù)據(jù)進(jìn)行相同方法的特征提取，再對隱狀態(tài)模式歸一化處理，最后代入離線模型庫得到識別結(jié)果，判斷此刻的數(shù)據(jù)是否為已定義的手勢。假如識別出已定義手勢，則給出識別結(jié)果，發(fā)出對應(yīng)指令。

自反饋的模型訓(xùn)練方法是基于一種自動(dòng)調(diào)節(jié)并設(shè)定訓(xùn)練參數(shù)的訓(xùn)練方法，此方法降低了模型訓(xùn)練過程的難度，同時(shí)相對于使用先驗(yàn)法人工設(shè)定參數(shù)的方法，具有更高地識別精度。

2.2 特征降維

當(dāng)接收到此數(shù)據(jù)后，首先需要對此數(shù)據(jù)進(jìn)行降維處理，將三維空間軌跡投影到可以有效表征手勢的二維平面，經(jīng)處理后原數(shù)據(jù)降維為（x1, y1）,（x2,y2）,… ,（xt, yt）形式，但此類數(shù)據(jù)對位置、大小敏感，會(huì)對數(shù)據(jù)的有效識別造成影響，采用經(jīng)典的求取相鄰點(diǎn)間角度正切值的方法，如圖2所示，一般選取d種角度(d一般取值為16)原數(shù)據(jù)可被轉(zhuǎn)換成Ot= (o1),(o2),… ,(ot)(1 ≤on≤d )，經(jīng)過預(yù)處理后的數(shù)據(jù)排除了手勢在空間位置和大小上的影響。

圖2 十六度特征向量圖

2.3 自反饋的手勢訓(xùn)練方法

2.3.1 實(shí)際問題描述

想要完成獨(dú)立手勢的識別，就必須先訓(xùn)練出每個(gè)手勢對應(yīng)的HMM，在識別過程中，將待識別數(shù)據(jù)代入各個(gè)模型中，然后通過比較此段數(shù)據(jù)與各個(gè)模型的相似度來判斷手勢類別。想要達(dá)到最佳的識別效果，必須正確設(shè)置訓(xùn)練時(shí)各個(gè)參數(shù)，在以往的研究中，經(jīng)常使用人工設(shè)置參數(shù)的方法進(jìn)行訓(xùn)練，該方法存在過程復(fù)雜且最終結(jié)果無法達(dá)到最佳的問題，為解決這一問題本文提出了自反饋的手勢訓(xùn)練方法。

2.3.2 模型基礎(chǔ)

在獨(dú)立手勢識別過程中使用的HMM為左右結(jié)構(gòu)，如圖3所示，這種結(jié)構(gòu)的HMM符合手勢數(shù)據(jù)具有時(shí)序性的特點(diǎn)。

圖3 左右結(jié)構(gòu)的隱馬爾可夫模型示意圖

本文中假設(shè)獨(dú)立手勢有 G種，使用g= 1,2,3,… ,G作為獨(dú)立手勢的序號。第g種手勢對應(yīng)的HMM為λg。

每個(gè)λg由 {Ng,Mg,Ag,Bg,πg(shù)}組成，其中：

Ng為隱狀態(tài)集合的隱狀態(tài)數(shù)，在此定義λg中對應(yīng)的隱狀態(tài)集合用表示；

Mg為HMM觀測值的個(gè)數(shù)，觀測值取值范圍用集合 {v1, v2, v3,… ,vd}表示；

A= {ag}(1 ≤i≤ N ,1 ≤j≤N)為N × N的狀gij態(tài)轉(zhuǎn)移概率分布矩陣，因?yàn)楸疚倪x用的HMM為左右結(jié)構(gòu)，所以模型的狀態(tài)轉(zhuǎn)移概率分布應(yīng)為如下形式。為N × M的觀察概率分布矩陣，其中表示t時(shí)刻狀態(tài)為條件下出現(xiàn)觀測值 vk的概率。

π ={πg(shù),πg(shù),πg(shù),… ,πg(shù)}為初始狀態(tài)分布。

g123N

2.3.3 參數(shù)自反饋調(diào)節(jié)過程

當(dāng)假設(shè)第g種手勢的訓(xùn)練樣本有 Sg個(gè)，那么表示第 g種手勢的第 s個(gè)樣本的軌跡序列(1,2,3,… ,Sg)，則手勢g對應(yīng)的訓(xùn)練樣本集合可以使用表示。

若使用Baum-Welch算法對訓(xùn)練數(shù)據(jù)Tg進(jìn)行訓(xùn)練，最終得到第g種手勢對應(yīng)的HMM為λg。前邊已經(jīng)提到λg由{Ng,Mg,Ag,Bg,πg(shù)}五個(gè)組件構(gòu)成。在訓(xùn)練之前，需要對這5個(gè)組件賦初值，即：

訓(xùn)練結(jié)果λg會(huì)與初始值和Tg有一定的函數(shù)對應(yīng)關(guān)系，在此使用：

表示這種對應(yīng)關(guān)系，這個(gè)問題對應(yīng)的是HMM中的參數(shù)學(xué)習(xí)問題，其經(jīng)典解法是Baum-Welch算法，需要特別注意的是，λg中的組件 N, M ,π在初始化后不會(huì)因訓(xùn)練過程而發(fā)生改變。

初始參數(shù)設(shè)定完畢后進(jìn)行訓(xùn)練即可得到其對應(yīng)HMM λg。將一個(gè)訓(xùn)練樣本重新帶入模型λg可以求得此訓(xùn)練樣本對于此模型相似度δ(,λ)s ggt ，這個(gè)概率的求解過程對應(yīng)HMM中的解碼問題，這個(gè)問題是指在給定模型參數(shù)λ和觀測序列O時(shí)，尋找最有可能產(chǎn)生觀測序列 O的最佳隱狀態(tài)序列的過程，此處的概率是指對應(yīng)的最佳隱狀態(tài)序列產(chǎn)生觀測序列的概率，此概率通常使用Viterbi算法求解，使用此概率表征一個(gè)訓(xùn)練樣本與模型的相似度，并使用樣本集所有樣本對應(yīng)概率的平均值表征此模型的整體相似度。在此定義為：

為使用訓(xùn)練樣本Tg訓(xùn)練出的模型與訓(xùn)練樣本的相似度。

將式(2)帶入式(3)可以得到式(4)：

這個(gè)問題可以歸納為一個(gè)優(yōu)化問題，在初始化時(shí)，如下參數(shù)(初始參數(shù)均根據(jù)先驗(yàn)知識得出)可以使取值達(dá)到最佳效果：其中，GESTURE LENGTH為Tg中所有元素長度的平均值；

d為特征值的種類數(shù)，d=16

此問題可以使用隨機(jī)優(yōu)化算法求得近似最優(yōu)解，在下降過程中，保持M和π的值不變，通過自反饋調(diào)節(jié)改變A和B，N的值使問題達(dá)到滿足的最優(yōu)解。

2.4 隱狀態(tài)模式歸一化連續(xù)手勢訓(xùn)練/識別方法

2.4.1 實(shí)際問題描述

圖4中所繪制的問題為連續(xù)手勢識別過程中存在的核心問題，即在包含冗余數(shù)據(jù)流中分割出已定義手勢并對其進(jìn)行識別。

圖4 連續(xù)手勢識別示意圖

因?yàn)檫B續(xù)手勢的繪制和識別過程均具有實(shí)時(shí)更新性，且當(dāng)用戶完成一個(gè)手勢的繪制時(shí)，用戶所繪制手勢一定處于數(shù)據(jù)流末尾，所以連續(xù)手勢識別問題可以轉(zhuǎn)換為前端帶有冗余手勢的獨(dú)立手勢識別問題。

2.4.2 數(shù)學(xué)問題轉(zhuǎn)化

2.4.3 問題解決方法

本文中使用Viterbi算法求解δ(Oa→b,λg)的值。Viterbi算法解決的是解碼問題，即在給定模型參數(shù)和觀測序列，尋找最有可能產(chǎn)生此觀察序列的隱狀態(tài)序列的過程。使用 Viterbi算法求解出δ(Oa→b,λg)，還會(huì)得到與此對應(yīng)的隱狀態(tài)序列

因?yàn)槭謩菪蛄芯哂袝r(shí)序性且本文中采用的是左右結(jié)構(gòu)的HMM。所以當(dāng) Oa→b為一個(gè)獨(dú)立手勢時(shí)(如圖 5(a)所示)，此種情況下 qT*具有一定的均勻性，這種情況下δ(Oa→b,λg)處于正常前端的冗余手勢會(huì)對隱狀態(tài)進(jìn)行匹配，從而打亂后端獨(dú)立手勢與相應(yīng)隱狀態(tài)的正確匹配，這種情況下 s( Oa→b_λg)會(huì)非常低，無法滿足式(5)。而在連續(xù)手勢數(shù)據(jù)中，經(jīng)常會(huì)出現(xiàn)如圖5(b)或者更為復(fù)雜的連有冗余手勢的獨(dú)立手勢，由此可見，使用滑動(dòng)窗口進(jìn)行多次匹配才能切分出正確的獨(dú)立手勢并完成識別，此類方案的實(shí)現(xiàn)方法及分析如下。

圖5 隱狀態(tài)序列與軌跡序列關(guān)系圖

方法1(原始方案). 通過滑動(dòng)窗口暴力求解的方法

訓(xùn)練過程：

在訓(xùn)練過程中，使用自反饋的手勢訓(xùn)練方法構(gòu)造每個(gè)手勢對應(yīng)的λg，再使用相應(yīng)閾值模型的構(gòu)造方法構(gòu)造閾值模型λTM。

識別過程：

連續(xù)手勢識別的過程是實(shí)時(shí)的，所以理論上需要在每次數(shù)據(jù)更新時(shí)進(jìn)行識別。又因?yàn)樽R別過程是實(shí)時(shí)檢測的，所以連續(xù)手勢數(shù)據(jù)有以下特性：

特性1：當(dāng)用戶完成一個(gè)手勢的繪制時(shí)，用戶所繪制手勢一定處于數(shù)據(jù)流末尾。即在連續(xù)手勢數(shù)據(jù)流Ot= (o1),(o2),… ,(ot)中滿足式(5)的理想Oa→b一定滿足b = t。

根據(jù)特性1，只需在數(shù)據(jù)更新時(shí)檢測所有可能的 Oa→t并計(jì)算其是否滿足式(5)即可，a可能的取值范 圍 為 [t-GESTURE LENGTH MIN，t-GESTURE LENGTH MAX ](此處出現(xiàn)的GESTURE LENGTH MAX代表在樣本集中最長的樣本平均長度)。因?yàn)樵趯?shí)際情況中 Oa→t，Oa+1→t,…,Oa+step→t這些相鄰數(shù)據(jù)差異性較小，所以對這些相鄰類似數(shù)據(jù)進(jìn)行一次檢測即可，這種情況下算法運(yùn)行的總時(shí)間：

實(shí)驗(yàn)中發(fā)現(xiàn)一般情況下想要達(dá)到良好的識別效果一般 T ≥10，此種方法的計(jì)算量較大。

方法2. 隱狀態(tài)模式歸一化連續(xù)手勢訓(xùn)練/識別方法

針對此情況，所提出的使用隱狀態(tài)歸一化的訓(xùn)練/識別方法，可以顯著提高識別的效率，減小計(jì)算代價(jià)。

訓(xùn)練過程：

在訓(xùn)練過程中，在帶入每個(gè)手勢所對應(yīng)的HMM λg進(jìn)行訓(xùn)練之前，先要對數(shù)據(jù)進(jìn)行時(shí)序上的逆序處理，即使用Tg構(gòu)造其逆序向量使的逆序，再將 Qg分別帶入每個(gè)λg中求得 AgBg的值。在每個(gè)手勢對應(yīng)的λg訓(xùn)練完成后，再使用相應(yīng)閾值模型的構(gòu)造方法構(gòu)造閾值模型λTM。

識別過程：

在隱狀態(tài)模式歸一化的識別過程中，需先對數(shù)據(jù)進(jìn)行時(shí)序上的逆序處理，即使用 Ot構(gòu)造其逆序向量Rt，使 Rt=(ot),(ot-1),… ,(o1) =(r1),(r2),… ,(rt)。在 Rt中尋找子序列 Ra→b使子序列滿足式(5) (其中Oa→b替換為 Ra→b)，由特性1可知，當(dāng)用戶完成一個(gè)手勢時(shí)，所繪制手勢一定處于數(shù)據(jù)流末尾，因此處連續(xù)手勢數(shù)據(jù)進(jìn)行了逆序處理，所以即在連續(xù)手勢數(shù)據(jù)流 Rt中滿足式(5)的理想 Ra→b一定滿足a=1;在本方法的檢測過程中恒定設(shè)定 b為GESTURE LENGTH MAX。

用戶繪制的待識別的手勢有以下幾種情況。①手勢為已定義手勢中的最長手勢，此時(shí) R1→b是此手勢的逆序，必然滿足式(5)即可識別出此手勢。②當(dāng)手勢為短手勢時(shí)， R1→b為此手勢的逆序連接一小段冗余數(shù)據(jù)的逆序。在此情況下將 R1→b帶入各個(gè)HMM使用Viterbi算法計(jì)算 s( R1→b_λg)時(shí)，會(huì)匹配到其對應(yīng)正確的隱狀態(tài)序列，而冗余數(shù)據(jù)的影響會(huì)集中到最后的隱狀態(tài)上，從而使冗余數(shù)據(jù)對整體的影響降到最低。這種情況下每次數(shù)據(jù)更新只需進(jìn)行一次檢測，算法運(yùn)行的總時(shí)間：

由此可見，改進(jìn)后的方法比原方法效率提高10倍以上。

3 實(shí)驗(yàn)與算法性能比較

為了驗(yàn)證本文中所提出的算法的預(yù)測精度及在實(shí)際連續(xù)手勢識別中對冗余手勢處理的性能，本節(jié)將在實(shí)際手勢數(shù)據(jù)集上對算法進(jìn)行測試和性能比較試驗(yàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)源及實(shí)驗(yàn)環(huán)境

本文共邀10位用戶(年齡20～30歲，男、女各5位)參與連續(xù)手勢的訓(xùn)練和識別過程，其識別對象為圖6中四種手勢。訓(xùn)練數(shù)據(jù)由用戶使用鼠標(biāo)在2D空間進(jìn)行繪制，每種手勢收集 40組樣本數(shù)據(jù)進(jìn)行訓(xùn)練。在識別測試過程中，用戶在3D空間揮動(dòng)手掌，計(jì)算機(jī)得到實(shí)時(shí)的軌跡數(shù)據(jù)進(jìn)行識別。本實(shí)驗(yàn)用計(jì)算機(jī)處理器為 AMD Athlon(tm) || P320 Dual-Core CPU，內(nèi)存4.0 GB，操作系統(tǒng)為Windows 8。

圖6 手勢種類圖

3.2 自反饋的訓(xùn)練方法相關(guān)實(shí)驗(yàn)

實(shí)驗(yàn)證明，訓(xùn)練HMM時(shí)所選取的參數(shù)N和A，會(huì)對模型的相似度Ψ(Tg,λg)造成影響。

表1為隱狀態(tài)數(shù)N對模型精度影響表(識別手勢為Number 4，HMM中的其他幾個(gè)參數(shù)設(shè)置相同)。

表1 隱狀態(tài)數(shù)N對模型精度影響表

由表1可知，當(dāng)隱狀態(tài)數(shù)目增多時(shí)，模型的相似度會(huì)相應(yīng)升高，但識別時(shí)間也會(huì)相應(yīng)增加使用自反饋的參數(shù)調(diào)節(jié)方法，系統(tǒng)會(huì)選擇7作為此手勢的隱狀態(tài)數(shù)，這種選擇為滿足的具有最高識別精度的解。

圖7為對訓(xùn)練參數(shù)A對模型相似度影響表。(識別手勢為Number 4，HMM中的其他幾個(gè)參數(shù)設(shè)置相同)。

圖7 訓(xùn)練參數(shù)A對模型相似度影響圖

通過以上兩實(shí)驗(yàn)可以得知，訓(xùn)練時(shí)初始化參數(shù)中的N和A會(huì)對模型精度有較大影響，通過自反饋的訓(xùn)練方法，可以找到滿足 〈max使模型精度Ψ(Tg,λg)為最大的訓(xùn)練參數(shù)值。

使用自反饋的模型訓(xùn)練方法，最終找到的模型訓(xùn)練參數(shù)如表2中所示。

表2 模型訓(xùn)練參數(shù)表

為了證明本文中自反饋調(diào)節(jié)設(shè)定參數(shù)的方法比以往使用先驗(yàn)法設(shè)定參數(shù)的方法具有提高識別精度的效果。在此進(jìn)行了對比實(shí)驗(yàn)，首先，統(tǒng)計(jì)了使用自反饋調(diào)節(jié)的方法進(jìn)行訓(xùn)練的模型識別率，然后統(tǒng)計(jì)了直接使用先驗(yàn)法設(shè)定參數(shù)訓(xùn)練的模型識別率。本文方法與原有方法識別率對比如表3所示。

表3 識別率對比表(%)

由表3可見，通過本文自反饋調(diào)節(jié)方法訓(xùn)練得出的模型識別率比原方法在識別率上有所提升。

3.3 隱狀態(tài)模式歸一化的訓(xùn)練/識別方法相關(guān)實(shí)驗(yàn)

2.4 節(jié)討論發(fā)現(xiàn)使用隱狀態(tài)模式歸一化的訓(xùn)練/識別方法可以比原方法的速度快 10倍左右。設(shè)置對比試驗(yàn)為檢驗(yàn)此結(jié)論的正確性，收集每種手勢40組含有冗余數(shù)據(jù)和已定義手勢的連續(xù)數(shù)據(jù)。分別計(jì)算兩種方法每次數(shù)據(jù)更新需要的算法執(zhí)行時(shí)間T。

圖8為使用原始方法的算法執(zhí)行時(shí)間圖，圖9為使用隱狀態(tài)模式歸一化的訓(xùn)練/識別方法的算法執(zhí)行時(shí)間圖。此兩圖中橫軸為手勢類別，縱軸為算法運(yùn)行時(shí)間，圖中最大值指在一次實(shí)驗(yàn)中所有測試結(jié)果(算法運(yùn)行執(zhí)行時(shí)間)中的最大值，最小值指在一次實(shí)驗(yàn)中所有執(zhí)行時(shí)間測試結(jié)果(算法運(yùn)行執(zhí)行時(shí)間)中的最小值，平均值即為所有結(jié)果的平均值。

由圖8數(shù)據(jù)可知，使用原始方法的算法的執(zhí)行時(shí)間基本在500～600 ms之間；由圖9可知，使用隱狀態(tài)模式歸一化的訓(xùn)練/識別方法的算法執(zhí)行時(shí)間基本在40～60 ms之間，由于硬件和系統(tǒng)實(shí)際運(yùn)行環(huán)境的不同，實(shí)際測量中的函數(shù)測量時(shí)間可能不同，但整體上使用隱狀態(tài)模式歸一化的訓(xùn)練/識別方法的算法運(yùn)行時(shí)間為原始方法算法的執(zhí)行時(shí)間的十分之一左右，由此可見系統(tǒng)執(zhí)行效率得到了較大提升。

圖8 使用原始方法的算法執(zhí)行時(shí)間圖

圖9 使用隱狀態(tài)模式歸一化的訓(xùn)練/識別方法的算法執(zhí)行時(shí)間圖

4 結(jié) 束 語

本文主要有兩點(diǎn)貢獻(xiàn)，其一，提出了一種基于隱狀態(tài)模式歸一化的方法對手勢進(jìn)行分割，提高了手勢分割的效率和精確度；其二，提出了一種基于參數(shù)自反饋調(diào)節(jié)的獨(dú)立手勢訓(xùn)練和識別方法，降低了獨(dú)立手勢訓(xùn)練的難度，并提高了識別的精度。實(shí)驗(yàn)證明，本文提出的基于雙重優(yōu)化的連續(xù)手勢識別方法與原有方法相比在精度和效率上都有較大提升。

由于HMM中參數(shù)眾多，選擇不同的狀態(tài)值，可使整個(gè)模型架構(gòu)發(fā)生變化，所有相關(guān)參數(shù)均需重新計(jì)算，因此，自反饋參數(shù)調(diào)節(jié)過程可能需要一定時(shí)間，本文雖為調(diào)節(jié)時(shí)間設(shè)置了一個(gè)上限值，但在此上限值內(nèi)的尋優(yōu)很有可能陷入局部最優(yōu)而不是全局最優(yōu)解的情況，此問題的解決還需要在以后的研究過程中再繼續(xù)進(jìn)行探討。

由于在實(shí)際情況下可能會(huì)出現(xiàn)多個(gè)人同時(shí)做出手勢的情況，本文下一步將對多人連續(xù)手勢識別進(jìn)行研究。

[1]LaViola Jr J J. 3D gestural interaction： the state of the field [J/OL]. ISRN Artificial Intelligence, 2013-[2014-06-11]. http：//dx.doi.org/10.1155/2013/514641.

[2]Mistry P, Maes P. SixthSense： a wearable gestural interface [C]//ACM SIGGRAPH ASIA 2009 Sketches, 2009：11.

[3]Dipietro L, Sabatini A M, Dario P. A survey of glove-based systems and their applications [J]. Systems, Man, and Cybernetics, Part C： Applications and Reviews, IEEE Transactions on, 2008, 38(4)： 461-482.

[4]王西穎, 戴國忠, 張習(xí)文, 等. 基于 HMM-FNN 模型的復(fù)雜動(dòng)態(tài)手勢識別[J]. 軟件學(xué)報(bào), 2008, 19(9)：2302-2312.

[5]Pang Haibo, Ding Youdong. Dynamic hand gesture recognition using kinematic features based on hidden markov model [C]//Proceedings of the 2nd International Conference on Green Communications and Networks 2012 (GCN 2012), 2013： 255-262.

[6]Wan Jun, Ruan Qiuqi, An Gaoyun, et al. Gesture recognition based on hidden markov model from sparse representative observations [C]//Signal Processing (ICSP), 2012 IEEE 11th International Conference on, 2012： 1180-1183.

[7]Bilal S, Akmeliawati R, Shafie A A, et al. Hidden Markov model for human to computer interaction： a study on human hand gesture recognition [J]. Artificial Intelligence Review, 2013, 40： 495-516.

[8]Lee H K, Kim J H. An HMM-based threshold model approach for gesture recognition [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1999, 21(10)： 961-973.

[9]Chung H, Yang H D. Conditional random field-based gesture recognition with depth information [J]. Optical Engineering, 2013, 52(1)： 017201.

[10]de Souza C R, Pizzolato E B, dos Santos Anjo M. Fingerspelling recognition with support vector machines and hidden conditional random fields [C]//Advances in Artificial Intelligence-IBERAMIA 2012, ed： Springer, 2012： 561-570.

[11]Liu Techeng, Wang K C, Tsai A, et al. Hand posture recognition using hidden conditional random fields [C]// Proceedings of the IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM '09), 2009：1828-1833.

[12]Wang S B, Quattoni A, Morency L, et al. Hidden conditional random fields for gesture recognition [C]// Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on, 2006： 1521-1527.

[13]Liu Fawng, Jia Yunde. Human action recognition using manifold learning and hidden conditional random fields [C]// Young Computer Scientists, 2008. ICYCS 2008. The 9th International Conference for, 2008： 693-698.

[14]Song Yale, Demirdjian D, Davis R. Multi-signal gesture recognition using temporal smoothing hidden conditional random fields [C]//Automatic Face & Gesture Recognition and Workshops (FG 2011), 2011 IEEE International Conference on, 2011： 388-393.

[15]Yang H D, Sclaroff S, Lee S W. Sign language spotting with a threshold model based on conditional random fields [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2009, 31(7)： 1264-1277.

[16]Alon J, Athitsos V, Yuan Quan, et al. A unified framework for gesture recognition and spatiotemporal gesture segmentation [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2009, 31(9)：1685-1699.

A Double-Optimization Approach for Continuous Gesture Recognition

Gao Chang1,2, Jiang Hao1, Mao Tianlu1, Wang Zhaoqi1
(1. Beijing Key Laboratory of Mobile Computing and Pervasive Device, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China; 2. College of Software Engineering, Sichuan University, Chengdu Sichuan 610225, China)

The continuous gesture recognition based on computer vision has been successfully applied in the field of large interactive entertainment and large interactive education. During the process of continuous gesture recognition, the first key problem is gesture segmentation, the existing solutions of this problem mostly have the disadvantage of low efficiency; the second problem is independent gesture recognition, the existing solutions of this problem mostly have the disadvantage of complicated training problem. A double-optimization approach for these problems is proposed. Firstly, in order to improve the efficiency of hand gesture segmentation, a hidden state mode normalization method is given for continuous gesture segmentation. Secondly, to reduce the complexity of independent gesture training and improve recognition accuracy, a training method is presented based on parameter self-feedback regulation for independent gesture recognition. Experiments have shown that our methods greatly enhance accuracy and efficiency.

human computer interaction; continuous gesture recognition; gesture spotting; single gesture recognition

TP 181

A

2095-302X(2015)01-0102-09

2014-08-11；定稿日期：2014-08-20

國家“863”高技術(shù)研究發(fā)展計(jì)劃基金資助項(xiàng)目(2013AA013902)

高 暢(1993-)，男，河北保定人，本科。主要研究方向?yàn)槿藱C(jī)交互、模式識別。E-mail：gaochang@ict.ac.cn

蔣 浩(1982-)，男，湖南株洲人，助理研究員，博士。主要研究方向?yàn)樘摂M現(xiàn)實(shí)、智能人機(jī)交互。E-mail：jianghao@ict.ac.cn