基于骨骼信息下的手勢(shì)識(shí)別研究

楊和穩(wěn) 楊萍萍 郭海晨

1(南京信息職業(yè)技術(shù)學(xué)院 江蘇 南京 210000)2(南京大學(xué)工程管理學(xué)院 江蘇 南京 210000)

0 引 言

隨著科學(xué)技術(shù)的不斷進(jìn)步，人類(lèi)和計(jì)算機(jī)的交互方式進(jìn)入了一個(gè)新的發(fā)展階段，越來(lái)越多的人開(kāi)始關(guān)注研究人機(jī)交互技術(shù)，而人機(jī)交互方式也成為近些年研究者的一個(gè)重要的研究課題。作為人機(jī)交互的最新研究領(lǐng)域，手勢(shì)作為更加便捷(相較于身體姿勢(shì)、眼神、視線)、表達(dá)力更加豐富的交互方式，越來(lái)越多的學(xué)者開(kāi)始著重于手勢(shì)識(shí)別的研究。

手勢(shì)具有簡(jiǎn)單、直觀、易于理解和操作等特點(diǎn)，已被廣泛應(yīng)用于機(jī)器人控制、虛擬鍵盤(pán)、體感游戲、虛擬現(xiàn)實(shí)醫(yī)療等諸多領(lǐng)域，科技的進(jìn)步使得人機(jī)交互設(shè)備也在不斷更新，并且識(shí)別精度會(huì)隨著設(shè)備的更新而不斷提高。文獻(xiàn)[1]利用關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)原理，在關(guān)節(jié)點(diǎn)處貼上熒光標(biāo)簽，然后結(jié)合計(jì)算機(jī)來(lái)研究關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)特性對(duì)人體動(dòng)作進(jìn)行分析觀察，大量的實(shí)驗(yàn)數(shù)據(jù)表明人體骨骼節(jié)點(diǎn)的運(yùn)動(dòng)特性對(duì)人體的動(dòng)作行為有很好的預(yù)測(cè)作用。文獻(xiàn)[2]研發(fā)了一個(gè)可以識(shí)別手勢(shì)的工具，用來(lái)訓(xùn)練以及識(shí)別手勢(shì)，同時(shí)也支持DTW和HMM識(shí)別算法，只需將手勢(shì)進(jìn)行封裝，將手勢(shì)模板代碼嵌入到應(yīng)用程序中，從而可以減少管理的復(fù)雜性姿態(tài)數(shù)據(jù)和算法。文獻(xiàn)[3]采用基于激光技術(shù)的深度相機(jī)獲取深度圖像，并對(duì)深度圖像進(jìn)行手部的三維建模從而實(shí)現(xiàn)對(duì)人體手勢(shì)跟蹤識(shí)別的功能。傳統(tǒng)的數(shù)據(jù)采集裝備雖然能在一定程度上采集人體的動(dòng)作特征點(diǎn)，但是裝備復(fù)雜、操作不便。美國(guó)NaturalPoint公司推出的OptiTrack運(yùn)動(dòng)捕捉系統(tǒng)，通過(guò)攝像機(jī)跟蹤標(biāo)記點(diǎn)完成人體動(dòng)作捕捉。隨后，Leap公司研發(fā)了Leap Motion非接觸式體感設(shè)備，依照三角測(cè)量法，基于雙目攝像頭的三維圖像識(shí)別技術(shù)，可以定位出目標(biāo)手勢(shì)的準(zhǔn)確位置。但由于光學(xué)式和非接觸式動(dòng)作識(shí)別易受外部環(huán)境的干擾，如遮擋、光線等問(wèn)題的制約。因此，需要一個(gè)便捷的體感設(shè)備能夠幫助我們完成對(duì)人體特征的獲取以及識(shí)別，通過(guò)更方便的人機(jī)交互方式完成研究。

針對(duì)以上問(wèn)題，微軟經(jīng)過(guò)多年研究于2015年推Kinect體感設(shè)備[4]，Kinect綜合了計(jì)算機(jī)視覺(jué)處理算法和空間定位性能，可以利用高分辨率對(duì)空間中的細(xì)微變動(dòng)進(jìn)行識(shí)別。且不受光照、背景等因素的影響，從而提高了手勢(shì)軌跡別的穩(wěn)定性和魯棒性，最后實(shí)現(xiàn)手勢(shì)動(dòng)作識(shí)別。

本文通過(guò)對(duì)虛擬現(xiàn)實(shí)技術(shù)以及人機(jī)交互技術(shù)進(jìn)行充分研究，基于Kinect進(jìn)行人體手勢(shì)動(dòng)作識(shí)別。利用Kinect捕獲到的人體骨骼關(guān)節(jié)點(diǎn)坐標(biāo)，結(jié)合動(dòng)態(tài)時(shí)間規(guī)整算法進(jìn)行動(dòng)作識(shí)別。并在Unity 3D進(jìn)行虛擬模型同步演示，將定義的手勢(shì)應(yīng)用到仿真系統(tǒng)里，代替?zhèn)鹘y(tǒng)的鍵盤(pán)交互形式。該項(xiàng)技術(shù)的創(chuàng)新能夠更好地探討虛擬現(xiàn)實(shí)交互系統(tǒng)里新的交互通道存在的應(yīng)用價(jià)值。

1 Kinect簡(jiǎn)介

Kinect是微軟公司自主研發(fā)的一款體感外設(shè)產(chǎn)品，2010年正式推出，研發(fā)的初衷是為了讓玩家用戶(hù)擁有全新的人機(jī)交互體驗(yàn)[5]。Kinect由彩色(RGB)攝像頭、深度(DEPTH)攝像頭、紅外攝像頭以及麥克風(fēng)等部分組成，如圖1所示。

圖1 Kinect

本次實(shí)驗(yàn)采用的二代Kinect利用Time of Flight[6]，也就是根據(jù)光脈沖的來(lái)回時(shí)間去捕獲目標(biāo)物體的深度圖像。Kinect最大的優(yōu)勢(shì)是其可以獲得目標(biāo)人物的骨骼圖像從而進(jìn)行人體行為動(dòng)作的研究。而Kinect傳感器將深度圖像轉(zhuǎn)換成骨骼圖像的步驟主要有三部分：將人體輪廓從背景圖像抽離出來(lái)、對(duì)人體關(guān)鍵部位的定位、骨骼節(jié)點(diǎn)的標(biāo)識(shí)[7]。

首先Kinect會(huì)對(duì)人體深度圖像的像素點(diǎn)逐點(diǎn)掃描，將屬于人體部位的像素點(diǎn)從深度圖像中抽離出來(lái)；接著Kinect通過(guò)特征值將人體各個(gè)部位進(jìn)行分類(lèi)，比如軀干、頭部、手臂等；最后Kinect根據(jù)機(jī)器學(xué)習(xí)的方法確定骨骼關(guān)節(jié)點(diǎn)。Kinect2.0可以識(shí)別人體的25個(gè)骨骼關(guān)節(jié)點(diǎn)，包含肘、踝、腳、手指、肩等關(guān)節(jié)，相比一代Kinect，識(shí)別的骨骼更多，以達(dá)到全身體感操作，Kinect體系架構(gòu)如圖2所示。而本文對(duì)動(dòng)作的分析則是基于人體的骨骼信息來(lái)進(jìn)行研究的。

圖2 Kinect骨骼追蹤的體系架構(gòu)

2 基于Kinect骨骼數(shù)據(jù)的姿勢(shì)識(shí)別方法

對(duì)人體動(dòng)作的識(shí)別從本質(zhì)上來(lái)看是指對(duì)提取的動(dòng)作特征進(jìn)行分析，選取合適的識(shí)別算法對(duì)動(dòng)作特征進(jìn)行分析研究，從而實(shí)現(xiàn)動(dòng)作識(shí)別。本文對(duì)動(dòng)作特征提取的研究的出發(fā)點(diǎn)是基于人體骨骼關(guān)節(jié)點(diǎn)信息，Kinect會(huì)捕獲25個(gè)關(guān)節(jié)點(diǎn)數(shù)據(jù)，我們需要對(duì)這25個(gè)關(guān)節(jié)點(diǎn)的數(shù)據(jù)做進(jìn)一步詳細(xì)的分析才能提取出有用的姿態(tài)特征。如果直接利用25個(gè)骨骼節(jié)點(diǎn)的空間坐標(biāo)數(shù)據(jù)作為人體的運(yùn)動(dòng)特征，會(huì)存在兩個(gè)方面的缺點(diǎn)：一是25個(gè)關(guān)節(jié)點(diǎn)的維度較高，高緯度的訓(xùn)練樣本會(huì)使得本次系統(tǒng)的計(jì)算量和復(fù)雜度增加，導(dǎo)致訓(xùn)練效率極其低下；二是不同的人的骨骼關(guān)節(jié)點(diǎn)空間坐標(biāo)信息不同，需要找到統(tǒng)一的動(dòng)作特征才能對(duì)人體動(dòng)作進(jìn)行識(shí)別。

2.1 動(dòng)作特征的提取

在日常生活中見(jiàn)到的手臂彎曲、揮手、跳躍等行為動(dòng)作其實(shí)是由不同的關(guān)節(jié)的旋轉(zhuǎn)帶動(dòng)的，比如，跳躍時(shí)，胯關(guān)節(jié)帶動(dòng)大腿運(yùn)動(dòng)，而大腿則通過(guò)膝關(guān)節(jié)帶動(dòng)小腿運(yùn)動(dòng)。圖3展示了人體四肢運(yùn)動(dòng)時(shí)，各個(gè)關(guān)節(jié)角度度數(shù)。

圖3 人體關(guān)節(jié)角度圖

從圖中可以看出，運(yùn)動(dòng)特征其實(shí)可以對(duì)應(yīng)于各個(gè)關(guān)節(jié)點(diǎn)旋轉(zhuǎn)的角度。反觀不同的人的生理結(jié)構(gòu)，關(guān)節(jié)之間的變化可以不受不同人體身體結(jié)構(gòu)差異的影響，所以可以推測(cè)，關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)特性決定人體四肢在空間中的位置，而旋轉(zhuǎn)特性其實(shí)可以對(duì)應(yīng)關(guān)節(jié)點(diǎn)的角度。在人體運(yùn)動(dòng)過(guò)程中，關(guān)節(jié)之間的變化不受不同人體身體結(jié)構(gòu)差異的影響。因此本文接下來(lái)研究在運(yùn)動(dòng)過(guò)程中骨骼關(guān)節(jié)點(diǎn)角度的變化情況。

本次實(shí)驗(yàn)是針對(duì)人體手勢(shì)動(dòng)作進(jìn)行研究識(shí)別的，為避免不同人體手臂長(zhǎng)度或?qū)挾葘?duì)動(dòng)作識(shí)別的干擾，除了跟蹤某些關(guān)節(jié)點(diǎn)在空間唯一的軌跡和線速度之外，還要對(duì)上肢關(guān)節(jié)結(jié)構(gòu)向量間的夾角進(jìn)行研究。綜合考慮簡(jiǎn)單動(dòng)作和復(fù)雜動(dòng)作，本文選取的動(dòng)作特征參數(shù)包括：雙手手臂關(guān)節(jié)角度、手臂相對(duì)于肩部、頭部變化的距離和角度。因此本文只針對(duì)上半身的幾個(gè)關(guān)鍵骨骼點(diǎn)進(jìn)行分析，著重研究肩關(guān)節(jié)、肘關(guān)節(jié)、頭部、腕關(guān)節(jié)。圖4解釋了手勢(shì)動(dòng)作關(guān)節(jié)點(diǎn)的計(jì)算原理。

圖4 夾角示意圖

(1)

β=90°-αj

(2)

具體操作是：把人體的運(yùn)動(dòng)看作是在x、y軸所在平面內(nèi)的二維運(yùn)動(dòng)，根據(jù)式(1)計(jì)算出每個(gè)關(guān)節(jié)點(diǎn)與y軸的夾角，而手肘關(guān)節(jié)的角度β由式(2)可以計(jì)算出。

將以上獲得的夾角組成一組關(guān)節(jié)角度向量A={α1,α2,α3,β1,β2}T，通過(guò)連續(xù)地捕捉每一幀的關(guān)節(jié)角度，就可以獲得關(guān)節(jié)角度關(guān)于時(shí)間變化的函數(shù)，它可以充分地描述人體手部動(dòng)作的運(yùn)動(dòng)特征。圖5顯示實(shí)驗(yàn)者揮動(dòng)左手時(shí)左肘關(guān)節(jié)角度關(guān)于時(shí)間變化的曲線圖。

圖5 左肘關(guān)節(jié)角度的變化圖

從圖中可以看出，在揮手這個(gè)動(dòng)作過(guò)程當(dāng)中，左肘關(guān)節(jié)角度是隨時(shí)間的變化而不斷變化的，這條基于時(shí)間序列的關(guān)節(jié)變化曲線圖可以反映出揮手這個(gè)動(dòng)作的運(yùn)動(dòng)特性?；诖?，本文采用基于時(shí)間變化的骨骼關(guān)節(jié)點(diǎn)的變化特性作為人體運(yùn)動(dòng)的動(dòng)態(tài)特征。

2.2 動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法描述

通過(guò)實(shí)驗(yàn)對(duì)比分析可以發(fā)現(xiàn)，不同的測(cè)試者在做同一個(gè)揮手動(dòng)作時(shí)，他們的肘關(guān)節(jié)角度曲線圖在波形和幅值雖然有一定的偏差，但是整體的波形很相似，即可以將關(guān)節(jié)角度變化曲線圖的相似度作為分類(lèi)器的切入點(diǎn)。歐式距離是最常用的計(jì)算不同向量之間的距離，但是歐式距離是基于相同維度的向量進(jìn)行計(jì)算的，而實(shí)際中關(guān)節(jié)角度變化曲線圖的維度不同，這就要求我們需要借助動(dòng)態(tài)規(guī)劃的思想來(lái)解決。動(dòng)態(tài)時(shí)間規(guī)整算法DTW(Dynamic Time Wraping)[8]主要是通過(guò)時(shí)間規(guī)整的原理對(duì)兩條不一樣的時(shí)間序列進(jìn)行相似度的匹配，尋找這兩條曲線之間距離最小的相似度路徑。時(shí)間規(guī)整是指將待測(cè)信號(hào)的長(zhǎng)度進(jìn)行壓縮或拉長(zhǎng)，從而與標(biāo)準(zhǔn)信號(hào)的模板里的長(zhǎng)度一樣。

假設(shè)有兩個(gè)動(dòng)作序列，長(zhǎng)度分別為m和n，即：

T={t1,t2,…,tm}

G={g1,g2,…,gn}

為了得出這兩條時(shí)間序列的相似度，我們引用一個(gè)m=n的矩陣M，該矩陣?yán)锏拿恳粋€(gè)元素(i,j)表示參考序列ti和測(cè)試序列g(shù)j兩個(gè)點(diǎn)之間的距離d(ti,gj)[9]：

d(ti,gj)=(ti-gj)2

(3)

歐式距離是計(jì)算機(jī)領(lǐng)域中最常見(jiàn)的計(jì)算距離的方法，如式(3)所示。簡(jiǎn)而言之，該算法就是尋找出一條最優(yōu)路徑，且這條路徑包含了這兩個(gè)動(dòng)作序列之間相距最短的點(diǎn)，即規(guī)整路徑(warping path)，如圖6所示。

圖6 動(dòng)態(tài)時(shí)間規(guī)整路徑

規(guī)整路徑W可表示為：

W={w1,w2,…,wT}max(m,n)≤T≤m+n+1

另外，規(guī)整路徑不可以任意選擇，它需要滿(mǎn)足3個(gè)約束條件：

(1) 邊界性：規(guī)整路徑W的起點(diǎn)必須是左下角，即w1=(1,1)，路徑的終點(diǎn)是右上角，即wT=(m,n)。

(2) 連續(xù)性：規(guī)整路徑W上的點(diǎn)必需與相鄰的幾個(gè)點(diǎn)對(duì)齊，也就是說(shuō)當(dāng)前點(diǎn)的下一個(gè)對(duì)應(yīng)點(diǎn)只能是相鄰的點(diǎn)，即wT=(t,g)，wT′=(t′,g′)，t-t′≤1,g-g′≤1。

(3) 單調(diào)性：規(guī)整路徑W上的點(diǎn)在時(shí)間軸上必須是單調(diào)遞增的，即wT=(t,g)，wT′=(t′,g′)，那么t-t′≥0,g-g′≥0。

為了對(duì)兩個(gè)時(shí)間序列進(jìn)行匹配，這里我們定義累積路徑值為γ(i,j)，對(duì)T和G這兩個(gè)時(shí)間序列從起點(diǎn)(1,1)點(diǎn)進(jìn)行計(jì)算匹配，每經(jīng)過(guò)一個(gè)點(diǎn)，累計(jì)點(diǎn)ti與點(diǎn)gj的之間距離再加上其四周與這個(gè)點(diǎn)距離最小的那個(gè)點(diǎn)之間的距離，如式(4)所示。當(dāng)匹配到終點(diǎn)(m,n)的時(shí)候，最后得到的距離值代表了這兩個(gè)時(shí)間序列的相似度。

(4)

直到匹配到終點(diǎn)(m,n)為止，最終所獲得的路徑累積值就是兩天時(shí)間序列T和G是否匹配的依據(jù)。累計(jì)距離和相似度成反比，如果累計(jì)距離γ(i,j)越小，這兩個(gè)動(dòng)作之間的相似度就越高，反之亦然。

對(duì)人體手勢(shì)動(dòng)作進(jìn)行分析研究時(shí)，首先創(chuàng)建手勢(shì)動(dòng)作模板庫(kù)，然后將測(cè)試動(dòng)作與模板庫(kù)中的動(dòng)作進(jìn)行相似度的匹配，根據(jù)DTW識(shí)別算法計(jì)算兩個(gè)模板之間的最小匹配距離。找出匹配距離值最小的那個(gè)模板即為識(shí)別的動(dòng)作模板。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)與分析

前面已經(jīng)完成了對(duì)人體動(dòng)作特征的提取和識(shí)別算法的選取，下面通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證本文方法的有效性。

本文定義了基于交互的5種簡(jiǎn)單的手勢(shì)動(dòng)作，分別為上下舉、左右揮、停止等，如表1所示。在人機(jī)交互中，可以通過(guò)這幾種手勢(shì)命令與計(jì)算機(jī)進(jìn)行交互。

表1 自定義的交互手勢(shì)集

手勢(shì)1到5選擇5個(gè)實(shí)驗(yàn)者進(jìn)行50次實(shí)驗(yàn)，則每種手勢(shì)有250組數(shù)據(jù)。本次實(shí)驗(yàn)由同一個(gè)人對(duì)這幾種動(dòng)作進(jìn)行訓(xùn)練，并建立動(dòng)作模板庫(kù)。訓(xùn)練的模板長(zhǎng)度為90幀，Kinect記錄的數(shù)據(jù)信息包括關(guān)節(jié)角度變化，上肢關(guān)節(jié)點(diǎn)的坐標(biāo)信息。這里以手臂上舉，手指越過(guò)頭頂為例進(jìn)行分析。通過(guò)Kinect捕獲其骨骼關(guān)節(jié)角度的變化作為測(cè)試序列，與標(biāo)準(zhǔn)的序列模板進(jìn)行對(duì)比來(lái)檢測(cè)系統(tǒng)識(shí)別效果。關(guān)節(jié)角度變化如圖7所示，其中，Sample作為標(biāo)準(zhǔn)模板，Test sample 作為測(cè)試序列模板。

圖7 測(cè)試數(shù)據(jù)與模板數(shù)據(jù)對(duì)比

Kinect對(duì)手勢(shì)識(shí)別的結(jié)果是通過(guò)Visual Gesture Builder里的波形來(lái)表示，波形出現(xiàn)的范圍越廣，說(shuō)明識(shí)別的相似度就越高。如果沒(méi)有出現(xiàn)波形，則表明該動(dòng)作沒(méi)有被我們識(shí)別出來(lái)。識(shí)別的效果如圖8所示。左邊為人物的動(dòng)作，右邊為識(shí)別效果，波形代表相似程度，波峰越高代表與模板的匹配度越高，成功識(shí)別的判定標(biāo)準(zhǔn)為：波峰超過(guò)所在窗口的一般即認(rèn)為成果識(shí)別。

圖8 識(shí)別效果圖

實(shí)驗(yàn)結(jié)果如表2所示。

表2 識(shí)別結(jié)果

從表中可以看出，基于上肢關(guān)節(jié)角度變化的動(dòng)態(tài)時(shí)間規(guī)整算法的識(shí)別率普遍超過(guò)90%。盡管對(duì)動(dòng)作識(shí)別的精度不高，但是對(duì)于一些常見(jiàn)的動(dòng)作已經(jīng)可以實(shí)現(xiàn)對(duì)動(dòng)作的識(shí)別。

3.2 魯棒性驗(yàn)證

為檢驗(yàn)光照環(huán)境變化對(duì)該實(shí)驗(yàn)魯棒性的影響，做出另一組實(shí)驗(yàn)，在不同光照環(huán)境下每個(gè)手勢(shì)由上一組實(shí)驗(yàn)者進(jìn)行相同的實(shí)驗(yàn)，表3為實(shí)驗(yàn)者在光線充足與不充足的環(huán)境下的對(duì)比結(jié)果。

表3 不同光照環(huán)境下每個(gè)手勢(shì)的識(shí)別率

從對(duì)比結(jié)果可以看出，相同手勢(shì)在不同光線下的識(shí)別率差距甚微，利用DTW識(shí)別算法以及Kinect傳感器對(duì)光照變化的干擾具有較強(qiáng)的魯棒性。

4 虛擬模型同步演示

本系統(tǒng)中的人機(jī)交互功能主要是使用人體手勢(shì)動(dòng)作控制虛擬模型的運(yùn)動(dòng)，而基于Kinect的虛擬仿真平臺(tái)則是通過(guò)Unity 3D來(lái)實(shí)現(xiàn)對(duì)虛擬物體的三維展示功能。首先利用Kinect體感器獲取現(xiàn)實(shí)場(chǎng)景中的深度數(shù)據(jù)，并獲取人體骨骼數(shù)據(jù)，根據(jù)骨骼跟蹤生成的關(guān)節(jié)點(diǎn)信息來(lái)識(shí)別當(dāng)前用戶(hù)的姿勢(shì)，并通過(guò)約定的姿勢(shì)來(lái)達(dá)到對(duì)展示的三維模型進(jìn)行操作的目的。

Unity 3D是由Unity technologies開(kāi)發(fā)的一款專(zhuān)業(yè)游戲引擎，它可以讓用戶(hù)輕松地創(chuàng)建各種三維游戲、實(shí)時(shí)動(dòng)畫(huà)、場(chǎng)景可視化等互動(dòng)性較高的項(xiàng)目。本文將在Unity 3D中對(duì)虛擬物體的運(yùn)動(dòng)進(jìn)行同步演示設(shè)計(jì)。如圖9所示，在Unity 3D里創(chuàng)建一個(gè)虛擬小方塊。小方塊的每一面貼上不同的圖紙，每個(gè)手勢(shì)對(duì)應(yīng)不同的界面。當(dāng)手上舉時(shí)，小方塊就向上翻轉(zhuǎn)一面。向左揮時(shí)，小方塊向左旋轉(zhuǎn)一面。當(dāng)握拳時(shí)，小方塊恢復(fù)成初始界面。

圖9 虛擬模型

虛擬物體模型是按照Kinect提供的骨骼節(jié)點(diǎn)設(shè)計(jì)的，這里只保留上肢節(jié)點(diǎn)。因?yàn)槿梭w的運(yùn)動(dòng)是一個(gè)連續(xù)性的動(dòng)態(tài)過(guò)程，所以需要對(duì)骨骼關(guān)節(jié)點(diǎn)的坐標(biāo)位置進(jìn)行實(shí)時(shí)地更新，這里我們建立一個(gè)RefereshBodyObject()函數(shù)用來(lái)實(shí)時(shí)地更新骨骼節(jié)點(diǎn)的坐標(biāo)數(shù)據(jù)，并將這些數(shù)據(jù)復(fù)制給虛擬模型，從而使得虛擬模型可以同步地跟隨用戶(hù)運(yùn)動(dòng)。

最終的實(shí)驗(yàn)結(jié)果如圖10所示，顯示了用戶(hù)上舉、下舉、左揮、右揮、停止動(dòng)作時(shí)虛擬模型與其同步運(yùn)動(dòng)的情況。

圖10 同步運(yùn)動(dòng)結(jié)果

5 結(jié) 語(yǔ)

本文利用搭建的Kinect的體感識(shí)別平臺(tái)，通過(guò)Kinect捕獲被測(cè)對(duì)象骨骼信息空間坐標(biāo)數(shù)據(jù)，提出基于特征提取的模板匹配方法，分析關(guān)節(jié)角度與動(dòng)作行為研究的相似性，提出將骨骼關(guān)節(jié)點(diǎn)的角度變化作為運(yùn)動(dòng)特征。并借助于動(dòng)態(tài)規(guī)劃的思想來(lái)解決，即利用模 板匹配的方法來(lái)進(jìn)行人體手勢(shì)動(dòng)作的跟蹤和識(shí)別。實(shí) 驗(yàn)結(jié)果和對(duì)比結(jié)果表明，該方法成功實(shí)現(xiàn)了對(duì)人體手 勢(shì)特征的識(shí)別，并獲得良好的姿勢(shì)識(shí)別率、魯棒性較 強(qiáng)。同時(shí)將這一技術(shù)在虛擬現(xiàn)實(shí)中同步演示，獲得良 好的演示效果，交互方式更直觀、便捷。在未來(lái)的研究 中，可以利用該方法來(lái)完成對(duì)真實(shí)物體模型進(jìn)行觀測(cè) 的目的。

與此同時(shí)，本方法也存在一定的不足之處，對(duì)于手勢(shì)識(shí)別，只是進(jìn)行了主要?jiǎng)幼鞯淖R(shí)別，應(yīng)用相對(duì)有限，可以將動(dòng)作識(shí)別的工作進(jìn)一步深入，這些工作以后需要改進(jìn)與完善。