基于連續(xù)數(shù)據(jù)流的動態(tài)手勢識別算法

鄭 韡 沈旭昆

（北京航空航天大學(xué) 虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室，北京 100191）

基于連續(xù)數(shù)據(jù)流的動態(tài)手勢識別算法

鄭 韡 沈旭昆

（北京航空航天大學(xué) 虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室，北京 100191）

為識別用戶做出的動態(tài)手勢序列，基于數(shù)據(jù)手套采集的連續(xù)數(shù)據(jù)流，運用奇異值分解消除數(shù)據(jù)噪點，提取手勢的特征信息，并利用關(guān)節(jié)彎曲的生理學(xué)特性與用戶解耦合，將各種動作片段抽象成用戶無關(guān)的手勢模板，從而唯一定義手勢特征并屏蔽不同用戶的手勢差異，再基于Hill Climbing思想把連續(xù)數(shù)據(jù)流分割成有序的動作序列，并按時序?qū)λ衅卧陬A(yù)先構(gòu)造的層次樹上實時搜索，根據(jù)歐式距離度量序列與手勢模板的相似性.該算法對手勢序列的分割準(zhǔn)確，對多用戶具有良好的適應(yīng)性，其有效性在使用5DT數(shù)據(jù)手套搭建的兩組動態(tài)手勢識別的實驗中得以驗證.

連續(xù)數(shù)據(jù)流;奇異值分解;動態(tài)手勢識別

在虛擬現(xiàn)實的人機交互環(huán)境中，用戶借助大量自然的輸入設(shè)備（如觸力覺設(shè)備、定位設(shè)備等）與計算機交互，計算機通過分析它們的數(shù)據(jù)理解用戶的動作指令，實時做出反饋，從而讓用戶獲得自然、真實的類人際交互的沉浸感和體驗.對這類傳感器數(shù)據(jù)的分析、處理過程和傳統(tǒng)的數(shù)據(jù)庫查詢［1］操作存在很大的差異性，后者的數(shù)據(jù)穩(wěn)定，基于精確匹配就能完成全局?jǐn)?shù)據(jù)庫的搜索，而傳感器數(shù)據(jù)由于是連續(xù)到達(dá)、不斷變化的［2］，它有著以下幾個方面的特點:①連續(xù)性.傳感器以連續(xù)的數(shù)據(jù)流形式輸出，數(shù)據(jù)不斷變化和更新，因此給查詢、匹配操作帶來了挑戰(zhàn).②高維度.通常測量實驗需要部署大量傳感器，數(shù)據(jù)輸出維度高，采樣密度大，對存儲帶寬和容量要求高，導(dǎo)致基于大數(shù)據(jù)量的實時查詢難以保證.③干擾性.連續(xù)性的數(shù)據(jù)流中存在大量冗余、無效信息，從中分割源數(shù)據(jù)并提取有用的信息元比較困難.

目前基于連續(xù)數(shù)據(jù)流的工作主要集中在網(wǎng)絡(luò)流量監(jiān)控、數(shù)據(jù)挖掘等［3］領(lǐng)域，在人機交互以及智能機器人領(lǐng)域，連續(xù)數(shù)據(jù)流被用來做手勢動作的識別［4］，通常需要先變換數(shù)據(jù)完成空間壓縮，并選取合適的度量方法如Minkowski，Manhattan，Canberra［5］等，最后進行目標(biāo)的匹配和分類.主要的降維方法是采用離散傅里葉變換（DFT，Discrete Fouriet Transform）、小波變換（DWT，Discrete Wavelet Transform）［6］以及主成分分析法（PCA，Principal Component Analysis）等，基于線性變換提取特征信息，缺點在于上述不能保證尋找到一個最低維度的子空間用于包含最大的特征點，無法適用于實時性要求高的精確匹配操作.匹配算法主要基于隱馬爾科夫（HMM，Hidden Markov Model）［7］、模糊識別［8］、神經(jīng)網(wǎng)絡(luò)（NN，Neural Network）［9］和支持向量機（SVM，Support Vector Machine）［10］等，其基本思想是利用大量樣本訓(xùn)練分類器，從而根據(jù)標(biāo)簽對樣本分類，雖然這些方法識別率很高，但由于需要一個長時間的樣本訓(xùn)練階段，建立的手勢庫和佩戴用戶耦合緊密，在更換用戶的情況下需要重建手勢庫，過程復(fù)雜漫長，無法適應(yīng)多用戶協(xié)同工作的環(huán)境.

本文針對數(shù)據(jù)手套采集的連續(xù)數(shù)據(jù)流的特點，提出一種全新的動態(tài)手勢的識別算法，既保證了識別的實時性和精確性，又能夠方便適應(yīng)于多用戶的協(xié)調(diào)環(huán)境.

1）采取奇異值分解法（SVD，Singular Value Decomposition）壓縮數(shù)據(jù)空間，同時最大化保留原始數(shù)據(jù)的特征信息，這種能量最優(yōu)化的分解方法，在數(shù)據(jù)壓縮和特征保留之間做了平衡，既保證了實時性又實現(xiàn)了匹配的精確性，從而滿足對高維度數(shù)據(jù)實時精確匹配的要求.

2）基于Hill Climbing思想從數(shù)據(jù)流中提取出動作片段信息，利用關(guān)節(jié)彎曲范圍的生理特性將動作元的冗余數(shù)據(jù)剔除，并與用戶生理信息解耦合，抽象成一種通用的手勢模板，從而適應(yīng)在多用戶協(xié)同工作環(huán)境中，無需重建手勢庫即能對當(dāng)前用戶的動態(tài)手勢做出準(zhǔn)確識別.

1 手勢識別的方法分析

動態(tài)手勢是不固定時長的一串動作序列，可以理解為一系列離散的動作片段按照先后次序排列構(gòu)成，每個動作片段可以看成一種靜態(tài)手勢.

為了識別動態(tài)手勢序列，將識別過程拆分成2部分，首先從連續(xù)數(shù)據(jù)流中分割出獨立的動作片段，其次用一種相似性度量方法對它們進行匹配識別.用戶做出的某種動態(tài)手勢可以用G=（g1，g2，…，gn）描述，其中 g1，g2，…稱為一個個獨立的動作元片段，通過定位每個動作元的起始點和結(jié)束點，將他們分離，并對這些動作元進行數(shù)據(jù)壓縮，抽取與用戶無關(guān)的特征信息，抽象成手勢模板，最后利用相似性度量方法，通過遍歷預(yù)先構(gòu)造的搜索樹，查詢匹配的手勢.

整個識別流程包含手勢庫搭建和實時手勢識別2個模塊，如圖1所示.

圖1 動態(tài)手勢識別的2個階段

2 手勢識別的關(guān)鍵技術(shù)

2.1 基于奇異值分解的特征提取

和傳統(tǒng)的輸入設(shè)備相比，數(shù)據(jù)手套能夠提供更多的描述手指和手掌姿態(tài)的自由度，從而完整的定義佩戴用戶當(dāng)前所做的手型，并記錄下時間戳.雖然這組數(shù)據(jù)詳細(xì)描述了用戶的手勢信息，但是它不可避免的帶有以下缺點:

1）數(shù)據(jù)和用戶耦合.用戶手型存在的個體性的生理差異（如尺寸長短、關(guān)節(jié)比例等），導(dǎo)致不同用戶做同樣的手勢，傳感器數(shù)據(jù)并不相同.

2）傳感器值敏感.傳感器的采樣頻率高（＞75 Hz），精度高（＞8位有效數(shù)字），同一用戶重復(fù)做相同的手勢，前后獲得的數(shù)據(jù)也可能差異很大，導(dǎo)致數(shù)據(jù)冗余.

3）數(shù)據(jù)維度高.手的生理構(gòu)造復(fù)雜，關(guān)節(jié)運動靈活，數(shù)據(jù)手套通常需要14～22個傳感器才能準(zhǔn)確描述手型的姿勢.

4）噪點擾動大.傳感器記錄的時間段涵蓋了手臂抖動、不同手勢間的過渡動作，這些無效信息需要進行過濾.

為此需要進行適當(dāng)?shù)臄?shù)據(jù)壓縮和特征提取以保證算法的實時性.奇異值分解法（SVD）被廣泛應(yīng)用于信號處理、模式識別等領(lǐng)域.根據(jù)奇異值分解的性質(zhì)，任意一個矩陣Gm×n，總存在m階對角陣 U=［u1，u2，…，um］和 n 階對角陣 V=［v1，v2，…，vn］，使得

其中 σ1≥σ2≥…≥σp≥0 是 Gm×n的奇異值.

根據(jù)分解矩陣和原始矩陣的能量關(guān)系，存在如下定理:

由定理1可以推出SVD分解后的矩陣能量，描述為

基于上述理論，SVD把數(shù)據(jù)集的特征值按照重要性排列，經(jīng)過矩陣變換舍棄不重要的特征向量，完成數(shù)據(jù)降維，并把剩余的特征向量按照能量關(guān)系張成特征子空間，采取最優(yōu)分布原則，從而最大化的保留了原始數(shù)據(jù)的核心特征信息.

假定用戶佩戴一副有m個傳感器的數(shù)據(jù)手套，重復(fù)做一種手勢n次，以m作為行向量，n為列向量，將數(shù)據(jù)表示成矩陣形式Gm×n，為了最大限度的記錄當(dāng)前用戶手勢的全部信息，需要多次采樣，該原始矩陣的n值通常很大.

對原始矩陣Gm×n進行SVD分解，對得到的m階對角陣U提取左側(cè)的r列向量SrU，r?n，過程如圖2所示.

圖2 SVD從原始矩陣中提取最大子空間

由于通常情況下采集的樣本數(shù)n遠(yuǎn)大于傳感器數(shù)量m，又根據(jù)能量最優(yōu)原理子空間最大程度的保留了原始矩陣的變化量.于是，經(jīng)過SVD分解后，高維的原始矩陣在完成空間維數(shù)壓縮的同時保留了手型的關(guān)鍵信息，該r維子空間稱為手勢的數(shù)據(jù)描述文檔.

2.2 抽象手勢模板

盡管不同用戶做同樣的手勢，測得的數(shù)據(jù)不盡相同，但是人手的關(guān)節(jié)彎曲有一定的范圍和限度，在定義一種初始狀態(tài)的情況下（例如定義握拳為初始狀態(tài)），不同的手勢和初始狀態(tài)的差量（即關(guān)節(jié)的彎曲變化區(qū)間）能夠唯一的描述該手勢，避免直接使用手勢對應(yīng)的關(guān)節(jié)彎曲角度量，因而這種描述和特定用戶無關(guān)，它是一種通用的手勢模板.

通過上述方法剔除和用戶耦合的數(shù)據(jù)，抽象出一種通用的手勢描述模板，能屏蔽用戶在生理構(gòu)造上的差異性，從而避免繁瑣的標(biāo)定步驟，并且模板庫的更新和維護能夠?qū)崟r進行，極大的簡化了用戶操作流程，從而適應(yīng)多人協(xié)同的工作環(huán)境.圖3詳細(xì)說明了構(gòu)建抽象手勢模板的具體過程.

圖3 抽象手勢模板的搭建過程

1）計算差值.

2）傳感器值是連續(xù)線性變化的，在t時間段，不斷刷新當(dāng)前的最大值和最小值，獲得手勢的動態(tài)運動范圍，把歸一化到0～1區(qū)間:

3）由于數(shù)據(jù)流是連續(xù)的，選取合適的離散因子k進行離散化處理，獲得不同關(guān)節(jié)彎曲范圍的分布圖.

4）傳感器的測量值是無符號的，需要額外加上方向信息，根據(jù)手勢的差值，如下定義正、反兩個運動方向:

將式（7）定義的方向信息加入Di中:

由于G描述了手勢St相對初始狀態(tài)St0的運動增量和方向，而不是具體的關(guān)節(jié)彎曲角度，因此G與特定用戶的手型無關(guān)，它是該手勢的一種抽象表述，圖4是某個手勢片段的原始數(shù)據(jù)流轉(zhuǎn)成手勢模板的文本描述示意圖.

圖4 原始數(shù)據(jù)流和手勢模板的文本描述

2.3 基于Hill Climbing的手勢提取

由于不同用戶做同樣一組手勢的時間不盡相同，原始的動態(tài)手勢是一串不固定長度的數(shù)據(jù)流信息，需要將其表示成由動作片段構(gòu)成的序列，即分割成獨立的靜態(tài)手勢的集合，由于片段間的時間間隙不確定，本文采用基于Hill Climbing啟發(fā)式的思想，對這些動作片段的始末點進行檢測并實時提取.

Hill Climbing廣泛應(yīng)用于尋求局部最優(yōu)解，采用啟發(fā)式方法，利用反饋信息幫助生成解的決策.初始狀態(tài)算法隨機選取一個節(jié)點，搜索從該節(jié)點開始，和周圍鄰居節(jié)點的值進行比較.如果當(dāng)前節(jié)點是最大的，那么返回當(dāng)前節(jié)點，作為最大值（即山峰最高點）;反之就用最高的鄰居節(jié)點替換當(dāng)前節(jié)點，從而實現(xiàn)向山峰的高處攀爬的目的，如此循環(huán)直到達(dá)到最高點，從而輸出局部最優(yōu)解.

本文用Gm×t表示一段時長為t的動態(tài)手勢，含有m 個傳感器，數(shù)據(jù)庫（g1，g2，…，gn）表示已知的n種抽象手勢模板，S（Gm×t，gi）度量當(dāng)前數(shù)據(jù)流和某種手勢模板的相似性.在Gm×t中檢測已知的手勢片段時，將待檢測項與整串?dāng)?shù)據(jù)比較，一旦串中出現(xiàn)待檢測項的開始點時，兩者的相似性開始逐步累加，直到相似性出現(xiàn)拐點時說明檢測到動作片段的結(jié)束點.記錄下全局過程中的每個相似性變量，并把它們放入備選集中，最后從中輸出一個全局最大值，這個值代表的數(shù)據(jù)串的始末點就是與待檢測項最為匹配的部分，從而將手勢轉(zhuǎn)化為一組動作元序列.

圖5顯示了在時長約為3 s的一段數(shù)據(jù)流中提取3個靜態(tài)手勢的示意圖，該串原始數(shù)據(jù)代表由手語L，V，I構(gòu)成的動作序列.開始時段，由于手語Y的拇指關(guān)節(jié)的彎曲度和L很相似，造成Y的相似度較高，當(dāng)測到差異性關(guān)節(jié)點時，Y的相似性開始急劇減少，L則穩(wěn)固上升.在0～10時間段的檢測中，可以判定存在手語L而排除Y.在10～25時段，字母U和V的手勢非常相似，因此算法檢測出2個局部最優(yōu)解，最終通過全局最優(yōu)判斷是手勢V.

圖5 從連續(xù)數(shù)據(jù)流中提取手勢片段

2.4 手勢匹配

計算機要判別用戶的手勢，其實質(zhì)是將n個數(shù)據(jù)映射為手勢庫中的一種，為此，逐次將這些動作元與模板進行相似性度量，即可確定動態(tài)手勢的種類.

為提高搜索速度，將手勢庫按照不同姿態(tài)進行分類.根據(jù)操作對象的形狀和動作性質(zhì)的不同，可以對手指相應(yīng)關(guān)節(jié)的變化做層次劃分，圖6示意了一種通用的姿態(tài)分類方法［11］.

圖6 手勢的層次分類圖

例如在抓取手勢中，食指和無名指的部分關(guān)節(jié)（指尖關(guān)節(jié)DIP、跟關(guān)節(jié)MIP）會產(chǎn)生顯著變化，而在觸碰手勢中通常變化幅度不大，通過對不同關(guān)節(jié)進行組合，根據(jù)它們的變化趨勢對應(yīng)到手勢分類中，構(gòu)建一棵層次搜索樹.由于相似手型基本都集中在某一個父節(jié)點之下，遍歷時采取深度優(yōu)先搜索，并根據(jù)搜索的葉子節(jié)點的上下限是否越界進行判定，能夠?qū)崟r的定位到所要匹配的手勢模板.

由于手勢模板是由大量樣本聚合而成，因此利用歐式距離:

進行模板匹配時，必須設(shè)定一個閾值θ，以保證存在一個允許的擾動區(qū)間，并根據(jù)如下規(guī)則對手勢進行判定:

其中，mi代表手勢模板;gi代表動作元片段.對于Gm×t序列的每個片段均做如上的匹配，當(dāng)且僅當(dāng)動作序列的時序一致并且相應(yīng)的匹配均落在預(yù)定的閾值范圍內(nèi)時，可以判定當(dāng)前的動態(tài)手勢.

當(dāng)手勢庫涵蓋待檢測的動態(tài)手勢的全部動作片段時，算法輸出最佳匹配項;當(dāng)出現(xiàn)動作元不在手勢庫的情況時，一般的識別算法如神經(jīng)網(wǎng)絡(luò)，由于樣本類別未知而無法對其進行歸類.本算法利用k最近鄰法，計算它與手勢庫中每個模板的相似度，找出k個最相似的匹配項，根據(jù)加權(quán)距離判斷所屬類別，從而輸出最為相似的手型作為識別結(jié)果.

3 實驗結(jié)果和分析

為了驗證本文所述算法的可行性和效果，按照圖7的結(jié)構(gòu)框架搭建了一個動態(tài)手勢識別系統(tǒng).

圖7 手勢識別系統(tǒng)設(shè)計框架

采用5DT Data Glove Ultra 14型號的數(shù)據(jù)手套［12］作為輸入.該手套使用14個光學(xué)光纖傳感器測量每個手指關(guān)節(jié)（基部關(guān)節(jié)PIP、中間關(guān)節(jié)MCP）的彎曲角度，輸出8位有效數(shù)值，采樣頻率75 Hz（約0.01 s采樣一次）.為了提高交互性，引入了基于骨骼驅(qū)動［13］的虛擬手模型，圖8演示了利用傳感器值驅(qū)動虛手模型按照用戶的動作實時運動的效果.

圖8 數(shù)據(jù)手套驅(qū)動虛擬手運動的視覺效果

使用搭建的系統(tǒng)，本文完成了2組實驗.實驗1中選取美國啞語（ASL）［14］的26個字母手語作為基本手勢庫，讓用戶A和B兩人分別做26個字母的手勢，每種手勢重復(fù)10遍，用這些樣本構(gòu)建手語字母的模板庫，并使用該模板庫來識別用戶C（沒有采集他的手勢樣本）所作出的單詞手勢（單詞手勢是一系列的字母順序組合而成）.該用戶一共做了10個單詞的動態(tài)手勢，采樣20次，表1是對這10個單詞的動作序列的平均識別率.

表1 單詞識別率

這些單詞涵蓋了字母表的所有字母，對這些字母的平均識別率如圖9所示.傳統(tǒng)的模板匹配和神經(jīng)網(wǎng)絡(luò)算法在對樣本以外的數(shù)據(jù)（用戶C）進行分類時，由于缺乏構(gòu)建訓(xùn)練樣本手勢庫的數(shù)據(jù)，無法對其中的某些手勢進行相似性度量，進而不能對其進行準(zhǔn)確分類，導(dǎo)致了識別率的不穩(wěn)定現(xiàn)象.比較而言，SVD算法在構(gòu)建手勢庫的過程中，提取訓(xùn)練樣本的特征信息，同時消除和特定樣本耦合的數(shù)據(jù)，在極大壓縮空間數(shù)據(jù)的同時，保證了手勢庫的通用性，從而提高了算法分類的準(zhǔn)確性和穩(wěn)定性.

圖9 ASL手語識別率

實驗2參照圖6的手勢分類，重建了一組動作集.在手勢庫搭建階段，讓用戶A在約3 s的時間內(nèi)依次做如下動作，構(gòu)成一段連續(xù)的動作序列:①食指觸碰;②食指和中指同時按壓;③拿捏小球（使用食指和拇指）;④拿捏細(xì)棒（使用食指和拇指）;⑤握住大球體;⑥抓取粗棒.利用該用戶的數(shù)據(jù)構(gòu)建如上6種手勢的手勢庫.在識別階段，實驗采集了8位用戶（包括構(gòu)建動作集的用戶A）做上述動作序列的原始數(shù)據(jù)，其中5男3女，身高分布在1.65～1.88 m 之間，手型大小、比例各不相同，以中指指端到手腕測量數(shù)據(jù)為例，長度值分布在17.1～20.3 cm之間，導(dǎo)致相同手勢所對應(yīng)的傳感器值存在較大差異性.圖10顯示了采集過程中8位用戶食指第1關(guān)節(jié)的數(shù)據(jù)值變化趨勢.

圖10 多用戶的傳感器原始值變化曲線圖

實驗2利用用戶A的數(shù)據(jù)所構(gòu)建的動作集來識別這8位用戶的動作序列，測得的識別率如圖11所示.圖11a對比了神經(jīng)網(wǎng)絡(luò)和SVD算法的識別率，圖11b～圖11h顯示了多用戶情況下，由于神經(jīng)網(wǎng)絡(luò)算法的手勢集依賴于特定用戶，更換用戶后沒有相應(yīng)的訓(xùn)練樣本，識別算法已失效.SVD算法構(gòu)建的抽象手勢模板則能夠屏蔽不用測試者之間的手型差異，在無需重建手勢庫的情況下，對

圖11 采用A的手勢集對多用戶進行手勢識別

多用戶保持穩(wěn)定的識別率.由此得出，本算法所構(gòu)建的手勢庫適應(yīng)于正常人群的手勢識別.

上述實驗分別測試了2組手勢集，本文所提出的識別方法能夠?qū)⒂脩舻倪B續(xù)動作準(zhǔn)確的分割成一系列的動作序列，它利用Hill Climbing思想實時提取動作元，使用預(yù)先構(gòu)建的抽象手勢集對不同用戶的手勢序列進行識別，無需標(biāo)定，過程簡單，識別效果穩(wěn)定.

4 結(jié)論

對數(shù)據(jù)手套采集的連續(xù)數(shù)據(jù)流進行動態(tài)手勢識別，是將這些原始值經(jīng)過數(shù)據(jù)壓縮、特征提取、手勢抽象、數(shù)據(jù)分割，轉(zhuǎn)化成動作元構(gòu)成的序列，并利用模板庫按序匹配，最終輸出動態(tài)手勢的識別結(jié)果.

本文所述的方法成功應(yīng)用于5DT數(shù)據(jù)手套搭建的手勢識別系統(tǒng)，在完全滿足實時性的基礎(chǔ)上，能夠適應(yīng)多用戶的佩戴使用，無需標(biāo)定，操作方便，提供的識別率準(zhǔn)確穩(wěn)定.

（References）

［1］Agrawal R，F(xiàn)aloutsos C，Swami A.Efficient similarity search in sequence databases［C］//FODO 1993 Proceedings of the 4th International Conference on Foundations of Data Organization and Algorithms.London:Springer-Verlag，1993:69－84

［2］Babu S，Widom J.Continuous queries over data streams［J］.ACM SIGMOD Record，2001，30（3）:109－120

［3］Gehrke J，Korn F，Srivastava D.On computing correlated aggregates over continuous data streams［C］//2001 ACM SIGMOD InternationalConference on ManagementofData.NY:Association for Computing Machinery，2001

［4］Mitra S.Gesture recognition:a survey［J］.IEEE Transactions on Systems，Man，and Cybernetics，PartC:Applicationsand Reviews，2007，37（3）:311－324

［5］Emran S M，Ye N.Robustness of canberra metric in computer intrusion detection［C］//Proceedings of the 2001 IEEE Workshop on Information Assurance and Security.NY:United States Military Academy，West Point，2001

［6］Chan Kinpong，Waichee Fu A.Efficient time series matching by wavelets［C］//Proceedings-International Conference on Data Engineering.Los Alamitos，CA:Institute of Electrical and Electronics Engineers Computer Society，1999:126－133

［7］Ju Zhaojie，Liu Honghai，Zhu Xiangyang，et al.Dynamic grasp recognition using time clustering，gaussian mixture models and hidden markov models［C］//Intelligent Robotics and Applications-First International Conference，ICIRA 2008，Proceedings.Heidelberg:Springer-Verlag，2008，23（10）:669－678

［8］Bedregal B C，Costa A C R，Dimuro G P.Fuzzy rule-based hand gesture recognition，artificial intelligence in theory and practice［C］//IFIP International Federation for Information Processing.Boston，MA:World Computer Congress，2006，217:285－294

［9］Vamplew P，Adams A.Recognition and anticipation of hand motions using a recurrent neural network［C］//IEEE International Conference on Neural Networks.Piscataway，NJ:IEEE，1995，6:2904－2907

［10］Zollner R，Rogalla O，Dillmann R，et al.Dynamic grasp recognition within the framework of programming by demonstration［C］//Robot and Human Communication-Proceedings of the IEEE International Workshop.Piscataway，NJ:IEEE，2001:418－423

［11］Frolov V，Deml B，Hannig G.Geture recognition with hidden Markov models to enable multimodal haptic feedback［C］//Proceedings of the 6th international conference on Haptics:Perception，Devices and Scenarios.Berlin，Heidelberg:Springer-Verlag，2008，5024:786－795

［12］Fifth Dimension Technologies Corporation.5DT data glove ultra manual［M/CD］.Irvine，CA:Fifth Dimension Technologies，2004:42－56

［13］Lewis J P，Cordner M，F(xiàn)ong N.Pose space deformations:a unified approach to shape interpolation and skeleton-driven deformation［C］//Proceedings ofthe ACM SIGGRAPH Conference on Computer Graphics.NY:ACM Press，2000:165－172

［14］Costello E.Random House Webster's concise American sign language dictionary［M］.NY:Random House，1999:3－25

Algorithm based on continuous data stream for dynamic gesture recognition

Zheng WeiShen Xukun

（The State Key Laboratory of Virtual Reality Technology and Systems，Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

For the purpose of recognizing the sequence of dynamic gesture made by operator，a method was presented based on continuous data streams sampled from data glove，which used singular value decomposition（SVD）to eliminating noise and extracting features.The characteristics of physiology about joint bend was applied making user-dependent information be culled.A set of gesture template which across different users was set up.The template which gives a complete description of gesture’s feature and generalizes it is therefore user-independent.Based on Hill Climbing heuristic，these streams were separated into action sequences，then a similarity measurement using Euclidian distance was adopted in real time between all segments and templates on a hierarchy search tree built in advance.The sequences segmented by this method are accuracy and suitable for multi users.The effectiveness of this approach for identifying dynamic gesture was verified by two empirical experiments which using 5DT data glove.

continuous data stream;singular value decomposition（SVD）;dynamic gesture recognition

TP 391.4

A

1001-5965（2012）02-0273-07

2010-10-27;< class="emphasis_bold">網(wǎng)絡(luò)出版時間:

時間:2012-02-21 11:46;

CNKI:11-2625/V.20120221.1146.020

www.cnki.net/kcms/detail/11.2625.V.20120221.1146.020.html

國家高科技研究發(fā)展計劃重點資助項目（2009AA012103）

鄭 韡（1985－），男，安徽銅陵人，碩士生，zhengwei@vrlab.buaa.edu.cn.

（編 輯:文麗芳）