基于軌跡模板匹配的動(dòng)態(tài)手勢(shì)識(shí)別方法*

王浩宇,漆晶,方天恩,劉德慶

(重慶郵電大學(xué) 移動(dòng)通信技術(shù)重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

基于軌跡模板匹配的動(dòng)態(tài)手勢(shì)識(shí)別方法*

王浩宇,漆晶,方天恩,劉德慶

(重慶郵電大學(xué) 移動(dòng)通信技術(shù)重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

首先采用基于混合高斯模型與橢圓膚色模型進(jìn)行手勢(shì)分割，分割出手勢(shì)區(qū)域，使用卡爾曼濾波器進(jìn)行手勢(shì)跟蹤，獲得手勢(shì)中心點(diǎn)的位置。在此基礎(chǔ)上，記錄各幀中心點(diǎn)位置，得到運(yùn)動(dòng)軌跡，利用提出的軌跡模板匹配方法對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別。該方法利用基本的幾何特征便可完成手勢(shì)運(yùn)動(dòng)軌跡的設(shè)置與識(shí)別，無(wú)需特征選擇或訓(xùn)練樣本的搜集。最后，采用基于Zynq-7000的Zedboard平臺(tái)對(duì)該算法進(jìn)行實(shí)現(xiàn)，并采用HLS硬件加速工具進(jìn)行算法加速。實(shí)驗(yàn)結(jié)果表明，該算法可實(shí)現(xiàn)較精確的手勢(shì)識(shí)別，接受彈性的輸入采樣，識(shí)別正確率在95%以上，且通過(guò)硬件加速后，可在嵌入式平臺(tái)中實(shí)時(shí)識(shí)別，具有較好的實(shí)時(shí)性。

軌跡模板匹配; 卡爾曼濾波; 橢圓膚色模型; 硬件加速

引 言

隨著科技的發(fā)展與進(jìn)步，計(jì)算機(jī)與嵌入式技術(shù)也隨之迅猛發(fā)展，當(dāng)前，嵌入式技術(shù)朝著更高速、更高效、并行化、更高可靠性方向飛速發(fā)展的同時(shí)，也向著更自然、更簡(jiǎn)潔、更舒適的人機(jī)交互領(lǐng)域闊步前進(jìn)。特別是在互聯(lián)網(wǎng)、游戲、數(shù)碼產(chǎn)品、AR、VR產(chǎn)業(yè)中，可提供更好的人機(jī)接口，方便人們與計(jì)算機(jī)更加自然和諧的溝通與交流，成為了計(jì)算機(jī)商業(yè)領(lǐng)域中一個(gè)具有經(jīng)濟(jì)效益的發(fā)展方向。

在人機(jī)交互中，技術(shù)的發(fā)展經(jīng)歷了鍵盤(pán)、鼠標(biāo)、操作桿、手柄等交互方式，還經(jīng)歷了佩戴可穿戴傳感設(shè)備[1-3]、肢體交互方式，再到當(dāng)前基于視覺(jué)的人臉、手勢(shì)[4-6]、指紋、觸摸屏等交互方式和眼球、瞳孔交互等前沿交互方式。對(duì)于智能控制和視頻監(jiān)控等領(lǐng)域，動(dòng)態(tài)手勢(shì)識(shí)別更具有重要的意義?；趯?shí)時(shí)攝像頭的動(dòng)態(tài)手勢(shì)交互，因具有方便、易操控等特點(diǎn)，可以直接用裸手在攝像頭前完成相應(yīng)的手勢(shì)操作，具有自然性、可移植性等特點(diǎn)，因而獲得了學(xué)術(shù)界和工業(yè)界的較大關(guān)注。目前在主流單目手勢(shì)識(shí)別中，手勢(shì)可分為靜態(tài)手勢(shì)與動(dòng)態(tài)手勢(shì)兩大類。在靜態(tài)手勢(shì)中，手勢(shì)的形狀、輪廓、紋理等信息指示了靜態(tài)手勢(shì)的意義，而在動(dòng)態(tài)手勢(shì)中，手勢(shì)的意義包含在移動(dòng)速度、方向、軌跡中。

在當(dāng)前主流的手勢(shì)識(shí)別研究中，研究者著重于對(duì)手勢(shì)的靜態(tài)特性或動(dòng)態(tài)特性進(jìn)行研究、識(shí)別。如參考文獻(xiàn)[7]中，研究者通過(guò)對(duì)手勢(shì)的幾何不變矩作為手勢(shì)的特征向量進(jìn)行靜態(tài)手勢(shì)識(shí)別，參考文獻(xiàn)[8]中，研究者通過(guò)對(duì)手勢(shì)的幾何特性作為特征進(jìn)行靜態(tài)手勢(shì)識(shí)別。在參考文獻(xiàn)[9]中，研究者采用顏色粒子濾波器和HMM(隱馬爾可夫模型)提取手勢(shì)的重心，并通過(guò)重心軌跡訓(xùn)練HMM模型進(jìn)行手勢(shì)的動(dòng)態(tài)識(shí)別。

本文采用手勢(shì)的靜態(tài)幾何特性與動(dòng)態(tài)軌跡相結(jié)合的方法，對(duì)手勢(shì)進(jìn)行分析。首先將攝像頭圖像進(jìn)行膚色分割采用運(yùn)動(dòng)背景檢測(cè)相結(jié)合的手勢(shì)檢測(cè)方法，而后通過(guò)輪廓提取，采用凸多邊形擬合、幾何特征提取的方式提取手勢(shì)特征。同時(shí)，檢測(cè)手勢(shì)重心運(yùn)動(dòng)軌跡，得到手勢(shì)運(yùn)動(dòng)軌跡，而后將手勢(shì)識(shí)別問(wèn)題轉(zhuǎn)換為軌跡識(shí)別問(wèn)題，通過(guò)基于軌跡匹配識(shí)別算法對(duì)手勢(shì)進(jìn)行識(shí)別，并在Zynq-7000平臺(tái)上面實(shí)現(xiàn)該算法，并對(duì)算法進(jìn)行硬件加速，保證識(shí)別的實(shí)時(shí)性。

1 手勢(shì)分割

1.1 基于混合高斯模型的運(yùn)動(dòng)檢測(cè)

本文采用混合高斯模型進(jìn)行運(yùn)動(dòng)檢測(cè)，其基本思路是對(duì)視頻圖像的每個(gè)像素點(diǎn)建立多高斯混合模型。即對(duì)視頻圖像的每個(gè)像素點(diǎn)建立多高斯混合模型，同時(shí)處理多種背景變化，且模型的參數(shù)可根據(jù)EM(最大期望)算法進(jìn)行自適應(yīng)更新[10]。

設(shè)任意像素點(diǎn)的像素值為P(x,y,i)，則任意像素點(diǎn)的像素值可表示為：

(1)

用K個(gè)獨(dú)立的高斯分布聯(lián)合建立模型來(lái)表示這些歷史像素值，像素值Xi為當(dāng)前像素值的概率為：

(2)

(3)

混合高斯模型采用EM算法進(jìn)行參數(shù)更新。當(dāng)獲得新的觀察值Xi后，分別判斷該觀測(cè)值Xi和混合高斯模型的K個(gè)高斯分布之間是否存在匹配。若當(dāng)前幀的像素Xi與第i個(gè)高斯分布滿足式(4)所示關(guān)系時(shí)，則認(rèn)為該像素值Xi與第i個(gè)高斯分布匹配。

(4)

如果當(dāng)前像素Xi與第i個(gè)高斯模型匹配，則相應(yīng)地對(duì)第i個(gè)高斯分布的參數(shù)進(jìn)行更新，參數(shù)更新公式如式下所示：

(5)

如果當(dāng)前像素Xi未與任何高斯分布模型匹配，則刪除權(quán)值最小的高斯分布，用新的高斯分布來(lái)進(jìn)行替代。新高斯分布均值初始化為Xt，方差∑初始化為一個(gè)較大的值，權(quán)值ω0初始化為一個(gè)較小值。對(duì)于當(dāng)前時(shí)刻未匹配的高斯分布保持均值和方差不變，權(quán)重則按照式(6)進(jìn)行衰減。

(6)

(7)

其中，τ表示權(quán)重閾值，其物理意義是所有背景高斯模型權(quán)重之和的最小值。

圖1 膚色橢圓模型

同時(shí)，采用基于(K-L)變換的膚色橢圓模型對(duì)輸入圖像進(jìn)行膚色分割[11]。根據(jù)對(duì)膚色的統(tǒng)計(jì)，在YCrCb顏色空間中,符合大部分人膚色分布的CrCb值在如圖1所示的橢圓范圍內(nèi)部，通過(guò)判斷像素點(diǎn)的值與橢圓模型范圍的關(guān)系，可較準(zhǔn)確分割得到膚色分布區(qū)域。通常情況下，用戶進(jìn)行手勢(shì)操控時(shí)，手的運(yùn)動(dòng)幅度最大，因此，通過(guò)運(yùn)動(dòng)檢測(cè)得到的二值圖像與通過(guò)膚色分割得到的二值圖像相與，而后對(duì)處理后圖像進(jìn)行形態(tài)學(xué)濾波，可得到比較完整的運(yùn)動(dòng)膚色手勢(shì)二值圖。

2 基于特征提取的手勢(shì)跟蹤

2.1 手勢(shì)輪廓特征提取

通過(guò)對(duì)得到的運(yùn)動(dòng)膚色手勢(shì)二值圖進(jìn)行輪廓提取，進(jìn)而可以得到手勢(shì)候選輪廓。在得到手勢(shì)候選輪廓后，由以下幾個(gè)條件進(jìn)行預(yù)處理，去除非手勢(shì)輪廓，進(jìn)而得到手勢(shì)分割結(jié)果。

① 去除膚色區(qū)域面積小于2 000像素的輪廓?？紤]到采用手勢(shì)進(jìn)行人機(jī)交互時(shí)，用戶距離機(jī)器較近，且輪廓面積過(guò)小將導(dǎo)致特征丟失，難以保證指尖的正確檢測(cè)，故去除面積過(guò)小輪廓。

② 待選手勢(shì)輪廓區(qū)域的長(zhǎng)寬必須大于100像素，防止某些滿足條件(1)的狹長(zhǎng)區(qū)域被誤判為手勢(shì)輪廓。

③ 待選手勢(shì)輪廓區(qū)域的長(zhǎng)(height)寬(width)比σ需滿足式(8)：

(8)

④ 手指及手掌部分完整出現(xiàn)在視頻窗口中。

通過(guò)以上條件，得到手勢(shì)輪廓后，可通過(guò)求取圖像重心的方式得到近似手勢(shì)重心。手勢(shì)重心o(x,y)按式(9)計(jì)算:

(9)

設(shè)圖像像素分布函數(shù)為f(x,y)，則圖像的一階矩、二階矩分別為m00=∑∑f(x,y)，m10=∑∑xf(x,y)，m01=∑∑xf(x,y)。

同時(shí)，通過(guò)對(duì)手勢(shì)輪廓進(jìn)行凸多邊形擬合，得到手勢(shì)外接凸多邊形，并通過(guò)凸缺陷檢測(cè)，得到手指端點(diǎn)與位置，記錄手指?jìng)€(gè)數(shù)，作為手勢(shì)靜態(tài)特征進(jìn)行保存。

2.2 基于卡爾曼濾波器的跟蹤方法

由于攝像頭幀率、噪聲、手勢(shì)移動(dòng)速度過(guò)快等原因，在手勢(shì)采集時(shí)可能出現(xiàn)中途手勢(shì)丟失的情況，故引入卡爾曼濾波器對(duì)手勢(shì)重心進(jìn)行跟蹤，防止手勢(shì)移動(dòng)過(guò)程中出現(xiàn)軌跡中斷。

基于卡爾曼濾波器的跟蹤過(guò)程是估計(jì)目標(biāo)當(dāng)前時(shí)刻和未來(lái)任意時(shí)刻的過(guò)程[12]。將運(yùn)動(dòng)目標(biāo)的運(yùn)行狀態(tài)模型作為一個(gè)卡爾曼濾波器模型，根據(jù)目標(biāo)的運(yùn)動(dòng)歷史預(yù)測(cè)它在下一圖像序列中的位置信息，減小目標(biāo)的搜索區(qū)域，加快目標(biāo)跟蹤的速度，適用于與其他跟蹤方法結(jié)合來(lái)使用。

卡爾曼濾波器將高斯和線性系統(tǒng)的狀態(tài)向量和預(yù)測(cè)值之間的均方誤差達(dá)到最小，動(dòng)態(tài)系統(tǒng)的狀態(tài)用測(cè)量值進(jìn)行估計(jì)修正，提高狀態(tài)估計(jì)的可靠性。由于視頻圖像序列獲取較快，普通USB攝像頭幀率大約在30fps左右，單位時(shí)間內(nèi)可將目標(biāo)的運(yùn)動(dòng)近似認(rèn)定為勻速運(yùn)動(dòng)，因此可以采用適用于線性系統(tǒng)的卡爾曼濾波器進(jìn)行跟蹤估計(jì)。

卡爾曼濾波器系統(tǒng)狀態(tài)方程和觀測(cè)方程為：

(10)

(11)

根據(jù)卡爾曼濾波原理，選擇手勢(shì)的質(zhì)心位置進(jìn)行跟蹤。視頻圖像中手勢(shì)的質(zhì)心坐標(biāo)為o(x,y)，手勢(shì)質(zhì)心的運(yùn)動(dòng)矢量為(vx,vy)。設(shè)定手勢(shì)運(yùn)動(dòng)狀態(tài)的狀態(tài)向量為：

(12)

選取觀測(cè)向量Z=(x,y)T，確定系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣A和觀測(cè)矩陣H分別為：

(13)

(14)

由首次檢測(cè)到的手勢(shì)質(zhì)心作為初始值，利用式(10)和式(11)，根據(jù)觀測(cè)值Z(k)在均方誤差最小情況下，對(duì)當(dāng)前狀態(tài)X(k)進(jìn)行修正估計(jì)，得到最優(yōu)估計(jì)值，同時(shí)根據(jù)狀態(tài)方程預(yù)估下一時(shí)刻的狀態(tài)變量，然后再進(jìn)行修正，得到運(yùn)動(dòng)手勢(shì)質(zhì)心的最優(yōu)估計(jì)值，作為手勢(shì)運(yùn)動(dòng)的軌跡點(diǎn)集，為手勢(shì)識(shí)別做好準(zhǔn)備。

3 基于運(yùn)動(dòng)軌跡與靜態(tài)手勢(shì)特征的手勢(shì)識(shí)別

常用手勢(shì)識(shí)別算法一般采用HMM模型對(duì)手勢(shì)運(yùn)動(dòng)進(jìn)行識(shí)別[13-14]，或采用分類學(xué)習(xí)算法，如Haar特征結(jié)合Adaboost算法訓(xùn)練進(jìn)行手勢(shì)識(shí)別[15]，或基于深度學(xué)習(xí)，如CNN算法等進(jìn)行大量數(shù)據(jù)訓(xùn)練的手勢(shì)識(shí)別算法[16]。這些算法需要大量的訓(xùn)練數(shù)據(jù)集，對(duì)手勢(shì)進(jìn)行擴(kuò)展時(shí)需要大量手勢(shì)數(shù)據(jù)庫(kù)，擴(kuò)展性較差。本文提出一種基于軌跡匹配的手勢(shì)識(shí)別方法，具有一次錄入，便可作為模板進(jìn)行識(shí)別的特性，避免了大量采集數(shù)據(jù)樣本的問(wèn)題，具體如下所述。

通過(guò)手勢(shì)跟蹤得到的手勢(shì)位置點(diǎn)集，通過(guò)本文提出的算法進(jìn)行處理，對(duì)手勢(shì)移動(dòng)軌跡進(jìn)行識(shí)別，處理流程如圖2所示。具體算法步驟如下所述：

(1) 對(duì)路徑軌跡重采樣

由于手勢(shì)移動(dòng)速度的差異性，以及手勢(shì)軌跡采集頻率不一，為保證后續(xù)處理的可靠性，首先對(duì)軌跡進(jìn)行重采樣。設(shè)軌跡的初始點(diǎn)集中，點(diǎn)個(gè)數(shù)為M，算法處理中，默認(rèn)重采樣點(diǎn)個(gè)數(shù)為N。為進(jìn)行重采樣，我們首先計(jì)算M個(gè)軌跡點(diǎn)之間的距離，而后將該距離均分為(N-1)段，每段長(zhǎng)度為I，而后沿著軌跡段矢量方向進(jìn)行線性差值，得到N個(gè)重采樣軌跡點(diǎn)。在實(shí)際使用時(shí)，N=64效果較好，如圖2(b)所示。

(2) 軌跡點(diǎn)旋轉(zhuǎn)

對(duì)于兩個(gè)軌跡之間，當(dāng)前沒(méi)有有效的最鄰近旋轉(zhuǎn)解決方案來(lái)將一個(gè)軌跡與另一個(gè)軌跡對(duì)齊。對(duì)于軌跡點(diǎn)旋轉(zhuǎn)，為盡量保證實(shí)時(shí)性，避免比較復(fù)雜的算法，如通過(guò)矩估計(jì)進(jìn)行旋轉(zhuǎn)等旋轉(zhuǎn)角計(jì)算方法，我們采用了一種較為簡(jiǎn)單的方法，定義從圖心到第一個(gè)軌跡點(diǎn)的矢量角作為指示角，首先尋找指示角，而后通過(guò)旋轉(zhuǎn)，將指示角旋轉(zhuǎn)至0o，如圖2(c)所示。

(3) 軌跡縮放

為保證準(zhǔn)確識(shí)別，需要對(duì)軌跡進(jìn)行進(jìn)一步標(biāo)準(zhǔn)化和規(guī)范化。在軌跡點(diǎn)旋轉(zhuǎn)得到經(jīng)過(guò)處理的點(diǎn)集后，通過(guò)非均勻縮放方法將軌跡縮放至指定大小的正方形區(qū)域中，如圖2(d)所示。經(jīng)過(guò)該步驟可以消除點(diǎn)集C與模板Ti對(duì)應(yīng)點(diǎn)之間由于長(zhǎng)寬比不同而產(chǎn)生的距離，僅剩下由旋轉(zhuǎn)導(dǎo)致的距離。

圖2 軌跡點(diǎn)集處理流程

(15)

(16)

(4) 尋找最優(yōu)角度及匹配

(17)

(18)

在本文具體設(shè)計(jì)中，采用檢測(cè)到手張開(kāi)(五指均可檢測(cè)到)作為軌跡起始，握拳狀(檢測(cè)到無(wú)手指)作為軌跡結(jié)束進(jìn)行軌跡采集，而后進(jìn)行軌跡識(shí)別。

本文采用Digilent公司設(shè)計(jì)的以Zynq-7000芯片為核心的Zedborad開(kāi)發(fā)板作為硬件平臺(tái)對(duì)該算法進(jìn)行實(shí)現(xiàn)，為進(jìn)行圖像采集，本文采用USB 2.0接口、分辨率為640×480的攝像頭模組進(jìn)行圖像采集，Zedboard提供的HDMI接口作為顯示接口進(jìn)行結(jié)果驗(yàn)證，內(nèi)部采用AXI總線進(jìn)行軟硬件數(shù)據(jù)交互。具體結(jié)構(gòu)圖如圖3所示。

圖3 處理平臺(tái)內(nèi)部結(jié)構(gòu)圖

在本文的設(shè)計(jì)中，圖像數(shù)據(jù)由USB攝像頭采集得到，而后通過(guò)USB接口傳輸至開(kāi)發(fā)平臺(tái)的DDR內(nèi)存中，而后，通過(guò)OpenCV圖像處理庫(kù)載入圖像，通過(guò)Xilinx公司提供的HLS工具與Zynq-7000內(nèi)置AXI端口將圖像傳輸至邏輯模塊部分進(jìn)行硬件并行處理加速，從而加速圖像濾波、特征提取等操作，使該算法滿足嵌入式實(shí)時(shí)處理的需求。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 手勢(shì)分割結(jié)果檢測(cè)實(shí)驗(yàn)

運(yùn)動(dòng)檢測(cè)結(jié)果如圖4所示，對(duì)比圖4(a)中的輸入圖像可知，該方法可較完整地分割出手勢(shì)，通過(guò)膨脹、腐蝕等形態(tài)學(xué)處理方法后，可去除較小的空洞，較準(zhǔn)確地得到包含完整手勢(shì)的候選區(qū)域。

圖4 手勢(shì)分割檢測(cè)結(jié)果

5.2 手勢(shì)特征提取與跟蹤檢測(cè)實(shí)驗(yàn)

圖5 手勢(shì)特征提取

手勢(shì)特征提取與跟蹤檢測(cè)如圖5所示，由實(shí)驗(yàn)結(jié)果可知，卡爾曼濾波可較準(zhǔn)確跟蹤手勢(shì)中心，凸包絡(luò)缺陷檢測(cè)方法與幾何特征提取可較準(zhǔn)確地得到手勢(shì)的靜態(tài)信息。

圖5中，手指邊緣點(diǎn)為檢測(cè)到的手指端點(diǎn)所在位置，連線匯聚點(diǎn)為手勢(shì)中心，矩形方框?yàn)槭謩?shì)跟蹤位置。

5.3 手勢(shì)識(shí)別實(shí)驗(yàn)

本文設(shè)計(jì)了6種手勢(shì)模板進(jìn)行識(shí)別，具體手勢(shì)如表1所列，識(shí)別結(jié)果數(shù)據(jù)統(tǒng)計(jì)如表1所列。由統(tǒng)計(jì)數(shù)據(jù)可看出，本論文所實(shí)現(xiàn)的手勢(shì)識(shí)別算法可較準(zhǔn)確地對(duì)手勢(shì)進(jìn)行識(shí)別。

表1 手勢(shì)命令及實(shí)驗(yàn)統(tǒng)計(jì)

5.4 硬件加速實(shí)驗(yàn)

Xilinx提供的EDA工具Vivado集成了HLS(High-Level Synthesic，高層次綜合)工具，可將C，C++或System C算法轉(zhuǎn)換為RTL(Register transfer level)實(shí)現(xiàn)，并將其實(shí)現(xiàn)在FPGA中。HLS工具提供了部分OpenCV功能函數(shù)的并行實(shí)現(xiàn)方法，可方便地進(jìn)行視頻、圖像處理的硬件加速。

在本設(shè)計(jì)中，首先在Zynq-7000平臺(tái)上移植Linux操作系統(tǒng)、Linaro文件系統(tǒng)與QT庫(kù)，并移植OpenCV圖形庫(kù)，采用640×480分辨率USB攝像頭進(jìn)行視頻采集，并在視頻處理階段加入HLS對(duì)色彩空間變化、圖像濾波等預(yù)處理步驟進(jìn)行硬件加速。

通過(guò)對(duì)該算法在PC、Zynq-7000內(nèi)部ARM Cortex-A9核心中實(shí)現(xiàn)，以及在Zynq-7000系統(tǒng)中通過(guò)HLS工具進(jìn)行算法加速優(yōu)化后，各平臺(tái)的平均處理時(shí)間如表2所列?？梢?jiàn)，在Zynq-7000平臺(tái)上借助HLS硬件加速工具優(yōu)化算法后，算法的實(shí)時(shí)性得到較大的提高。

表2 不同平臺(tái)處理時(shí)間對(duì)比

結(jié) 語(yǔ)

參考文獻(xiàn)

[1] Han Youngmo.A Low-Cost Visual Motion Data Glove as an Input Device to Interpret Human Hand Gestures[J]. Transactions on Consumer Electronics, 2010, 56(2): 501-509.

[2] Iwai Y, Watanabe K, Yai Y, et al. Gesture Recognition Using Colored Gloves[C]//Proc of the 13 International Conference on Pattern Recognition, USA, 1996: 662-666.

[3] Wang R Y, Popove J. Real-Time Hand-Tracking with a Color Glove[J]. ACM Transactions of Graphics, 2009, 28(3): 1-8.

[4] Bretzner L, Laptev I, Lindeberg T. Hand Gesture Recognition Using Multi-Scale Colour Features, Hierarchical Models and Particle Filtering[C]//Proc of the 5 IEEE International Conference of Automatic Face and Gesture Recognitions, USA, 2002: 423-428.

[5] Stenger B. Template-Based Hand Pose Recognition Using Multiple Cues[C]//Proc of ACCV’06, India, 2006: 551-560.

[6] Sha Liang, Wang Guijin, Yao Anbang, et al. Hand Posture Recognition in Video Using Multiple Cues[C]//Proc of the 2009 IEEE International Conference on Multimedia and Expo, USA, 2009: 886-889.

Dynamic Hand Gesture Recognition Based on Track Template Matching

Wang Haoyu,Qi Jing,Fang Tianen,Liu Deqing

(Mobile Communication Technology Key Lab,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

Firstly,the mixed Gaussian model and ellipse skin color model are used to segment the gesture region and then Kalman filter is used to track gesture,then the center position of the gesture is obtained.On the basis,the center position of each frame is recorded,and then the moving track is gotten.Next,the proposed track template matching method is used for dynamic gesture recognition.This method uses the basic geometric features to complete the setting and recognition of the trajectory of hand gestures,without the need of feature selection or collection of training samples.Finally,the algorithm is implemented on the Zedboard platform based on Zynq-7000 and the HLS hardware acceleration tool is used to accelerate the algorithm.The experiment results show that the proposed algorithm can achieve more accurate gesture recognition and accept flexible input sampling.The recognition rate is more than 95%,and it can be real-time recognized by the embedded platform after the hardware acceleration.So the algorithm has better real-time performance.

track template matching;Kalman filter;ellipse skin color model;hardware acceleration

重慶市教育委員會(huì)項(xiàng)目(KJ1500433)；重慶郵電大學(xué)自然科學(xué)基金(A2012-97)；2014年重郵文峰創(chuàng)新創(chuàng)業(yè)基金支持。

TP391.4

A