利用軌跡模板匹配方法的實時動態(tài)手勢識別

彭露茜，姚加飛

(1.重慶大學 輸配電裝備及系統(tǒng)安全與新技術國家重點實驗室，重慶 400044；2. 重慶大學 建筑設計研究院)

利用軌跡模板匹配方法的實時動態(tài)手勢識別

彭露茜1，姚加飛2

(1.重慶大學 輸配電裝備及系統(tǒng)安全與新技術國家重點實驗室，重慶 400044；2. 重慶大學 建筑設計研究院)

利用混合高斯模型進行運動檢測，分割出運動前景，采用粒子濾波器結合皮膚橢圓模型進行手勢跟蹤，獲得手勢中心點運動軌跡，在此基礎上提出利用軌跡模板匹配方法進行動態(tài)手勢識別。該方法利用基本的幾何和三角函數(shù)就能完成手勢運動軌跡的定義和識別，不需要選擇特征或訓練樣本。實驗結果表明，該算法能夠實現(xiàn)實時動態(tài)手勢識別。

軌跡模板匹配；動態(tài)手勢識別；皮膚橢圓模型；粒子濾波器

引 言

手勢識別作為新型人機交互方式之一，成為一項越來越重要的熱點研究內容。利用可穿戴設備進行手勢識別的系統(tǒng)設備費用昂貴，操作上也有局限性。基于機器視覺的手勢識別則具有設備相對簡單、操作更加方便的優(yōu)勢，成為手勢識別的主要發(fā)展趨勢[1]。

張良國等[2]采用手勢模板匹配方法建立了中國手語手指字母識別系統(tǒng)，但在手勢旋轉或縮放時魯棒性較差。陳文[3]利用動態(tài)時間規(guī)則進行手勢識別，但實時性較差。Tusor等[4]基于神經(jīng)網(wǎng)絡的手勢識別，劉珠峰等[5]建立的HMM手勢識別模型，都存在訓練樣本大、實時性不高的問題。

本文利用單攝像頭，基于混合高斯模型進行運動檢測，采用粒子濾波器結合皮膚橢圓模型進行手勢跟蹤，并提出一種基于軌跡模板匹配的動態(tài)手勢識別方法。

1 運動檢測

運動檢測的一般方法有幀差法[6]、光流法[7]和混合高斯模型[8]等算法。幀差法檢測到的目標不完整；光流法計算復雜，受光照、背景影響大；混合高斯模型法可以對任意形狀的密度分布進行平滑近似，對背景適應能力極強，且算法實現(xiàn)的開銷較小，滿足實時性要求。故本文利用混合高斯模型進行運動檢測，對圖像的每個像素點建立多高斯混合模型，根據(jù)最大期望算法[9]自適應地更新模型參數(shù)，較準確地分離出視頻中的運動前景。

2 目標檢測和跟蹤

為了得到手勢的準確位置和運動軌跡，需要對運動區(qū)域做膚色檢測和目標跟蹤。跟蹤算法需要具有良好的魯棒性，常用的有CAMSHIFT[10]算法、卡爾曼濾波[10-11]算法和粒子濾波[12]算法。CAMSHIFT算法只適用于線性系統(tǒng)中；卡爾曼濾波處理非高斯模型時效果不好，粒子濾波算法能夠處理任意的非線性函數(shù)和非高斯分布的系統(tǒng)，且對復雜背景下的目標跟蹤效果較好。因此本文選取基于顏色直方圖的粒子濾波算法[13]作為手勢檢測和跟蹤的算法。

顏色粒子濾波算法將圖像顏色特征分布的相似度作為粒子濾波要求解的后驗概率，通過計算顏色直方圖的巴氏距離[14]得到粒子的權重，如下所示：

其中，d為巴氏距離，m為直方圖顏色分組的bin格數(shù)，p(u)為參考顏色概率分布，q(u)為候選粒子所在區(qū)域顏色分布，d越小說明p(u)和q(u)的相似度越高，故選擇巴氏距離作為每個粒子的權重。

圖1 膚色橢圓模型

YCrCb顏色空間受光線變化影響小，同時參考文獻[15]提出YCrCb空間中膚色的分布在Cr和Cb分量上可近似聚合為一個橢圓，如圖1所示。因此，本文采用基于YCrCb空間的顏色粒子濾波算法。

設膚色橢圓模型的集合為C，像素點(x，y)的像素值為P(x，y)，對運動目標檢測得到的前景圖像進行如下處理：

接著對處理后的圖像計算顏色概率分布及巴氏距離，從而得到粒子濾波需要的粒子權重。

本文檢測和跟蹤的基本算法流程如圖2所示。

圖2 粒子濾波流程圖

在初始化時，每個粒子的權重是相同的，在隨機的傳播后，粒子的權重和坐標發(fā)生改變。本文采用隨機的傳播模型如下所示：

其中，X0為粒子的初始坐標，Xk-1為粒子上一幀的坐標，Xk為粒子當前幀的坐標，Xk+1為粒子在下一幀圖像中的隨機坐標，A1、A2和B為傳播系數(shù)，random為隨機數(shù)，本文采用OpenCV2.4.9圖像處理庫的隨機數(shù)生成器RNG產(chǎn)生隨機數(shù)進行計算。粒子狀態(tài)轉移的傳播模型如圖3所示。

圖3 粒子狀態(tài)轉移傳播模型

在實際應用中，手勢的運動區(qū)域相比整個圖像來說是較小的，本文做出如下改進：設定粒子傳播區(qū)域為以手勢的先驗中心坐標為中心，運動前景圖像外接矩形1.5倍的矩形區(qū)域。該區(qū)域包含了運動手勢的全部區(qū)域，且有效地減小了粒子傳播的計算量，同時能夠在隨機傳播后得到較多權重較大的粒子，提高了計算的快速性。然后采用下式計算期望中心，即最優(yōu)粒子，并顯示該粒子。

其中，Xi(k)為第k幀的第i個粒子的橫坐標，Yi(k)為第k幀的第i個粒子的縱坐標；ωi(k)為第k幀的第i個粒子的權重；N為粒子總數(shù)，xc(k)和yc(k)為最優(yōu)粒子的中心坐標，如圖3中虛線框為單個粒子，實矩形框為期望粒子。

第一節(jié)中介紹的運動檢測去除了背景中類似于膚色的部分，若采用本節(jié)中的檢測和跟蹤算法，可更精確地捕捉到運動手勢。

3 軌跡識別

常用的手勢識別算法往往需要大量訓練樣本，訓練時間過長，實時性不好。因此，本文提出一種基于軌跡模板匹配的動態(tài)手勢識別方法。該方法最初用于觸摸屏輸入識別，此處創(chuàng)新性地用于動態(tài)手勢識別。記錄手勢移動的期望坐標點集，可得到手勢的運動軌跡，該點集記為待識別運動軌跡點集C，模板運動軌跡點集Ti為一系列事先定義好的運動軌跡，i為模板數(shù)目，軌跡識別即選出與C最接近的唯一Ti。為了達到上述目的，需要將原始點集(包括C和Ti)先進行軌跡重構、一次性旋轉、縮放和平移，如圖4所示。

圖4 軌跡處理流程

然后將C分別針對每一個Ti進行角度調整，直到找到對準該Ti的最佳角度，最后通過評估找到C的最優(yōu)匹配。具體算法步驟如下：

(1) 軌跡重構

對運動軌跡進行重構是為了使同一點集內的軌跡點間距離相等，不同點集內的軌跡點數(shù)量相等。設軌跡的初始點集中，點個數(shù)為M，算法處理中，默認重構點個數(shù)為N。實驗中發(fā)現(xiàn)，選擇N=64能夠同時滿足精度和運算時間的要求。計算M個軌跡點距離的總長度，將該長度均分為(N-1)段，沿著軌跡段矢量方向進行線性插值N個重采樣軌跡點，依此可計算Ti到C的距離。

(2) 一次性旋轉

使兩個軌跡對齊需要求解旋轉的最優(yōu)角度，本文求解最優(yōu)角度的思想分兩步進行:首先利用基于方向角(indicative angle)的一次性旋轉法尋找近似最優(yōu)角度。然后再通過一系列微調找到最優(yōu)角度，故首先對C和Ti進行基于方向角的一次性旋轉。定義從圖心到第一個軌跡點的矢量角為方向角，旋轉軌跡使方向角為0°。

(3) 縮放和平移

(4) 尋找最優(yōu)匹配

第二步中C與Ti找到了近似最優(yōu)角度，利用黃金分割搜索對C的方向角進一步微調，根據(jù)參考文獻和經(jīng)驗，使用界限為±45°、閾值為2°的黃金分割搜索尋找最優(yōu)角度。C與Ti最優(yōu)對齊后，需要評估兩者的匹配度，評估公式為：

由上式可知，與C路徑最短的模板Ti就是識別結果。

上述方法利用基本的幾何和三角函數(shù)完成手勢運動軌跡的定義和識別，支持手勢運動軌跡的旋轉、縮放和平移不變性，不需要特征選擇或訓練樣本，能適應彈性的輸入采樣率，成本低、準確率高、運算量小、實時性好。

4 實驗結果與分析

本文采用Inteli5-6600K@ 3.5GHzCPU，8GBDDR4內存的PC作為實驗平臺，在Windows10操作系統(tǒng)中，使用VisualStudio2012開發(fā)工具，利用OpenCV2.4.9圖像處理庫，進行上述算法的實驗。

4.1 運動檢測結果

運動檢測如圖5所示，通過混合高斯運動檢測和形態(tài)學濾波處理，可較好地檢測出運動目標。

圖5 運動前景檢測

由實驗結果可以看出，混合高斯模型可以較好地檢測到包含完整手勢的運動區(qū)域，滿足本文算法設計要求。

4.2 檢測和跟蹤實驗結果與分析

如圖6所示，該算法可較準確地檢測到運動手勢，并進行跟蹤。圖中方框為檢測到的手勢區(qū)域，圓點為跟蹤位置。

圖6 手勢跟蹤結果

實驗結果表明，采用本文改進的粒子濾波器進行手勢跟蹤，可以得到較為準確的手勢位置。

4.3 手勢識別實驗結果與分析

本文對以下6種自定義的手勢進行識別實驗，平均處理時間為35 ms/幀，識別結果數(shù)據(jù)統(tǒng)計如表1所列。由統(tǒng)計結果可知，本文所提出的手勢識別算法可較準確地對手勢進行識別，同時滿足實時性需求。

表1 動態(tài)手勢實驗統(tǒng)計

結 語

[1] 易靖國,程江華,庫錫樹.視覺手勢識別綜述[J].計算機科學,2016,43(S1):103-108.

[2] 張良國,吳江琴,高文,等.基于Hausdorff距離的手勢識別[J].中國圖象圖形學報,2002,7(11):43-49.

[3] 陳文.基于加速度傳感器的智能終端手勢識別關鍵技術研究[D].長沙:國防科學技術大學,2011.

[4] Tusor b Varkonyik-A-R.Circular fuzzy neural network based hand gesture and posture modeling[C]//Proceeding on Instrumentation and Measureement Technology Conference,Texas:IEEE,2010:815-820.

[5] 劉珠峰,周良,丁秋林.基于隱性馬爾可夫模型的手勢識別設計和優(yōu)化[J].計算機應用研究,2011,28(6):2386-2388.

[6] 於正強,潘赟,宦若虹.一種結合幀差法和混合高斯的運動檢測算法[J].計算機應用與軟件,2015,32(4):129-132,270.

[7] 許敬,張合,張祥金.基于幀間差分和光流法的紅外圖像運動檢測[J].計算機仿真,2012,29(6):256-260.

[8] 胥欣,江登表,李勃,等.混合高斯模型運動檢測算法優(yōu)化[J]. 計算機應用研究,2013,30(7):2190-2194,2209.

[9] 王愛平,張功營,劉方.EM算法研究與應用[J].計算機技術與發(fā)展,2009,19(9):108-110.

[10] 孫凱,劉士榮.多目標跟蹤的改進Camshift卡爾曼濾波組合算法[J].信息與控制,2009,38(1):11-16.

[11] 劉靜,姜恒,石曉原.卡爾曼濾波在目標跟蹤中的研究與應用[J].信息技術,2011,239(10):182-185.

[12] 周尚波,何革,柳玉炯.一種改進的粒子濾波目標跟蹤算法[J].計算機應用研究,2010,27(7):363-365.

[13] 江超,艾矯燕.基于OpenCV的攝像頭動態(tài)手勢軌跡識別及其應用[J].計算機應用,2012,32(S1):134-139.

[14] Fazli s Pour-H-MBouzari-H.Particle filter based object tracking with sift and color feature[C]//Second International Conference on Machine Vision,Las Vegas:IEEE,2009:89-93.

[15] 高建坡,王煜堅,楊浩,等.一種基于KL變換的橢圓模型膚色檢測方法[J].電子與信息學報,2007,29(7):219-223.

[16] Wobbrock J,Wilcson A,Yang Li.Gestures without libraries,toolkits or training: A $1 recognizer for user interface prototypes[C]//Proceedings of the ACM Symposium on User Interface Software and Technology,New York:ACM Press,2007:159-168.

彭露茜(碩士研究生)，主要研究領域為控制工程。

Real-time Dynamic Gesture Recognition Using Trajectory Template Matching Method

Peng Luxi1,Yao Jiafei2

(1.State Key Laboratory of Power Transmission Equipment&System Security and New Technology,Chongqing University, Chongqing 400044,China;2.Architectural Design Research Institute,Chongqing University)

The Gaussian mixture model is used to segment the motion foreground.A particle filter and a skin ellipse model are used to track the motion of the center of the gesture.Based on this,the dynamic gesture recognition is proposed using the track template matching method.This method can use the basic geometric and trigonometric functions to complete the recognition of the trajectory of the gesture,without selecting features or training samples.The experiment results show that the algorithm can achieve real-time dynamic gesture recognition.

trajectory template matching;dynamic gesture recognition;skin ellipse model;particle filter

TP391.4

A

?士然

2017-03-29)