基于關(guān)鍵幀和局部極值的手勢(shì)特征提取算法

劉楊俊武，程春玲

(南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210003)

0 引 言

動(dòng)態(tài)手勢(shì)包含運(yùn)動(dòng)軌跡變化和結(jié)構(gòu)變化等，準(zhǔn)確的識(shí)別動(dòng)態(tài)手勢(shì)需要研究動(dòng)態(tài)手勢(shì)特征提取算法，用于表達(dá)手勢(shì)的運(yùn)動(dòng)軌跡特征和結(jié)構(gòu)特征。根據(jù)提取的特征類型不同，目前的動(dòng)態(tài)手勢(shì)特征提取算法主要分為基于圖像屬性的動(dòng)態(tài)手勢(shì)特征提取算法和基于幾何結(jié)構(gòu)的動(dòng)態(tài)手勢(shì)特征提取算法。其中，基于圖像屬性的手勢(shì)特征提取算法是利用目標(biāo)檢測(cè)算法提取出圖像的像素點(diǎn)分布情況來(lái)表達(dá)手勢(shì)，常用方法包括Hu矩[1]、梯度方向直方圖(histogram of oriented gradient，HOG)[2]、光流直方圖(histogram of optical flow，HOF)[3]等。這些算法計(jì)算較為簡(jiǎn)便，且易于實(shí)現(xiàn)，但是提取出的特征維度較大，會(huì)增加手勢(shì)識(shí)別的計(jì)算量和計(jì)算時(shí)間?；趲缀谓Y(jié)構(gòu)的手勢(shì)特征提取算法是對(duì)圖像原始數(shù)據(jù)進(jìn)行處理，提取出能夠反映手勢(shì)本質(zhì)的結(jié)構(gòu)信息，有利于區(qū)分手勢(shì)，提高手勢(shì)識(shí)別的準(zhǔn)確性，主要方法包括結(jié)構(gòu)特征點(diǎn)[4]、凸包[5]、k-曲率[6]等。但是該類算法的計(jì)算復(fù)雜度較高，計(jì)算時(shí)間較長(zhǎng)。

為了縮短手勢(shì)特征提取的時(shí)間，Hasan等通過(guò)兩種半徑大小不同的動(dòng)態(tài)圓模板區(qū)分出手勢(shì)的手掌區(qū)域和手指區(qū)域，然后根據(jù)各個(gè)區(qū)域中的動(dòng)態(tài)圓模板分布確定手勢(shì)中的指尖、指根以及手掌中心的位置[7]。但是該算法易受到噪聲數(shù)據(jù)的干擾，識(shí)別準(zhǔn)確性不穩(wěn)定。Huang等提出一種基于套索的手勢(shì)特征提取算法，通過(guò)設(shè)置一個(gè)固定寬度的套索，并對(duì)手勢(shì)輪廓上的每個(gè)峰值點(diǎn)進(jìn)行遍歷，若輪廓的寬度與套索的寬度相同，則認(rèn)為該段為手勢(shì)的一個(gè)手指[8]。這種方法的不足是套索寬度的設(shè)置依賴人的先驗(yàn)知識(shí)，可能造成誤差或者漏查手指的情況，導(dǎo)致手勢(shì)識(shí)別的準(zhǔn)確性降低。文獻(xiàn)[9]提出一種基于凸包缺陷的動(dòng)態(tài)手勢(shì)特征提取算法。該算法對(duì)于凸包中的每一個(gè)凸包缺陷，根據(jù)它的起始點(diǎn)、中心點(diǎn)、距離最遠(yuǎn)點(diǎn)以及最遠(yuǎn)點(diǎn)到凸包的距離四個(gè)特征之間的相互關(guān)系，判斷是否存在指尖點(diǎn)。但是該算法只能計(jì)算出指尖的個(gè)數(shù)，并不能獲取指尖點(diǎn)的位置信息，且易受到噪聲數(shù)據(jù)的干擾，對(duì)于相似的手勢(shì)類型識(shí)別正確率較差。文獻(xiàn)[10]認(rèn)為傳統(tǒng)基于k-曲率的指尖特征提取算法會(huì)受到曲率較大的非指尖特征點(diǎn)的干擾，降低識(shí)別的準(zhǔn)確性，因此提出一種改進(jìn)算法，在篩選出曲率較大的候選指尖點(diǎn)集后，采用聚類算法將候選指尖點(diǎn)劃分成多個(gè)子集，并選擇每個(gè)子集中的中位點(diǎn)表示指尖位置。但是該算法需要依賴人為設(shè)置的曲率閾值，并且對(duì)候選指尖特征點(diǎn)集進(jìn)行聚類過(guò)濾需要消耗較長(zhǎng)的計(jì)算時(shí)間。

此外，還可以通過(guò)減少手勢(shì)特征提取的次數(shù)來(lái)縮短動(dòng)態(tài)手勢(shì)特征提取的時(shí)間。文獻(xiàn)[11]提出一種基于關(guān)鍵幀的手勢(shì)特征提取算法，通過(guò)計(jì)算和比較相鄰幀手勢(shì)圖像的質(zhì)心距離，選擇出距離大于閾值的手勢(shì)圖像進(jìn)行特征提取。Tan等認(rèn)為具有較小變化的手勢(shì)圖像能夠反映手勢(shì)序列的關(guān)鍵信息，因此提出通過(guò)計(jì)算相鄰幀手勢(shì)圖像之間像素點(diǎn)的變化個(gè)數(shù)，將像素點(diǎn)近似不變的手勢(shì)圖像作為關(guān)鍵幀[12]。雖然該類方法可以縮短特征提取的計(jì)算時(shí)間，但是關(guān)鍵幀選取閾值的設(shè)置會(huì)影響手勢(shì)識(shí)別的準(zhǔn)確性和實(shí)時(shí)性，由于不同動(dòng)態(tài)手勢(shì)的運(yùn)動(dòng)速率存在差異，很難確定合適的閾值。

因此，針對(duì)動(dòng)態(tài)手勢(shì)特征提取算法計(jì)算時(shí)間較長(zhǎng)的問(wèn)題，文中提出一種基于關(guān)鍵幀和局部極值的動(dòng)態(tài)手勢(shì)特征提取算法，并通過(guò)實(shí)驗(yàn)對(duì)其進(jìn)行驗(yàn)證。

1 基于關(guān)鍵幀和局部極值的動(dòng)態(tài)手勢(shì)特征提取算法

動(dòng)態(tài)手勢(shì)特征提取算法可以看成是對(duì)一組手勢(shì)圖像采用靜態(tài)手勢(shì)特征提取算法進(jìn)行手勢(shì)特征提取的過(guò)程，算法的計(jì)算時(shí)間取決于特征提取的次數(shù)和特征提取的計(jì)算量。為了縮短手勢(shì)特征提取過(guò)程的計(jì)算時(shí)間，文中算法的基本思想是從手勢(shì)視頻中選出具有較強(qiáng)區(qū)分能力的手勢(shì)圖像，并提取這些圖像中的質(zhì)心特征和指尖特征，用于表達(dá)手勢(shì)的運(yùn)動(dòng)軌跡和外形結(jié)構(gòu)。

在進(jìn)行手勢(shì)特征提取之前，首先需要對(duì)獲取的手勢(shì)圖像進(jìn)行手勢(shì)分割，獲取手勢(shì)的輪廓。由于膚色在HSV顏色空間中具有良好的聚類特性，采用文獻(xiàn)[13]提出的基于膚色的手勢(shì)分割算法，從手勢(shì)視頻的每一幀手勢(shì)圖像中分割出手勢(shì)區(qū)域，然后采用基于Canny算子的輪廓檢測(cè)算法得到手勢(shì)輪廓[14]。

1.1 基于運(yùn)動(dòng)方向和自適應(yīng)閾值的關(guān)鍵幀手勢(shì)圖像選取算法

由于動(dòng)態(tài)手勢(shì)運(yùn)動(dòng)軌跡中運(yùn)動(dòng)方向發(fā)生改變的手勢(shì)數(shù)據(jù)能夠充分描述該手勢(shì)的運(yùn)動(dòng)軌跡特征，對(duì)這些特征點(diǎn)進(jìn)行提取可以提供區(qū)分手勢(shì)的重要信息。另一方面，均值能夠反映數(shù)據(jù)集中的一般變化程度，可以通過(guò)計(jì)算當(dāng)前幀手勢(shì)圖像之前所有質(zhì)心距離的均值，確定關(guān)鍵幀手勢(shì)圖像選取閾值的大小。因此，提出一種基于運(yùn)動(dòng)方向和自適應(yīng)閾值的關(guān)鍵幀手勢(shì)圖像選取算法。

首先計(jì)算出相鄰幀手勢(shì)圖像之間的相對(duì)運(yùn)動(dòng)方向，相對(duì)運(yùn)動(dòng)方向通過(guò)質(zhì)心之間的偏移角度θt確定，根據(jù)θt將手勢(shì)運(yùn)動(dòng)劃分成八個(gè)不同方向，其計(jì)算公式如下：

dirt=

(1)

其中，dirt為第t幀手勢(shì)圖像的方向碼值。

若dirt≠dirt-1，說(shuō)明動(dòng)態(tài)手勢(shì)的運(yùn)動(dòng)方向發(fā)生改變，則將當(dāng)前幀手勢(shì)圖像作為一個(gè)關(guān)鍵幀手勢(shì)圖像進(jìn)行特征提取。否則表示動(dòng)態(tài)手勢(shì)的運(yùn)動(dòng)方向沒有發(fā)生改變，通過(guò)計(jì)算相鄰幀手勢(shì)圖像的質(zhì)心距離，將距離大于閾值的手勢(shì)圖像作為關(guān)鍵幀。

由于動(dòng)態(tài)手勢(shì)具有不同的運(yùn)動(dòng)速率，為了降低人為設(shè)置閾值參數(shù)對(duì)手勢(shì)特征提取準(zhǔn)確性的影響，關(guān)鍵幀手勢(shì)圖像選取閾值的大小應(yīng)根據(jù)手勢(shì)運(yùn)動(dòng)軌跡的變化程度動(dòng)態(tài)調(diào)整。其基本思路是在每次比較相鄰幀手勢(shì)圖像之間的質(zhì)心距離后，根據(jù)式(2)和式(3)計(jì)算出當(dāng)前幀手勢(shì)圖像之前所有質(zhì)心距離的平均值，作為新的關(guān)鍵幀手勢(shì)圖像選取閾值。

(2)

dist(t1,t2)=|gt1-gt2|

(3)

其中，δt表示第t幀的關(guān)鍵幀手勢(shì)圖像選取閾值；dist(t1,t2)表示第t1幀和第t2幀手勢(shì)圖像之間的質(zhì)心距離。

基于運(yùn)動(dòng)方向和自適應(yīng)閾值的關(guān)鍵幀手勢(shì)圖像選取算法偽代碼描述如下：

算法1：KeyFrameSelect(It)

輸入：手勢(shì)圖像It

輸出：關(guān)鍵幀手勢(shì)圖像標(biāo)記iskeyframet

1.iskeyframet←1;//初始化關(guān)鍵幀手勢(shì)圖像標(biāo)記

2.calculategt;//計(jì)算質(zhì)心

3.calculate dirtusing Eq.(1);//計(jì)算運(yùn)動(dòng)方向

4.if(dirt==dirt-1) //判斷運(yùn)動(dòng)方向是否相同

5.calculate dist(t,t-1)using Eq.(3);//計(jì)算質(zhì)心距離

6.if(dist(t,t-1)<δt-1)//判斷質(zhì)心距離是否小于閾值

7.iskeyframet←0;//若質(zhì)心距離小于閾值則將標(biāo)記置0

8.end if;

9.end if;

10.calculateδtusing Eq.(2);//更新閾值

11.return iskeyframet;

1.2 基于局部極值的指尖特征提取算法

手勢(shì)指尖特征能夠反映手勢(shì)的結(jié)構(gòu)特性，通過(guò)指尖特征的比較，可以區(qū)分具有相同運(yùn)動(dòng)軌跡但結(jié)構(gòu)不同的動(dòng)態(tài)手勢(shì)。由于指尖處在手指的尖部，若將手指輪廓看作是一個(gè)光滑曲線，則指尖點(diǎn)就是該曲線上的局部極值點(diǎn)。因此，可以通過(guò)尋找手勢(shì)輪廓上的局部極值點(diǎn)，確定手勢(shì)中存在的指尖特征。

由于手勢(shì)輪廓是一個(gè)連續(xù)的、多凹凸的曲線，很難構(gòu)造出準(zhǔn)確的函數(shù)表達(dá)式f來(lái)描述手勢(shì)輪廓，因此無(wú)法通過(guò)求導(dǎo)的方式來(lái)確定曲線上的局部極值點(diǎn)?？紤]到一根手指的指尖點(diǎn)與手勢(shì)質(zhì)心的距離應(yīng)大于該手指上其他輪廓點(diǎn)與質(zhì)心的距離，可以通過(guò)構(gòu)造距離函數(shù)，確定手勢(shì)中存在的指尖特征點(diǎn)。

定義1(手勢(shì)指尖點(diǎn))：設(shè)第t幀手勢(shì)圖像輪廓點(diǎn)集為cst={ct,1,ct,2,…,ct,Nt}，Nt為cst中輪廓點(diǎn)的個(gè)數(shù)。若存在一個(gè)ε>0，使得所有滿足|ct,λ-ct,*|<ε的ct,λ，都有dist(ct,λ,gt)≤dist(ct,*,gt)，則ct,*為一個(gè)手勢(shì)指尖點(diǎn)。其中dist(ct,λ,gt)為距離函數(shù)，其表達(dá)式為：

(4)

其中，ct,λ=(xt,λ,yt,λ)為輪廓點(diǎn)ct,λ的坐標(biāo)；gt=(xt,yt)為第t幀手勢(shì)圖像的質(zhì)心坐標(biāo)。

手勢(shì)輪廓并非是一條理想的平滑曲線，輪廓上存在許多凹凸不平的點(diǎn)，僅通過(guò)距離計(jì)算與比較容易產(chǎn)生許多噪聲特征點(diǎn)，降低指尖特征提取的準(zhǔn)確性。此外，參數(shù)ε是影響指尖特征提取準(zhǔn)確性的關(guān)鍵因素，若ε設(shè)置過(guò)大，則可能造成指尖特征點(diǎn)的丟失，相反則會(huì)產(chǎn)生許多噪聲特征點(diǎn)。由于手勢(shì)輪廓的凸包曲線是由手勢(shì)最外層的輪廓點(diǎn)連接起來(lái)形成的凸多邊形，手勢(shì)的指尖特征必定處在手勢(shì)的凸包曲線上，因此，可以利用手勢(shì)的凸包曲線對(duì)得到的指尖特征點(diǎn)集進(jìn)行過(guò)濾，只有滿足手勢(shì)指尖點(diǎn)的定義同時(shí)也處在凸包曲線上的特征點(diǎn)才認(rèn)為是指尖特征點(diǎn)。

基于局部極值的指尖特征提取算法首先在手勢(shì)輪廓上按順序進(jìn)行遍歷，當(dāng)某個(gè)輪廓點(diǎn)與質(zhì)心的距離大于下一個(gè)輪廓點(diǎn)與質(zhì)心的距離時(shí)，判斷該點(diǎn)是否滿足手勢(shì)指尖點(diǎn)的定義，若滿足，則認(rèn)為該點(diǎn)為一個(gè)類指尖特征點(diǎn)；然后去除類指尖特征點(diǎn)集上所有在手勢(shì)朝向上位置低于質(zhì)心的特征點(diǎn)；最后計(jì)算手勢(shì)的凸包，若類指尖點(diǎn)也處在手勢(shì)的凸包曲線上，則認(rèn)為該點(diǎn)為指尖特征點(diǎn)。

基于局部極值的指尖特征提取算法偽代碼描述如下：

算法2：FingertipExtract(It)

輸入：手勢(shì)圖像It

輸出：手勢(shì)指尖特征vt

1.max_dist←0;count←0;//初始化

2.cst←findcontours(It);//獲取手勢(shì)輪廓點(diǎn)集

3.hull←ConvexHull(It);//計(jì)算凸包

4.gt←CentroidCaculate(cst);//計(jì)算質(zhì)心

5.forλ←0 to cst.length

6.calculate dist(cst,λ,gt) using Eq.(4);//計(jì)算與質(zhì)心之間的距離

7.if(max_dist

8.max_dist=dist(cst,λ,gt);

9.fingertip←cst,λ;

10.count←0;

11.continue;

12.end if;

13.count←count+1;

14.if(count>ε&&fingertip.y>gt.y&&Exist(hull,fingertip))//過(guò)濾類指尖特征點(diǎn)

15.add fingertip tovt;//將fingertip添加到vt中

16.end if;

17.end for;

1.3 算法描述和時(shí)間復(fù)雜度分析

KFLE算法包括兩個(gè)步驟：

(1)關(guān)鍵幀手勢(shì)圖像選取。首先計(jì)算當(dāng)前幀手勢(shì)圖像的運(yùn)動(dòng)方向，若運(yùn)動(dòng)方向與前一幀手勢(shì)圖像的運(yùn)動(dòng)方向不同，則將該幀手勢(shì)圖像作為關(guān)鍵幀。否則計(jì)算相鄰幀手勢(shì)圖像之間的質(zhì)心距離，將距離大于閾值的手勢(shì)圖像作為關(guān)鍵幀。同時(shí)計(jì)算當(dāng)前幀之前所有質(zhì)心距離的平均值，更新閾值；

(2)指尖檢測(cè)和提取。將滿足手勢(shì)指尖點(diǎn)定義同時(shí)處在手勢(shì)凸包曲線上的輪廓點(diǎn)作為指尖特征點(diǎn)。

KFLE算法的偽代碼描述如下：

算法3：KFLE

輸入:手勢(shì)圖像序列IInput={I1,I2,…,IN}

輸出:手勢(shì)特征向量VOutput={v1,v2,…,vM}

1.for eachItinIInput

2.isKeyFramet←KeyFrameSelect(It);//關(guān)鍵幀手勢(shì)圖像選取

3.if(isKeyFramet==0)//判斷是否為關(guān)鍵幀手勢(shì)圖像

4.continue;

5.end if;

6.vt←FingertipExtract(It);//獲取手勢(shì)指尖特征

7.addvttoVOutput;//將vt添加到VOutput中

8.end for;

KFLE算法的時(shí)間復(fù)雜度為O(tn)，其中t為進(jìn)行手勢(shì)特征提取的次數(shù)，最壞情況下，t為動(dòng)態(tài)手勢(shì)序列的長(zhǎng)度；由于在手勢(shì)特征提取的過(guò)程中，需要對(duì)每個(gè)輪廓點(diǎn)進(jìn)行計(jì)算，因此，基于局部極值的指尖特征提取算法的時(shí)間復(fù)雜度為O(n)，n為手勢(shì)輪廓點(diǎn)集的長(zhǎng)度。表1比較了三種動(dòng)態(tài)手勢(shì)特征提取算法的時(shí)間復(fù)雜度?？梢钥闯?，KFLE算法具有較低的時(shí)間復(fù)雜度，可以縮短手勢(shì)特征提取的時(shí)間。

表1 三種動(dòng)態(tài)手勢(shì)特征提取算法的時(shí)間復(fù)雜度

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

參照文獻(xiàn)[15]的實(shí)驗(yàn)，文中共定義了十種動(dòng)態(tài)手勢(shì)類型，分別為單指向右、單指向下、二指向左、二指向上、三指向上、三指向右、四指向下、四指畫圓、五指畫圓、五指向左。每種手勢(shì)類型由五名實(shí)驗(yàn)者各做2次，共得到100組動(dòng)態(tài)手勢(shì)視頻。

與文獻(xiàn)[9]提出的基于凸包缺陷的手勢(shì)特征提取算法(簡(jiǎn)稱為“CHD算法”)和文獻(xiàn)[10]提出的基于改進(jìn)k-曲率的手勢(shì)特征提取算法(簡(jiǎn)稱為“IKC”算法)進(jìn)行對(duì)比。首先分析KFLE算法中關(guān)鍵參數(shù)數(shù)值的不同大小對(duì)手勢(shì)特征提取準(zhǔn)確性的影響，從而設(shè)置合適的關(guān)鍵參數(shù)數(shù)值。然后分別從手勢(shì)特征提取處理時(shí)間和手勢(shì)識(shí)別正確率兩個(gè)方面評(píng)估各手勢(shì)特征提取算法的性能。

實(shí)驗(yàn)的軟硬件環(huán)境為：CPU：Intel(R) Core(TM) i5-4 210 M CPU@2.60 GHz；內(nèi)存：8.00 GB；OS：Windows 8 Enterprise Professional 64 bit；攝像頭：Integrated Camera；編程語(yǔ)言：C++；開發(fā)環(huán)境：OpenCV和Visual Studio 2013。

2.2 KFLE算法中關(guān)鍵參數(shù)的設(shè)置

KFLE算法中的參數(shù)為范圍閾值ε，ε的設(shè)置對(duì)指尖特征提取準(zhǔn)確性具有較大的影響，參數(shù)設(shè)置過(guò)大或過(guò)小，都可能降低手勢(shì)識(shí)別的準(zhǔn)確性。為了分析和確定合適的ε，文中在相同的系統(tǒng)配置和實(shí)驗(yàn)環(huán)境下，首先為每個(gè)測(cè)試樣本構(gòu)造標(biāo)準(zhǔn)手勢(shì)模板集，即運(yùn)動(dòng)軌跡相同，指尖個(gè)數(shù)分別為1～5，共五種動(dòng)態(tài)手勢(shì)類型；然后提取出在不同ε下的手勢(shì)特征向量，特征向量包括每個(gè)關(guān)鍵幀手勢(shì)圖像的質(zhì)心坐標(biāo)和手勢(shì)的指尖個(gè)數(shù)；最后采用動(dòng)態(tài)時(shí)間彎曲(dynamic time warping，DTW)算法進(jìn)行手勢(shì)識(shí)別，并計(jì)算不同ε下的手勢(shì)識(shí)別正確率，如圖1所示。

圖1 不同參數(shù)數(shù)值下的識(shí)別正確率

從圖1可以看出，當(dāng)范圍閾值參數(shù)ε為10～30時(shí)，識(shí)別準(zhǔn)確率較高，這是因?yàn)榇藭r(shí)ε值能夠在不丟失特征點(diǎn)的前提下，減少噪聲特征點(diǎn)的出現(xiàn)。當(dāng)ε設(shè)置過(guò)小時(shí)，可能會(huì)將凸包曲線上的其他數(shù)據(jù)點(diǎn)也作為指尖特征點(diǎn)進(jìn)行提取，生成噪聲特征點(diǎn)，降低手勢(shì)識(shí)別的準(zhǔn)確性。而當(dāng)ε值設(shè)置過(guò)大時(shí)，可能造成即使是指尖點(diǎn)也很難滿足手勢(shì)指尖點(diǎn)的定義，導(dǎo)致指尖特征點(diǎn)的丟失。因此，ε的大小應(yīng)選擇在[10,30]范圍內(nèi)，文中實(shí)驗(yàn)設(shè)置ε=30。

2.3 手勢(shì)特征提取時(shí)間的比較

在相同的系統(tǒng)配置和實(shí)驗(yàn)環(huán)境下，針對(duì)同一組動(dòng)態(tài)手勢(shì)視頻，分別采用不同的動(dòng)態(tài)手勢(shì)特征提取算法進(jìn)行特征提取，通過(guò)計(jì)算特征提取前后的時(shí)間差得到算法對(duì)該手勢(shì)視頻的特征提取時(shí)間，最后計(jì)算出每種算法對(duì)每種動(dòng)態(tài)手勢(shì)類型的平均特征提取時(shí)間，如圖2所示。

圖2 三種動(dòng)態(tài)手勢(shì)特征提取算法的平均特征提取時(shí)間

從圖2中可以明顯看出，與CHD算法和IKC算法相比，KFLE算法的平均特征提取時(shí)間分別降低了44.3%和71.9%。這是因?yàn)镃HD算法和IKC算法需要對(duì)每一幀手勢(shì)特性進(jìn)行特征提取，而KFLE算法通過(guò)比較手勢(shì)圖像之間的運(yùn)動(dòng)方向和質(zhì)心距離，僅對(duì)運(yùn)動(dòng)方向或距離發(fā)生明顯改變的手勢(shì)圖像進(jìn)行特征提取，減少了特征提取的次數(shù)。此外，在手勢(shì)特征提取過(guò)程中，KFLE算法通過(guò)距離計(jì)算和凸包過(guò)濾，尋找手勢(shì)輪廓曲線上的局部極值點(diǎn)，得到手勢(shì)的指尖特征，降低了特征提取的時(shí)間復(fù)雜度，從而縮短了整個(gè)動(dòng)態(tài)手勢(shì)特征提取的時(shí)間。

2.4 手勢(shì)識(shí)別正確率的比較

將不同的手勢(shì)特征提取算法提取出的特征向量采用DTW算法進(jìn)行手勢(shì)識(shí)別。實(shí)驗(yàn)采用留一交叉驗(yàn)證法，分別從每種手勢(shì)類型的樣本集中隨機(jī)選擇一組作為手勢(shì)模板，將剩下的手勢(shì)樣本作為測(cè)試樣本，對(duì)每種動(dòng)態(tài)手勢(shì)類型共進(jìn)行100次測(cè)試，計(jì)算每種手勢(shì)類型的識(shí)別正確率，如表2所示。

表2 各算法對(duì)不同手勢(shì)類型的識(shí)別正確率

從表2可以看出，CHD算法的識(shí)別正確率明顯低于IKC算法和KFLE算法，這是因?yàn)镃HD算法通過(guò)比較手勢(shì)中每個(gè)凸包缺陷的特征量之間的相互關(guān)系來(lái)判斷是否存在指尖點(diǎn)，易受到噪聲數(shù)據(jù)的干擾，因此識(shí)別正確率較低。而KFLE算法和IKC算法是通過(guò)對(duì)手勢(shì)輪廓點(diǎn)的遍歷和計(jì)算獲得指尖點(diǎn)的位置信息，能夠區(qū)分相似的手勢(shì)類型，因此具有較高的識(shí)別正確率。

3 結(jié)束語(yǔ)

為了縮短動(dòng)態(tài)手勢(shì)特征提取的時(shí)間，提出一種基于關(guān)鍵幀和局部極值的動(dòng)態(tài)手勢(shì)特征提取算法。首先提出一種基于運(yùn)動(dòng)方向和自適應(yīng)閾值的關(guān)鍵幀手勢(shì)圖像選取算法，通過(guò)比較相鄰幀手勢(shì)圖像之間的運(yùn)動(dòng)方向和質(zhì)心距離，選擇運(yùn)動(dòng)方向或距離發(fā)生明顯改變的手勢(shì)圖像進(jìn)行特征提取。在對(duì)手勢(shì)圖像進(jìn)行指尖特征提取的過(guò)程中，提出一種基于局部極值的指尖特征提取算法，通過(guò)構(gòu)造距離函數(shù)并結(jié)合凸包過(guò)濾，尋找手勢(shì)輪廓曲線上的局部極值點(diǎn)，確定手勢(shì)中存在的指尖特征。

該手勢(shì)特征提取算法對(duì)手勢(shì)交互的環(huán)境具有較高的要求，在復(fù)雜背景和光照效果較差的環(huán)境下，會(huì)降低手勢(shì)特征提取的準(zhǔn)確性。因此，下一步將對(duì)在復(fù)雜環(huán)境下的手勢(shì)特征提取算法進(jìn)行研究，增加算法的實(shí)用性和健壯性。

[1] LIU Y,YIN Y,ZHANG S.Hand gesture recognition based on HU moments in interaction of virtual reality[C]//Proceedings of 2012 4th international conference on intelligent human-machine systems and cybernetics.Washington,DC,USA:IEEE Computer Society,2012:145-148.

[2] LIN J,DING Y.A temporal hand gesture recognition system based on hog and motion trajectory[J].International Journal for Light and Electron Optics,2013,124(24):6795-6798.

[4] 張墨逸,張秋余,蘆俊池,等.基于結(jié)構(gòu)特征點(diǎn)的手勢(shì)建模與高層特征提取[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2015,43(10):87-91.

[5] NAGARAJAN S,SUBASHINI T S,RAMALINGAM V.Vision based real time finger counter for hand gesture recognition[J].International Journal of Technology,2012,2(2):1-5.

[6] 馮志全,楊 波,鄭艷偉,等.基于特征點(diǎn)分布分析的手勢(shì)

特征檢測(cè)方法[J].計(jì)算機(jī)集成制造系統(tǒng),2011,17(11):2333-2342.

[7] HASAN M M,MISHRA P K,MISHRA P K.Real time fingers and palm locating using dynamic circle templates[J].International Journal of Computer Applications,2012,41(6):33-34.

[8] HUANG H,JU Z,LIU H.Real-time hand gesture feature extraction using depth data[C]//2014 international conference on machine learning and cybernetics.[s.l.]:IEEE,2014:206-213.

[9] GANAPATHYRAJU S. Hand gesture recognition using convexity hull defects to control an industrial robot[C]//2013 3rd international conference on instrumentation control and automation.[s.l.]:IEEE,2013:63-67.

[10] 李博男,林 凡.基于曲率的指尖檢測(cè)方法[J].南京航空航天大學(xué)學(xué)報(bào),2012,44(4):587-591.

[11] PATHAK B,JALAL A S,AGRAWAL S C,et al.A framework for dynamic hand gesture recognition using key frames extraction[C]//2015 fifth national conference on computer vision,pattern recognition,image processing and graphics.[s.l.]:IEEE,2015:1-4.

[12] TAN W,WU C,ZHAO S,et al.Dynamic hand gesture recognition using motion trajectories and key frames[C]//2010 2nd international conference on advanced computer control.[s.l.]:IEEE,2010:163-167.

[13] 曹昕燕,趙繼印,李 敏.基于膚色和運(yùn)動(dòng)檢測(cè)技術(shù)的單目視覺手勢(shì)分割[J].湖南大學(xué)學(xué)報(bào):自然科學(xué)版,2011,38(1):78-83.

[14] 王小俊,劉旭敏,關(guān) 永.基于改進(jìn)Canny算子的圖像邊緣檢測(cè)算法[J].計(jì)算機(jī)工程,2012,38(14):196-198.

[15] 王西穎,戴國(guó)忠,張習(xí)文,等.基于HMM-FNN模型的復(fù)雜動(dòng)態(tài)手勢(shì)識(shí)別[J].軟件學(xué)報(bào),2008,19(9):2302-2312.