一種靜態(tài)手勢(shì)數(shù)字識(shí)別的實(shí)現(xiàn)及應(yīng)用

王坤　黃媛媛　李雪蓮　孫家銘

[摘 要]本文實(shí)現(xiàn)了一種靜態(tài)手勢(shì)數(shù)字識(shí)別算法。首先對(duì)手勢(shì)圖像進(jìn)行分割，提取矩特征并進(jìn)行手勢(shì)識(shí)別，即判斷手指?jìng)€(gè)數(shù)從而對(duì)手勢(shì)數(shù)字1～3進(jìn)行識(shí)別。根據(jù)識(shí)別出的數(shù)字來(lái)控制鼠標(biāo)指針及其相關(guān)操作，最終實(shí)現(xiàn)簡(jiǎn)單、高效的人機(jī)交互。

[關(guān)鍵詞]人機(jī)交互 手勢(shì)識(shí)別 膚色檢測(cè) 形狀特征

中圖分類號(hào)：W65 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2016）10-0241-01

隨著信息技術(shù)的迅猛發(fā)展，人機(jī)交互越來(lái)越多，然而人們熟悉和熟練掌握的人機(jī)交互方式仍然局限于鼠標(biāo)、鍵盤等，它們限制了人機(jī)交互的速度與自然性。由于手勢(shì)具有自然、方便的特性， 與之相關(guān)的手勢(shì)識(shí)別技術(shù)越來(lái)越受到廣大研究人員的關(guān)注，將手勢(shì)識(shí)別技術(shù)運(yùn)用于對(duì)鼠標(biāo)指針的相關(guān)操作，可以很好地實(shí)現(xiàn)自然、友好、高效的人機(jī)交互[1-7]。

本文針對(duì)靜態(tài)手勢(shì)識(shí)別進(jìn)行研究，運(yùn)用膚色檢測(cè)對(duì)采集的手勢(shì)圖片進(jìn)行分割，對(duì)分割后的二值圖像提取矩特征，并根據(jù)每個(gè)手指的特征進(jìn)行區(qū)分是否是手指，從而判斷出手勢(shì)數(shù)字1、2、3。用手勢(shì)數(shù)字1、2和3分別控制鼠標(biāo)指針的移動(dòng)、左鍵和右鍵，進(jìn)而實(shí)現(xiàn)簡(jiǎn)單、高效的人機(jī)交互。

1.基于形狀特征的靜態(tài)手勢(shì)數(shù)字識(shí)別

本文主要針對(duì)1～3的數(shù)字靜態(tài)手勢(shì)識(shí)別，進(jìn)而映射為不同的指令，從而實(shí)現(xiàn)人機(jī)交互，主要流程圖如圖1所示[4]。

首先對(duì)采集的圖像進(jìn)行中值濾波處理和光照補(bǔ)償，接著對(duì)膚色進(jìn)行分割，結(jié)果如圖2所示。

對(duì)分割后的圖像進(jìn)行去除小的連通域和洞孔填充，再對(duì)分割后的圖像進(jìn)行大小歸一化處理，將手掌大小統(tǒng)一到規(guī)定尺寸，歸一化后的圖像如圖3所示。

對(duì)分割后的二值圖像，提取其p+q階矩作為特征：

（1）

其中i，j為圖像坐標(biāo)，f（i，j）為在圖像（i，j）點(diǎn)的灰度值。其中勢(shì)圖像的質(zhì)心坐標(biāo)為（），其中：質(zhì)心坐標(biāo)可以用作人機(jī)交互的坐標(biāo)參考。

在分類器設(shè)計(jì)方面，每個(gè)手勢(shì)采集30張圖片用作訓(xùn)練樣本，根據(jù)訓(xùn)練樣本得到分類器參數(shù)。本文采用圖像分辨率為320×240，數(shù)字1～3的識(shí)別率如表1 所示。

2.手勢(shì)識(shí)別在人機(jī)交互中的應(yīng)用

獲取計(jì)算機(jī)屏幕分辨率（rsx，rsy）和圖像分辨率為（rix，riy），實(shí)現(xiàn)手質(zhì)心坐標(biāo)到屏幕坐標(biāo)（x，y）的轉(zhuǎn)換。

x：=rsx：rix

y：=rsy：riy

當(dāng)手勢(shì)移動(dòng)小于指定閾值時(shí)，鼠標(biāo)指針靜止，當(dāng)（x， y）出現(xiàn)在有效區(qū)域時(shí)，就會(huì)使鼠標(biāo)指針移動(dòng)，而且（x， y）距離屏幕中心越遠(yuǎn)，鼠標(biāo)指針移動(dòng)速度越快，當(dāng)然，如果手離開(kāi)了屏幕，鼠標(biāo)指針也會(huì)靜止。當(dāng)識(shí)別手勢(shì)為數(shù)字2或3時(shí)，分別調(diào)用函數(shù)來(lái)實(shí)現(xiàn)點(diǎn)擊鼠標(biāo)左鍵或右鍵操作。

3.小結(jié)

手勢(shì)作為一種高效、自然的人機(jī)交互輸入信號(hào)，將其應(yīng)用到人機(jī)交互系統(tǒng)中具有無(wú)可比擬的優(yōu)勢(shì)。本人機(jī)交互系統(tǒng)運(yùn)用了基于矩特征的靜態(tài)手勢(shì)數(shù)字識(shí)別算法，并結(jié)合了Windows API鼠標(biāo)類函數(shù)，識(shí)別效率、精度較高。實(shí)驗(yàn)結(jié)果表明該人機(jī)交互系統(tǒng)可以簡(jiǎn)單、高效的控制鼠標(biāo)指針及其相關(guān)操作。下一步研究的重點(diǎn)是復(fù)雜背景下的手勢(shì)分割，并進(jìn)一步研究手勢(shì)特性，進(jìn)而提出更好的解決方案。

參考文獻(xiàn)

[1] 顧立忠，蘇劍波.基于表觀的手勢(shì)識(shí)別及人基于表觀的手勢(shì)識(shí)別及人機(jī)交互研究[D].上海：上海交通大學(xué)，2008.

[2] 孫超，馮志全，李揚(yáng)，等.第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C].河南：2010.

[3] 林水強(qiáng)，吳亞?wèn)|，陳永輝.基于幾何特征的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（2）：637-639.

[5] Blum H.Biological shape and visual science：Part I[J].Theoretical Biology，1973，38（2）：205-287.

[6] 李平，李允俊.基于手勢(shì)識(shí)別算法的鼠標(biāo)終端[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2013，22（8）：86

[7] Deval G.Patel.Point Pattern Matching Algorithm for Recognition of 36 ASL Gestures[J].International Journal of Science and Modern Engineering，2013，7（1）：24-28.