基于Kinect的動態(tài)手勢識別研究

邵天培，蔣 剛，留滄海

(1.西南科技大學(xué) 制造科學(xué)與工程學(xué)院，四川 綿陽 621010；2.制造過程測試技術(shù)省部共建教育部重點(diǎn)實(shí)驗(yàn)室，四川 綿陽 621010；3.成都理工大學(xué) 核技術(shù)與自動化工程學(xué)院，成都 610059)

0 引言

隨著人類社會和機(jī)器人領(lǐng)域的不斷發(fā)展，人類與機(jī)器人在各個方面也在不斷地融合，機(jī)器人逐漸融入到了人類的生產(chǎn)制造過程和生活中，人類與機(jī)器人的關(guān)系日益密切，這就迫切地需要人類與機(jī)器人進(jìn)行交互，從而能夠比較順利地實(shí)現(xiàn)人機(jī)合作與人機(jī)共融[1]。在人機(jī)交互領(lǐng)域中基于視覺的手勢識別因?yàn)榫哂泻唵?、直觀、表達(dá)能力突出且自然的優(yōu)勢逐漸成為研究熱點(diǎn)[2-5]。Bertsch等人[6]在仿人機(jī)器人平臺上構(gòu)建了基于視覺的人機(jī)交互系統(tǒng)，該研究使用隱馬爾可夫模型識別動態(tài)手勢，但是這種方法準(zhǔn)確率不高且易受光照影響。Thinh 等人[7]在機(jī)器人上安裝手機(jī)，利用手勢通過手機(jī)上的攝像頭與機(jī)器人進(jìn)行交互。隨著Kinect的問世，進(jìn)一步彌補(bǔ)了人機(jī)交互方式上硬件的不足[8]。王兵等人[9]基于Kinect采用指尖檢測算法并針對運(yùn)動軌跡中運(yùn)動方向的變化，提取了動態(tài)手勢的特征并識別各個手勢。Y.Gu等人[10]利用 Kinect并基于骨骼特征，使用隱馬爾可夫模型訓(xùn)練進(jìn)行測試，但該方法平均識別率不高且數(shù)據(jù)訓(xùn)練復(fù)雜。本文針對動態(tài)手勢識別準(zhǔn)確率不高且易受光照影響等問題對動態(tài)手勢識別進(jìn)行了研究。

1 動態(tài)手勢識別

動態(tài)手勢識別通過關(guān)注分析視頻序列中的連續(xù)手勢軌跡信息來判斷手勢語義，而不關(guān)注手型[11]。本文將基于Kinect傳感器進(jìn)行動態(tài)手勢識別，Kinect會首先采集視頻序列中的用戶手勢，然后依次進(jìn)行手勢分割、手勢質(zhì)心計(jì)算、手勢軌跡特征計(jì)算，最后進(jìn)行手勢軌跡特征識別。

1.1 手勢分割

手勢分割是指將人手準(zhǔn)確地從簡單或復(fù)雜背景環(huán)境中分割出來[12,13]，這是極其重要的一步，因?yàn)槭謩莘指畹暮脡臅绊懞罄m(xù)環(huán)節(jié)。手勢分割部分的難點(diǎn)在于目標(biāo)手勢易受光照和環(huán)境的影響。常用的方法，比如單純利用膚色進(jìn)行手勢分割[14]，則會把類膚色物體包括進(jìn)來，在室內(nèi)不同光照下利用膚色進(jìn)行分割，效果如圖1所示：從圖1(a)可知，膚色分割雖然完整分割出了手勢，但也將人的面部和類膚色物體一起包括。從圖1(b)可知，在室內(nèi)較弱光照條件下，分割出的手勢甚至不完整，所以光照條件的改變會令手勢分割變得異常困難。

圖1 不同光照下基于膚色的手勢分割結(jié)果

而利用Kinect采集的深度圖像信息則會在進(jìn)行手勢分割時有效減少光照條件帶來的影響。這是因?yàn)镵inect采集的深度圖像存儲在一個二維數(shù)組里[15]，數(shù)組中的每一個像素點(diǎn)表示該像素點(diǎn)到傳感器的距離，由于做一組動態(tài)手勢時人手通常離傳感器最近，所以可從繪制出的深度圖像直方圖中找到較小的灰度級，設(shè)定不同的閾值就可以準(zhǔn)確地從背景中分割出感興趣區(qū)域，再將感興趣區(qū)域轉(zhuǎn)換成二值圖像即可。經(jīng)過上述操作，就可以完整地從背景中分割出目標(biāo)手勢。如圖2(a)右側(cè)所示為較強(qiáng)光照條件下的深度圖像，圖2(b)左側(cè)為深度圖像直方圖，右側(cè)為手勢分割結(jié)果，其中，深度直方圖中圓圈所在橫坐標(biāo)為選定閾值的大概范圍，該范圍根據(jù)不同距離選取不同的值。本文中閾值范圍為35～44左右，下同。

圖2 較強(qiáng)光照下基于深度信息的手勢分割結(jié)果

較弱光照條件下，利用深度信息對目標(biāo)手勢進(jìn)行分割的結(jié)果如圖3所示。

圖3 較弱光照下基于深度信息的手勢分割結(jié)果

在不同環(huán)境條件下，利用深度信息對目標(biāo)手勢進(jìn)行分割的結(jié)果如圖4所示。

圖4 不同環(huán)境下基于深度信息的手勢分割結(jié)果

從上述實(shí)驗(yàn)結(jié)果可知，在不同環(huán)境和不同光照條件下，本文所采用的方法依然可以準(zhǔn)確地分割出目標(biāo)手勢，證明了本文方法的可靠性和優(yōu)勢。

1.2 手勢質(zhì)心計(jì)算

矩代表一幅圖像或一個輪廓的全局特征，是描述圖像特征的算子[16]。得到手勢分割圖像后，可計(jì)算出圖像和輪廓的矩。

m00表示圖像零階矩，v(i,j)表示圖像在點(diǎn)的灰度，(i,j)當(dāng)圖像為二值圖像時，m00代表圖像中白色區(qū)域的總和，因此可以用來求二值圖像和輪廓的面積。如式(1)所示：

(1)

m10和m01表示圖像的一階矩，當(dāng)圖像為二值圖像時，m10表示圖像所有白色區(qū)域坐標(biāo)的累加，m01表示圖像所有白色區(qū)域坐標(biāo)的累加。如式(2)、(3)所示：

(2)

(3)

再根據(jù)式(5)，式(6)：

(4)

(5)

就可得到目標(biāo)區(qū)域即手勢的質(zhì)心點(diǎn)坐標(biāo)(x,y)。最后繪制出輪廓的矩形邊界。

利用圖2(b)中的手勢分割結(jié)果得到的手勢輪廓矩形邊界、零階矩和一階矩的值以及手勢圖像質(zhì)心坐標(biāo)如圖5所示。

圖5 矩形輪廓與手勢質(zhì)心坐標(biāo)

當(dāng)每幀手勢圖像傳入時，都按照上述方法操作，得到每幀圖像中的手勢質(zhì)心，這樣便得到了一連串的手勢質(zhì)心點(diǎn)坐標(biāo)。綜上所述，完成手勢質(zhì)心計(jì)算。

1.3 手勢軌跡特征計(jì)算

前文提到，動態(tài)手勢識別關(guān)注的是手勢軌跡信息，而不關(guān)注手形。本文要做的就是從連續(xù)的視頻幀里得到動態(tài)手勢的軌跡信息。當(dāng)一個動態(tài)手勢完成后，假設(shè)相鄰兩幀圖像手勢質(zhì)心點(diǎn)坐標(biāo)分別為(x1,y1)和(x2,y2)，則每幀圖像中的手勢質(zhì)心坐標(biāo)結(jié)合在一起可以表示成一個手勢質(zhì)心軌跡p：

p=[(x1,y1), (x2,y2),…, (xi,yi)]

(6)

同時，每相鄰兩幀手勢質(zhì)心點(diǎn)連成的直線與水平方向都會形成一個角度，設(shè)該角度為θi：

(Δxi,Δyi)=(xx+1-xi,yi+1-yi)

(7)

則多個不同的θi可以組成個一維向量T：

T=[θi,θi+1,…，θi+n]

(8)

將一維向量T中的每個角度都利用鏈碼進(jìn)行編號，其中，θi的值決定了θi所在鏈碼編號，依次類推。如此便可得到一個由鏈碼編號組成的一維向量X，而X正是動態(tài)手勢的軌跡特征。

如圖6所示，鏈碼[17]把一個平面平均分成了12個部分，并對這12個部分進(jìn)行編號，編號分別為1～12。

圖6 鏈碼示意圖

設(shè)0～180°范圍內(nèi)，相鄰編號所屬直線之間的角度為30°。在0～-180°范圍內(nèi)，相鄰編號所屬直線之間的角度為-30°。

當(dāng)平面被平分的部分越多，通過角度θi的值量化得到的編號越準(zhǔn)確，則動態(tài)手勢的軌跡特征越精確，所以這里將平面劃分成12個部分。

例如，利用第一幀手勢圖像質(zhì)心坐標(biāo)點(diǎn)與第二幀手勢圖像質(zhì)心坐標(biāo)點(diǎn)計(jì)算出兩點(diǎn)形成的直線與水平方向所成角度為，再比較是否在0～30°范圍之內(nèi)，若為0°則添加編號1到一維向量X中，若在0～30°之間，則添加編號2到一維向量X中。由此可以得到動態(tài)手勢軌跡特征X。

本文選擇其中穩(wěn)定的6個手勢質(zhì)心點(diǎn)進(jìn)行計(jì)算，則X的長度為5，即每個完整的手勢軌跡特征由5個編號組成。

1.4 手勢軌跡特征識別

在完成手勢分割、手勢質(zhì)心與手勢軌跡特征計(jì)算的基礎(chǔ)上就可以進(jìn)行手勢軌跡特征識別。由于不同的人在做同一手勢動作時速度不一樣，所需的時間也不一樣，則會造成每個人的手勢起終點(diǎn)不確定。若要進(jìn)行手勢起終點(diǎn)判定則會加大計(jì)算量和復(fù)雜程度，影響效率。

而動態(tài)時間規(guī)整算法(DTW,dynamic time warping)則通過把手勢軌跡特征進(jìn)行延伸或縮短，來計(jì)算比較兩個手勢軌跡特征之間的相似性，所以采用DTW算法可以省去手勢起終點(diǎn)的判定，并減少不同的人做相同手勢時，手勢軌跡特征不完全相同帶來的影響。

假設(shè)給定兩個序列：

X=[x1,x2,...xi],Y=[y1,y2,...yj]

(9)

其中：i=j。在本文中，X實(shí)際為得到的手勢軌跡特征，Y為事先設(shè)定好的多個手勢軌跡特征模板且每一個模板Y都擁有唯一序號。當(dāng)X與Y之間的累積距離越小，則代表這兩個序列越相似，即表示X與Y越吻合。

DTW算法的步驟如下：

1)構(gòu)造一個i*j的距離矩陣M，M矩陣中元素(i,j)表示xi和yj兩個點(diǎn)的距離d(i,j)；

2)根據(jù)距離矩陣M生成累積距離矩陣N，生成N的方法為：矩陣N中第一行第一列的元素為M矩陣中第一行第一列的元素。矩陣N中其他位置的元素通過：

N(i,j)=Min(N(i-1,j-1),N(i-1,j),

N(i,j-1)+M(i,j)

(10)

計(jì)算得出；

3)矩陣N中最右上角的元素為累積距離Q。

舉例說明：假設(shè)手勢軌跡特征X=[3,5,6,7],模板Y=[4,3,2,6]現(xiàn)在要比較X和Y的相似程度，DTW會根據(jù)X與Y之間點(diǎn)到點(diǎn)的距離生成一個距離矩陣M，結(jié)果如下：

(11)

然后根據(jù)距離矩陣M生成累積距離矩陣N，結(jié)果如下：

(12)

由累積距離矩陣N中最右上角的元素可知，累積距離Q=4。

綜上，當(dāng)完成手勢分割，手勢質(zhì)心和手勢軌跡特征計(jì)算后，會得到一個一維的手勢軌跡特征向量X，將X作為輸入喂入DTW算法模型并依次與模型中的多個手勢軌跡特征模板Y進(jìn)行模板匹配，得到多個累積距離Q，將Q中最小值所屬模板Y的序號作為輸出結(jié)果，從而完成手勢軌跡特征識別。

DTW算法[18-20]數(shù)據(jù)訓(xùn)練簡單，結(jié)構(gòu)簡單明了易于實(shí)現(xiàn)，同時也省略了手勢起終點(diǎn)的判定且識別準(zhǔn)確率高。缺點(diǎn)是模板Y需要事先定義，且計(jì)算量隨著模板的增多而加大。

2 實(shí)驗(yàn)驗(yàn)證與分析

2.1 實(shí)驗(yàn)硬件與軟件

本文實(shí)驗(yàn)的硬件主要包括：顯卡為GTX1050，內(nèi)存為4 GB和處理器為i7的筆記本電腦、基于Kinect開發(fā)環(huán)境的傳感器、一臺六足機(jī)器人。

軟件部分主要包括：PyCharm編譯環(huán)境、開源計(jì)算機(jī)視覺庫(OpenCV,open source computer vision library)、開放式的自然交互框架(OpenNI,open natural interaction)以及采用Python編寫的手勢識別算法。

2.2 實(shí)驗(yàn)流程

首先傳感器采集用戶動態(tài)手勢視頻序列，將視頻序列傳給上位機(jī)進(jìn)行處理得到與該用戶手勢軌跡特征匹配的模板的序號，將該模板序號傳給STM32，驅(qū)動板根據(jù)STM32計(jì)算得到的舵機(jī)數(shù)據(jù)進(jìn)行六足機(jī)器人舵機(jī)控制，同時機(jī)器人自身傳感器采集六足機(jī)器人狀態(tài)，將狀態(tài)信息發(fā)送至STM32，形成閉環(huán)控制，完成手勢對六足機(jī)器人的控制。

2.3 實(shí)驗(yàn)

首先設(shè)定人機(jī)交互手勢模板,如表1所示。該模板設(shè)計(jì)了4種動態(tài)手勢指令分別控制機(jī)器人4種動作。該模板存儲在DTW模型中，其中模板基于鏈碼規(guī)則設(shè)定。

表1 自定義人機(jī)交互手勢模板

現(xiàn)在要使機(jī)器人前進(jìn)，則用戶將手在六足機(jī)器人搭載的傳感器前由左向右水平移動。

經(jīng)過手勢分割的移動過程如圖7所示。

圖7 動態(tài)手勢移動分割圖

經(jīng)過上位機(jī)處理得到如下6個手勢質(zhì)心坐標(biāo)和手勢軌跡特征X=[1,2,1,2,1]，如圖8所示。

圖8 質(zhì)心坐標(biāo)與手勢軌跡特征

隨后X將被送入DTW模型中與已經(jīng)建立好的多個模板Y進(jìn)行匹配，匹配結(jié)果如圖9所示。

圖9 匹配結(jié)果

由圖9可知，X與序號為0的模板累積距離為2，X與序號為1的模板累積距離為43，X與序號為2的模板累積距離為13，X與序號為3的模板累積距離為28。

經(jīng)過篩選最終得到了與X累積距離最小的模板：序號為0，累積距離Q=2。即手勢軌跡特征X=[1,2,1,2,1]與模板Y=[1,1,1,1,1]最相似吻合。

將該模板序號數(shù)字0通過無線傳輸設(shè)備傳給STM32分析處理語義信息，再由STM32向六足機(jī)器人傳輸指令控制六足機(jī)器人的行動軌跡。以圖10中黑色叉為標(biāo)記，采用前進(jìn)手勢進(jìn)行交互時，六足機(jī)器人完成前進(jìn)動作。

圖10 人機(jī)交互結(jié)果

本文在不同環(huán)境和不同光照條件下進(jìn)行了多次動態(tài)手勢識別實(shí)驗(yàn)，得出結(jié)果如表2～4所示。

表2 室外光照識別結(jié)果

表3 室內(nèi)較強(qiáng)光照識別結(jié)果

表4 室內(nèi)較弱光照識別結(jié)果

實(shí)驗(yàn)結(jié)果表明，在室內(nèi)較強(qiáng)光照條件下，手勢識別效果比較弱光照條件下好，最好的識別準(zhǔn)確率能達(dá)到97.3%。在室內(nèi)較弱光照條件下，準(zhǔn)確率仍然能達(dá)到91%及以上。在室外的手勢識別效果不如室內(nèi)，但準(zhǔn)確率依然能達(dá)到90%左右。由此可知在外部環(huán)境變換的情況下，該方法依然能保持一個較好的識別準(zhǔn)確率，也證明了整個動態(tài)手勢識別方法的魯棒性較好。

3 結(jié)束語

綜上所述，本文基于Kinect傳感器對動態(tài)手勢識別進(jìn)行了研究。利用深度信息分割出目標(biāo)手勢，此方法不易受環(huán)境和光照的干擾?；诰睾玩湸a計(jì)算出手勢質(zhì)心和手勢軌跡特征。在手勢軌跡特征識別部分，傳統(tǒng)方法大多數(shù)采用隱馬爾可夫模型，但該方法訓(xùn)練非常困難和復(fù)雜，同時要進(jìn)行手勢起始點(diǎn)判定。所以采用訓(xùn)練簡單、結(jié)構(gòu)易懂、識別準(zhǔn)確率高的DTW算法并且避免了手勢起始點(diǎn)判定，該算法缺點(diǎn)是不能識別模板中沒有的手勢。最后將手勢識別結(jié)果與六足機(jī)器人進(jìn)行交互，實(shí)現(xiàn)動態(tài)手勢對六足機(jī)器人的控制。