一種基于深度圖像的DAG—SVMs數(shù)字手勢識別方法

李孟歆 林佰鳳 劉方卉竹

摘要

基于深度圖像當(dāng)然DAG-SVMs數(shù)字手勢識別方法采用Kinect的骨骼追蹤技術(shù)對人體手部關(guān)節(jié)進(jìn)行跟蹤，獲取手部關(guān)節(jié)的深度坐標(biāo)，將深度骨骼信息融合彩色信息進(jìn)行手部分割。結(jié)合邊緣長度矩與Hu不變矩作為數(shù)字手勢的新特征。通過構(gòu)建與優(yōu)化DAG-SVMs分類器，實(shí)現(xiàn)了對數(shù)字手勢的分類識別，仿真實(shí)驗(yàn)結(jié)果表明，采用基于深度圖像的DAG-SVMs數(shù)字手勢識別方法可以有效降低光照強(qiáng)度干擾，且平均識別率達(dá)到98%。

【關(guān)鍵詞】骨骼追蹤 深度圖像 DAG-SVMs 多類分類器 手勢識別

1 引言

本文從Kinect傳感器采集圖像，自行構(gòu)建數(shù)字手勢樣本庫，調(diào)用Kinect傳感器的骨骼關(guān)鍵點(diǎn)信息，并基于深度閾值與膚色分割法將手勢區(qū)域從背景中提取出來。計(jì)算數(shù)字手勢參數(shù)特征，調(diào)用參數(shù)對多個分類器進(jìn)行訓(xùn)練，從而對靜態(tài)手勢所表達(dá)數(shù)字進(jìn)行識別，最后輸入待測樣本，輸出識別率。

2 融合深度信息與膚色信息的手部分割

本文將深度骨骼信息與彩色信息進(jìn)行融合，通過將骨骼節(jié)點(diǎn)圖像與彩色圖像進(jìn)行重疊獲得圖像結(jié)果，然后根據(jù)獲取的手部節(jié)點(diǎn)空間坐標(biāo)設(shè)定深度閾值。經(jīng)過深度閾值分割后的圖像仍保留了大量背景、服飾、手臂等冗余信息，為了保證之后手勢識別的精度，對上述圖像在YCrCb顏色空間下進(jìn)行二次膚色分割，去除非膚色的背景信息。最終得到手勢分割圖像

3 數(shù)字手勢的特征提取

3.1 Sobel算子邊緣輪廓檢測

通過對分割后的圖像進(jìn)行邊緣檢測，可以最大程度的保留圖像目標(biāo)信息，去除非目標(biāo)區(qū)域，有效降低運(yùn)算量。圖像在邊緣區(qū)域附近灰度的值有明顯的跳變，所得灰度差值很大，而在非邊緣的區(qū)域內(nèi)，灰度值無明顯變化，這樣就過濾掉圖像的非極值點(diǎn)，保留圖像邊界。

3.2 基于手勢輪廓的特征向量提取

3.2.1 邊緣不變矩

邊緣矩是一種圖像邊緣區(qū)域特征，該特征可由這7個幾何矩構(gòu)成一組特征量來表示。這些幾何不變量是由圖像一階、二階等低階導(dǎo)數(shù)的中心距構(gòu)成的非線性組合，是能夠用來描述圖像邊緣區(qū)域特征的算子。，加入具有特定物理意義的邊緣長度矩，對圖像邊緣區(qū)域的周長進(jìn)行統(tǒng)計(jì)，來提高手勢圖像識別的準(zhǔn)確率。

3.2.2 邊緣長度矩

邊緣長度是指數(shù)字手勢輪廓的周長即手勢的邊緣檢測后的整個連通區(qū)域長度。在二維坐標(biāo)下，設(shè)定整個手部連通域的輪廓曲線為H（x，y），在目標(biāo)輪廓邊緣上，把像素看作一個獨(dú)立的點(diǎn)，邊界像素鏈碼的長度之和就是本文所求的邊緣長度矩，當(dāng)鏈碼No為奇數(shù)時，其長度記為“1”；當(dāng)鏈碼Ne值為偶數(shù)時其長度記為“2”；邊緣周長矩H就表為：

H=Ne+2No （1）

4 DAG-SVMs數(shù)字手勢識別

DAG-SVMs（有向無環(huán)分類器）簡稱層次分類，對于k類問題，構(gòu)造

k（k-l）/2個支持向量機(jī)，分布于k層結(jié)構(gòu)中。每個內(nèi)部節(jié)點(diǎn)都是一個二分類器，底層節(jié)點(diǎn)為最終的分類類別。改進(jìn)算法的基本思想就是在每次生成有向無環(huán)圖內(nèi)節(jié)點(diǎn)時，選擇最易分離的情況來構(gòu)造當(dāng)前節(jié)點(diǎn)SVM。在訓(xùn)練階段，采用一對一SVM（OVO-SVM）多類構(gòu)建模式，通過根據(jù)計(jì)算的識別精度值大小，依次進(jìn)行排序劃分，最終構(gòu)建一個五類分類器。

5 實(shí)驗(yàn)結(jié)果及分析

本文通過Kinect傳感器共采集500張手勢圖片，自行創(chuàng)建手勢樣本圖庫，同時參考文獻(xiàn)[5]中改進(jìn)hu矩手勢識別算法，分別采用這兩種算法對數(shù)字手勢待測樣本進(jìn)行識別，將兩種算法得到識別準(zhǔn)確率，與算法識別各類手勢的平均速率進(jìn)行比較，實(shí)驗(yàn)結(jié)果仿真圖像如圖1所示。

本文提出方法的平均識別率達(dá)到了97.96%，比文獻(xiàn)[5]提高了1.78%。由于增加了特征參數(shù)，系統(tǒng)運(yùn)行時間延長了1.3ms，不會影響系統(tǒng)的實(shí)時性。

6 結(jié)論

結(jié)合深度信息色圖像分割方法可以準(zhǔn)確的保留圖邊緣信息，較好地實(shí)現(xiàn)了數(shù)字手勢圖像分割，并且與將單一的Hu矩作為圖像特征的識別算法相比，結(jié)合邊緣長度矩與Hu矩作為新的圖像特征的識別算法，識別率達(dá)到了97.96%，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出方法的有效性。

參考文獻(xiàn)

[1] Tubman R，Arif K M.Efficient people search and gesture recognition using a Kinect interfaced mobile robot [C]. IEEE， International Workshop on Advanced Motion Control.IEEE， 2016： 220-226.

[2] Jiang S， Wang Y， Zhang Y，et al. Real Time Gait Recognition System Based on Kinect Skeleton Feature [M]. Computer Vision - ACCV 2014 Workshops. Springer International Publishing，2014： 46-57.

[3]黃國范，李英.基于改進(jìn)Hu矩的字母手勢識別[J].赤峰學(xué)院學(xué)報（自然版），2013（05）：23-21

[4]Hu M K. Hu，M.K. ：Visua 1 Pattern Recognition by Moment Invariants. IRE Transaction of Information Theory IT-8[J]. Inf ormat ion Theory Ire Transactions on，1962， 8 （02）： 179-187.