基于手部關(guān)鍵點和膚色的手勢識別①

李 光,王長元,薛鵬翔

1(西安工業(yè)大學(xué) 兵器科學(xué)與技術(shù)學(xué)院,西安 710021)

2(西安工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院,西安 710021)

3(西安工業(yè)大學(xué) 理學(xué)院,西安 720021)

在計算機領(lǐng)域不斷發(fā)展的今天,飛行模擬器[1,2]以其安全性、經(jīng)濟性、可靠性、高逼真度等特點,特別是混合現(xiàn)實技術(shù)的發(fā)展給操作員提供了很大的沉浸感,已經(jīng)成為飛行員訓(xùn)練和飛機研發(fā)過程中不可或缺的試驗仿真設(shè)備,飛行模擬作為虛擬交互的典型應(yīng)用之一,對手部自然交互[3,4]要求比較高,需求也極為迫切.由于接觸式測量方式價格成本高昂,人的動作容易受到硬件設(shè)備的約束,阻礙人手完成自然的肢體動作,在自然性和精度方面受到限制,所以目前基于計算機視覺手部交互方式在各行各業(yè)都有重大意義.

飛行模擬環(huán)境下的手勢需要操縱油門、操作桿等,其傳統(tǒng)的膚 色分割容易受到面部膚色的影響,其手部輪廓特征太單一,而且采用傳統(tǒng)的傅里葉描述子又容易受到背景、手的姿態(tài)變化等影響,在其飛行模擬操作下都會受到遮擋影響,從而影響其識別精度.

基于計算機視覺的手勢識別中,手勢分割中文獻[5]用膚色分割法和SVM 對手勢進行識別；基于運動的分割方法,例如幀間差分法[6]；運用Kinect 基于深度的圖像[7]等.特征提取中用手勢圖的灰度、顏色等信息[8],這些特征容易獲得,但是容易受到環(huán)境光照影響；統(tǒng)計特征中包括梯度方向直方圖(HOG)[9]等；基于形狀不同的表示方式,如傅里葉描繪子[10]、基于邊界特征點[11]、不變矩[12]等.本文就是基于膚色和手勢輪廓進行特征提取,結(jié)合特征點連接骨架進行傅里葉描述子特征提取.

手勢識別算法有很多種.例如支持向量機、基于模板[13]、基于卷積神經(jīng)網(wǎng)絡(luò)[14]、隱馬爾科夫模型[15]、動態(tài)時間規(guī)整[16]等.針對本文的小樣本和快速計算選用支持向量機進行分類.

1 主要創(chuàng)新點

本文方法的創(chuàng)新點是首先根據(jù)不同光照環(huán)境通過最大類間方差法[17]來求取二值化圖像中的最佳閾值從而適應(yīng)光照變化,其次在傳統(tǒng)的膚色分割上結(jié)合手部特征點進行區(qū)域分割,解決飛行模擬環(huán)境下的臉部膚色、遮擋、光照影響；然后進行手部輪廓和手部特征點連接骨架的傅里葉描述子特征提取,解決傅里葉描述子特征易受到背景、手的姿態(tài)變化影響的問題,并且為了實現(xiàn)縮放不變性,對變換系數(shù)做了歸一化處理.最后,用支持向量機對數(shù)據(jù)進行訓(xùn)練、識別.本文工作流程圖如圖1所示.

圖1 工作流程圖

手部特征點主要是基于美國CMU Perceptual Computing Lab 開源的手部關(guān)鍵點檢測模型[18,19].手部關(guān)鍵點檢測模型共輸出22 個關(guān)鍵點,其中包括手部的21 個點,第22 個點表示背景.通過22 個關(guān)鍵點能夠快速準確地定位出手部的位置,并且能夠很好地分割出手部區(qū)域.如圖2,為手部標注的21 個特征點.手部關(guān)鍵點結(jié)合膚色輪廓特征對其手勢遮擋具有抵抗作用,并且結(jié)合手勢輪廓能夠很好地表示手勢.本文通過此方法提取手勢特征,再通過SVM 分類識別方法進行飛行模擬環(huán)境下靜態(tài)手勢模型訓(xùn)練和手勢識別.

圖2 手部標注的21 個特征點

2 手部特征提取

2.1 改進的手部區(qū)域分割算法

首先分割出手勢的區(qū)域,后面才能進行特征提取.2015年,文獻[9]使用Kinect 研究了基于深度圖像的3D 手勢識別,識別率達76.6%.但其識別率并不高,并且還有Kinect 攝像頭的限制.膚色是人體手部最顯著的特征.本文采用常規(guī)的膚色檢測,對手部進行膚色信息提取,但是常常會有一部分的面部膚色等干擾,結(jié)合特征點對手部分割,提高其準確性；而且傳統(tǒng)膚色處理容易受到不同光照的影響,本文根據(jù)不同光照環(huán)境通過最大類間方差法來求取二值化圖像中的最佳閾值從而適應(yīng)光照變化,以提高其魯棒性.

在諸多彩色模型中,膚色在YCbCr 顏色空間中有很好的聚類特性,并且YCbCr 顏色空間對光照變化不敏感,所以可以利用這種特性來區(qū)分手勢區(qū)域,其中Y表示亮度,分量Cb表示藍色分量和亮度值之差,分量Cr反映了RGB 輸入信號紅色部分與亮度值之間的差異.如圖3所示.

圖3 YCbCr 分量直方圖

在YCbCr 空間,膚色像素點會聚集到一個橢圓區(qū)域.先定義一個橢圓模型,然后將每個RGB 像素點轉(zhuǎn)換到Y(jié)CbCr 空間比對是否在橢圓區(qū)域,是的話判斷為皮膚.本文將從視頻中獲取的幀圖像從RGB 空間轉(zhuǎn)換到Y(jié)CbCr 空間以實現(xiàn)膚色的檢測.RGB 空間與YCbCr空間之間的轉(zhuǎn)換公式為：

本文采用基于YCbCr 空間的OTSU 自適應(yīng)閾值算法作為圖像分割算法.

OTSU 算法[13](大津法或最大類間方差法)使用的是聚類的思想,把圖像的灰度數(shù)按灰度級分成2 個部分,使得兩個部分之間的灰度值差異最大,每個部分之間的灰度差異最小,通過方差的計算來尋找一個合適的灰度級別來劃分.所以可以在二值化的時候采用OTSU算法來自動選取閾值進行二值化.

設(shè)t為設(shè)定的閾值,w0 為分開后前景像素點數(shù)占圖像的比例,u0 為分開后前景像素點的平均灰度,w1 為分開后背景像素點數(shù)占圖像的比例,u1 為分開后背景像素點的平均灰度.

圖像總平均灰度為：

從L個灰度級遍歷t,使得t為某個值的時候,前景和背景的方差最大,則這個t值便是我們要求得的閾值.其中,方差的計算公式如下：

此公式計算量較大,可以采用：

OTSU 算法被認為是圖像分割中閾值選取的最佳算法,計算簡單,不受圖像亮度和對比度的影響.因此,使類間方差最大的分割意味著錯分概率最小.

本文選用的基于YCbCr 膚色模型和手勢特征關(guān)鍵點的分割方法能夠很好地解決面部膚色影響.圖像分割效果如圖4所示.

圖4 手勢部分圖像分割

2.2 傅里葉描述子特征提取

物體的形狀識別是模式識別的重要研究方向,廣泛用于圖像分析、機器視覺和目標識別的應(yīng)用中.在計算機中物體的形狀表示方式有多種：邊界曲線上點的坐標序列,邊界上的點到物體中心的距離以及邊界上的點隨弧長變化的切線方向等.傅里葉描述子的基本思想是：假定物體的形狀是一條封閉的曲線如圖5所示,沿邊界曲線上的一個動點P(l)的坐標變化x(l)+iy(l)是一個以形狀邊界周長為周期的函數(shù),這個周期函數(shù)可以用傅里葉級數(shù)展開表示,傅里葉級數(shù)中的一系列系數(shù)z(k)是直接與邊界曲線的形狀有關(guān)的,稱為傅里葉描述子.

圖5 假定的封閉曲線

此函數(shù)是連續(xù)的周期的,所以可以通過傅里葉級數(shù)來表示：

式中,ak就是傅里葉描繪子.

傅立葉描述子算法優(yōu)點可以很好地描述輪廓特征,并且只需少量的描述子即可大致代表整個輪廓.傅里葉描述子與輪廓形狀的尺度、方向和起始點有關(guān),對傅立葉描述字進行簡單的歸一化操作后,即可使描述子具有平移、旋轉(zhuǎn)、尺度不變性,即不受輪廓在圖像中的位置、角度及輪廓的縮放等影響,是一個魯棒性較好的圖像特征.

圖6 手部邊緣輪廓

對手部的輪廓特征提取如圖6所示.傅里葉描述子提取物理特征雖說計算快速簡單,易受到背景、手的姿態(tài)變化,且對手勢描述能力有限等問題.本文在手勢輪廓的基礎(chǔ)上增加了手勢關(guān)鍵點的輪廓特征如圖7所示,這樣提取的手勢特征能夠更好的表示手勢,并且具有一定的魯棒性.

圖7 結(jié)合特征點連接骨架的手勢輪廓

3 支持向量機算法

本文通過在飛行模擬環(huán)境下的計算需求和樣本條件下,選擇支持向量機作為分類算法.支持向量機(Support Vector Machine,SVM)是一種非常重要和廣泛的機器學(xué)習(xí)算法,SVM 的算法出發(fā)點是盡可能找到最優(yōu)的決策邊界,這個邊界距離兩類數(shù)據(jù)點最遠.更進一步的,是距離兩類數(shù)據(jù)點的邊界最遠,所以定義最接近邊界的數(shù)據(jù)點定義為支持向量.最后,我們的目標變?yōu)檎业竭@樣一個直線(多維叫超平面),它與支持向量有最大的間隔.使得模型的泛化能力盡可能的好,因此SVM 對未來數(shù)據(jù)的預(yù)測也是更加準確的如圖8所示,尋找最大化margin.

圖8 分類模型圖

設(shè)這個平面用g(x)=0 來表示,其法向量用w表示,點與平面實際距離為r點,與平面的距離可以用g(x)的絕對值來度量(稱為函數(shù)間隔).

懲罰函數(shù)亦稱處罰函數(shù),是一類制約函數(shù).對于約束非線性規(guī)劃它的制約函數(shù)稱為懲罰函數(shù),系數(shù)稱為懲罰因子.引入懲罰因子C的SVM(軟間隔支持向量機)的目標函數(shù)為：

SVM 是一種有堅實理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法.它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計方法.從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報樣本的“轉(zhuǎn)導(dǎo)推理”,大大簡化了通常的分類和回歸等問題.模型圖如圖9.

圖9 引入C,ξ的分類模型圖

4 實驗分析

本文使用作者實驗室的項目中飛行模擬環(huán)境中的采集的手勢數(shù)據(jù)集,該數(shù)據(jù)集中所有的 數(shù)據(jù)在室內(nèi)的自然光下收集,沒有任何特殊光照,收集的設(shè)備是的普通攝像機,一共8 種手勢(推動油門、手持操作桿、自然狀態(tài)、基本的指令手勢等).數(shù)據(jù)集共3200 張,每個手勢400 張,共10 個人參與,參與者均是模擬飛行環(huán)境中的隨機采取手勢圖片,每人采集數(shù)目不等.同時利用旋轉(zhuǎn)平移等操作對得到的手勢庫進行擴充.然后對整個手勢庫中的每張照片中的手勢輪廓線計算傅里葉描述子并保存,保存格式為“x_i”,表示手勢_x 的第i張圖片.訓(xùn)練集與測試集按3：1 的比率分配.測試集800 張,訓(xùn)練集2400 張.圖10經(jīng)過膚色處理的手勢數(shù)據(jù)集片段；圖11是經(jīng)過關(guān)鍵特征點的手勢數(shù)據(jù)集片段.

圖10 經(jīng)過膚色處理的手勢數(shù)據(jù)集

本文提出的算法在Python 中實現(xiàn),手勢識別準確率在98%.實驗結(jié)果見表1.

圖11 經(jīng)過關(guān)鍵特征點的手勢數(shù)據(jù)集

表1 手勢識別實驗結(jié)果

4.1 實驗結(jié)果對比

表2為使用本文方法與其他文獻作對比,文獻[20]提出用YCbCr 色彩空間檢測膚色對輸入的圖像分割出感興趣的手勢區(qū)域,然后再通過深度學(xué)習(xí)的方法訓(xùn)練出手勢識別的模型.文獻[9]從圖像的3D 數(shù)據(jù)出發(fā),以Kinect 作為輸入設(shè)備,提出了一個基于深度圖像的3D手勢識別系統(tǒng)框架.文獻[21]采用表面肌電(sEMG)信號進行手勢識別,sEMG 采集的趨勢之一是帶有等距電極的多通道臂帶.即通過逐步進行包裝器選擇特征和減少維數(shù)提高sEMG 的分類性能.考慮到40 個維度,對于帶有高斯核的支持向量機和LMNN 技術(shù)的結(jié)合,平均精度為94%.而本文采用膚色結(jié)合特征點對手部分割、特征提取,并用SVM 向量機針對飛行模擬環(huán)境下的手勢進行識別,準確率達到98%.

表2 本文與其他文獻對比

5 結(jié)論與展望

本文結(jié)合現(xiàn)有的美國CMU Perceptual Computing Lab 開源的手部關(guān)鍵點檢測模型,使用膚色進行二值化處理,結(jié)合手部關(guān)鍵點準確分割手勢,接著對圖像進行腐蝕膨脹處理,在對手勢輪廓特征提取的基礎(chǔ)上加上手部關(guān)鍵點特征經(jīng)過SVM 訓(xùn)練和測試實驗后可知,此算法可以在飛行模擬環(huán)境中,面對背景復(fù)雜,遮擋影響,光照影響,能夠有效地進行特征提取,極大地提高了手勢識別效率.對于靜態(tài)手勢識別平均識別率能夠達到98%.論文不足點：當面部和手部有重合時,特征提取時有一定的影響.因此本文在手勢識別的完善上還有一定的提升空間,接下來將進一步研究.