一種基于膚色模型的手勢分割優(yōu)化方法

包先宏 邢鄧鴻 吳庚明 張森文

（佛山科學(xué)技術(shù)學(xué)院 廣東省佛山市 528200）

隨著社會的不斷進(jìn)步和發(fā)展，越來越多新型電子產(chǎn)品出現(xiàn)在人們的日常生活中，為便于人們與電子設(shè)備間的高效交流，人機(jī)交互已經(jīng)成為了計算機(jī)領(lǐng)域一個非常重要的研究熱點。其中，手勢交互無疑是人機(jī)交互中最主要的交互方式之一，被廣泛應(yīng)用于手語翻譯、游戲交互、機(jī)器人交互和智能家居等諸多領(lǐng)域。準(zhǔn)確的手勢識別是人機(jī)交互穩(wěn)定性的基礎(chǔ)，因此手勢識別是人機(jī)交互領(lǐng)域的一個重要研究方向。

在手勢識別研究中，基于視覺的手勢識別是當(dāng)前應(yīng)用最為廣泛的手勢識別技術(shù)。手勢分割是手勢識別的前提和基礎(chǔ)，其分割效果的好壞會直接影響后續(xù)手勢識別的效果。因此，手勢分割是手勢識別系統(tǒng)中極為關(guān)鍵的步驟。手勢分割的方法有膚色提取和運(yùn)動分析等，因為膚色是人類最顯著的特征之一，所以大多數(shù)情況下則選取膚色提取進(jìn)行手勢分割。

對于膚色提取，常用的方法有基于RGB 顏色空間和HSV 顏色空間下的膚色提取和基于YCbCr 顏色空間的膚色提取。然而在手指有裝飾物的時候，這些方法在處理過程中會出現(xiàn)手指被截斷的現(xiàn)象，從而影響手勢識別的準(zhǔn)確性。本文針對YCbCr 顏色空間下的膚色提取方法因手指裝飾物造成的截斷問題展開研究，并通過形態(tài)學(xué)操作對截斷區(qū)域進(jìn)行最大限度的還原。

1 優(yōu)化算法的總體設(shè)計

基于膚色模型的手勢分割優(yōu)化方法總體設(shè)計如圖1 所示。

圖1： 基于膚色模型的手勢分割優(yōu)化方法總體設(shè)計流程圖

2 顏色空間

顏色空間又稱彩色模型，是某些標(biāo)準(zhǔn)下用通?？山邮艿姆绞綄︻伾年U述。而顏色可以通過不同的角度，用幾種不同的屬性加以描述，就產(chǎn)生了不同的顏色空間。常用的顏色空間有RGB 顏色空間、HSV 顏色空間和YCbCr 顏色空間，而本文采用的是YCbCr 顏色空間。

2.1 RGB顏色空間

RGB 顏色空間是生活中最常見的顏色空間，以RGB（R代表紅色值，G 代表綠色值，B 代表藍(lán)色值）三原色為基礎(chǔ)，進(jìn)行不同程度上的混合疊加，表現(xiàn)出不同的顏色。常用于視頻、多媒體、網(wǎng)頁設(shè)計和各種硬件設(shè)備等。但RGB 顏色空間存在易受光照因素干擾的缺點。

2.2 YCbCr顏色空間

YCbCr 顏色空間是膚色提取常用的顏色空間，它從三個方向描繪顏色，其中Y 代表亮度分量（灰度值），Cb 代表藍(lán)色色度分量，Cr 代表紅色色度分量，相比于常見的RGB顏色空間，YCbCr 顏色空間的優(yōu)勢在于亮度和色度進(jìn)行累分離，消除了光照因素的干擾，所以YCbCr 是計算機(jī)系統(tǒng)中應(yīng)用最廣泛的顏色空間，JPEG 和MPEG 都采用了此格式。在視覺傳感器獲取到RGB 顏色空間的圖像后，再對其顏色空間進(jìn)行轉(zhuǎn)換，其中RGB 顏色空間與YCbCr 顏色空間轉(zhuǎn)換關(guān)系如公式（1）。

3 優(yōu)化方法的實現(xiàn)

3.1 初步手勢分割-基于Otsu法對Cr分量進(jìn)行閾值分割

Otsu（最大類間方差法，又稱大津法）是一種適合于雙峰情況的自動確定閾值的方法，其實現(xiàn)簡單，處理速度快，是圖像分割閾值法中最為常用的方法之一。Otsu 法將圖像按照灰度特征分離成前景和背景兩部分，因為方差是灰度分布均勻程度的一種度量，前景和背景之間的類間方差越大，則說明構(gòu)成圖像的兩部分差別越大。Otsu算法的基本原理如下：

設(shè)圖像中像素點總數(shù)為N，n表示圖像中灰度為i 的像素點個數(shù)，則有N=n+n+…+n= 。根據(jù)Otsu 算法的思想，此時選取一個閾值τ，τ∈(0,255)，將所有像素點分為A,B 兩類使得兩類的方差最大，其中A={0,1,…,τ}，B={τ+1,τ+2,…,255}。設(shè)像素被分到A 類的概率為P(A)，被分到B 類的概率為P(B)，計算如下：

將式（4)）代入式（5）中，設(shè)m(τ)= ，整理得：

對于已經(jīng)在較小范圍內(nèi)框選出了的手部區(qū)域來說，前景和背景的分離較為明顯，Cr 分量直方圖如圖2 所示。通過式（1）獲取的Cr 分量值進(jìn)行Otsu 法閾值分割，記為bin，實例如圖3 所示。

圖2： Cr 分量灰度直方圖

圖3： 原圖與初步處理效果圖

圖4： 優(yōu)化前后手勢分割圖

3.2 截斷區(qū)域的定位

首先提取手掌位置，為進(jìn)行截斷手指部分與手掌區(qū)域重新建立連線，對后續(xù)的填充提供方便。因此，基于整幅圖片進(jìn)行區(qū)域劃分，將圖像劃分為n×n 的一共n個區(qū)塊，在第一次進(jìn)入程序時，圖像被劃分為4×4 的區(qū)塊，對每個區(qū)塊進(jìn)行遍歷，由于每一個區(qū)塊的像素點數(shù)是相同的，設(shè)一個像素點為Point(x,y)，簡寫為P(x,y)，一個區(qū)塊的像素點集為Vector〈P(x,y)〉，簡寫成V，若區(qū)塊內(nèi)的像素點?P(x,y)∈V，并且滿足P(x,y)=255，即區(qū)塊內(nèi)每個像素點都為白色，則認(rèn)為該區(qū)塊為手掌待選區(qū)塊，存至待選區(qū)塊集，記為S{V〈P(x,y))}，簡寫為S。若S.size＜2，則令n=n+1，并重新劃分區(qū)塊；若S.size ≥2，并且?V,V∈S(j ≠k,0＜j＜k＜n)滿足(j±1=k)||(j±n=k)，則將該V和V存至手掌區(qū)塊集，記為S{V〈P(x,y)〉}，簡寫為S(i=2,…,m)，然后繼續(xù)令n=n+1，并重新劃分區(qū)塊，若第i+1 次劃分出現(xiàn)了兩個或兩個以上的連通區(qū)域，則將第i 次篩選出的S作為手掌區(qū)域，并求得S連通區(qū)域的外層輪廓，記外層輪廓點集為V〈P(x,y)〉。

進(jìn)一步對截斷手指進(jìn)行處理，由于有著部分類膚色小區(qū)域干擾，所以需要對處理過后的bin 圖像進(jìn)行輪廓遍歷，使用面積比較法，篩選出面積為第二大的連通區(qū)域，默認(rèn)該區(qū)域為截斷手指區(qū)域，將該區(qū)域輪廓記為Vector〈Point(x,y)〉，簡寫為Vc。遍歷Vc 中的點，通過公式（8）計算截斷手指區(qū)域中心Point(x,y)。

之后遍歷點Point(x,y)和Point(x,y)之間的直線上的點Point(x,y)，若Point(x,y)=0，即其像素值為0，則將其置為255，并且將該點存入V〈P(x,y)〉中。

3.3 截斷區(qū)域的膨脹填充

膨脹操作是一種經(jīng)典的圖像形態(tài)學(xué)濾波，通常用于消除圖像中的噪聲干擾，隔離單個元素并連接圖像中的不同元素。其操作過程是將輸入圖像與一個任意形狀結(jié)構(gòu)的元素（內(nèi)核）進(jìn)行卷積，該內(nèi)核通常為正多邊形及圓形，一般規(guī)定該內(nèi)核的中心為該內(nèi)核的錨點。而后將錨點對圖像像素點進(jìn)行注意掃描，在內(nèi)核對圖像進(jìn)行掃描的過程中，會用內(nèi)核與圖像重疊處灰度最大值替換掉錨點處的像素值。在二值圖中，膨脹操作會使白色區(qū)域得到擴(kuò)張。膨脹操作示意圖如圖5 所示，膨脹操作表達(dá)式如下：

圖5： 膨脹操作示意圖

圖6： 其他手勢優(yōu)化前后對比圖

4 實驗結(jié)果分析

實驗數(shù)據(jù)集收集了500 張圖片，分別來自于10 人，手勢類型為5 種（類型1 為食指，類型2 為食指和中指，類型3 為食指、中指和無名指，類型4 為處大拇指外的其他手指，類型5 為所有手指），每種手勢類型每人10 張，干擾類型有手指戒指佩戴干擾和黏貼止血貼干擾，以及手勢朝向分為垂直朝向、斜45 度朝向和橫向。統(tǒng)計手掌區(qū)域判定準(zhǔn)確率和截斷區(qū)域填充準(zhǔn)確率，由于手掌區(qū)域輪廓觸及到手指區(qū)域的時候，會一定程度上影響截斷區(qū)域的判定效果，所以對于手掌區(qū)域判定標(biāo)準(zhǔn)為最大手掌區(qū)域且不觸及手指區(qū)域，對于截斷區(qū)域填充準(zhǔn)確率判定標(biāo)準(zhǔn)為填充效果是否超過截斷區(qū)域的3/4 以上且填充不過度超出截斷區(qū)域。

通過實驗數(shù)據(jù)表1 和表2 可以看出，在干擾類型中，對手掌區(qū)域判定影響不大，但是因為止血貼比戒指的截斷區(qū)域更長，所以對填充準(zhǔn)確率有一定影響；在手勢類型中，可以發(fā)現(xiàn)類型1 的手勢判定準(zhǔn)確率和截斷區(qū)域填充準(zhǔn)確率都是98%，而其他手勢的準(zhǔn)確率隨著手指的增加，準(zhǔn)確率呈現(xiàn)下降的趨勢，這是因為截斷手指以外的手指伸出會導(dǎo)致在框選手掌區(qū)域輪廓時部分區(qū)域被框選，影響截斷手指對最近手掌點的判斷，從而導(dǎo)致截斷區(qū)域的判定錯誤。

表1： 戒指佩戴干擾填充結(jié)果

表2： 止血貼粘貼干擾填充結(jié)果

通過表3 可以看出，在手勢垂直的情況下對手掌區(qū)域的判定截斷影響較大，而斜45 度手勢和橫向手勢的非常高，根據(jù)分析得知原因和手指增加導(dǎo)致準(zhǔn)確率下降的原因相同，由于手掌區(qū)域判定通過方形區(qū)域進(jìn)行輔助，容易造成垂直手勢中垂直手指方形區(qū)域納入手掌區(qū)域，從而導(dǎo)致截斷區(qū)域的判定錯誤；而斜45 度手勢中，少有垂直手指的出現(xiàn)，所以手掌判定高達(dá)98.8%，截斷區(qū)域填充準(zhǔn)確率高達(dá)97.6%。

表3： 手部區(qū)域朝向?qū)μ畛溆绊懡Y(jié)果

表4： 平均準(zhǔn)確率

5 結(jié)論

本文的手勢分割優(yōu)化方法，在原有膚色提取基礎(chǔ)上，對手勢分割進(jìn)行了優(yōu)化。針對手指飾品等物品對原有手勢分割方法帶來的局部干擾，提出了一種新的解決方法，通過形態(tài)學(xué)操作對飾品等物品截斷區(qū)域進(jìn)行填充，將截斷手指區(qū)域與手掌區(qū)域進(jìn)行重新連通，并盡可能的保證了手勢的完整性，能夠為手勢識別系統(tǒng)中發(fā)揮更積極的作用。