基于膚色分割與改進VGG網(wǎng)絡(luò)的手語識別①

包嘉欣,田秋紅,楊慧敏,陳影柔

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

手語的構(gòu)成主要是借助手和手臂完成的手勢語,是包含信息量最多的一種人體語言,它與口語及書面語等自然語言的表達能力相當(dāng).手語識別技術(shù)提供一種更為簡單自然的人機交互方式,它逐漸改變著人們的生活方式,并已廣泛應(yīng)用于體感游戲、機器人控制、智能家電和車載系統(tǒng)等領(lǐng)域,其研究發(fā)展影響著人機交互的自然性和靈活性,具有重要的社會經(jīng)濟價值和研究意義.手語識別不僅是聽力障礙者的主要交流手段,而且有效的手語識別將減輕聽力障礙者因交流不便帶來的困擾,因此手語識別具有重要的社會意義.

根據(jù)手語識別提取特征的方法不同,手語識別主要分為以下幾類:1)基于穿戴式輸入設(shè)備的識別方法[1-4],該方法利用穿戴式的設(shè)備采集手的位置、形狀和運動軌跡和運動方向等信息,獲得的手勢時序可直接用于分類器識別.但是該方法要求穿戴的設(shè)備比較昂貴,且易損壞,不容易維護,難以推廣和普及.2)基于人工設(shè)計特征的識別方法[5-8],該方法利用通過提取合適的手語特征作為識別特征,但是該方法的學(xué)習(xí)能力不強,在樣本量不斷增大的情況下,識別率不會顯著提高,且提取的特征容易受到光照、背景的影響.3)基于神經(jīng)網(wǎng)絡(luò)的識別方法[9-12],該方法基于統(tǒng)計的方法能夠?qū)崿F(xiàn)復(fù)雜的非線性映射,且具有分類特性和抗干擾性,但是該方法在手語圖像不足的情況下,容易陷入過擬合.

基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)層次化、權(quán)值共享、區(qū)域局部感知、特征提取和識別分類相結(jié)合的全局分類特點,能夠逐層自動地學(xué)習(xí)到合適的特征并進行分類,在圖像識別領(lǐng)域獲得了廣泛的應(yīng)用.Liu 等[13]提出了基于深度神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)移學(xué)習(xí)算法來解決帶標(biāo)記的彩色圖像樣本不足的問題,與原始的VGG 方法和淺層機器學(xué)習(xí)方法相比,提出的方法具有更高的精度.Gu 等[14]提出將復(fù)雜算法(卷積和批量歸一化)應(yīng)用于VGG 網(wǎng)絡(luò),并對模型進行了擴展,通過訓(xùn)練具有相同網(wǎng)絡(luò)結(jié)構(gòu)的實值VGG 網(wǎng)絡(luò)和復(fù)值VGG網(wǎng)絡(luò),得到了訓(xùn)練和測試的精度.Ha 等[15]提出了一種基于圖像的建筑信息模型(BIM)和VGG 的室內(nèi)定位新方法.該方法通過渲染BIM 圖像構(gòu)建數(shù)據(jù)集,并在數(shù)據(jù)集中搜索與室內(nèi)照片最相似的圖像,從而估算出照片的室內(nèi)位置和方向,結(jié)果證明了VGG 網(wǎng)絡(luò)中的池化層適合于特征選擇.但是VGG 網(wǎng)絡(luò)模型對手語圖像數(shù)據(jù)集的數(shù)量要求過高,且在訓(xùn)練模型時需要大量的存儲容量,對硬件的要求較高.

針對以上不足,本文提出了一種基于膚色分割與改進VGG 網(wǎng)絡(luò)的手語識別方法.在保證識別準(zhǔn)確率的同時解決了復(fù)雜背景下手勢圖像的特征提取問題.通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),減少了模型所需的存儲容量和參數(shù)量.

1 綜合多要素的手語膚色分割方法

目前,基于視覺的手勢分割算法主要有基于膚色的手勢分割算法、基于輪廓的手勢分割算法和基于運動的手勢分割算法.基于膚色分割的方法,通過在原始圖像中選取與手部皮膚顏色相近的像素點,然后把這些像素點所在的區(qū)域分割出來.基于膚色分割的方法簡單高效,不受尺度和角度等因素的影響,得到了廣泛的應(yīng)用.但是基于膚色分割的方法容易受到背景中類膚色區(qū)域的干擾,本文提出了一種綜合多要素的手語膚色分割方法.該方法首先采用橢圓模型對手語圖像進行初步分割,然后利用基于最大連通域和質(zhì)心定位的方法來排除背景中的類膚色區(qū)域及除手部區(qū)域以外的膚色區(qū)域,進而分割出手部區(qū)域.

1.1 基于橢圓模型的膚色分割

由于膚色對人的表情、動作等變化具有強烈的抗干擾能力,因此常常將它作為手語識別與人臉識別的首選特征,不同光照變化會導(dǎo)致膚色的亮度發(fā)生變化,需要選擇一個可靠的膚色模型來檢測膚色區(qū)域[16].YCbCr 顏色空間的是一種能將亮度信號和色度信號單獨分離開的顏色空間,其中Y、Cb、Cr分別指亮度、藍色色度、紅色色度.從RGB 顏色空間到Y(jié)CbCr 顏色空間的轉(zhuǎn)換公式如下[17]:

其中,R、G、B值分別為圖像紅、綠、藍顏色值歸一化后的值.

采集手語圖像數(shù)據(jù)集中膚色的樣本點,并將膚色轉(zhuǎn)化到Y(jié)CbCr 顏色空間,然后在CbCr 平面進行投影,得到一個CbCr 的橢圓,判斷坐標(biāo)(Cb,Cr)是否在橢圓內(nèi)(包括邊界),即可判斷是否為膚色像素點,進而形成的統(tǒng)計橢圓模型如下:

其中,Cx=109.38,Cy= 152.02,a=25.39,b=14.03,θ=2.53,eCx= 1.60,eCy=2.41.

1.2 圖像去噪

經(jīng)過膚色分割后,手語圖像中可能會存在孤立的噪聲點和小的干擾塊(類膚色背景),且膚色區(qū)域會存在大小不一的孔洞,這些因素會嚴(yán)重干擾手部區(qū)域的提取,因此必須去除.

中值濾波法是一種非線性平滑技術(shù),它將每一像素點的灰度值設(shè)置為該點某鄰域內(nèi)的所有像素點灰度值的中值,對毛刺和孔洞的填充具有重要作用[18].在圖像濾波中最常用 3×3的窗口對圖像進行中值濾波,即選取指定點周圍的8 鄰域的像素值進行排序,將排序后的中值作為指定點的像素值.中值濾波的公式如下:

其中,f(i,j)為 原圖像的像素值,g(i,j)為中值濾波后像素值,med為中值運算符.

漫水填充算法是一種用顏色來填充連通區(qū)域的算法,首先從連通域里選出一點,將該點作為種子點,然后從該點開始尋找當(dāng)前的連通域內(nèi)其他的點,并將這些點填充成指定的顏色.

本文先采用中值濾波對膚色分割后的手語圖像進行平滑濾波,去除孤立的噪聲點及邊緣的毛刺,然后采用漫水填充算法填充膚色區(qū)域的孔洞,確保手語區(qū)域的完整性.

1.3 基于最大連通域和質(zhì)心定位的手部區(qū)域獲取

經(jīng)過膚色分割和圖像去噪后,圖像中仍存在3 處皮膚區(qū)域及其他稍微大一點的類膚色背景區(qū)域.本文提出了一種基于面積算子和質(zhì)心位置的手部區(qū)域定位方法,實現(xiàn)了手部區(qū)域的獲取.

計算圖像中每個連通區(qū)域內(nèi)的像素數(shù)目,找出最大的3 個連通區(qū)域,即脖子區(qū)域、手臂區(qū)域、和手部區(qū)域,舍棄其他連通區(qū)域.

根據(jù)式(5)～式(7)計算3 個區(qū)域的零階矩和一階矩,根據(jù)式(8)～式(9)利用所得的零階矩和一階矩計算3 個區(qū)域質(zhì)心的坐標(biāo),選擇在X 方向上質(zhì)心坐標(biāo)最小的區(qū)域,即為手部區(qū)域(本文研究圖像中,手部區(qū)域均在脖子區(qū)域的左側(cè)),保留質(zhì)心坐標(biāo)最小的區(qū)域,去除其他區(qū)域.

其中,m00為零階矩,m10和m01為 一階矩;V(i,j)是圖像在點(i,j)處的灰度值,I和J分別是圖像的寬度和高度.

手語膚色分割提取的流程圖如圖1所示.

圖1 手語膚色分割提取流程圖

手語膚色分割提取的過程結(jié)果如圖2所示.

圖2 手語膚色分割提取過程結(jié)果

2 基于改進的VGG 網(wǎng)絡(luò)進行手語識別

通過分析VGG 網(wǎng)絡(luò)模型的優(yōu)缺點,從模型的參數(shù)量和計算量方面對VGG 網(wǎng)絡(luò)模型進行分析.

2.1 VGG 網(wǎng)絡(luò)模型介紹

VGG 網(wǎng)絡(luò)模型在圖像特征提取方面具有很明顯的優(yōu)勢,近年來被廣泛的用于圖像的特征提取[19-21].該模型主要是通過增加網(wǎng)絡(luò)結(jié)構(gòu)的深度來提高網(wǎng)絡(luò)提取特征的能力,同時用小的卷積核和小池化核來代替之前的卷積神經(jīng)網(wǎng)絡(luò)中的大卷積核和大池化核,這樣既減少了網(wǎng)絡(luò)結(jié)構(gòu)中的參數(shù)量,又增加了網(wǎng)絡(luò)中的非線性單元,提升了神經(jīng)網(wǎng)絡(luò)對特征的學(xué)習(xí)能力.VGG 網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.

圖3 VGG 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

VGG 網(wǎng)絡(luò)結(jié)構(gòu)說明如下:

1)網(wǎng)絡(luò)的輸入是224×224 的RGB 圖片,所有圖片都經(jīng)過均值處理.

2)網(wǎng)絡(luò)模型中有5 個block.每個block 內(nèi)有2 個或者3 個卷積層,共有13 層卷積;每個block 尾部連接一個最大池化層,用于縮小圖片的尺寸,即壓縮輸入的特征信息.

3)網(wǎng)絡(luò)中總共有3 個全連接層和一個Softmax 分類器,分類器用于對輸入的圖像進行分類.在第一個和第二個全連接層后添加了dropout (隨機失活),這樣既可以減少全連接層的計算量,又避免了網(wǎng)絡(luò)的過擬合和梯度消散問題.

2.2 改進的VGG 網(wǎng)絡(luò)模型

VGG 網(wǎng)絡(luò)模型在手語識別領(lǐng)域已經(jīng)取得了不錯的成績[22],但是VGG 模型仍存在以下不足之處:

(1)網(wǎng)絡(luò)模型的卷積層數(shù)太多,訓(xùn)練模型時計算量大,損失值的收斂較慢,且需要大量的數(shù)據(jù)集;

(2)通過對VGG 網(wǎng)絡(luò)每一層的權(quán)重參數(shù)量分析可得,VGG 網(wǎng)絡(luò)訓(xùn)練模型時的參數(shù)主要產(chǎn)生于全連接層,約占整個網(wǎng)絡(luò)權(quán)重參數(shù)的87%,這就導(dǎo)致了訓(xùn)練網(wǎng)絡(luò)所需的內(nèi)存較多.

為了使VGG 網(wǎng)絡(luò)模型能夠更好地達到手語識別的應(yīng)用要求,需要對VGG 網(wǎng)絡(luò)結(jié)構(gòu)進行改進,降低模型所需的存儲容量和權(quán)重參數(shù)量.對原始的VGG 網(wǎng)絡(luò)結(jié)構(gòu)進行如下改進:

(1)將原來的13 個卷積層減少到6 個卷積層,減少網(wǎng)絡(luò)對手語圖像數(shù)據(jù)集的需求;

(2)用兩個全連接層代替原來的3 個全連接層,并將第一個全連接層的輸出節(jié)點設(shè)為1024,第二個全連接層的輸出節(jié)點設(shè)為26;

(3)在卷積層和激活函數(shù)之間,我們增加了一個批量歸一化(BN)層[23],以提高網(wǎng)絡(luò)性能和穩(wěn)定性,并實現(xiàn)手語圖像的準(zhǔn)確分類.

BN 是一種有效的逐層歸一化的方法,可以對神經(jīng)網(wǎng)絡(luò)中的中間層進行歸一化操作,對于神經(jīng)網(wǎng)絡(luò)來說,令第l層的凈輸入為Z(l),經(jīng)過激活函數(shù)后的輸出層是a(l),如式(10)所示.

其中,f(·)是 激活函數(shù),W和b是權(quán)重和偏置參數(shù).

為了減少內(nèi)部協(xié)變量偏移問題,就要使得凈輸入Z(l)的分布一致,利用數(shù)據(jù)預(yù)處理方法對Z(l)進行歸一化,相當(dāng)于每一層都進行一次數(shù)據(jù)預(yù)處理,從而加速損失值的收斂速度.為了提高歸一化效率,一般使用標(biāo)準(zhǔn)歸一化,將凈輸入Z(l)的每一維都?xì)w一到標(biāo)準(zhǔn)正態(tài)分布,歸一化的公式如式(11)所示.

給定一個包含K個樣本的小批量樣本集合,第l層神經(jīng)元的凈輸入Z(1,l),···,Z(K,l)的均值、方差的計算公式分別如式(12)、式(13)所示.

為了使歸一化操作不對網(wǎng)絡(luò)的表示能力造成負(fù)面影響,可以通過一個附加的縮放和平移變換改變?nèi)≈祬^(qū)間,最后的輸出如式(14)所示.

其中,γ、β分別表示縮放和平移的參數(shù)向量.

改進的VGG 網(wǎng)絡(luò)具體模型結(jié)構(gòu)如圖4所示,對比改進前后的網(wǎng)絡(luò)模型可以看到,改進后的網(wǎng)絡(luò)模型卷積層數(shù)大大減少,這就縮短了訓(xùn)練時間.同時,改進后的網(wǎng)絡(luò)中卷積層和池化層依舊是交替出現(xiàn)的,所以仍保留了圖像對縮放、扭曲和位移的不變性和良好魯棒性的優(yōu)點.

圖4 改進的VGG 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 基于改進的VGG 的手語識別模型

基于改進的VGG 網(wǎng)絡(luò),結(jié)合手語圖像的種類和特點,構(gòu)建了識別26 個英文字母手語的模型,手語識別流程圖如圖5所示.

(1)隨機從26 個英文字母手語圖像數(shù)據(jù)集中抽取一定等比例的26 個英文字母手語圖像作為訓(xùn)練樣本數(shù)據(jù)集.

(2)綜合多要素的手語膚色提取分割.對采集到的手語圖像先利用橢圓模型將膚色區(qū)域分割出來,然后再利用最大連通區(qū)域和質(zhì)心定位實現(xiàn)手部區(qū)域的分割,將分割后手語灰度圖片的尺寸統(tǒng)一設(shè)置為1 28×128,并將其作為神經(jīng)網(wǎng)絡(luò)的輸入.

(3)模型訓(xùn)練.利用改進的VGG 網(wǎng)絡(luò)提取輸入手語圖像的特征,從而構(gòu)建26 個英文字母手語圖像識別模型.

(4)模型測試.手語圖像數(shù)據(jù)集中剩余的手語圖像作為測試樣本集進行模型測試,驗證模型的準(zhǔn)確率.

圖5 基于改進的VGG 的手語識別方法流程圖

3 實驗與結(jié)果

本節(jié)主要介紹了手語識別所采用的數(shù)據(jù)集,分割算法的有效性驗證,涉及的實驗參數(shù)設(shè)置及網(wǎng)絡(luò)的對比實驗,實驗參數(shù)包括批量歸一化層(BN)的添加、批處理尺寸及學(xué)習(xí)率的設(shè)置.

3.1 數(shù)據(jù)集介紹

為了驗證改進模型的有效性,本文構(gòu)建了一個自建手語圖像數(shù)據(jù)集.自建手勢數(shù)據(jù)集是通過計算機攝像頭采集了真人的26 種不同手語,共有10 400 張圖像,手語者穿著類似膚色的衣服,兩側(cè)手臂裸露,所有手語者均使用右手打手勢.部分手語圖像如圖6所示.

圖6 手語圖像數(shù)據(jù)集

3.2 分割算法有效性驗證

為了驗證本文提出的手語膚色分割算法的有效性,我們將本文提出的分割算法和以下3 種方法進行對比:(1)基于橢圓模型的膚色分割;(2)橢圓模型與最大3 個連通域提取相結(jié)合的方法;(3)橢圓模型與質(zhì)心定位相結(jié)合的方法.相應(yīng)的結(jié)果圖如圖7～圖9所示,本文方法的結(jié)果圖如圖10所示.

由圖7、圖8可以看出,方法(1)和方法(2)均不能獲取單獨的手部區(qū)域.由圖9可以看出,方法(3)只能提取手勢圖像中最左邊一塊類膚色區(qū)域,該方法不能實現(xiàn)手部區(qū)域的獲取.由圖10可以看出,本文的方法對手部區(qū)域的獲取具有顯著效果,該方法能夠從復(fù)雜背景中獲取單獨的手部區(qū)域.

圖7 橢圓模型

圖8 橢圓模型與最大3 個連通域提取相結(jié)合的方法

圖9 橢圓模型與質(zhì)心定位相結(jié)合的方法

圖10 本文方法

3.3 批量歸一化

本實驗比較了添加BN 層和不添加BN 層的網(wǎng)絡(luò)訓(xùn)練效果,對應(yīng)的損失、準(zhǔn)確率隨迭代次數(shù)的變化如圖11、圖12所示.由圖11可以看出,添加BN 層的網(wǎng)絡(luò)損失值隨迭代次數(shù)的增加下降較快,最終趨于穩(wěn)定;而未添加BN 層的網(wǎng)絡(luò)損失值隨迭代次數(shù)的增加一直在震蕩,說明添加BN 層對損失值的下降及穩(wěn)定具有重要作用.從圖12可以看出添加BN 層的網(wǎng)絡(luò)準(zhǔn)確率明顯高于未添加BN 層的網(wǎng)絡(luò)準(zhǔn)確率高,說明添加BN 層有助于獲得更高的準(zhǔn)確率.

3.4 批處理尺寸及學(xué)習(xí)率設(shè)置

在本實驗中,我們將batch size 分別設(shè)置為32,64和128,比較這3 種條件來選擇最適合該模型的batch size,不同batch size 訓(xùn)練的實驗結(jié)果如圖13、圖14所示.由圖13可以看出,當(dāng)batch size = 32 時,損失值波動幅度遠(yuǎn)大于其他兩種情況,且梯度下降速率最慢.當(dāng)batch size = 128 時,損失值波動范圍最小.但是經(jīng)過一定次數(shù)的迭代,batch size 為64 和128 的訓(xùn)練情況基本相同.由圖14看出,當(dāng)batch size = 32 時,準(zhǔn)確率遠(yuǎn)大于其他兩種情況.當(dāng)batch size = 128 時,準(zhǔn)確率提高較快.但是經(jīng)過一定次數(shù)的迭代,batch size 為64 和128的訓(xùn)練情況基本相同.綜合考慮,本實驗中選擇64 作為訓(xùn)練的batch size,在保證訓(xùn)練速度的同時,也保證訓(xùn)練模型的泛化能力.

圖11 損失值隨迭代次數(shù)的變化曲線

圖12 準(zhǔn)確率隨迭代次數(shù)的變化曲線

圖13 損失值隨迭代次數(shù)的變化曲線

圖14 準(zhǔn)確率隨迭代次數(shù)的變化曲線

本實驗將網(wǎng)絡(luò)的初始學(xué)習(xí)率lr設(shè)為0.001,并且通過指數(shù)衰減對學(xué)習(xí)率進行更新,衰減系數(shù)設(shè)為0.9,衰減速度設(shè)為1000,學(xué)習(xí)率計算公式如式(15)所示,其中l(wèi)r為初始學(xué)習(xí)率,decay_rate為衰減系數(shù),global_steps為當(dāng)前的迭代次數(shù),decay_steps為衰減速度(每隔decay_steps次更新一下學(xué)習(xí)率).

3.5 網(wǎng)絡(luò)的對比試驗

通過調(diào)整網(wǎng)絡(luò)中的block 內(nèi)的層數(shù)來優(yōu)化網(wǎng)絡(luò),本實驗中構(gòu)建了4 種網(wǎng)絡(luò)模型,如表1所示.由表1可以看出,VGG1 網(wǎng)絡(luò)模型中有4 個block,共有4 層卷積,兩個全連接層;VGG2 網(wǎng)絡(luò)模型中有5 個block,共有5 層卷積,2 個全連接層;VGG3 網(wǎng)絡(luò)模型中有5 個block,共有5 層卷積,2 個全連接層;VGG4 網(wǎng)絡(luò)模型(改進的網(wǎng)絡(luò)模型)中有5 個block,共有6 層卷積,2 個全連接層.其中,Conv3 代表卷積層采用3 ×3的卷積核;Conv3-64 代表該層卷積核的通道數(shù)為64;Max Pooling代表最大池化層;FC 代表全連接層;FC-1024 代表全連接層的輸出節(jié)點為1024.

在實驗參數(shù)設(shè)置相同的基礎(chǔ)上,實驗中將討論4 種模型訓(xùn)練網(wǎng)絡(luò)的實驗結(jié)果.

4種模型訓(xùn)練網(wǎng)絡(luò)的實驗結(jié)果如圖15、圖16所示.由圖15可以看出,通過比較VGG1 和VGG44,可以發(fā)現(xiàn)增加塊數(shù)來提取更深層次的手語特征,可以幫助模型較快地實現(xiàn)穩(wěn)定的收斂.由VGG2 和VGG3 可以發(fā)現(xiàn),塊和卷積層的數(shù)量相同時,增加卷積核的通道數(shù)可以提高模型的每個迭代的優(yōu)化效果最后,比較VGG3 和VGG4 可以發(fā)現(xiàn),特征深度(塊數(shù))相同時,通過增加塊內(nèi)卷積數(shù)可以獲得更好的特征提取效果.由圖16可以看出,VGG4 訓(xùn)練模型的準(zhǔn)確率相比其他兩種網(wǎng)絡(luò)模型能夠獲得較高的識別率,識別率達到了97%以上.

表1 卷積網(wǎng)絡(luò)層配置

圖15 損失值隨迭代次數(shù)的變化曲線

圖16 準(zhǔn)確率隨迭代次數(shù)的變化曲線

4 結(jié)論

本文主要研究內(nèi)容是基于改進的VGG 網(wǎng)絡(luò)的手語識別.在提出實驗方案之前,我們分析了常用的手語特征提取方法的優(yōu)缺點.在此基礎(chǔ)上,提出了一種基于綜合多要素的手語膚色分割與改進的VGG 網(wǎng)絡(luò)結(jié)合的手語識別方法.在該方法中,根據(jù)人體膚色在YCbCr空間聚類緊湊的特征構(gòu)建橢圓模型,從而對手語圖像進行初步分割;利用中值濾波進行對初步分割后的圖形進行平滑處理,去除膚色區(qū)域周圍的毛刺或者白點,然后采用漫水填充算法填充手語區(qū)域的空洞,最后采用基于最大連通域和質(zhì)心定位的方法手部區(qū)域的提取.本文減少了VGG 網(wǎng)絡(luò)模型中的卷積和全連接的層數(shù),并將批量歸一化層添加到網(wǎng)絡(luò)中.利用改進后的網(wǎng)絡(luò)構(gòu)建識別模型,識別模型以手部區(qū)域的灰度信息為輸入,減少訓(xùn)練網(wǎng)絡(luò)模型時所需的參數(shù)量.本文提出的方法在保證復(fù)雜背景下的手語圖像特征提取有效性的同時,解決了VGG 網(wǎng)絡(luò)模型所需數(shù)據(jù)集大和權(quán)重參數(shù)量過多等問題,且保證了手語圖像識別的準(zhǔn)確性.