基于改進(jìn)AlexNet的復(fù)雜背景手勢(shì)識(shí)別方法研究

郭書杰

(大連東軟信息學(xué)院 智能與電子工程學(xué)院，遼寧 大連 116032)*

隨著科技的進(jìn)步，日常生活中的各類電子設(shè)備越來越多，為了與這些設(shè)備進(jìn)行高效的交流，人們研究出各種各樣的人機(jī)交互方法.作為一種肢體語言，手勢(shì)具有簡(jiǎn)單、便捷的特點(diǎn)，它提供了一種有效的人機(jī)交互手段，特別是在AR和VR技術(shù)快速發(fā)展的今天，越來越多的設(shè)備開始使用手勢(shì)作為人機(jī)交互方式，手勢(shì)交互已經(jīng)被廣泛地應(yīng)用于汽車、消費(fèi)電子產(chǎn)品、機(jī)器人、游戲、智能家庭、自動(dòng)手語翻譯等諸多領(lǐng)域[1-3].精準(zhǔn)高效的手勢(shì)識(shí)別，是將手勢(shì)應(yīng)用于人機(jī)交互的關(guān)鍵，因此手勢(shì)識(shí)別技術(shù)是人機(jī)交互領(lǐng)域的一個(gè)重要研究方向，研究者提出了多種解決方案，大概可以分為基于傳感器的方法和基于機(jī)器視覺的方法兩種.王龍等[4]提出了一種結(jié)合膚色模型和卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法.Oyebade等[5]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法.彭玉青等[6]通過改進(jìn)YOLO算法提出了一種基于深度學(xué)習(xí)的手勢(shì)識(shí)別算法HGDR-Net.彭理仁[7]等提出了一種基于深度圖像進(jìn)行靜態(tài)手勢(shì)識(shí)別的方法.這些基于深度學(xué)習(xí)的手勢(shì)識(shí)別方法大多是對(duì)原始圖像直接進(jìn)行手勢(shì)識(shí)別，或者是結(jié)合膚色模型對(duì)圖片進(jìn)行簡(jiǎn)單的預(yù)處理，當(dāng)圖像中手所處的背景相對(duì)復(fù)雜時(shí)，特別是與人臉、手臂等裸露皮膚的部分有重疊時(shí)，算法的識(shí)別率就會(huì)降低；同時(shí)，這些算法所采用的神經(jīng)網(wǎng)絡(luò)模型也比較復(fù)雜，訓(xùn)練成本較高，實(shí)時(shí)性能稍差.為了解決這些問題，提出了一種手勢(shì)識(shí)別方案，方案通過對(duì)圖像的預(yù)處理，在一定程度上屏蔽了裸露的皮膚對(duì)識(shí)別結(jié)果的影響；同時(shí)對(duì)AlexNet網(wǎng)絡(luò)做了增加批標(biāo)準(zhǔn)化操作的改進(jìn)，從而提高了模型的優(yōu)化效率.

1 基于CNN的復(fù)雜背景手勢(shì)識(shí)別方案

1.1 手勢(shì)識(shí)別問題的特點(diǎn)

與其他圖像分類問題比較起來，手勢(shì)識(shí)別問題具有以下特點(diǎn)：

(1)不關(guān)注圖片的顏色：由于手勢(shì)識(shí)別的重點(diǎn)是手型的輪廓，所以無需關(guān)注圖片的顏色，使用灰度圖像就足以求解.

(2)硬件性能相對(duì)較弱：使用手勢(shì)識(shí)別作為人機(jī)交互手段的設(shè)備，一般都是硬件性能相對(duì)較弱的嵌入式系統(tǒng)，這就要求手勢(shì)識(shí)別方案要具有較高的執(zhí)行效率，因此算法要具有較少的內(nèi)存訪問消耗(memory access cost 簡(jiǎn)寫為 MAC)和較低的算量(float-point operations，簡(jiǎn)寫為FLOPs)

1.2 基于CNN的手勢(shì)識(shí)別方案

針對(duì)手勢(shì)識(shí)別問題的上述特點(diǎn)，制定了基于CNN的手勢(shì)識(shí)別方案.方案選用改進(jìn)的AlexNet模型作為手勢(shì)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò).AlexNet是由Krizhevsky等[8]提出的輕量級(jí)CNN網(wǎng)絡(luò)，AlexNet的結(jié)構(gòu)相對(duì)簡(jiǎn)單，對(duì)硬件性能的要求不高；同時(shí)在圖像識(shí)別領(lǐng)域，AlexNet也具有非常好的表現(xiàn).然而由于AlexNet采用非線性激活函數(shù)，隨著訓(xùn)練的進(jìn)行，可能會(huì)出現(xiàn)神經(jīng)元死亡的情況，進(jìn)而改變數(shù)據(jù)的分布.為了能夠更好地解決手勢(shì)識(shí)別問題，對(duì)AlexNet進(jìn)行了兩個(gè)方面的改進(jìn).一是對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，增加了三個(gè)批標(biāo)準(zhǔn)化(Batch Normalization)操作；二是通過對(duì)比實(shí)驗(yàn)對(duì)網(wǎng)絡(luò)的超參數(shù)進(jìn)行了優(yōu)化選擇.

在對(duì)改進(jìn)的AlexNet網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練之前，首先對(duì)數(shù)據(jù)集中的圖片進(jìn)行統(tǒng)一規(guī)格、邊緣提取等預(yù)處理，從而屏蔽臉部、手臂等裸露皮膚對(duì)識(shí)別結(jié)果的影響；然后使用預(yù)處理后的數(shù)據(jù)集對(duì)改進(jìn)的AlexNet進(jìn)行訓(xùn)練并導(dǎo)出訓(xùn)練好的模型參數(shù)；最后使用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別.方案的具體流程如圖1所示.

1.3 數(shù)據(jù)集

為了對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練和測(cè)試，需要大量的包含各種手勢(shì)的圖片作為數(shù)據(jù)集.數(shù)據(jù)集的大小決定了訓(xùn)練出來的模型的識(shí)別準(zhǔn)確率，為了保證訓(xùn)練出來的模型的識(shí)別性能，需要有足夠大的數(shù)據(jù)集.本文用到的數(shù)據(jù)集有兩部分：NUS-II 數(shù)據(jù)集[9]和自己采集的數(shù)據(jù)集.NUS-II 數(shù)據(jù)集共有2750張復(fù)雜背景手勢(shì)圖片，實(shí)驗(yàn)結(jié)果顯示，該數(shù)據(jù)集的圖片數(shù)量過少，很難解決模型的過擬合問題，為此又采集了13796張手勢(shì)圖片對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)容.數(shù)據(jù)集中的部分圖片如圖2(a)和2(b)所示.

1.4 數(shù)據(jù)集預(yù)處理

為了降低MAC和FLOPs，根據(jù)手勢(shì)識(shí)別問題對(duì)數(shù)據(jù)集中的圖片做了如下處理.

(1)統(tǒng)一圖片的尺寸.為了便于深度學(xué)習(xí)模型在訓(xùn)練和測(cè)試中使用，將數(shù)據(jù)集中的圖片統(tǒng)一轉(zhuǎn)換為200×200;

(2)對(duì)圖像進(jìn)行邊緣提取.在進(jìn)行手勢(shì)識(shí)別時(shí)，關(guān)注的重點(diǎn)是手的輪廓，為了降低計(jì)算量，在進(jìn)行模型訓(xùn)練之前，對(duì)數(shù)據(jù)集中的圖片進(jìn)行了邊緣提取.常用的邊緣提取濾波有三種，Sobel算子、Laplacian算子和Canny算子，有通過對(duì)比他們的邊緣提取效果，最終選擇使用Sobel算子是一種邊緣提取濾波器.邊緣提取效果如圖3所示.

1.5 深度學(xué)習(xí)網(wǎng)絡(luò)選擇及改進(jìn)

在進(jìn)行模型選擇時(shí)，一般要遵從夠用即可的原則，為了能夠找到適合問題求解的簡(jiǎn)單模型，使用Python編寫了自定義的3層卷積神經(jīng)網(wǎng)絡(luò)、LeNet-5和AlexNet三種模型分別進(jìn)行了測(cè)試.測(cè)試時(shí)，對(duì)三種模型，分別使用相同的數(shù)據(jù)集和相同的損失函數(shù)、激活函數(shù)、優(yōu)化器等超參數(shù)配置.每種模型分別進(jìn)行了15期訓(xùn)練，通過對(duì)比每種模型在測(cè)試數(shù)據(jù)集上的識(shí)別準(zhǔn)確率來評(píng)價(jià)模型的優(yōu)劣.測(cè)試結(jié)果如圖4所示.

由圖4不難看出，三種復(fù)雜度相近的深度學(xué)習(xí)模型中，AlexNet模型具有最好的優(yōu)化能力，并且經(jīng)過15期的訓(xùn)練就能達(dá)到超過90%的識(shí)別正確率，所以選擇該模型來進(jìn)行手勢(shì)識(shí)別.

由于深度神經(jīng)網(wǎng)絡(luò)需要用到多層的疊加處理，每一層參數(shù)的更新往往會(huì)導(dǎo)致上層的輸入數(shù)據(jù)的分布發(fā)生變化，隨著疊加層數(shù)的增加，高層的輸入分布會(huì)發(fā)生非常劇烈的變化，這就使得高層需要不斷的更新以便適應(yīng)底層的數(shù)據(jù)變化，從而降低了學(xué)習(xí)速度.同時(shí)，這也可能導(dǎo)致模型落入飽和區(qū)，使得學(xué)習(xí)過早停止.另外，由于每層的更新都可能會(huì)對(duì)其他層產(chǎn)生影響，因此很難制定每層的參數(shù)更新策略.批標(biāo)準(zhǔn)化操作可以有效防止模型梯度爆炸或彌散，能夠讓大部分的激活函數(shù)遠(yuǎn)離飽和區(qū)域，可以提模型對(duì)于各個(gè)超參的魯棒性.從圖4可以看出，AlexNet同樣具有容易導(dǎo)致梯度消失、模型優(yōu)化過程進(jìn)展緩慢，從而使得分類準(zhǔn)確保持在某一值附近不能再提高的問題.為了解決這一問題，對(duì)AlexNet網(wǎng)絡(luò)進(jìn)行了結(jié)構(gòu)優(yōu)化，在其第3、4、5個(gè)卷積層中，也加入了批標(biāo)準(zhǔn)化操作來降低數(shù)據(jù)的分布的改變帶來的影響，進(jìn)而提高算法的優(yōu)化效率.改進(jìn)前后模型的性能對(duì)比如圖5所示.

由圖5可以看出，改進(jìn)模型具有更好的持續(xù)優(yōu)化能力，能夠使得識(shí)別準(zhǔn)確率持續(xù)提高.最終結(jié)果顯示，與經(jīng)典AlexNet模型相比，改進(jìn)模型能夠?qū)⑹謩?shì)識(shí)別的準(zhǔn)確率提高4%左右.

1.6 深度學(xué)習(xí)網(wǎng)絡(luò)超參數(shù)的設(shè)置

超參數(shù)是深度學(xué)習(xí)中的一個(gè)重要概念，它是指那些在開始對(duì)模型進(jìn)行訓(xùn)練之前，需要人為設(shè)置參數(shù)值的參數(shù).超參數(shù)的設(shè)置，對(duì)一個(gè)深度學(xué)習(xí)模型的性能具有很大影響.所以尋找一組合適的超參數(shù)是建立一個(gè)深度學(xué)習(xí)模型的關(guān)鍵步驟之一.根據(jù)Mishkin D等[10]的研究結(jié)果，選取激活函數(shù)、池化操作、Batch size和數(shù)據(jù)集大小等四個(gè)超參數(shù)作為研究對(duì)象，通過對(duì)比實(shí)驗(yàn)，以他們?cè)跍y(cè)試數(shù)據(jù)集上的識(shí)別準(zhǔn)確率給標(biāo)準(zhǔn)，考察了他們對(duì)模型性能的影響.在進(jìn)行實(shí)驗(yàn)時(shí)，為了減少運(yùn)算時(shí)間，除了“數(shù)據(jù)集對(duì)模型性能的影響”外，其他實(shí)驗(yàn)均采用5070個(gè)圖片的小數(shù)據(jù)將進(jìn)行.各個(gè)參數(shù)對(duì)模型性能的影響如圖6(a)～圖6(d)所示.

由實(shí)驗(yàn)結(jié)果不難看出，由于加入了更多的批標(biāo)準(zhǔn)化操作的，更好地發(fā)揮了ReLU激活函數(shù)的性能；Batch size和數(shù)據(jù)集的大小對(duì)模型的性能具有比較明顯的影響，不同池化操作對(duì)算法性能的影響并不明顯.根據(jù)上述實(shí)驗(yàn)結(jié)果可以，選擇以下超參數(shù)配置方案.激活函數(shù)選ReLU；Batch size設(shè)置為32；選用MaxPool池化操作；數(shù)據(jù)集中的圖片數(shù)量選在1.6萬張.

1.7 使用模型進(jìn)行手勢(shì)識(shí)別

有兩種方式可以使用訓(xùn)練好的模型進(jìn)行手勢(shì)識(shí)別，一個(gè)是通過攝像設(shè)備實(shí)時(shí)采集圖像并識(shí)別；另一種是對(duì)給定的圖片進(jìn)行識(shí)別.不管是使用哪種方式，都會(huì)首先使用1.3節(jié)說描述的方法對(duì)待識(shí)別的圖像進(jìn)行預(yù)處理，然后在用訓(xùn)練好的模型來進(jìn)行手勢(shì)識(shí)別.

2 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證方案的可行性，使用python編程實(shí)現(xiàn)了改進(jìn)AlexNet模型，按照1.5節(jié)中的超參數(shù)配置方案配置模型，并使用擴(kuò)容后的NUS-II 數(shù)據(jù)集(共有16546張圖片)對(duì)模型進(jìn)行了100期的訓(xùn)練.然后使用自己編寫的基于OpenCV的圖像采集程序，采集了三個(gè)人的手勢(shì)圖片，并從中隨機(jī)選出100張來對(duì)訓(xùn)練好的模型進(jìn)行驗(yàn)證測(cè)試.測(cè)試中正確識(shí)別了93張圖片，5張圖片未能識(shí)別出結(jié)果，2張圖片識(shí)別錯(cuò)誤.未能識(shí)別出結(jié)果的圖片可能是因?yàn)檫M(jìn)行采集時(shí)，被采集人離攝像頭較遠(yuǎn)，采集出的圖片中人手部分顯得特別小.識(shí)別錯(cuò)誤的圖片主要是兩個(gè)背景比較復(fù)雜的手勢(shì)，手勢(shì)C和手勢(shì)H.

3 結(jié)論

使用改進(jìn)后的AlexNet模型進(jìn)行手勢(shì)識(shí)別時(shí)，能夠達(dá)到約93%的識(shí)別準(zhǔn)確率.但是識(shí)別結(jié)果仍然受圖像背景以及手勢(shì)占全圖的百分比的影響，當(dāng)背景過于復(fù)雜或手勢(shì)占比較小時(shí)，識(shí)別不出結(jié)果或識(shí)別錯(cuò)誤的概率就會(huì)增大.在下一步工作中，可以先檢測(cè)并標(biāo)記圖片中手的位置，然后對(duì)手勢(shì)所在部分進(jìn)行歸一化后，再做識(shí)別.