復(fù)雜背景下無(wú)錨框手勢(shì)檢測(cè)網(wǎng)絡(luò)的構(gòu)建

程志宇，徐國(guó)慶+，許 犇，羅 京

(1.武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；2.武漢工程大學(xué) 智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430205)

0 引 言

傳統(tǒng)的基于人工提取特征加分類的手勢(shì)檢測(cè)方法[1-4]在復(fù)雜環(huán)境背景干擾情況下對(duì)精度影響較大，而基于外部穿戴硬件設(shè)備的檢測(cè)方法[5,6]在手部細(xì)節(jié)提取上復(fù)雜繁瑣，存在抖動(dòng)和不穩(wěn)定的現(xiàn)象，因此，如何提升手勢(shì)檢測(cè)的效果對(duì)計(jì)算機(jī)視覺(jué)交互技術(shù)研究具有重要的意義?，F(xiàn)階段，基于深度學(xué)習(xí)方法在手勢(shì)檢測(cè)中應(yīng)用廣泛，將深層卷積神經(jīng)網(wǎng)絡(luò)用于手勢(shì)目標(biāo)的檢測(cè)和識(shí)別，如利用基于DSSD的靜態(tài)手勢(shì)識(shí)別方法[7]，以及將Faster R-CNN算法應(yīng)用于手勢(shì)識(shí)別[8]實(shí)驗(yàn)等。但該類基于錨框算法的模型對(duì)手勢(shì)目標(biāo)檢測(cè)受限于人工預(yù)先設(shè)定的不同候選框的數(shù)量和尺度范圍。近年來(lái)，基于無(wú)錨框的手勢(shì)檢測(cè)方法正逐漸成為檢測(cè)領(lǐng)域的研究熱點(diǎn)，有Extremenet[9]、FCOS[10]、Cornernet[11]等。其中基于關(guān)鍵角點(diǎn)檢測(cè)的算法取得出色的檢測(cè)效果，適用于形狀復(fù)雜多變的手勢(shì)目標(biāo)，通過(guò)優(yōu)化訓(xùn)練的損失函數(shù)和網(wǎng)絡(luò)模型結(jié)構(gòu)來(lái)增強(qiáng)模型的表達(dá)能力，使得模型能夠達(dá)到優(yōu)異的檢測(cè)性能。

本文針對(duì)手勢(shì)檢測(cè)識(shí)別應(yīng)該具有的速度快和精度高特性，采用centernet網(wǎng)絡(luò)[12]搭建手勢(shì)檢測(cè)的模型，算法框架用改進(jìn)的shufflenetv2網(wǎng)絡(luò)作為特征提取模塊搭建而成。手勢(shì)檢測(cè)的實(shí)現(xiàn)是通過(guò)對(duì)原始輸入圖像進(jìn)行目標(biāo)中心點(diǎn)預(yù)測(cè)，檢測(cè)識(shí)別手部區(qū)域。綜合不同網(wǎng)絡(luò)模型比較檢測(cè)性能。

1 手勢(shì)特征提取網(wǎng)絡(luò)的構(gòu)建

1.1 shufflenetv2網(wǎng)絡(luò)模型

shufflenetv2網(wǎng)絡(luò)[13]是目前簡(jiǎn)潔高效的網(wǎng)絡(luò)結(jié)構(gòu)中具有創(chuàng)新性和高性能的卷積神經(jīng)網(wǎng)絡(luò)之一，其網(wǎng)絡(luò)架構(gòu)是在Xiangyu Zhang等[14]提出shufflenet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進(jìn)行改進(jìn)，由基本混洗模塊和下采樣模塊堆疊而成，最后接一層卷積層和平均池化層?；灸K的設(shè)計(jì)考慮到網(wǎng)絡(luò)的性能，能夠達(dá)到明顯提升模型精度，大幅減少網(wǎng)絡(luò)計(jì)算量的效果。

基本混洗模塊的結(jié)構(gòu)特點(diǎn)是引入通道分割和連接操作，將輸入的通道分成兩個(gè)分支，一個(gè)分支上有兩個(gè)卷積和一個(gè)深度卷積，后接批歸一化層，激活函數(shù)為ReLU。此操作中將原先使用是1×1的分組卷積替換成了普通的1×1卷積，另一個(gè)分支保持不變。之后把兩個(gè)分支得到的特征合并，使用連接操作替換加法操作，實(shí)現(xiàn)特征重用，同時(shí)保持輸入通道和輸出通道數(shù)目相同，最后使用通道混洗操作融合不同通道的特征。通道混洗操作的主要作用是讓不同通道間進(jìn)行信息交換，融合不同通道的特征，通過(guò)對(duì)不同通道輸入的信息流進(jìn)行維度改變，轉(zhuǎn)置后恢復(fù)原維度輸出，能夠大幅提高模型的表示能力和精度。下采樣模塊有兩個(gè)分支，一個(gè)分支使用深度卷積和點(diǎn)卷積替換原來(lái)的平均池化層，另一條分支使用普通卷積替換原分組卷積，兩個(gè)分支連接后進(jìn)行通道混洗操作。每個(gè)分支都有步長(zhǎng)為2的下采樣，特征圖寬高減半，通道數(shù)翻倍。

1.2 shufflenetv2-se手勢(shì)特征提取網(wǎng)絡(luò)模型

(1)

在通道級(jí)上引入注意力思想，加入權(quán)重系數(shù)，能夠讓模型分辨不同通道的特征重要性，更加關(guān)注重要通道特征信息，弱化非重要通道特征信息，有效減少無(wú)關(guān)信息的影響。層中將輸出通道數(shù)縮減為原始輸入的四分之一，整體上網(wǎng)絡(luò)增加的復(fù)雜度不算高。SELayer采用H-Sigmoid激活函數(shù)，它是激活函數(shù)Sigmoid的簡(jiǎn)化變體，能夠減少Sigmoid使用時(shí)的計(jì)算消耗。該函數(shù)的數(shù)學(xué)表達(dá)式如下

(2)

然后在shufflenetv2網(wǎng)絡(luò)的后端引入三層上采樣的轉(zhuǎn)置卷積[17,18]結(jié)構(gòu)來(lái)替代原網(wǎng)絡(luò)結(jié)構(gòu)最后的常規(guī)1×1的卷積層和全局平均池化層，其中轉(zhuǎn)置卷積核大小為4×4。檢測(cè)模型使用三層上采樣的轉(zhuǎn)置卷積的主要目的是為了聚合網(wǎng)絡(luò)的深層特征，得到較高質(zhì)量的特征圖，網(wǎng)絡(luò)整體上實(shí)現(xiàn)下4倍采樣。特征提取網(wǎng)絡(luò)在經(jīng)過(guò)Stage4層模塊后生成的特征圖大小為16×16，再逐一進(jìn)行轉(zhuǎn)置卷積操作，批歸一化和ReLU運(yùn)算得到的特征圖大小依次為32×32、64×64、128×128，特征圖像分辨率依次擴(kuò)張，通道數(shù)量相比下采樣階段減少，能夠更好地保留原圖像的特征信息。同時(shí)在訓(xùn)練過(guò)程中轉(zhuǎn)置卷積的參數(shù)能夠經(jīng)過(guò)訓(xùn)練學(xué)習(xí)得到，在上采樣階段達(dá)到高效實(shí)現(xiàn)算法效果。非線性激活函數(shù)ReLU的使用有效減少噪聲的影響，激活重要特征信息。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)計(jì)見(jiàn)表1。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置

2 基于centernet的手勢(shì)檢測(cè)模型

2.1 手勢(shì)檢測(cè)網(wǎng)絡(luò)的構(gòu)建

本文提出的手勢(shì)檢測(cè)網(wǎng)絡(luò)模型結(jié)構(gòu)主要由兩部分構(gòu)成，前端部分是加入SELayer的shufflenetv2基礎(chǔ)網(wǎng)絡(luò)和上采樣卷積結(jié)構(gòu)，用于對(duì)輸入的圖像進(jìn)行特征提取，同時(shí)能夠有效融合不同通道和低層細(xì)節(jié)的特征信息，高效獲取復(fù)雜手勢(shì)特征；后端部分是檢測(cè)網(wǎng)絡(luò)，進(jìn)行關(guān)鍵點(diǎn)熱圖、目標(biāo)大小以及中心點(diǎn)偏移的預(yù)測(cè)。SCNet整體的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。對(duì)整體網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，從后期實(shí)驗(yàn)結(jié)果驗(yàn)證了改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)擁有更高的準(zhǔn)確率。

圖1 SCNet網(wǎng)絡(luò)模型結(jié)構(gòu)

與其它檢測(cè)算法相比，基于centernet的目標(biāo)檢測(cè)網(wǎng)絡(luò)的創(chuàng)新是提出中心點(diǎn)熱圖檢測(cè)思想，網(wǎng)絡(luò)只提取每個(gè)目標(biāo)的中心點(diǎn)作為關(guān)鍵點(diǎn)來(lái)預(yù)測(cè)目標(biāo)大小信息，得到更簡(jiǎn)單高效的檢測(cè)模型。由SCNet模型檢測(cè)手勢(shì)的具體過(guò)程分為3個(gè)階段：首先傳入手勢(shì)圖像，經(jīng)過(guò)前端檢測(cè)網(wǎng)絡(luò)模型預(yù)測(cè)生成手勢(shì)關(guān)鍵點(diǎn)熱圖，然后對(duì)熱圖上樣本特征進(jìn)行三分支的卷積操作直接預(yù)測(cè)出關(guān)鍵點(diǎn)、偏移量和目標(biāo)尺寸值，最后解碼得出手勢(shì)目標(biāo)位置邊框。整體網(wǎng)絡(luò)實(shí)現(xiàn)端到端檢測(cè)，省去了基于錨框檢測(cè)算法在后處理階段的額外計(jì)算和訓(xùn)練開銷，同時(shí)引入中心點(diǎn)來(lái)檢測(cè)目標(biāo)相對(duì)cornernet算法，不需要對(duì)關(guān)鍵點(diǎn)進(jìn)行分組，能夠更好去除小目標(biāo)的誤檢框，在檢測(cè)速度和識(shí)別精準(zhǔn)性上有明顯優(yōu)勢(shì)。

2.2 網(wǎng)絡(luò)損失函數(shù)和屬性值

SCNet網(wǎng)絡(luò)的目標(biāo)損失函數(shù)由關(guān)鍵點(diǎn)熱圖損失Lk、目標(biāo)尺度大小損失Lsize、中心點(diǎn)偏移量損失Loff這3部分組成，如式(3)所示

Ldet=Lk+λsizeLsize+λoffLoff

(3)

式中：λsize的值為0.1，λoff的值為1。

(4)

(5)

(6)

(7)

3 實(shí)驗(yàn)的結(jié)果和分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集的處理

本文的檢測(cè)對(duì)象是在復(fù)雜背景下的手勢(shì)，設(shè)計(jì)的實(shí)驗(yàn)分別是在公開數(shù)據(jù)集Egohands[19]以及在自建RGB數(shù)據(jù)集上進(jìn)行單類別和多類別的訓(xùn)練和評(píng)估，驗(yàn)證算法的性能。

公開Egohands數(shù)據(jù)集包括兩人互動(dòng)的4800張圖片，使用Google glass拍攝，拍攝的活動(dòng)場(chǎng)景復(fù)雜多樣互動(dòng)形式豐富，包括室內(nèi)和室外等場(chǎng)景。其中每張圖片大小為1280×720 px，且圖片上的手勢(shì)區(qū)域都帶有位置標(biāo)簽。數(shù)據(jù)集中圖片只包含一種類別，標(biāo)簽為hand，訓(xùn)練集、驗(yàn)證集和測(cè)試集的圖片的劃分比例為8∶1∶1，訓(xùn)練集圖片共計(jì)3840張，驗(yàn)證集480張，剩余480張圖片為測(cè)試集。部分手勢(shì)如圖2(a)所示。

圖2 部分手勢(shì)數(shù)據(jù)樣本圖像

多類別實(shí)驗(yàn)采用增強(qiáng)的手勢(shì)數(shù)據(jù)集進(jìn)行訓(xùn)練，通過(guò)RGB攝像頭采集手勢(shì)數(shù)據(jù)集包含7個(gè)類別，3850張圖片，每張圖片采用LabelImg進(jìn)行標(biāo)注。數(shù)據(jù)增強(qiáng)分為離線數(shù)據(jù)集增強(qiáng)和在線訓(xùn)練數(shù)據(jù)增強(qiáng)兩種方式，考慮到數(shù)據(jù)量較少，以及對(duì)小目標(biāo)檢測(cè)的準(zhǔn)確度，采用離線數(shù)據(jù)增強(qiáng)策略對(duì)數(shù)據(jù)集進(jìn)行兩倍擴(kuò)充，共計(jì)11 550張圖片，按照8∶1∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中測(cè)試圖片數(shù)為1155張，驗(yàn)證圖片數(shù)為1155張，剩余9240張作為訓(xùn)練數(shù)據(jù)。數(shù)據(jù)增強(qiáng)策略是將原始手勢(shì)數(shù)據(jù)集進(jìn)行隨機(jī)平移，平移范圍是原圖像寬高的5%，為了更好檢測(cè)小目標(biāo)，隨機(jī)進(jìn)行縮放調(diào)整，縮放比例為原始圖像大小的0.8倍或0.5倍，部分手勢(shì)圖像如圖2(b)所示。

3.2 實(shí)驗(yàn)平臺(tái)和參數(shù)設(shè)置

本文的實(shí)驗(yàn)平臺(tái)是在圖形卡為NVIDIA GeForce GTX 1660s上進(jìn)行訓(xùn)練，系統(tǒng)環(huán)境為windows10，采用Pytorch深度學(xué)習(xí)框架，cuda10.0和cudnn7.6。實(shí)驗(yàn)輸入數(shù)據(jù)集圖片的像素大小設(shè)為512×512 px，將數(shù)據(jù)集轉(zhuǎn)成coco數(shù)據(jù)集標(biāo)注格式進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程中，初始學(xué)習(xí)率設(shè)置為1.25e-4，batch size設(shè)為12。在迭代次數(shù)為90時(shí)，學(xué)習(xí)率下降為1.25e-5；迭代次數(shù)為120時(shí)，學(xué)習(xí)率再降為1.25e-6。其中單類別訓(xùn)練中的訓(xùn)練迭代次數(shù)設(shè)為200，多類別訓(xùn)練中的訓(xùn)練迭代次數(shù)為140。

3.3 單類別數(shù)據(jù)集實(shí)驗(yàn)結(jié)果和對(duì)比分析

單類別檢測(cè)實(shí)驗(yàn)主要從網(wǎng)絡(luò)模型性能、大小和速度上進(jìn)行對(duì)比，選擇基于錨框的單階段代表性算法SSD和傳統(tǒng)shufflenetv2網(wǎng)絡(luò)。一組實(shí)驗(yàn)設(shè)置的對(duì)照組為：①采用mobilenet作基礎(chǔ)網(wǎng)絡(luò)的SSD算法；②采用本文提出的網(wǎng)絡(luò)模型SCNet。實(shí)驗(yàn)分別從mAP，AP(0.5)和AP(0.75)這3個(gè)維度進(jìn)行比較。

從表2的實(shí)驗(yàn)可以看出，使用基于centernet的檢測(cè)網(wǎng)絡(luò)在Egohands數(shù)據(jù)集上能夠達(dá)到很好的準(zhǔn)確率，相較于基于mobilenet的SSD算法不管是均值平均精度，AP(0.5)，AP(0.75)上都更優(yōu)，兩者在mAP上相差達(dá)到4.6%左右。

表2 對(duì)比實(shí)驗(yàn)結(jié)果

為了驗(yàn)證使用SELayer的有效性，在傳統(tǒng)特征提取網(wǎng)絡(luò)shufflenetv2上做對(duì)比實(shí)驗(yàn)，尺度選擇1.0，網(wǎng)絡(luò)分別是激活函數(shù)選擇ReLU的shufflenetv2后端加入三層上采樣轉(zhuǎn)置卷積模塊，以及在stage3和stage4中使用SELayer且后端加入三層上采樣卷積模塊的SCNet網(wǎng)絡(luò)這兩種模型。分別從平均檢測(cè)精度、模型大小、參數(shù)量以及單幀耗時(shí)4個(gè)方面來(lái)衡量模型的性能，實(shí)驗(yàn)結(jié)果見(jiàn)表3。

表3 對(duì)比實(shí)驗(yàn)結(jié)果

在同樣大小的輸入圖片上，本文改進(jìn)后的模型SCNet相較于原始shufflenetv2算法來(lái)說(shuō)，在模型大小和速度上的差距不大，但是SCNet能夠達(dá)到更高的準(zhǔn)確率，其對(duì)單目標(biāo)檢測(cè)的準(zhǔn)確率比shufflenetv2高0.9%。僅僅通過(guò)增加少量參數(shù)達(dá)到更好的性能提升。表中單幀耗時(shí)的計(jì)算結(jié)果為攝像頭識(shí)別的速度，為總的計(jì)算時(shí)間(tot)，包含每幀圖像的預(yù)處理時(shí)間。實(shí)驗(yàn)結(jié)果表明在GPU加速上能達(dá)到快速識(shí)別的效果。用構(gòu)建網(wǎng)絡(luò)(net)和解碼時(shí)間(dec)計(jì)算加速后峰值幀率可達(dá)到45 frames/s，相較于CPU i5平臺(tái)有大幅速度提升。

3.4 多類別數(shù)據(jù)集實(shí)驗(yàn)結(jié)果和對(duì)比分析

多類別檢測(cè)實(shí)驗(yàn)主要以不同類別的網(wǎng)絡(luò)作為前端手勢(shì)特征提取的網(wǎng)絡(luò)結(jié)合centernet算法得出的檢測(cè)網(wǎng)絡(luò)模型在性能上進(jìn)行對(duì)比，選擇squeezenet網(wǎng)絡(luò)、shufflenet網(wǎng)絡(luò)以及mobilenetv2網(wǎng)絡(luò)在自建RGB手勢(shì)數(shù)據(jù)集上設(shè)計(jì)對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)設(shè)置的對(duì)照組分為4組：①使用squeezenet作特征提取網(wǎng)絡(luò)；②使用shufflenet作特征提取網(wǎng)絡(luò)；③使用mobilenetv2(0.75x)作特征提取網(wǎng)絡(luò)；④本文提出的網(wǎng)絡(luò)模型SCNet。其中mobilenetv2后端用三層深度卷積形式的轉(zhuǎn)置卷積替代，訓(xùn)練過(guò)程中訓(xùn)練集和驗(yàn)證集的損失值變化如圖3所示。實(shí)驗(yàn)在迭代90次之后損失值收斂，不管是在訓(xùn)練集還是驗(yàn)證集上沒(méi)有大幅振蕩，從訓(xùn)練效果上看，SCNet的損失值相比于squeezenet網(wǎng)絡(luò)、shufflenet網(wǎng)絡(luò)和mobilenetv2網(wǎng)絡(luò)都處于較低值水平，收斂速度較快。

圖3 實(shí)驗(yàn)損失值曲線

由表4可知，在同樣大小的輸入圖片下，本文設(shè)計(jì)的模型SCNet對(duì)于不同手勢(shì)的檢測(cè)上測(cè)試精確率能夠達(dá)到91%，優(yōu)于squeezenet網(wǎng)絡(luò)、shufflenet網(wǎng)絡(luò)和mobilenetv2網(wǎng)絡(luò)，相對(duì)于squeezenet網(wǎng)絡(luò)來(lái)看，SCNet準(zhǔn)確率提升在6.9%左右，漏檢率上減少5.6%左右，誤檢率上減少7%左右；與shufflenet網(wǎng)絡(luò)對(duì)比，準(zhǔn)確率提升在2.5%左右，漏檢率上減少2.3%左右，誤檢率上減少2.5%左右；對(duì)比mobilenetv2的前端網(wǎng)絡(luò)，本文采用優(yōu)化shufflenetv2網(wǎng)絡(luò)的檢測(cè)準(zhǔn)確率能夠提高2.3%左右，在漏檢率上減小1.7%左右，在誤檢率上減小2.4%左右。對(duì)比實(shí)驗(yàn)結(jié)果顯示了本文方法模擬的有效性和高效性，為手勢(shì)檢測(cè)的研究提供了方法和途徑。

表4 對(duì)比實(shí)驗(yàn)結(jié)果

單類別檢測(cè)實(shí)驗(yàn)中用mobilenet-SSD和SCNet網(wǎng)絡(luò)模型進(jìn)行對(duì)比，采用mobilenet-SSD網(wǎng)絡(luò)輸入圖片后的檢測(cè)結(jié)果如圖4(a)所示，使用SCNet檢測(cè)模型輸入圖片后的檢測(cè)結(jié)果如圖4(b)所示。在復(fù)雜背景下，mobilenet-SSD網(wǎng)絡(luò)針對(duì)于小部分遮擋目標(biāo)沒(méi)有檢測(cè)出，有出現(xiàn)漏檢情況，SCNet模型對(duì)于遮擋和不完整的目標(biāo)物體檢測(cè)效果很好，基本手勢(shì)檢測(cè)兩者差距不大；多類別檢測(cè)實(shí)驗(yàn)圖片測(cè)試中使用shufflenet-centernet和SCNet模型對(duì)比，分別采用圖片輸入后的檢測(cè)結(jié)果如圖4(c)和圖4(d)所示。在復(fù)雜背景下，shufflenet-centernet模型檢測(cè)結(jié)果會(huì)出現(xiàn)漏檢誤檢的情況，識(shí)別效果不佳；SCNet模型對(duì)于圖中目標(biāo)物體的檢測(cè)效果很好，類別準(zhǔn)確。其中左側(cè)為中心點(diǎn)熱圖結(jié)果，在熱圖上標(biāo)示了手勢(shì)關(guān)鍵點(diǎn)的位置以及檢測(cè)結(jié)果。

圖4 復(fù)雜背景下手勢(shì)檢測(cè)

4 結(jié)束語(yǔ)

本文主要討論針對(duì)復(fù)雜背景下手勢(shì)圖像目標(biāo)檢測(cè)的算法，在手勢(shì)檢測(cè)識(shí)別網(wǎng)絡(luò)的結(jié)構(gòu)和準(zhǔn)確性兩方面分別討論。本文采用基于centernet算法的手勢(shì)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)，采用目標(biāo)中心點(diǎn)預(yù)測(cè)物體邊界，將使用SELayer優(yōu)化的shufflenetv2作為特征提取網(wǎng)絡(luò)，后經(jīng)上采樣的轉(zhuǎn)置卷積恢復(fù)原特征圖大小，使模型變得更加準(zhǔn)確和高效。網(wǎng)絡(luò)整體使用ReLU激活函數(shù)。實(shí)驗(yàn)結(jié)果表明，本文提出的手勢(shì)檢測(cè)模型在速度和精度上有明顯優(yōu)勢(shì)，能夠較好地提升手勢(shì)圖像目標(biāo)的檢測(cè)效率和識(shí)別精準(zhǔn)度，實(shí)現(xiàn)了快速準(zhǔn)確的手勢(shì)檢測(cè)，但對(duì)于小目標(biāo)和重疊目標(biāo)的檢測(cè)需要做進(jìn)一步的改進(jìn)。后續(xù)研究嘗試結(jié)合其它主干網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，如mixnet、ghostnet等，提高手勢(shì)檢測(cè)的效率和精度。