改進(jìn)的MoveNet輕量化單人姿態(tài)估計(jì)算法

史健婷, 詹懷遠(yuǎn)

(黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院, 哈爾濱 150022)

0 引 言

人體關(guān)鍵點(diǎn)信息是人體行為檢測、醫(yī)療診斷輔助和人機(jī)交互等多個(gè)計(jì)算機(jī)應(yīng)用領(lǐng)域和交叉學(xué)科進(jìn)行研究的基礎(chǔ)性數(shù)據(jù),是前沿領(lǐng)域的基礎(chǔ)性研究[1]。

傳統(tǒng)的姿態(tài)估計(jì)方式雖在特定的場合下有較高的準(zhǔn)確性,但成本較高,方法也存在局限性[2]。深度學(xué)習(xí)的發(fā)展涌現(xiàn)出諸多優(yōu)秀的姿態(tài)估計(jì)模型。其中,Sun等[3]提出的一種高分辨率網(wǎng)絡(luò)HRNet可以使特征提取過程更關(guān)注關(guān)鍵點(diǎn)的位置信息,保證關(guān)鍵點(diǎn)位置學(xué)習(xí)的準(zhǔn)確性。Cao等[4]提出的OpenPose網(wǎng)絡(luò)模型分別預(yù)測關(guān)鍵的概率與關(guān)鍵點(diǎn)之間的親和關(guān)聯(lián)程度,通過匈牙利法聚類得到最終的姿態(tài)估計(jì)結(jié)果?；谏疃壬窠?jīng)網(wǎng)絡(luò)的人體關(guān)鍵點(diǎn)檢測模型雖擁有較高的檢測精度但性能不盡人意[5]。隨著對實(shí)時(shí)檢測的需求日益增多,當(dāng)前主流的網(wǎng)絡(luò)模型結(jié)構(gòu)復(fù)雜、參數(shù)多,無法運(yùn)行在低端硬件上實(shí)現(xiàn)實(shí)時(shí)的檢測能力[6]。

為實(shí)現(xiàn)實(shí)時(shí)檢測能力,Landola等[7]提出了SqueezeNet輕量化網(wǎng)絡(luò)模型,將傳統(tǒng)的卷積方式利用深度卷積和行點(diǎn)卷積結(jié)合的方式大幅降低運(yùn)算量和模型參數(shù)。Howard等[8]提出MobileNet系列輕量級(jí)模型,利用深度可分離卷積、倒殘差模塊和優(yōu)化損失函數(shù)等方式大幅度提高輕量化模型的運(yùn)算速度與準(zhǔn)確率。MoveNet[9]模型可以快速、準(zhǔn)確地檢測人體的17個(gè)關(guān)鍵點(diǎn)信息,其輕量化的特征可以在低性能硬件以較高的速率進(jìn)行推理,以達(dá)到實(shí)時(shí)的檢測能力。

模型中使用注意力機(jī)制可以加強(qiáng)特征的表達(dá),僅需少量參數(shù)便可對學(xué)習(xí)到的多通道特征進(jìn)行權(quán)重的分配。Hu等[10]提出的是一種通道注意力機(jī)制,通過在殘差模塊中對卷積操作學(xué)習(xí)的特征使用全連接操作進(jìn)一步獲取通道之間的權(quán)重,加強(qiáng)特征的表達(dá)能力。Sh等[11]提出的CBAM是一種可以同時(shí)關(guān)注特征通道與特征空間信息的注意力機(jī)制。Wang等[12]提出的ECANet使用更少參數(shù)的卷積操作獲取更好的通道注意力性能。

筆者使用的方法BCM3-Net(Based on CBAM and MobileNetV3 Net)以MoveNet模型作為基礎(chǔ),對其特征提取部分使用精度更高的MobileNetV3結(jié)構(gòu)進(jìn)行替換,運(yùn)用空間通道注意力機(jī)制(CBAM)加強(qiáng)特征融合層對空間與通道信息的表達(dá)能力。對于V3網(wǎng)絡(luò)中倒殘差結(jié)構(gòu)的SENet注意力機(jī)制,通過使用ECANet注意力機(jī)制來恢復(fù)由全連接操作造成的空間塌縮帶來的特征丟失情況,有效提高倒殘差結(jié)構(gòu)中通道權(quán)重的學(xué)習(xí)能力,從而提高精度的目的。對于改進(jìn)后的MoveNet網(wǎng)絡(luò),在MSCOCO2017數(shù)據(jù)集上的單人姿態(tài)估計(jì)實(shí)驗(yàn)證明該模型的有效性。

1 BCM3-Net網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)模型整體架構(gòu)

BCM3-Net網(wǎng)絡(luò)是由特征提取層和Header層組成,網(wǎng)絡(luò)整體架構(gòu),如圖 1所示。

圖1 BCM3-Net 模型整體架構(gòu)Fig.1 Overall architecture of BCM3-Net model

其中,特征提取層由改進(jìn)的MobileNetV3主干網(wǎng)絡(luò)與融合CBAM注意力機(jī)制的多尺度特征融合增強(qiáng)網(wǎng)絡(luò)組成。Header層對融合后的特征通過不同分支對四個(gè)輸出特征做相應(yīng)的后處理作為最終的預(yù)測輸出結(jié)果。

1.2 改進(jìn)的特征提取網(wǎng)絡(luò)

MobileNetV3主干結(jié)構(gòu)首先減少了V2結(jié)構(gòu)第一層卷積輸出通道個(gè)數(shù)和對Last Stage階段進(jìn)行了裁剪。提高網(wǎng)絡(luò)中倒殘差結(jié)構(gòu)膨脹后的通道數(shù),提高空間與位置信息特征的學(xué)習(xí)能力[13]。其次,倒殘差結(jié)構(gòu)中引入注意力機(jī)制提高模型訓(xùn)練和推理速度,提高了精確度。最后,重新定義了非線性激活函數(shù),交替使用ReLU6和Hard-Swish激活函數(shù),其公式分別為

RL(x)=min(max(x,0),6),

式中,x——待激活特征值。

ReLU6激活函數(shù)可以緩解深層網(wǎng)絡(luò)使用ReLU激活函數(shù)導(dǎo)致的權(quán)值相差過大的問題。對于主干中需要使用ReLU激活函數(shù)的部分,使用Hard-Swish激活函數(shù)以保證訓(xùn)練更平滑且易計(jì)算梯度,保證反向傳播時(shí)某些小于零的神經(jīng)元仍然會(huì)被激活。

1.3 改進(jìn)的倒殘差塊

MobileNetV3網(wǎng)絡(luò)中使用DW卷積(Depthwise,DW)和PW(Pointwise,PW)卷積,通過將PW卷積和DW卷積組成深度可分離卷積(Depthwise Separable ,DS),DS卷積使用更少的卷積核大幅度減少運(yùn)算和參數(shù)數(shù)量。傳統(tǒng)卷積與DS卷積的結(jié)構(gòu),如圖 2所示。

圖2 傳統(tǒng)卷積與深度可分離卷積Fig.2 Traditional convolution and depth-separable convolution

假設(shè)傳統(tǒng)卷積操作與DS卷積操作輸入特征與卷積核寬高尺寸相同,卷積步幅為1,傳統(tǒng)卷積與DS卷積計(jì)算量倍數(shù)如公式為

式中:T——降低的計(jì)算量倍數(shù);

Fi——第i個(gè)輸入特征的尺寸;

ki——第i個(gè)卷積核的尺寸;

Ci——輸入特征的通道數(shù);

Co——卷積輸出的通道數(shù)。

改進(jìn)后的倒殘差結(jié)構(gòu)Bneck,其結(jié)構(gòu)如圖 3所示。Bneck作為BCM3-Net特征提取網(wǎng)絡(luò)的層次主干。

該結(jié)構(gòu)先對特征進(jìn)行升維,再利用DW卷積進(jìn)行學(xué)習(xí),解決了傳統(tǒng)殘差塊先降維存在的信息缺失情況。該模型使用ECA注意力機(jī)制代替原結(jié)構(gòu)中SE注意力機(jī)制。通過卷積代替了全連接對所有通道的提取以及維度的塌縮,保持了通道權(quán)重在空間結(jié)構(gòu)上的信息,僅涉及少數(shù)參數(shù)就可以具有更好的跨通道信息獲取能力,并滿足對不同輸入通道尺寸的自適應(yīng)能力,ECA注意力機(jī)制卷積核大小k的自適應(yīng)公式為

式中:k——自適應(yīng)通道數(shù)的卷積核尺寸;

C——輸入特征的通道數(shù);

γ——常數(shù)為2;

b——常數(shù)為1。

ECA模塊使用Hard-Sigmoid激活函數(shù)對全局平局池化和卷積操作結(jié)果進(jìn)行激活。Hard-Sigmoid激活函數(shù)在圖像性質(zhì)上,如圖 4所示。與Sigmoid相仿,并取消了冪運(yùn)算大幅降低運(yùn)算量,從而提高網(wǎng)絡(luò)訓(xùn)練和推理速度。

圖4 Hard-Sigmoid激活函數(shù)Fig.4 Hard-Sigmoid activation function

1.4 改進(jìn)的特征融合結(jié)構(gòu)

多尺度特征融合增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu)參考增強(qiáng)特征的特征金字塔網(wǎng)絡(luò)。對不同階段融合的特征分別輸出并進(jìn)行預(yù)測。該方法使用的方式僅對最后一層融合特征進(jìn)行使用。

Header層中對Center和Keypoint Heatmap所學(xué)習(xí)的特征是空間信息與通道信息敏感的,Header層中預(yù)測的空間位置與通道位置,對模型回歸速度與預(yù)測精度起至關(guān)重要作用。因此,該模型在輸出的多尺度融合特征追加CBAM注意力機(jī)制,加強(qiáng)融合后特征在空間和通道的特征權(quán)重分配,提高融合后特征的有效性。

1.5 BCM3-Net網(wǎng)絡(luò)

BCM3-Net的特征提取網(wǎng)絡(luò)結(jié)構(gòu),如圖 5所示。主干網(wǎng)絡(luò)中使用基于ECA注意力機(jī)制的倒殘差結(jié)構(gòu)Bneck進(jìn)行串聯(lián)。

圖5 特征提取網(wǎng)絡(luò)Fig.5 Feature extraction network

網(wǎng)絡(luò)層次結(jié)構(gòu)中,通過exp中定義的縮放尺度對特征進(jìn)行學(xué)習(xí),不同網(wǎng)絡(luò)層次中通過ECA標(biāo)記是否使用ECA注意力機(jī)制,并且通過定義R6、HS參數(shù)定義Bneck中使用激活函數(shù)是ReLU6還是Hard-Swish,s決定每個(gè)結(jié)構(gòu)卷積操作的步距長度。

1.6 后處理階段

BCM3-Net模型處理流程,如圖 6所示。后處理過程將最終輸出的四個(gè)特征圖進(jìn)行加工得到最終的關(guān)鍵點(diǎn)預(yù)測結(jié)果。

文中方法使用基于位置加權(quán)的方式,通過生成位置權(quán)重矩陣來抑制其他位置人體的信息,增強(qiáng)多人情況下,對近中心點(diǎn)人體關(guān)鍵點(diǎn)檢測的精準(zhǔn)性和魯棒性。位置權(quán)重矩陣以參考點(diǎn)為中心,距離中心點(diǎn)距離越遠(yuǎn)權(quán)重越小,矩陣尺寸輸出特征圖尺寸相同,權(quán)重計(jì)算如公式為

Wi=(d(c,i)+λ)-1,

式中:Wi——居中第i個(gè)位置的權(quán)重矩陣;

d——第i個(gè)位置距離中心點(diǎn)的歐氏距離;

c——中心點(diǎn)位置;

λ——防止權(quán)重矩陣出現(xiàn)無窮的參數(shù),λ∈(1,2]。

圖6 BCM3-Net網(wǎng)絡(luò)流程Fig.6 Flow of BCM3-Net

輸入圖像中存在多人情況下如何得到距中心最近人物的人體的關(guān)鍵點(diǎn)坐標(biāo),如圖7所示。

圖7 后處理定位最終關(guān)鍵點(diǎn)Fig.7 Post-processing locates final key point

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集與數(shù)據(jù)增強(qiáng)

選擇MSCOCO2017數(shù)據(jù)集中標(biāo)記為單人的數(shù)據(jù)進(jìn)行訓(xùn)練和驗(yàn)證,其中,大量特征均是人體日常動(dòng)作。為了增強(qiáng)模型對于多人圖片中,中心的人體關(guān)鍵點(diǎn)的檢測能力,對數(shù)據(jù)集進(jìn)行了擴(kuò)展與數(shù)據(jù)增強(qiáng)。

(1)數(shù)據(jù)擴(kuò)展:將靠中心點(diǎn)的人體關(guān)鍵點(diǎn)作為主要標(biāo)記信息,其他人體信息進(jìn)行按序整合;通過計(jì)算所有人的關(guān)鍵點(diǎn)最大外接矩陣獲得每個(gè)人的人體中心點(diǎn)位置;為了保證標(biāo)記信息的統(tǒng)一,重新對標(biāo)記信息格式進(jìn)行整理,對單人標(biāo)記也做了格式化操作;

(2)數(shù)據(jù)增強(qiáng):設(shè)置概率為0.3來激活是否啟用半身操作,并設(shè)置0.5概率選擇上身或下身的關(guān)鍵點(diǎn)內(nèi)容;對原始圖像與關(guān)鍵點(diǎn)信息進(jìn)行仿射變換,并對變換后結(jié)果進(jìn)行裁剪操作;對仿射變換后的圖片與關(guān)鍵點(diǎn)信息隨機(jī)進(jìn)行水平翻轉(zhuǎn),概率為0.5。

2.2 評價(jià)指標(biāo)

通過使用OKS(Object Keypoint Similarity)評價(jià)指標(biāo)對模型訓(xùn)練輸出的人體關(guān)鍵點(diǎn)信息與Ground True信息計(jì)算相似性。OKS計(jì)算如公式為

式中:i——當(dāng)前人體第i個(gè)關(guān)鍵點(diǎn);

di——預(yù)測與真實(shí)標(biāo)簽的歐氏距離;

s——當(dāng)前人體區(qū)域尺度;

ki——第i個(gè)關(guān)鍵點(diǎn)位置的衰減因子;

σ——當(dāng)前關(guān)鍵點(diǎn)在圖像中的顯示等級(jí),0為不可見,1為遮擋,2為可見。

OKS的結(jié)果在[0,1]之間,數(shù)值越大表示預(yù)測值與真實(shí)值越接近,AP50代表全部預(yù)測關(guān)鍵點(diǎn)OKS在0.5時(shí)的準(zhǔn)確率,mAP表示OKS在0.5至0.95,以0.05遞增的全部預(yù)測結(jié)果的平均準(zhǔn)確率。

2.3 實(shí)驗(yàn)結(jié)果

本模型在MSCOCO2017的驗(yàn)證數(shù)據(jù)集上進(jìn)行單人姿態(tài)估計(jì)驗(yàn)證,驗(yàn)證結(jié)果,如表 1所示。

HRNet網(wǎng)絡(luò)作為自頂向下兩階段的模型具有相當(dāng)高的精度水準(zhǔn),但也體現(xiàn)了模型參數(shù)的龐大與大量的浮點(diǎn)運(yùn)算量。MoveNet網(wǎng)絡(luò)相較于HRNet僅在mAP上損失了1.9%。改進(jìn)后的BCM3-Net僅增加了1.7×106次/s的參數(shù)后,在mAP提升了1.3%,相較于HRNet僅表現(xiàn)出0.6%的差距。由于優(yōu)化主干網(wǎng)絡(luò)結(jié)構(gòu)和非線性激活函數(shù),GFLOPS由MoveNet的3.433×108次/s下降至2.689×108次/s,使用CPU對模型進(jìn)行推導(dǎo),二者在運(yùn)算時(shí)間上幾乎沒有差別但提高了精準(zhǔn)率。實(shí)驗(yàn)結(jié)果表明改進(jìn)后的BCM3-Net在單人姿態(tài)估計(jì)任務(wù)上有更優(yōu)秀的表現(xiàn)。

表1 MSCOCO2017驗(yàn)證集對比

BCM3-Net消融實(shí)驗(yàn)結(jié)果,如表 2所示。比較了基本的MoveNet模型分別在更換基于ECA注意力機(jī)制的MobileNetV3特征提取網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)中引入CBAM注意力機(jī)制的性能差異。

表2 BCM3-Net消融實(shí)驗(yàn)

由表 2可見,主干網(wǎng)絡(luò)的替換對于特征的學(xué)習(xí)和預(yù)測有明顯1%的提升,特別是在對AP50的實(shí)驗(yàn)中擁有3.2%的提升,但對于AP75的提升僅有0.6%。增加CBAM注意力機(jī)制對網(wǎng)絡(luò)整體提升有限,mAP僅提高了0.3%。

2.4 結(jié)果分析

首先,主干網(wǎng)絡(luò)的替換加強(qiáng)了對關(guān)鍵點(diǎn)外圍特征的學(xué)習(xí)能力,對位置和空間信息獲取明顯提高,改進(jìn)ECA注意力機(jī)制也能更好的捕捉特征的空間權(quán)重,因此在OKS在0.5至0.75的閾值內(nèi)有顯著的提升。其次,CBAM注意力機(jī)制在特征通道層面提升有限,僅在融合特征時(shí)提高了空間權(quán)重。由于輕量級(jí)模型的限制,對真實(shí)點(diǎn)附近特征學(xué)習(xí)能力仍有一定的差距。

BCM3-Net對單人姿態(tài)估計(jì)的訓(xùn)練階段,如圖8所示。改進(jìn)后人體關(guān)鍵點(diǎn)結(jié)果比較結(jié)果,如圖9所示。由圖 9可見,在多人的情況,模型能更好的回歸中心人物關(guān)鍵點(diǎn)信息,有效屏蔽背景人物的影響。同時(shí)BCM3-Net模型對面部、手肘及膝蓋等位置有更好的預(yù)測效果。

圖9 人體關(guān)鍵點(diǎn)結(jié)果對比Fig.9 Comparison results of key points

圖10 實(shí)時(shí)檢測效果Fig.10 Real-time detection effect

圖11 煤礦礦井下工人姿態(tài)估計(jì)Fig.11 Estimation of workers poses in coal mines

BCM3-Net模型實(shí)時(shí)檢測效果,如圖 10所示。由圖 10可見,模型實(shí)際實(shí)時(shí)預(yù)測的能力,BCM3-Net擁有較高的預(yù)測推理速度,實(shí)時(shí)推理幀數(shù)可達(dá)到43 FPS左右。

為了驗(yàn)證模型的泛化能力,收集了煤礦礦井下工作人員作業(yè)時(shí)的相關(guān)圖像進(jìn)行姿態(tài)分析檢測,效果如圖 11所示。煤礦井下環(huán)境惡劣并且具有危險(xiǎn)性,對井下工作人員姿態(tài)的規(guī)范性要求較高,通過分析可以看出在光線和粉塵環(huán)境較為良好的環(huán)境下,對作業(yè)工人人體關(guān)鍵點(diǎn)有較好的檢測效果,為下一步開展礦井下工作人員不安全行為識(shí)別及提高井下人員姿態(tài)的規(guī)范性等相關(guān)研究提供了參考和思路。

3 結(jié) 論

(1)使用基于ECA注意力機(jī)制的MobileNetV3特征提取網(wǎng)絡(luò),并在多尺度特征融合網(wǎng)絡(luò)結(jié)構(gòu)中引入CBAM注意力機(jī)制加強(qiáng)通道和空間位置的學(xué)習(xí)能力。在COCO驗(yàn)證集中,相較原網(wǎng)絡(luò)模型mAP精度整體提高 1.3%,達(dá)到75.5%。

(2)改進(jìn)模型計(jì)算量從3.433×108次/s下降至2.689×108次/s,計(jì)算量降低21.7%,保證了模型在提升精度的同時(shí)維持了原模型的高效性。在實(shí)際測試過程中檢測能力達(dá)到43 FPS。

(3)將模型應(yīng)用到礦井下工作人員的姿態(tài)估計(jì)檢測,證明所提模型具有很好的泛化能力,對于提高井下人員姿態(tài)的規(guī)范性,保障人身安全,提高井下作業(yè)的安全水平有實(shí)際意義。