并聯(lián)化高分辨網(wǎng)絡(luò)的人體姿態(tài)估計方法

劉 勇，李 杰，任立成，張建林，徐智勇

(1.中國科學(xué)院 光電技術(shù)研究所，四川 成都 610209； 2.中國科學(xué)院大學(xué) 電子電氣與通信工程學(xué)院，北京 100049)

0 引 言

基于深度神經(jīng)網(wǎng)絡(luò)的2D人體姿態(tài)估計是計算機視覺圖像信號處理中的經(jīng)典課題，其相關(guān)算法被廣泛應(yīng)用[1,2]。然而隨著對姿態(tài)估計結(jié)果精度要求的提高，網(wǎng)絡(luò)規(guī)模也不斷擴大，導(dǎo)致訓(xùn)練時間過長與模型所需存儲過大等問題。在保證高精度的情況下對網(wǎng)絡(luò)進行模型優(yōu)化的研究[3]逐漸受到關(guān)注。

文獻[4]采取多尺度特征融合方法來豐富感受野信息；文獻[5,6]則對殘差模塊[7]進行改良；文獻[8]采用特征金字塔網(wǎng)絡(luò)級聯(lián)架構(gòu)兼顧了圖像的全局與局部特征；文獻[9]提出的并聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)以及特征匹配算法則針對關(guān)鍵點的定位特征與連接特征；文獻[10]采用轉(zhuǎn)置卷積代替了上采樣處理。以上處理策略主要以網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計與多尺度融合方法為主。

Sun等提出的高分辨網(wǎng)絡(luò)(high-resolution net，HRNet)[11]通過網(wǎng)絡(luò)分支策略在保持特征圖像原始分辨率的情況下實現(xiàn)對人體姿態(tài)的精確估計。雖然這種保持高分辨率的策略對提升網(wǎng)絡(luò)特征提取精度效果顯著，但隨著網(wǎng)絡(luò)加深，其對計算能力以及網(wǎng)絡(luò)參數(shù)量的需求也隨之增大。

本文提出一種針對HRNet-W32網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化的并聯(lián)化高分辨網(wǎng)絡(luò)。首先對網(wǎng)絡(luò)分階段進行消融實驗以確定高分辨網(wǎng)絡(luò)的可精簡范圍，然后對余下特征提取部分添加并聯(lián)網(wǎng)絡(luò)模塊以維持分辨率提取范圍。改進后的并聯(lián)化高分辨網(wǎng)絡(luò)(以下簡稱并聯(lián)化HRNet)其網(wǎng)絡(luò)參數(shù)僅為原網(wǎng)絡(luò)的37%，保證其在MPII和COCO數(shù)據(jù)集上的測試精度的同時，浮點運算量比原網(wǎng)絡(luò)降低30%。

1 HRNet網(wǎng)絡(luò)

HRNet在特征提取以及特征融合的過程中始終保持著網(wǎng)絡(luò)輸入時的高分辨率，并在利用多組分辨率不斷豐富高維空間的特征細節(jié)信息的同時保證其低維空間中的全局定位分布，兼顧了局部特征的提取與全局特征的定位，從而使得預(yù)測結(jié)果得到優(yōu)化，最后對多尺度特征信息進行融合，得到最終的輸出結(jié)果。HRNet與其它網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)參數(shù)與性能對比見表1。

HRNet的網(wǎng)絡(luò)結(jié)構(gòu)按輸入特征圖像分辨率的情況可分為4個階段。對各階段又可再次劃分為3部分：由多個級聯(lián)殘差模塊所構(gòu)成的特征提取部分，各分辨率之間經(jīng)由卷積采樣后的特征融合部分和低分辨率網(wǎng)絡(luò)分支的特征擴增部分。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，網(wǎng)絡(luò)具體參數(shù)見表2。

圖1 HRNet網(wǎng)絡(luò)

如表3所示，其特征提取效率出現(xiàn)明顯的衰減趨勢。第4階段比前3階段增加的參數(shù)量以及浮點運算量占比分別為72.5%和38.1%，其在MPII數(shù)據(jù)集上的人體姿態(tài)估計結(jié)果精度僅提高了不到0.5%。如圖2所示為表3中針對HRNet網(wǎng)絡(luò)階段數(shù)消融實驗在MPII中對人體姿態(tài)關(guān)鍵點的特征響應(yīng)結(jié)果。

綜上所述，不論從16個關(guān)鍵點特征響應(yīng)范圍，還是最終數(shù)據(jù)評測結(jié)果，階段數(shù)為4的HRNet對姿態(tài)估計的提升效果相較于網(wǎng)絡(luò)階段數(shù)為3時并未獲得與其所增加的參數(shù)量與浮點計算量相匹配的有關(guān)人體姿態(tài)估計的精度改良。如果將第4階段整體移除，并等價地在剩余各階段中添加參數(shù)量相對較少的等尺度的特征提取網(wǎng)絡(luò)模塊，那么便能在保證網(wǎng)絡(luò)性能不變時減少網(wǎng)絡(luò)訓(xùn)練成本與結(jié)構(gòu)規(guī)模。

2 并聯(lián)化HRNet

參考表2中消融實驗的結(jié)果以及表3中HRNet各階段的參數(shù)分布，可以看出從第4階段開始，隨著網(wǎng)絡(luò)層數(shù)的逐步加深，其對特征精度的提高不再如之前層更有效率，因為第4階段的特征提取因感受野尺度超出原圖尺度而造成信息過冗余[12]。

表2 HRNet網(wǎng)絡(luò)參數(shù)配置

表3 HRNet在MPII數(shù)據(jù)集上的消融實驗

2.1 并聯(lián)化HRNet網(wǎng)絡(luò)結(jié)構(gòu)

為減少網(wǎng)絡(luò)參數(shù)量和浮點數(shù)運算量的同時保持網(wǎng)絡(luò)對人體姿態(tài)估計結(jié)果的精度，本文對原始HRNet網(wǎng)絡(luò)的特征感受野尺寸進行調(diào)整，剔除了特征提取相對較為冗余的第4階段，并設(shè)計相應(yīng)的并聯(lián)網(wǎng)絡(luò)架構(gòu)彌補第4階段剔除后所造成的低分辨率下特征提取情況的缺失問題。新的并聯(lián)化高分辨網(wǎng)絡(luò)架構(gòu)如圖3所示。

圖2 基于MPII數(shù)據(jù)集的HRNet網(wǎng)絡(luò)各階段16個關(guān)鍵點特征響應(yīng)輸出情況

圖3 并聯(lián)化HRNet網(wǎng)絡(luò)

2.1.1 特征感受野尺寸的調(diào)整

特征感受野計算如式(1)所示。其中RFi為當前層輸出結(jié)果的感受野尺寸，RFi-1為當前層輸入結(jié)果即前一層輸出結(jié)果的感受野尺寸，Kerneli為當前層卷積核尺寸，Stridek為第k層卷積采樣步長

(1)

HRNet-W32輸入圖像尺寸為256，經(jīng)過HRNet的前3個網(wǎng)絡(luò)階段后，其在3條支路輸出特征圖像的特征感受野尺寸分別為目標原圖尺寸的58.9%、108%和165%。

而加上第4階段后，網(wǎng)絡(luò)最終所輸出的4條支路的特征感受野則分別達到了原目標尺寸的83.9%、158%、265%和377%，其大部分的支路感受野尺度遠遠超過了原圖尺寸。

過大的感受野會導(dǎo)致網(wǎng)絡(luò)過度地傾向于對全局特征進行提取和學(xué)習(xí)[13]。若感受野尺度大于目標物體尺度，則這些物體會被直接忽略掉而成為背景的一部分。這也很好地解釋了網(wǎng)絡(luò)消融實驗中第4階段的引入為何沒能從實質(zhì)上提升網(wǎng)絡(luò)對人體姿態(tài)估計的效果。

2.1.2 并聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計

為補充被剔除掉的第4階段的低分辨率情況，網(wǎng)絡(luò)對第2階段與第3階段的部分并聯(lián)一個全卷積的U型網(wǎng)絡(luò)。該并聯(lián)卷積層的數(shù)據(jù)傳輸流程如圖4所示。

該并聯(lián)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)參考U-Net[14]的網(wǎng)絡(luò)架構(gòu)，按分辨率共分為4層，其各層的分辨率依次與原始HRNet網(wǎng)絡(luò)的分辨率相對應(yīng)，同時保持其與所并聯(lián)階段輸出的感受野尺度一致。

圖4 并聯(lián)網(wǎng)絡(luò)模塊流程

設(shè)計這種分辨率由高到低的處理方法是為了生成多種分辨率下感受野不同的特征表示模式，以便進行多尺度特征融合，最終將豐富的特征信息再由低到高地在所保持的高分辨率下進行表征。為避免特征信息在返回到高分辨率時出現(xiàn)信息重復(fù)導(dǎo)致網(wǎng)絡(luò)特征提取冗余，在由低到高的信息處理過程中，新設(shè)計的并聯(lián)網(wǎng)絡(luò)采用了轉(zhuǎn)置卷積對圖像的分辨率進行恢復(fù)，同時為避免原始特征信息的缺失以及網(wǎng)絡(luò)較深而在訓(xùn)練時出現(xiàn)梯度消失的問題，在分辨率相同的操作層之間建立特征信息的直聯(lián)通道。

2.2 損失函數(shù)

與之前的多階段人體姿態(tài)估計網(wǎng)絡(luò)在訓(xùn)練時采用中繼監(jiān)督策略來優(yōu)化特征提取能力不同，HRNet采取的是直接以末端的輸出結(jié)果來計算人體關(guān)鍵點定位的損失函數(shù)。

而針對特征關(guān)鍵點定位問題來說，由于涉及到歐式距離的計算，因此均方誤差函數(shù)比較適宜作為網(wǎng)絡(luò)的損失函數(shù)。該損失函數(shù)可以對每批次每個關(guān)鍵點的預(yù)測輸出最大響應(yīng)與真實關(guān)定位最大響應(yīng)之間的L2距離進行最小化約束。如式(2)所示，人體關(guān)鍵點總數(shù)為K，第k個關(guān)鍵點的真實位置用gtk表示，對應(yīng)預(yù)測結(jié)果的最大響應(yīng)位置用dtk表示，N為每批次的訓(xùn)練的樣本數(shù)量，n為對應(yīng)樣本

(2)

3 實 驗

實驗以Pytorch作為網(wǎng)絡(luò)設(shè)計開發(fā)平臺，所使用的CPU型號為i5-8500，GPU型號為GTX1660Ti，顯存為6 GB，操作系統(tǒng)為Ubuntu16.04。

實驗中網(wǎng)絡(luò)輸入圖片的原始分辨率依數(shù)據(jù)集的選取不同而不同。在MPII數(shù)據(jù)集上的圖像輸入格式為256×256，在MSCOCO數(shù)據(jù)集上的圖像輸入格式為256×192。輸入的圖像數(shù)據(jù)首先進行隨機預(yù)處理，包含對原圖像的裁剪、旋轉(zhuǎn)、翻轉(zhuǎn)以及相關(guān)圖像增強等策略。選擇Adam優(yōu)化器對模型迭代210輪。動量值設(shè)置為0.9，學(xué)習(xí)率采用階段式設(shè)置，初始學(xué)習(xí)率為0.001，并在第170輪和第200輪時以學(xué)習(xí)因子按10%的比例各進行一次學(xué)習(xí)率衰減。為減少特征干擾，提高預(yù)測精度，最終輸出的特征響應(yīng)結(jié)果采用非極大值抑制(non-maximum suppression，NMS)策略進行響應(yīng)截斷。

3.1 數(shù)據(jù)集和評價指標

本實驗分別在MPII數(shù)據(jù)集和MSCOCO數(shù)據(jù)集上對網(wǎng)絡(luò)進行人體姿態(tài)估計的訓(xùn)練與測評。

3.1.1 MPII數(shù)據(jù)集評測指標

網(wǎng)絡(luò)對MPII數(shù)據(jù)集中22 246幅圖像進行訓(xùn)練，2958幅圖像進行測試，每批8幅圖像，輸出為16通道，對其中6對左右對稱的關(guān)鍵點的精度結(jié)果相加取均值。以PCKh作為評測指標，且綜合評測結(jié)果的PCKh比例因子分別取0.5和0.1。

3.1.2 MSCOCO數(shù)據(jù)集評測指標

網(wǎng)絡(luò)對MSCOCO數(shù)據(jù)集中118 287幅圖像進行訓(xùn)練，5000幅圖像進行測試，每批16幅圖像，輸出為17通道。對人體17個關(guān)鍵點進行綜合評測，以mAP作為關(guān)鍵點預(yù)測性能評測指標，按OKS標準與樣本尺度標準又細分成5項測評指標。

3.2 實驗結(jié)果

實驗結(jié)果對原始HRNet與改進后的并聯(lián)化HRNet分別從網(wǎng)絡(luò)參數(shù)量、浮點運算量以及人體姿態(tài)預(yù)測精度方面進行評估。結(jié)果表明，通過剔除冗余的網(wǎng)絡(luò)結(jié)構(gòu)以及添加適當?shù)牟⒙?lián)模塊可以在保證原有精度的情況下，降低網(wǎng)絡(luò)參數(shù)量以及算法復(fù)雜度，甚至在測評指標要求略為寬松的情況下，改進后網(wǎng)絡(luò)模型的預(yù)測結(jié)果會略優(yōu)于原網(wǎng)絡(luò)模型。

MPII數(shù)據(jù)集上的實驗對并聯(lián)模塊上采樣部分進行4組對照實驗，其并聯(lián)模塊中各層間的參數(shù)部署具體見表4。在保證計算復(fù)雜度與網(wǎng)絡(luò)參數(shù)量遠低于原網(wǎng)絡(luò)的情況下，當轉(zhuǎn)置卷積核尺寸為3時網(wǎng)絡(luò)對人體關(guān)鍵點的預(yù)測精度保持了原始網(wǎng)絡(luò)的精度，且當測評標準更加嚴格時，并聯(lián)化HRNet的預(yù)測結(jié)果比原網(wǎng)絡(luò)的結(jié)果更好，圖5所示為表5中各網(wǎng)絡(luò)在MPII中人體姿態(tài)關(guān)鍵點特征響應(yīng)結(jié)果。

之后在MSCOCO數(shù)據(jù)集上的實驗又進行了3組對照實驗，具體參數(shù)也見表4，其中去除了浮點計算量過大的轉(zhuǎn)置卷積步長為1時的并聯(lián)網(wǎng)絡(luò)配置模型，其實驗結(jié)果具體如表6和圖6所示。

表4 各實驗組網(wǎng)絡(luò)相關(guān)參數(shù)配置

表5 在MPII-val數(shù)據(jù)集上的實驗結(jié)果

圖5 在MPII-val上的各模型16個關(guān)鍵點特征響應(yīng)輸出結(jié)果

表6 在MSCOCO-val數(shù)據(jù)集上的實驗結(jié)果

圖6 在MSCOCO-val上的各模型17個關(guān)鍵點特征響應(yīng)輸出結(jié)果

可見，在數(shù)據(jù)集訓(xùn)練樣本變得更加豐富后，采用并聯(lián)化HRNet除了將網(wǎng)絡(luò)參數(shù)量以及浮點計算量分別減少63%和30%外，其在mAP上更是比原始HRNet的網(wǎng)絡(luò)結(jié)果高出了近1%。

但對比大尺度情況下的mAP，并聯(lián)化HRNet的精度下降了1.5%，但其對樣本占比更高的中等尺度的mAP卻提高了1.9%。圖7為不同尺度下序號為2的并聯(lián)化HRNet 在MSCOCO上的結(jié)果展示。

圖7 并聯(lián)化HRNet人體姿態(tài)估計結(jié)果展示

除此之外，在與網(wǎng)絡(luò)參數(shù)量和浮點運算量相當?shù)娜梭w姿態(tài)估計網(wǎng)絡(luò)算法的結(jié)果進行對比時，因為對高分辨的保持，多尺度融合以及并聯(lián)化特征增強等策略，并聯(lián)化HRNet 對人體姿態(tài)的預(yù)測精度要更高一些，見表7。

表7 MSCOCO-val數(shù)據(jù)集上的結(jié)果比較

4 結(jié)束語

針對減小人體姿態(tài)估計算法的網(wǎng)絡(luò)參數(shù)量以及浮點運算量的問題，本文在高分辨網(wǎng)絡(luò)HRNet的網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上進行刪改并提出了一種并聯(lián)化HRNet人體姿態(tài)估計網(wǎng)絡(luò)架構(gòu)。在對原始HRNet網(wǎng)絡(luò)進行逐層的特征圖感受野尺寸分析后，該架構(gòu)刪除了性能不高的第4階段，大大減少了網(wǎng)絡(luò)參數(shù)量與浮點計算量；為保持多分辨率的特征提取，該架構(gòu)又為剩余階段網(wǎng)絡(luò)添加了輕量化的全卷積U型并聯(lián)模塊，保持了原始HRNet的檢測精度。其在同等參數(shù)量與浮點運算量的人體姿態(tài)估計算法中有著更高的檢測精度。下一步將繼續(xù)對并聯(lián)模塊進行進一步優(yōu)化設(shè)計，提升其大尺度樣本的檢測精度，形成一種更加輕量化和精確高效的人體姿態(tài)估計網(wǎng)絡(luò)架構(gòu)。