融入雙注意力的高分辨率網(wǎng)絡(luò)人體姿態(tài)估計(jì)

羅夢詩，徐 楊，2，葉星鑫

（1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025；2.貴陽鋁鎂設(shè)計(jì)研究院有限公司，貴陽 550009）

0 概述

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，人體姿態(tài)估計(jì)作為人機(jī)交互［1］不可或缺的組成部分，逐漸引起研究人員的關(guān)注。人體姿態(tài)估計(jì)任務(wù)在不同領(lǐng)域中扮演著不同的角色，被廣泛應(yīng)用于智能監(jiān)控、醫(yī)療康復(fù)與體育事業(yè)中的人體分析。在人體姿態(tài)估計(jì)中，通過一張圖片或者一段視頻對人體的2D 姿態(tài)進(jìn)行估計(jì)是一個(gè)相當(dāng)重要的基礎(chǔ)階段，例如人體跟蹤、動(dòng)作認(rèn)知、3D 姿態(tài)的研究或者人機(jī)交互應(yīng)用都需要精確的人體2D 姿態(tài)估計(jì)作為支撐。因此，對2D 姿態(tài)估計(jì)的研究尤為重要。

人體姿態(tài)估計(jì)分為兩個(gè)步驟進(jìn)行，即人體目標(biāo)檢測和人體關(guān)鍵檢測［2］。目前主要通過深度學(xué)習(xí)方法［3-4］進(jìn)行人體姿態(tài)估計(jì)，而用于人體關(guān)鍵點(diǎn)檢測的網(wǎng)絡(luò)主要為深度卷積神經(jīng)網(wǎng)絡(luò)［5］，深度卷積神經(jīng)網(wǎng)絡(luò)的方法又可細(xì)分為關(guān)鍵點(diǎn)熱圖的估算［6-7］方法和關(guān)鍵點(diǎn)位置的回歸［8-9］方法兩種。通過對每張圖片學(xué)習(xí)后提取相應(yīng)的特征信息，然后選擇熱值最高的位置作為關(guān)鍵點(diǎn)，從而可以學(xué)習(xí)得到人體的關(guān)鍵點(diǎn)。

2016 年NEWWLL［10］等提出堆 疊沙漏網(wǎng) 絡(luò)，按照從高到底的分辨率子網(wǎng)［11］串聯(lián)組成。因此，堆疊沙漏網(wǎng)絡(luò)是通過下采樣和上采樣的方式對不同分辨率從高到低，再從低到高進(jìn)行操作。而此過程不能完全有效地利用空間特征信息，導(dǎo)致部分空間特征信息丟失，從而使輸出的高分辨率表征不夠完善。文獻(xiàn)［12］提出的級聯(lián)金字塔網(wǎng)絡(luò)（CPN）則彌補(bǔ)了堆疊沙漏網(wǎng)絡(luò)的這一缺點(diǎn)，在采用上采樣的操作時(shí)能夠融合低分辨率和高分辨率的特征圖信息。

2019 年SUN 等［13］提出了高 分辨率網(wǎng) 絡(luò)（HRNet），HRNet 摒棄了以往常規(guī)網(wǎng)絡(luò)所用的串聯(lián)方式，它采用并聯(lián)的方式將不同分辨率子網(wǎng)從高到底地進(jìn)行并行連接，在實(shí)現(xiàn)多尺度融合時(shí)能有效利用特征信息。

盡管HRNet 相比其他高分辨率網(wǎng)絡(luò)可以得到更好的預(yù)測結(jié)果，但其在通道分配權(quán)重和空間域上分配權(quán)重依然存在難點(diǎn)。文獻(xiàn)［14］提出的ECA-Net 通過一維卷積實(shí)現(xiàn)，避免了降維，能夠有效捕獲跨通道交互的信息。相比文獻(xiàn)［15］的通道注意力，ECA-Net 只增加了少量的參數(shù)，可以更輕量、穩(wěn)定、高效地建模通道關(guān)系，從而獲得明顯的性能增益。

2018 年WANG［16］等提出的 空間注意 力模型最大特點(diǎn)是擁有非局部均值去噪的思想。優(yōu)點(diǎn)在于針對全局區(qū)域進(jìn)行操作，對全局信息能夠得到有效的利用，防止特征信息的丟失或損失。

受以上研究的啟發(fā)，本文以高分辨率網(wǎng)絡(luò)作為實(shí)驗(yàn)的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)，在其基礎(chǔ)上進(jìn)行相應(yīng)的優(yōu)化，提出一種融入雙注意力的高分辨率網(wǎng)絡(luò)ENNet。通過融合通道注意力機(jī)制的殘差模塊（E-ecablock 模塊、E-ecaneck 模塊）和結(jié)合空間注意力的多分辨率融合模塊，增強(qiáng)網(wǎng)絡(luò)對多通道信息的提取及多尺度融合時(shí)對空間信息提取和融合能力。

1 高分辨率網(wǎng)絡(luò)

高分辨率網(wǎng)絡(luò)摒棄了以往網(wǎng)絡(luò)從高分辨率到低分辨率之間的串聯(lián)方式。高分辨率網(wǎng)絡(luò)結(jié)構(gòu)總體分為4 個(gè)階段，第一階段由一個(gè)高分辨率子網(wǎng)構(gòu)成，第二階段～第四階段則和第一階段有所不同，由多分辨率塊組成，多分辨率塊可分為多分辨率組卷積和多分辨率卷積兩種。圖1為多分辨率組卷積，圖2為多分辨率卷積。將每一階段的多分辨率子網(wǎng)以并行的方式進(jìn)行連接，然后在每一子網(wǎng)上反復(fù)交換信息進(jìn)行多尺度特征的重復(fù)融合，使網(wǎng)絡(luò)從始至終保持高分辨率的特征表示，最后通過上采樣的方式輸出高分辨率的特征表示。

圖1 多分辨率組卷積Fig.1 Multiresolution group convolution

圖2 多分辨率卷積Fig.2 Multiresolution convolution

2 ENNet 方法

本文以HRNet 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行改進(jìn)得到融入雙注意力的高分辨率網(wǎng)絡(luò)ENNet，其整體的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。融入雙注意力的高分辨率網(wǎng)絡(luò)ENNet 分為4 個(gè)階段，由4 個(gè)通過并行連接的從高到低的分辨率子網(wǎng)所構(gòu)成。每一個(gè)子網(wǎng)從上往下，每一級分辨率以1/2 的倍數(shù)逐步降低，通道數(shù)則以2 倍的速度升高。第一階段由一個(gè)高分辨率子網(wǎng)構(gòu)成，包含了4 個(gè)線性變換的E-ecaneck 殘差模塊；第二階段～第四階段均由改進(jìn)的E-ecablock 模塊和空間注意力機(jī)制的融合模塊（Non-localblock）組成，其目標(biāo)是對特征進(jìn)行更廣泛且更深層提取與融合。

圖3 ENNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 ENNet network structure

本文首先通過融入通道注意力構(gòu)造出E-ecaneck模塊和E-ecablock 模塊作為基礎(chǔ)模塊，最大程度地提取更多更有用的通道信息。然后在融入通道注意力機(jī)制的基礎(chǔ)上融入空間注意力機(jī)制中的Non-localblock模塊，實(shí)現(xiàn)空間信息的有效提取與融合。最后通過上采樣操作將經(jīng)過重復(fù)融合的信息表征以高分辨率的形式輸出，從而實(shí)現(xiàn)人體關(guān)鍵點(diǎn)檢測任務(wù)和人體姿態(tài)估計(jì)。

2.1 通道注意力模塊的融入

ECA 模塊是一種新的捕捉局部跨通道信息交互的方法，它在不降低通道維數(shù)的情況下進(jìn)行跨通道信息交互，旨在保證計(jì)算性能和模型復(fù)雜度。ECA模塊可以通過卷積核大小為K的一維卷積來實(shí)現(xiàn)通道之間的信息交互，如圖4 所示。

圖4 ECA 結(jié)構(gòu)Fig.4 ECA structure

設(shè)一個(gè)卷積塊的輸出為χ∈RW×H×C，其中，W、H和C分別表示寬、高和通道數(shù)，GAP 表示全局平均池化。ECA 模塊通過卷積核大小為k的一維卷積來實(shí)現(xiàn)通道之間的信息交互，如式（1）所示：

其中：σ是一個(gè)sigmoid 函數(shù)；C1D 代表一維卷積；k代表k個(gè)參數(shù)信息；y為輸出信號。這種捕捉跨通道信息交互的方法保證了性能結(jié)果和模型效率。

本文參考了ResNet 網(wǎng)絡(luò)模塊中的bottleneck 模塊與basicblock 模塊的設(shè)計(jì)方法，將ECABlock 模塊融入到高分辨率網(wǎng)絡(luò)（HRNet）的瓶頸模塊（bottleneck）和殘差模塊（basicblock）中，得到改進(jìn)的E-ecablock 模塊和E-ecaneck 模塊，并將其代替原網(wǎng)絡(luò)的bottleneck 模塊與basicblock 模塊，從而實(shí)現(xiàn)不降低通道維數(shù)來進(jìn)行跨通道信息交互。

本文提出的E-ecablock 模塊包含2 個(gè)3×3 卷積核尺寸大小的ECABlock 模塊和1 個(gè)殘差連接，如圖5 所示。E-ecaneck 模塊包含2 個(gè)1×1 卷積核尺寸大小的ECABlock 模塊、1 個(gè)3×3 卷積核尺寸大小的ECABlock 模塊以及1 個(gè)殘差連接，如圖6 所示。

圖5 E-ecablock 模塊Fig.5 E-ecablock module

圖6 E-ecaneck 模塊Fig.6 E-ecaneck module

受文獻(xiàn)［17］啟發(fā)，本文在卷積操作前加入通道注意力模塊可以使特征提取得到較好的效果，因此，本文在E-ecablock 模塊中的2 個(gè)3×3 的卷積操作前加入一個(gè)ECABlock 模塊，每一次進(jìn)行卷積操作前先通過對輸入特征圖的不同通道進(jìn)行注意力權(quán)重賦值得到有意義的特征，然后進(jìn)行卷積操作后輸出，最后將卷積操作后輸出的結(jié)果與初始輸入的特征信息通過殘差連接進(jìn)行求和再輸出，從而獲得更優(yōu)的通道特征提取效果。

為了使通道信息的提取效率增高，采用相同的方法，在E-ecaneck 模塊中的每一層卷積操作前添加ECABlock 模塊。通過ECABlock 模塊對特征圖通道維度進(jìn)行降低和提高，并多次卷積操作進(jìn)行特征提取，使網(wǎng)絡(luò)得到更多有用的特征信息。

2.2 空間注意力融合模塊的融入

Non-localblock 模塊是空間域注意力模型的核心模塊，它作為非局部的空間注意力方法，不僅局限于局部范圍，而是針對全局區(qū)域進(jìn)行操作，計(jì)算公式如式（2）所示：

其中：i和j是某個(gè)空間位置；C(x)是歸一化因子，x和y分別為尺寸大小相同的輸入和輸出信號；xi為向量，f(xi，xj)是計(jì)算xi與所有xj之間的相關(guān)性函數(shù)；g(xj)計(jì)算輸入信號在位置j處的特征值。

通過式（2）可得到式（3）：

其中：z為最后的輸出；Wz是由1×1 的卷積操作實(shí)現(xiàn)的線性轉(zhuǎn)換矩陣。

本文采用空間注意力模塊（Non-localblock）模塊對第二階段～第四階段的融合模塊進(jìn)行改進(jìn)，在融入通道注意力的基礎(chǔ)上將其加在各個(gè)分辨率表征融合前，如圖7 所示。Non-localblock 模塊是在全局區(qū)域進(jìn)行操作，可以擴(kuò)大感受野。因此，它能有效提取更多有利信息進(jìn)入不同分辨率表征的信息交互環(huán)節(jié)，即先提取盡可能多的有用信息，再進(jìn)行多尺度融合，從而使多尺度特征融合時(shí)的效果得到較好的改善。

圖7 融入空間注意力的融合模塊Fig.7 Fusion module with spatial attention

3 實(shí)驗(yàn)結(jié)果與分析

3.1 COCO 數(shù)據(jù)集

在COCO2017 數(shù)據(jù)集上對本文方法進(jìn)行評估。數(shù)據(jù)集包含了200 000 張圖片，其中含有17 個(gè)關(guān)鍵點(diǎn)的人體樣本為250 000 個(gè)。在57K 張圖像的訓(xùn)練集上進(jìn)行訓(xùn)練，在5K 張圖像的驗(yàn)證集上進(jìn)行驗(yàn)證，在20K 張圖像的測試集上進(jìn)行測試。在COCO 據(jù)集中人體姿態(tài)的17 個(gè)關(guān)鍵點(diǎn)分別是鼻子、右眼、左眼、右耳、左耳、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝蓋、右腳踝、左臀、左膝蓋、左腳踝。

3.2 圖像預(yù)處理

由于MS COCO2017 數(shù)據(jù)集中收錄的原始圖片大小不一，需對圖像進(jìn)行預(yù)處理再進(jìn)行訓(xùn)練。本文需對兩種尺寸大小的圖像訓(xùn)練進(jìn)行對比，因此，預(yù)處理過程分為如下2 個(gè)部分：

1）從數(shù)據(jù)集圖像中以主要人體髖部為中心進(jìn)行裁剪，圖像的尺寸大小裁剪為256×192，并調(diào)整為固定比例，高寬的比例為4∶3，便于網(wǎng)絡(luò)訓(xùn)練。

2）使用隨機(jī)旋轉(zhuǎn)（-45°，45°）和隨機(jī)縮放規(guī)模（0.65，1.35）的數(shù)據(jù)增強(qiáng)方式來對數(shù)據(jù)進(jìn)行處理。從數(shù)據(jù)集圖像中以主要人體髖部為中心進(jìn)行裁剪，按照高寬為4∶3 的比例，將圖像的尺寸大小裁剪為384×288，從而達(dá)到網(wǎng)絡(luò)訓(xùn)練所需的輸入效果。

3.3 評估標(biāo)準(zhǔn)

本文在COCO2017 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，評估方法有以下2 種：

1）采用MS COCO 官方給定的關(guān)鍵點(diǎn)相似性（OKS）進(jìn)行評估。

2）采用正確關(guān)鍵點(diǎn)百分比（Percentage of Correct Keypoints，PCK）［18］作為實(shí)驗(yàn)評估指標(biāo)。

3.4 實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用的軟件平臺(tái)是Python3.6，服務(wù)器的系統(tǒng)是Ubuntu18.04 版本，顯卡是NVIDIA GeForce GTX 1080Ti，深度學(xué)習(xí)框架是PyTorch1.6.0。

在本文實(shí)驗(yàn)中，選用Adam 優(yōu)化器對模型進(jìn)行優(yōu)化。將訓(xùn)練周期設(shè)置為200，訓(xùn)練批量大小設(shè)置為20，學(xué)習(xí)率為0.001。

3.5 實(shí)驗(yàn)過程

本文方法使用深度卷積神經(jīng)網(wǎng)絡(luò)的方法中的關(guān)鍵點(diǎn)熱圖的估葉算法，用多分辨率的熱圖（Heatmap）圖像去學(xué)習(xí)關(guān)節(jié)點(diǎn)的坐標(biāo)，此時(shí)需要估算圖像中每個(gè)像素對應(yīng)的概率的值，將與關(guān)節(jié)點(diǎn)最接近的像素點(diǎn)處的概率值記為1，與關(guān)節(jié)點(diǎn)距離最遠(yuǎn)的像素點(diǎn)處的概率記為0，若所檢測到的像素點(diǎn)處的概率越接近1，則越接近目標(biāo)點(diǎn)。對圖像進(jìn)行訓(xùn)練后將所得到的熱圖結(jié)果映射到原圖像，經(jīng)過整合，得到人體對應(yīng)的各個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)位置，從而實(shí)現(xiàn)關(guān)鍵點(diǎn)的檢測來完成人體姿態(tài)估計(jì)的任務(wù)。

Heatmap 示意圖如圖8 所示。

圖8 Heatmap 圖像示意圖Fig.8 Schematic diagram of Heatmap image

3.6 實(shí)驗(yàn)驗(yàn)證與分析

本文通過對原網(wǎng)絡(luò)進(jìn)行改進(jìn)和優(yōu)化后，在COCO VAL 2017 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。將輸入尺寸為256×192時(shí)結(jié)果與其他方法在同一數(shù)據(jù)集上的結(jié)果進(jìn)行比較，如表1 所示。從表1 結(jié)果可以看出，本文方法ENNet相比于CPN、CPN+OHKM、SimpleBaseline-152［19］、SimpleBaseline-101［19］、SimpleBaseline-50［19］，在mAP 上的估計(jì)精確度都得到了較好的提升。相比于HRNet-32，AP50提高了4.1%，AP75提高了3%，APL提高了3.4%，APM提高了3.1%，mAP 整體提高了3.4%。

表1 不同方法在COCO VAL 2017 數(shù)據(jù)集上的對比結(jié)果Table 1 Comparison results of different methods on COCO VAL 2017 dataset

通過實(shí)驗(yàn)結(jié)果可以看出，本文方法在HRNet-32上引入雙注意力機(jī)制，不僅在原網(wǎng)絡(luò)的基礎(chǔ)上提高了關(guān)鍵點(diǎn)的估計(jì)精確度，更進(jìn)一步地提升了網(wǎng)絡(luò)在高精度要求下的關(guān)鍵點(diǎn)估計(jì)精確度。

表2 是本文方法在COCOtest-dev2017 數(shù)據(jù)集上與其他方法測試結(jié)果的對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，與文獻(xiàn)［20-21］、CPN、CPN+OHKM、SimpleBaseling、HRNet-32 等方法相比，在輸入尺寸相同的情況下，本文方法在降低網(wǎng)絡(luò)復(fù)雜度的同時(shí)，mAP、APL和APM的估計(jì)精確度都具有較好的效果。

表2 不同方法在COCOtest-dev2017 數(shù)據(jù)集上的對比結(jié)果Table 2 Comparison results of different methods on COCOtest-dev2017 dataset

表3 是本文方法在COCO2017 驗(yàn)證集上圖像輸入尺寸均為384×288 時(shí)與不同網(wǎng)絡(luò)模型對關(guān)鍵點(diǎn)估計(jì)精確度的對比。通過計(jì)算關(guān)鍵點(diǎn)正確估計(jì)的比例PCK 來對比不同網(wǎng)絡(luò)模型對人體關(guān)鍵點(diǎn)的估計(jì)精確度。其中頭部、肩部、肘部、腕部、臀部、膝部和腳踝分別代表頭部5 個(gè)關(guān)節(jié)點(diǎn)平均值、肩部兩關(guān)節(jié)點(diǎn)平均值、肘部兩關(guān)節(jié)點(diǎn)平均值、腕部兩關(guān)節(jié)點(diǎn)平均值、臀部兩關(guān)節(jié)點(diǎn)平均值、膝蓋兩關(guān)節(jié)點(diǎn)平均值和腳踝兩關(guān)節(jié)點(diǎn)平均值，平均代表所有關(guān)節(jié)點(diǎn)平均值。實(shí)驗(yàn)結(jié)果表明，本文方法具有較高的平均估計(jì)精確度，在單個(gè)關(guān)節(jié)點(diǎn)的估計(jì)精確度上都有一定程度的提升。

表3 不同網(wǎng)絡(luò)對不同關(guān)鍵點(diǎn)檢測的PCK 值比較Table 3 Comparison of PCK values detected by different networks for different key points %

3.7 模塊分解實(shí)驗(yàn)

本文實(shí)驗(yàn)通過在通道注意力的基礎(chǔ)上引入空間注意力來對網(wǎng)絡(luò)模型（基礎(chǔ)網(wǎng)絡(luò)架構(gòu)為HRNet-32時(shí)）進(jìn)行改進(jìn)，最終使平均估計(jì)精確度提高3.4%。在COCO VAL2017 數(shù)據(jù)集上對本文方法進(jìn)行模塊分解實(shí)驗(yàn)，其結(jié)果如表4 所示。

表4 融入雙注意力方法的模塊分解實(shí)驗(yàn)結(jié)果比較Table 4 Experimental results comparison of module decomposition with dual attention method

通過引入通道注意力構(gòu)造E-ecaneck 模塊和E-ecablock 模塊作為基礎(chǔ)模塊，提取特征圖的不同通道信息，網(wǎng)絡(luò)的平均估計(jì)精確度相比較于高分辨率網(wǎng)絡(luò)（HRNet）提升1.2%。單獨(dú)將空間注意力引入到網(wǎng)絡(luò)的多分辨率融合階段，網(wǎng)絡(luò)的平均估計(jì)精確度相比較于高分辨率網(wǎng)絡(luò)（HRNet）提升1.6%，相比較于僅含有通道注意力的網(wǎng)絡(luò)平均估計(jì)精確度提升了0.4%。

在引入通道注意力的基礎(chǔ)上引入空間注意力的網(wǎng)絡(luò)，相比較于原HRNet，平均估計(jì)精確度提升3.4%，在僅含有通道注意力融合方法基礎(chǔ)上獲得1.4%的性能提升，在僅含有空間注意力融合方法基礎(chǔ)上獲得1%的性能提升。

3.8 可視化實(shí)驗(yàn)分析

圖9 為本文方法對COCO2017 數(shù)據(jù)集測試的部分結(jié)果展示。從圖9（a）～圖9（d）可以看出，在相同光照情況下，圖像中人體無遮擋時(shí)可準(zhǔn)確地檢測出各個(gè)部位的關(guān)鍵點(diǎn)，只有當(dāng)圖像中人體存在嚴(yán)重遮擋時(shí)檢測出的關(guān)鍵點(diǎn)出現(xiàn)稍微的偏差。圖9（a）和圖9（c）表明，當(dāng)圖像中人體無遮擋時(shí)，在不同光照情況下都可以檢測出準(zhǔn)確的關(guān)鍵點(diǎn)位置。圖9（e）和圖9（f）表明，在針對不同分辨率的圖像時(shí)，網(wǎng)絡(luò)仍然可以得到準(zhǔn)確的結(jié)果。

圖9 本文方法在COCO2017 數(shù)據(jù)集上的測試結(jié)果Fig.9 Test results of this method on COCO2017 dataset

以上實(shí)驗(yàn)結(jié)果表明，在不同光照條件、人體是否遮擋、不同圖像分辨率的情況下，本文方法有一定的魯棒性，能準(zhǔn)確地檢測出人體各個(gè)關(guān)鍵點(diǎn)，從而估計(jì)人體的姿態(tài)。

4 結(jié)束語

本文提出一種融入雙注意力的高分辨率人體姿態(tài)估計(jì)網(wǎng)絡(luò)ENNet。以高分辨率網(wǎng)絡(luò)（HRNet）為基礎(chǔ)網(wǎng)絡(luò)架構(gòu)進(jìn)行優(yōu)化，設(shè)計(jì)2 種注意力模塊E-eacblock 和E-ecaneck 作為基礎(chǔ)模塊，在多分辨力融合階段融入空間注意力，從而使網(wǎng)絡(luò)在進(jìn)行特征提取時(shí)可以增強(qiáng)網(wǎng)絡(luò)對多通道信息的提取，改善多分辨率階段特性信息的融合能力。在公開數(shù)據(jù)集MS COCO2017 上的測試結(jié)果表明，相比于HRNet，本文方法的mAP 綜合提高了3.4%，有效改善了網(wǎng)絡(luò)多分辨率表征的信息融合能力。本文網(wǎng)絡(luò)模型復(fù)雜度還有待提高，如何在保持估計(jì)精確度較高的前提下降低模型參數(shù)量和復(fù)雜度，將是下一步的研究方向。