基于多重注意力引導(dǎo)的人群計數(shù)算法*

楊倩倩，何 晴，彭思凡，殷保群

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院，安徽 合肥 230026)

0 引言

由于人群所在的位置和行動軌跡具有主觀性強、自由度高的特點，監(jiān)控視頻采集的圖像包含大量雜亂分布的人群，不同局部區(qū)域的人群密度差異巨大，增大了人群計數(shù)算法的估計難度。如圖1所示，在同一人群場景中，多個局部區(qū)域表現(xiàn)為人口極度聚集，而部分區(qū)域人口稀疏甚至是孤立的個體，難以預(yù)測的行人位置將導(dǎo)致密度圖中不同位置的密度值之間存在巨大差異，對算法感知不同密度分布模式的能力提出了更高的要求。為解決上述問題，本文提出基于多重注意力引導(dǎo)的人群計數(shù)算法，將特征金字塔機制和注意力機制相結(jié)合，促進語義信息和空間細節(jié)的融合，并通過注意力圖引導(dǎo)模型生成對應(yīng)不同分布狀態(tài)的密度圖。

圖1 人群非均勻分布圖像示例

1 概述

為解決計數(shù)問題中的非均勻分布問題，研究者主要設(shè)計了基于分類或檢測等輔助任務(wù)和注意力機制的計數(shù)方法，讓模型提取到各種分布模式下的全局和局部語義信息來識別分布在不同密集程度下的行人。CP-CNN[1]在多列密度估計框架的基礎(chǔ)上搭建了兩個額外的人群密度分類網(wǎng)絡(luò)，分別學(xué)習(xí)將輸入圖像或局部圖像塊按照密度差異分類為5個類別，以此來學(xué)習(xí)全局和局部區(qū)域的上下文信息，并將提取的上下文語義信息融合到密度圖估計任務(wù)中，從而生成高質(zhì)量的人群密度圖。然而，該算法對全局或局部區(qū)域人數(shù)分類只能提取到粗糙的語義特征，復(fù)雜場景下需要細粒度的密度語義信息。Liu等人[2]認為在不知道每個行人具體位置的情況下，計數(shù)模型在低密度區(qū)域容易產(chǎn)生過估計現(xiàn)象。為了解決此問題，作者提出的Decidenet將檢測和回歸方法結(jié)合來處理不同密度區(qū)域的人群，能夠自適應(yīng)地根據(jù)實際密度情況決定合適的計數(shù)方法，在低密度區(qū)域采用檢測方法估計人數(shù)，在擁擠區(qū)域則采用回歸方法捕捉人群信息。然而，采用的Faster-RCNN[3]等檢測網(wǎng)絡(luò)往往十分復(fù)雜，難以將其和密度圖回歸網(wǎng)絡(luò)以端到端的方式訓(xùn)練，且訓(xùn)練過程繁瑣。Jiang等人[4]指出在不同的密度模式的圖像區(qū)域中，數(shù)據(jù)驅(qū)動的計數(shù)算法容易出現(xiàn)過估計或欠估計。作者提出了一種基于注意力機制的人群計數(shù)算法，該網(wǎng)絡(luò)包括密度注意力網(wǎng)絡(luò)和注意力尺度網(wǎng)絡(luò)，后者給前者提供與不同密度區(qū)域相關(guān)的注意力信息，并采用尺度因子幫助縮小不同區(qū)域的估計誤差。然而，該模型由2個VGG-16[5]組成，網(wǎng)絡(luò)參數(shù)量過大并且結(jié)構(gòu)較為復(fù)雜，同時需要對子網(wǎng)絡(luò)分別訓(xùn)練，這些弊端導(dǎo)致該模型訓(xùn)練困難且不利于計數(shù)性能的提升。

針對以上問題，本文提出一種基于多重注意力引導(dǎo)的人群密度估計算法(Multi-Attention Convolutional Network for Crowd Counting，MACN)來完成密度圖回歸任務(wù)，采用多重注意力機制指導(dǎo)網(wǎng)絡(luò)提取多種分布模式下的人群特征，改善不同密集程度下的密度圖質(zhì)量，從而提升人群計數(shù)算法的整體性能，主要包括特征提取模塊(Feature Extraction Module，F(xiàn)EM)、特征融合模塊(Feature Fusion Module，F(xiàn)FM)、上下文注意力模塊(Context Attention Module，CAM)和密度圖生成模塊(Density Map Generation Module，DGM)。

2 密度估計網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

針對復(fù)雜場景中存在的人群非均勻分布問題，設(shè)計了一個端到端的計數(shù)網(wǎng)絡(luò)來實現(xiàn)密度圖估計，采用注意力機制獲取像素級別的語義信息來指導(dǎo)密度圖回歸任務(wù)，感知不同分布模式下的行人，具體結(jié)構(gòu)如圖2所示。

圖2 MACN結(jié)構(gòu)

2.1 特征提取模塊

VGG-16具有強大的特征提取能力和優(yōu)秀的遷移學(xué)習(xí)能力，采用小卷積核代替大卷積核，能夠在保證特征表達能力的同時不消耗過多計算資源，所以采用VGG-16的前13個卷積層作為特征提取模塊，根據(jù)池化層位置進一步分5個子模塊，其具體配置如表1所示。

表1 FEM網(wǎng)絡(luò)結(jié)構(gòu)

2.2 特征融合模塊

Lin等人[6]在目標(biāo)檢測系統(tǒng)Faster R-CNN中引入了特征金字塔結(jié)構(gòu)(Feature Pyramid Network，F(xiàn)PN)，它是一種包含自下而上路徑、橫向連接和自上而下路徑的特征融合機制，能夠充分融合來自網(wǎng)絡(luò)中間不同層次的特征。Zhang等人[7]提出一種輕量化金字塔切分注意力模塊(Pyramid Split Attention，PSA)，將其嵌入到ResNet[8]中來提取更細粒度的空間信息并建立通道之間的長距離依賴，有效提升了分類網(wǎng)絡(luò)的性能。受到上述工作啟發(fā)，本文將金字塔切分注意力模塊引入特征金字塔機制，搭建了自上而下的特征融合路徑。

PSA的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，共包含四個主要步驟。假設(shè)輸入特征X的尺寸為C×H×W，首先在通道維度上將輸入向量均分為S組，采用分組卷積的方法讓S個不同尺寸的卷積核并行處理每組向量，并采用級聯(lián)的方式對結(jié)果進行融合得到F。然后采用通道注意力模塊為每組特征學(xué)習(xí)注意力權(quán)重向量，權(quán)重的計算方式將在后面詳細介紹。第三步是采用Softmax函數(shù)注意力向量進行調(diào)整得到Z′，從而自適應(yīng)地選擇不同的空間尺寸。最后，將調(diào)整后的注意力向量Z′和F做逐像素乘積得到輸出特征。

圖3 PSA結(jié)構(gòu)

其中f(·)表示PSA模塊的映射關(guān)系，conv(·)表示1×1卷積運算，up(·)表示雙線性插值函數(shù)。

2.3 上下文注意力模塊

注意力機制是一種讓模型關(guān)注重點目標(biāo)區(qū)域的信息篩選機制，能夠幫助網(wǎng)絡(luò)提取到與人群目標(biāo)更相關(guān)的有利信息。上下文注意力模塊首先提取全局和局部上下文信息并進行融合，基于該融合語義信息生成能感知不同密度分布模式的注意力圖，給不同密度級別的密度圖分配對應(yīng)的權(quán)重，讓模型關(guān)注到不同分布狀態(tài)的行人，從而克服圖像中人群雜亂分布導(dǎo)致的密度差異，其具體結(jié)構(gòu)如圖4所示。

圖4 CAM結(jié)構(gòu)

Dai等人[9]指出只利用全局上下文信息將使得模型更關(guān)注于分布于全局的目標(biāo)，并弱化小尺寸目標(biāo)的圖像信號，局部上下文信息的使用將有助于模型關(guān)注更多的空間細節(jié)信息，從而生成更高質(zhì)量的特征圖。所以CAM模塊分別設(shè)計了全局和局部上下文提取模塊，并對提取的多尺寸上下文語義進行融合?？紤]到平均池化和最大池化具有不同的特性，平均池化對特征圖上的每個像素點都產(chǎn)生反饋信號，而最大池化更加關(guān)注于區(qū)域內(nèi)相應(yīng)最大的位置，所以采用全局平均池化(Global Average Pooling，GAP)和最大池化(Global Max Pooling，GMP)兩種池化機制來提取全局上下文信息。輸入特征首先分別經(jīng)過GAP和GMP來聚合全局空間信息，然后采用兩個1×1卷積捕獲各通道間全局信息的依賴關(guān)系。同時設(shè)計了局部上下文信息提取模塊，不采用全局池化操作，通過小尺寸的卷積操作建立局部連接來捕捉局部上下文特征。最后對提取的上下文信息進行融合得到多尺寸上下文語義特征，并經(jīng)過兩個1×1卷積進一步增大特征的感受野并調(diào)整通道數(shù)量，生成最終的注意力權(quán)重。

2.4 密度圖生成模塊

SE Block[10]能夠?qū)斎胩卣魍ǖ乐g的相關(guān)性進行建模，通過網(wǎng)絡(luò)學(xué)習(xí)的方式自動獲得每個特征通道的重要程度。本節(jié)采用SE Block來對特征融合模塊得到的多級語義融合特征進行通道維度的權(quán)重調(diào)整，其具體結(jié)構(gòu)如圖5所示。

圖5 SE Block結(jié)構(gòu)

SE Block首先通過全局平均池化聚合空間信息，為每個通道分別生成一個全局描述符。假設(shè)輸入特征f的尺寸為C×W×H，于是第c個通道的描述符的計算過程如式(2)所示：

其中fc表示第c個通道的輸入特征。然后將全部描述符輸入到兩個全連接層進行非線性變換，并采用Sigmoid激活函數(shù)實現(xiàn)特征的重新標(biāo)定，于是得到所有通道的注意力權(quán)重：

其中W1和W2分別表示兩全連接層的權(quán)重，z表示C個通道描述符組成的整體描述符。于是調(diào)整后的特征如式(4)所示：

通道注意力模塊對多級語義融合特征進行了通道權(quán)重的調(diào)整，加強了對密度估計更重要的通道，生成了更具辨別力的特征。為了提取更深層的語義信息，首先采用1×1卷積層將通道維數(shù)降為512通道，再采用2個3×3卷積層進一步擴大特征的感受野，最后采用1×1卷積層生成3個對應(yīng)不同密度級別的密度圖。最后，將CAM生成的感知不同密度模式的注意力圖和DGM生成的不同區(qū)域的密度圖進行逐像素相乘，相加融合生成最終的高質(zhì)量密度圖，具體計算過程如式(5)所示：

其中，Ai和Di分別表示CAM和DGM生成的第i個通道的特征，⊙表示逐像素相乘。

2.5 損失函數(shù)

本文采用歐式距離衡量估計密度圖和真值密度圖之間的差距，定義如式(6)所示：

其中，θ是MACN中待優(yōu)化網(wǎng)絡(luò)參數(shù)的集合，N是訓(xùn)練樣本數(shù)量，Xi表示第i張輸入圖像，F(xiàn)i和F(Xi；θ)分別表示真值密度圖和估計密度圖。此外，采用交叉熵損失監(jiān)督CAM模塊生成的注意力圖，計算方式如式(7)所示：

其中，yj和Aj(Xi；θ)分別表示第j個密度等級注意力權(quán)重的真值標(biāo)簽和估計值。yj的獲得方式將在3.1節(jié)詳細介紹。因此，總體損失函數(shù)如式(8)所示：

其中α表示超參數(shù)，在實驗中被設(shè)置為1。

3 算法實現(xiàn)

3.1 地面真值生成

假設(shè)xi位置存在一個人頭標(biāo)記，可將其表示為一個單位沖擊函數(shù)δ(x-xi)，可將包含M個人頭標(biāo)記的輸入圖像表示為：

然后采用歸一化的高斯核對每個人頭標(biāo)記做平滑處理，即將H(x)與高斯核做卷積來生成真值密度圖，計算方式如式(10)所示：

其中μ和σ分別表示高斯核的均值和方差，Gμ，σ(x)表示歸一化的二維高斯核。本文采用15×15的固定尺寸高斯核生成真值密度圖。

此外，為了監(jiān)督CAM模塊生成的注意力圖，本文依據(jù)上述生成的真值密度圖得到注意力真值標(biāo)簽，計算過程如式(11)所示：

其中yi(x)表示第i個密度級別的注意力標(biāo)簽，avg表示整張真值密度圖所有像素的平均值，β是超參數(shù)，被設(shè)置為0.2。

3.2 數(shù)據(jù)增強處理

本節(jié)采用多種方法對數(shù)據(jù)進行增強，防止訓(xùn)練過程出現(xiàn)過擬合現(xiàn)象。首先，從原始圖片中裁剪出9張1/4原圖尺寸的圖像塊，并將每個圖像塊隨機裁剪到256×256的固定尺寸。然后，以0.5的概率對所有圖像塊做水平翻轉(zhuǎn)，以0.3的概率在[0.5，1.5]范圍內(nèi)對圖像塊做伽馬變換，以0.1的概率將彩色圖片轉(zhuǎn)換成灰度圖像，以0.25的概率將彩色圖像的RGB通道切換。最后，以0.25的概率像圖像加入均值為0、標(biāo)準(zhǔn)差為5的高斯噪聲。

3.3 訓(xùn)練過程

本文以端到端的方式訓(xùn)練MACN。特征提取模塊采用在ImagNet上預(yù)訓(xùn)練的VGG-16的參數(shù)進行初始化，剩余其他所有卷積層的權(quán)重都采用均值為0，標(biāo)準(zhǔn)差為0.01的高斯分布初始化。采用Adam優(yōu)化器來優(yōu)化模型參數(shù)，初始學(xué)習(xí)率和衰減率分別被設(shè)置為1×10-5和0.995，批尺寸設(shè)置為8。跟隨Gao等人[11]的做法，訓(xùn)練時將密度圖乘以一個較大的放大倍數(shù)(100)來實現(xiàn)更快的收斂速度和更準(zhǔn)確的結(jié)果，更好地平衡損失權(quán)重。本文所有工作皆是基于PyTorch深度學(xué)習(xí)框架，采用11 GB顯存的Nvidia-2080Ti GPU顯卡實現(xiàn)訓(xùn)練和測試的加速。

4 實驗分析

參考其他優(yōu)秀人群計數(shù)方法[12-13]，本文采用平均絕對誤差(Mean Absolute Error，MAE)和均方誤差(Mean Squared Error，MSE)來評估算法性能，計算公式如式(12)、式(13)所示：

其中，N代表測試圖片數(shù)目，zi與z^i分別代表真值與算法的預(yù)測值。

4.1 ShanghaiTech數(shù)據(jù)集實驗

ShanghaiTech數(shù)據(jù)集[13]共包括1 198張人群圖片，根據(jù)密度差異被分為Part_A和Part_B兩個部分。Part_A由互聯(lián)網(wǎng)上獲取的482張人群圖片組成，人群分布較為密集，訓(xùn)練集和測試集分別包含300張和182張圖片；Part_B中的716張圖片均拍攝于上海街頭，人群分布較為稀疏，訓(xùn)練集和測試集分別包含400和316張圖片。

表2給出了在本數(shù)據(jù)集上MACN算法與其他代表性算法的實驗結(jié)果。由分析可知，MACN在兩個子數(shù)據(jù)集上同時實現(xiàn)了最好的MAE和MSE指標(biāo)，相比于第二名分別將MAE指標(biāo)優(yōu)化了4.6%和9.2%，在人群密集的Part_A和人群較為稀疏的Part_B上都能實現(xiàn)較明顯的性能提升，說明MACN算法對人群密度變化具有較好適應(yīng)性。圖6展示了測試集的部分估計密度圖和真實密度圖的可視化樣例，第一行、第二行表示Part_A上的估計結(jié)果，第三、四行表示Part_B上的估計結(jié)果；從左到右每一列分別表示人群圖片、真值密度圖和估計密度圖。

表2 ShanghaiTech數(shù)據(jù)集結(jié)果

圖6 ShanghaiTech上MACN算法生成密度圖可視化樣例

4.2 UCF_QNRF數(shù)據(jù)集實驗

Ideers等人[20]提出了UCF_QNRF數(shù)據(jù)集，圖片主要來源于朝圣素材和網(wǎng)頁搜索，共包含1 535張圖片，比ShanghaiTech數(shù)據(jù)集具有更大的規(guī)模，且圖像中人群總數(shù)浮動較大，人群場景更為復(fù)雜。

表3列出了MACN算法與其他優(yōu)秀算法在UCFQNRF上的實驗結(jié)果。和MAE排名第二的PaDNet相比，MACN將MAE指標(biāo)在數(shù)值上減小了2.7%，這表明該算法在極度密集的場景中仍能對人群數(shù)量進行準(zhǔn)確估計。圖7展示了測試集的部分估計密度圖和真實密度圖的可視化樣例，可以看到MACN算法能夠有效應(yīng)對圖像中存在的人群非均勻分布問題，生成接近真實人群分布的估計結(jié)果。

表3 UCF_QNRF數(shù)據(jù)集結(jié)果

4.3 JHU-CROWD++數(shù)據(jù)集實驗

Sindagi等人[27]提出的JHU-CROWD++數(shù)據(jù)集是一個新型的大規(guī)模無約束數(shù)據(jù)集，由不同場景與環(huán)境下的4 372張人群圖像組成，由訓(xùn)練集(2 272張)、驗證集(500張)、測試集(1 600張)三個部分組成，人頭標(biāo)注數(shù)量高達151萬。為了進一步研究人群計數(shù)算法在各種密度情況下的性能，測試集與驗證集的人群圖像被細分為高密度、中密度和低密度三個類別。同時考慮到惡劣天氣的影響，此數(shù)據(jù)集還包含單獨由復(fù)雜天氣人群圖像組成的子集。下面將在總體、低密度、中密度、高密度以及天氣環(huán)境這5種情況下分析人群計數(shù)算法的準(zhǔn)確率和魯棒性，如表4所示。

表4 JHU-CROWD++數(shù)據(jù)集結(jié)果

對比MACN算法和其他先進算法在JHU-CROWD++測試集上的性能。在整體性能上，MACN算法的MAE指標(biāo)比第二名優(yōu)化了6.8%；在低密度、中密度、高密度、惡劣天氣等子類上MACN分別將MAE指標(biāo)比第二名在數(shù)值上優(yōu)化了0.2、1.9、16.6和7.9。JHU-CROWD++測試集的部分估計密度圖和真實密度圖的可視化樣例如圖8所示。分析表明，MACN算法在總體與所有子類上都實現(xiàn)了最準(zhǔn)確的計數(shù)結(jié)果并能夠保持較高的魯棒性，驗證了MACN算法的泛化性和準(zhǔn)確性。

圖8 JHU-CROWD++上MACN算法生成密度圖可視化樣例

4.4 消融實驗

為驗證各子模塊的有效性，本小節(jié)在Shanghai-Tech Part_A上對不同結(jié)構(gòu)進行實驗。表5展示了五種不同結(jié)構(gòu)的實驗結(jié)果，其中W/O FFM+CAM+SE表示將FFM模塊、CAM模塊和DGM中的SE Block移除；W/O FFM表示移除FFM模塊；W/O CAM表示移除CAM模塊；W/O SE表示移除SE Block；MACN表示完整結(jié)構(gòu)。由實驗結(jié)果可知，同時采用FFM、CAM、SE Block能夠獲得最優(yōu)的MAE和MSE指標(biāo)，大幅提升模型性能。

表5 參數(shù)選擇實驗

5 結(jié)論

本文提出了一種基于多重注意力引導(dǎo)的密度估計網(wǎng)絡(luò)MACN，來解決人群計數(shù)任務(wù)中的人群雜分布問題。首先，該算法基于輕量化的切分注意力模塊，構(gòu)建了一條自上而下的特征融合路徑以促進不同語義級別特征之間的流動，旨在增強特征的表達能力。然后，建立上下文注意力模塊來提取并融合多尺度上下文信息，以生成對應(yīng)不同密度級別的注意力圖，從而引導(dǎo)密度估計網(wǎng)絡(luò)識別不同分布模式下的行人目標(biāo)。最后，憑借大量實驗結(jié)果充分說明MACN有助于提升各種場景下的計數(shù)性能。