基于多尺度空間注意力特征融合的人群計數(shù)網(wǎng)絡(luò)

杜培德，嚴(yán) 華

（四川大學(xué)電子信息學(xué)院，成都 610065）

（*通信作者yanhua@scu.edu.cn）

0 引言

密集人群計數(shù)的任務(wù)是估計圖像或視頻中包含的人物數(shù)量。隨著全球人口數(shù)量的上漲和人類社會活動的增加，各地公共場所經(jīng)常會出現(xiàn)人群大量聚集的情況，如交通樞紐和娛樂場所等，這給公共安全帶來了巨大的隱患。密集人群計數(shù)任務(wù)在視頻監(jiān)視、交通控制和大都市安全方面應(yīng)用廣泛，各國研究人員開展了大量研究。人群計數(shù)的方法還可以推廣到其他領(lǐng)域的類似任務(wù)，例如醫(yī)學(xué)中顯微圖像的細(xì)胞數(shù)量估計［1］、交通擁擠情況下的車輛估計［2］和廣泛的生物樣本調(diào)查［3］等。

一些早期的方法通過檢測人群中的每個行人來解決人群計數(shù)問題［4］，取得了一定的效果；但是在人群密集場景和嚴(yán)重遮擋場景下該方法效果會急劇下降。因此，基于特征回歸的方法［5-7］被用來解決此問題?；貧w方法通常學(xué)習(xí)一種從特征到人數(shù)的映射關(guān)系，通過提取前景特征學(xué)習(xí)一個線性回歸或高斯過程回歸來計數(shù)。然而，這種回歸方法學(xué)習(xí)到的是低級特征映射，當(dāng)場景尺度和視角急劇變化時效果不佳。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［8-10］在計算機(jī)視覺領(lǐng)域的成功應(yīng)用，為解決上述問題開拓了新的方法。自密度圖的思想在文獻(xiàn)［2］中被提出以來，基于密度估計的方法已經(jīng)在人群計數(shù)任務(wù)中占據(jù)了絕對優(yōu)勢。使用深度卷積神經(jīng)網(wǎng)絡(luò)來估計密度圖以及大規(guī)?？捎脭?shù)據(jù)集的提出［11-14］進(jìn)一步提高了在更具挑戰(zhàn)性的真實場景中進(jìn)行人群計數(shù)的準(zhǔn)確性。人群計數(shù)的最新工作一直集中在深度神經(jīng)網(wǎng)絡(luò)新穎架構(gòu)（例如多列CNN［15-16］和注意力機(jī)制）的設(shè)計上，以進(jìn)行準(zhǔn)確的密度圖估計。這些設(shè)計的動機(jī)通常是為了改進(jìn)對比例變化的人群圖像的泛化能力。

Zhang 等［11］提出了一種具有多分支的多列卷積神經(jīng)網(wǎng)絡(luò)（Multi-column Convolutional Neural Network，MCNN）體系結(jié)構(gòu)，其中每個分支使用不同大小的濾波器，這些分支的特征被組合在一起以進(jìn)行密度圖估計。Sam 等［15］使用類似的想法設(shè)計了一種稱為選擇卷積神經(jīng)網(wǎng)絡(luò)（Switching Convolutional Neural Network，Switch-CNN）的架構(gòu)。Switch-CNN 使用多個分支、不同大小的卷積核提取特征；但是，Switch-CNN 并未連接所有分支的特征圖，而是學(xué)習(xí)了一個分類器，該分類器預(yù)測輸入圖像的密度等級，然后使用此預(yù)測選擇一個分支并使用該分支用于密度估計。Sindagi 等［16］提出了上下文金字塔卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（Contextual Pyramid CNN，CP-CNN），除了整個圖像的全局密度等級外，CP-CNN還可以預(yù)測圖像中的局部密度等級，將從全局和局部密度等級預(yù)測中獲得的上下文信息進(jìn)行組合，以進(jìn)行最終密度估計。陸金剛等［17］提出了多尺度多列卷積神經(jīng)網(wǎng)絡(luò)（Multi-scale Multi-column Convolutional Neural Network，MsMCNN），以多列卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為主干，每列使用不同大小的卷積核；并將中間層特征圖跳躍傳遞給后端的反卷積層，最后融合各分支特征圖得到估計密度圖。以上方法均取得了一定進(jìn)步，但Li 等［18］提出的密集場景識別網(wǎng)絡(luò)（Congested Scene Recognition Network，CSRNet）中指出，多列CNN 中使用不同大小卷積核，各列提取到的特征相差不大，結(jié)構(gòu)冗余復(fù)雜，且多列卷積網(wǎng)絡(luò)訓(xùn)練困難、耗時長。CSRNet 使用深層卷積網(wǎng)絡(luò)VGG-16（Visual Geometry Group 2016）［8］前10層作為特征提取器，后端使用7層擴(kuò)張卷積作為回歸器，在各個數(shù)據(jù)集上均表現(xiàn)最佳。本文也將基于此網(wǎng)絡(luò)做出改進(jìn)。

近幾年，注意力模型在各種計算機(jī)視覺任務(wù)中得到了廣泛應(yīng)用，可以有效提升模型的識別準(zhǔn)確性。使用注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)方法［19-23］在密集人群計數(shù)任務(wù)中也取得了一定的成果。如陳美云等［19］提出的像素級注意力機(jī)制的人群計數(shù)方法（crowd counting method based on Pixel-level Attention Mechanism，PAM）。首先使用全卷積神經(jīng)網(wǎng)絡(luò)生成像素級的密度等級掩碼，然后將原圖與密度圖掩碼共同傳入反卷積網(wǎng)絡(luò)回歸得到估計密度圖。Zou 等［22］提出了比例校準(zhǔn)模塊（Scale Recalibration Module，SRM）和比例聚焦模塊（Scale Focus Module，SFM）。SFM模塊對不同卷積層特征圖聚焦，使每個層可以聚焦于不同規(guī)模的行人；在SFM 處理后將這些特征發(fā)送到SRM，以通過切片/堆棧策略重新分配規(guī)模感知特征圖，最終回歸出高質(zhì)量密度圖和準(zhǔn)確人群數(shù)，取得了良好的效果。但是，采用SFM 模塊會使每個層只聚焦于一種特定規(guī)模，這就隔離了各個層特征圖之間的相關(guān)性，使得最終網(wǎng)絡(luò)性能無法達(dá)到最佳。

本文設(shè)計了多尺度空間注意力特征融合網(wǎng)絡(luò)（Multiscale spatial Attention Feature fusion Network，MAFNet）來避免上述的問題。由于深層特征圖具有較大接受域，因此它帶有可用于定位大尺寸頭部的高級語義信息；由中間層生成的特征圖在計算小尺寸頭部時更準(zhǔn)確、可靠，并且包含有關(guān)人群的空間分布信息；低層特征圖則包含更多低級紋理的重要細(xì)節(jié)信息。本文計劃融合一個主干網(wǎng)絡(luò)的三個不同階段的特征圖來降低網(wǎng)絡(luò)的復(fù)雜度，實現(xiàn)特征融合，從而降低計算量，提高訓(xùn)練速度。為了合理融合多層次特征，本文引入了輕量級基于通道方向和空間方向的注意力模塊CBAM（Convolutional Block Attention Module）［24］，避免了多尺度特征直接融合帶來的混亂，保持了各層特征圖的相關(guān)性，也加快了網(wǎng)絡(luò)的收斂。此外，為提高網(wǎng)絡(luò)表現(xiàn)性能，本文提出了聯(lián)合使用雙損失函數(shù)的方式來訓(xùn)練網(wǎng)絡(luò)，使人群計數(shù)準(zhǔn)確度進(jìn)一步提升。實驗結(jié)果驗證了本文的方法在四個主要人群計數(shù)數(shù)據(jù)集（ShanghaiTech［11］、UCF_CC_50［13］、UCF-QNRF［14］和World-Expo’10［12］）上達(dá)到人群計數(shù)誤差最小。

綜上所述，本文的主要工作如下：

1）設(shè)計了一種多尺度空間注意力特征融合網(wǎng)絡(luò)MAFNet用于人群計數(shù)，通過合并來自同一主干網(wǎng)絡(luò)不同層的特征圖來感知尺度變化和空間分布，使網(wǎng)絡(luò)保留更多細(xì)節(jié)；

2）引入通道空間注意力機(jī)制對融合特征圖進(jìn)行重新校準(zhǔn)，提高特征圖的聚焦能力，減少背景、噪聲的影響，便于精準(zhǔn)定位人頭部位置；

3）提出聯(lián)合損失函數(shù)約束預(yù)測密度圖與真值密度圖的一致性，加快網(wǎng)絡(luò)訓(xùn)練收斂速度，提高人群計數(shù)的準(zhǔn)確度。

1 本文模型MAFNet

本章將介紹提出的多尺度空間注意力特征融合網(wǎng)絡(luò)（MAFNet）。首先介紹用于密度圖預(yù)測的主要網(wǎng)絡(luò)結(jié)構(gòu)；接著介紹多尺度特征融合結(jié)構(gòu)和融合策略；然后介紹引入的通道空間注意力模塊（CBAM）如何整合特征圖的相關(guān)性，實現(xiàn)特征圖聚焦能力，最后介紹提出的聯(lián)合損失函數(shù)。

1.1 總體網(wǎng)絡(luò)結(jié)構(gòu)

本文模型的主要目標(biāo)是學(xué)習(xí)一個從原始圖像到密度圖的映射F：

其中：Ii表示輸入圖像表示預(yù)測密度圖；θ為學(xué)習(xí)到的網(wǎng)絡(luò)參數(shù)。具體人群計數(shù)結(jié)果可以通過對預(yù)測密度圖進(jìn)行積分得到?；谏鲜鰯?shù)學(xué)模型，本文提出了多尺度空間注意力特征融合網(wǎng)絡(luò)，體系結(jié)構(gòu)如圖1所示。

與CSRNet 相同，本文的主干網(wǎng)絡(luò)也包括兩部分：前端深層卷積網(wǎng)絡(luò)（VGG）和后端擴(kuò)張卷積網(wǎng)絡(luò)。選擇VGG-16 網(wǎng)絡(luò)的前10層作為前端網(wǎng)絡(luò)，并只保留3個池化層，其強(qiáng)大的特征提取能力和可調(diào)整的結(jié)構(gòu)便于特征融合。將7 層擴(kuò)張卷積層作為后端網(wǎng)絡(luò)，利用其大范圍接收野提取更深層的重要信息，且保持輸出密度圖的分辨率。如圖1 所示，VGG 網(wǎng)絡(luò)和擴(kuò)張卷積網(wǎng)絡(luò)的詳細(xì)設(shè)計如表1 所示，其中，卷積層數(shù)字表示為：（層數(shù)）×（卷積核大?。粒ň矸e核大?。粒ň矸e核個數(shù)）conv-（擴(kuò)張因子）。此外，為了實現(xiàn)尺度感知能力，本文構(gòu)建了多尺度特征融合結(jié)構(gòu)，分別從前端VGG 網(wǎng)絡(luò)的三個階段抽取特征圖通過特征融合策略進(jìn)行融合，融合后的特征圖作為多尺度特征圖。在前端與后端模塊之間的過渡區(qū)，分別對VGG 特征圖和多尺度特征圖進(jìn)行了通道空間注意力校準(zhǔn)，并將二者進(jìn)行逐像素地加和。

圖1 MAFNet結(jié)構(gòu)Fig.1 Architecture of MAFNet

表1 主干網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計Tab.1 Architecture design of backbone network

1.2 多尺度特征融合結(jié)構(gòu)

VGG 網(wǎng)絡(luò)的局限性在于它在整個圖像上使用單向相同尺寸卷積核進(jìn)行卷積編碼。為了解決這個問題，本文提出融合VGG 的三個階段特征來提取多尺度上下文信息實現(xiàn)尺度感知。

在VGG-16 的前10 層網(wǎng)絡(luò)中，由于第一個卷積層的接收野太小，無法獲得任何人群信息，因此首先從第一個池化層之后抽出一個淺層特征圖分支，作為第一個特征融合分支F_64；從第二個池化層之后抽出一個中間層特征圖分支，作為第二個特征融合分支F_128；從最后一個池化層之后抽出一個深層特征圖分支，作為第三個特征融合分支F_256。此時F_64 的尺寸為［64，W/2，H/2］（［通道數(shù)，寬，高］），F(xiàn)_128 的尺寸為［128，W/4，H/4］，F(xiàn)_256的尺寸為［256，W/8，H/8］。

本文的融合策略是使用1×1×128 conv-1（卷積核大小為1×1，卷積核個數(shù)為128，擴(kuò)張因子為1）的卷積層將F_64 擴(kuò)容到［128，W/2，H/2］，之后經(jīng)過一個2×2 max pooling 池化層，即圖1中的EP 操作（式（2）），得到特征圖FF_1［128，W/4，H/4］。FF_1與F_128尺度相同，因此對二者先在通道維度上進(jìn)行拼接，然后經(jīng)過一個2×2 max pooling池化層，即圖1中的CP操作（式（3）），得到特征圖FF_2［256，W/8，H/8］。之后將FF_2 與F_256 在通道維度上進(jìn)行最后的拼接，即C 操作（式（4）），得到最終的融合特征圖FF_3［512，W/8，H/8］。上述操作的公式化定義如下：

融合特征FF_3 和VGG 網(wǎng)絡(luò)的輸出特征分別通過注意力模塊，在通道維度和空間維度上重新整合上下文信息進(jìn)行重新校準(zhǔn)。最后，再將校準(zhǔn)后的兩個特征圖累加融合，此后送入擴(kuò)張卷積網(wǎng)絡(luò)回歸得到密度圖。

1.3 通道空間注意力模塊

1.1 節(jié)和1.2 節(jié)中VGG 網(wǎng)絡(luò)、擴(kuò)張卷積網(wǎng)絡(luò)和多尺度特征融合結(jié)構(gòu)在模型的深度和感受野兩方面提高了模型的泛化能力。此外，注意力機(jī)制的引入能使模型更加關(guān)注重要特征而抑制不重要特征，本文引入注意力模塊的方法為直接將該模塊插入特征圖傳遞路徑上。

通道空間注意力模塊結(jié)構(gòu)如圖2 所示，本模塊旨在從通道維度和全局空間維度上分別學(xué)習(xí)到目標(biāo)特征和位置特征。具體而言，就是給定一個中間特征圖，本模塊會沿著通道和空間兩個維度依次推斷出注意力權(quán)重，然后與原特征圖相乘來對特征進(jìn)行自適應(yīng)調(diào)整。具體公式表示如下：

其中：F∈RC×H×W，Mc∈RC×1×1，Ms∈R1×H×W，F(xiàn)是輸入特征圖，Mc是通道注意力操作，Ms是空間注意力操作，F(xiàn)'和F″分別是通道注意力和空間注意力的輸出特征圖；?表示逐元素乘法。

MAFNet 在尺度融合時將不同深度的特征圖融合為了一組特征，而不同深度特征圖的語義信息層次不同，也就是對不同大小人頭的感知能力各不相同。因此，注意力模塊在通道維度作出調(diào)整，可以增加通道維度上的相關(guān)性，提高模型面對人群分布變化劇烈的場景的適應(yīng)能力；注意力模塊在空間維度上重新校準(zhǔn)特征圖，使特征圖上人頭位置的像素值更大，背景的像素值更小，提高了模型的背景抑制能力。

圖2 通道空間注意力模塊Fig.2 Convolutional block attention module

1.4 聯(lián)合損失函數(shù)

現(xiàn)有的大多數(shù)研究都只使用均方誤差損失作為人群計數(shù)的損失函數(shù)，該損失函數(shù)可以約束預(yù)測密度圖和真實密度圖之間的像素級誤差。均方誤差損失函數(shù)定義如下：

其中：N是一個批次的圖像個數(shù)；G(Xi；θ)是使用網(wǎng)絡(luò)參數(shù)θ對圖像Xi預(yù)測的密度圖是圖像Xi的真實密度圖。均方誤差損失函數(shù)把目標(biāo)值與模型輸出（估計值）G(Xi；θ)作差后計算平方得到誤差。因此L2對離群點會異常敏感，使模型更偏向于離群點，對于密集人群圖像中人群分布變化巨大的數(shù)據(jù)集會表現(xiàn)不佳。而絕對值誤差損失是目標(biāo)值與模型輸出（估計值）G(Xi；θ)差的絕對值作為誤差，對離群點更加魯棒，絕對值誤差損失函數(shù)定義如下：

其中：N是一個批次的圖像個數(shù)；G(Xi；θ)為使用網(wǎng)絡(luò)參數(shù)θ對圖像Xi預(yù)測的密度圖是圖像Xi的真實密度圖。

因此，本文提出聯(lián)合使用均方誤差損失和絕對值誤差損失來約束預(yù)測密度圖和真實密度圖。用L1能夠?qū)Ξ惓Ｖ蹈敯?，用L2能夠更快地收斂，L2比L1能更快速收斂的原因在于預(yù)測值與目標(biāo)值接近時，L2曲線更加平滑。最終損失函數(shù)通過加權(quán)兩個損失函數(shù)得到：

其中，λ是權(quán)衡均方誤差損失和絕對值誤差損失的權(quán)重，它是一個超參數(shù)。

2 實驗與結(jié)果分析

2.1 訓(xùn)練細(xì)節(jié)

2.1.1 真實密度圖生成

對于真實密度值δ中的目標(biāo)物體xi，用表示其k近鄰的平均距離。在實驗中，按照文獻(xiàn)［11］中的配置，其中β=0.3且k=3。對于密集場景ShanghaiTech 數(shù)據(jù)集的PartA，UCF_CC_50 和UCF_QNRF 使用自適應(yīng)高斯核生成密度圖；對于稀疏場景ShanghaiTech 數(shù)據(jù)集的PartB 和World_Expo’10使用固定高斯核生成密度圖。

2.1.2 訓(xùn)練方法

使用與CSRNet 相同的方法端到端地訓(xùn)練MAFNet。其中，VGG-16 網(wǎng)絡(luò)的前10 個卷積層導(dǎo)入了預(yù)訓(xùn)練模型參數(shù)，目的是提高訓(xùn)練速度；后面的7 層擴(kuò)張卷積層的初始值設(shè)置為標(biāo)準(zhǔn)偏差0.01 的高斯初始值。訓(xùn)練期間，應(yīng)用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器來訓(xùn)練MAFNet，學(xué)習(xí)率設(shè)為固定1E -7，且動量設(shè)為0.95。所有的實驗均在Ubuntu16.04 系統(tǒng)下，使用Python 3.7 在Pytorch 框架下編碼，在一塊RTX 2080Ti GPU上訓(xùn)練。

2.2 實驗評估

2.2.1 評估準(zhǔn)則

與大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的密集人群計數(shù)方法相同，使用平均絕對誤差（Mean Absolute Error，MAE）和均方誤差（Mean Square Error，MSE）作為評估準(zhǔn)則。MAE 反映了模型的準(zhǔn)確性，而MSE反映了模型的穩(wěn)健性，這些指標(biāo)定義如下：

其中：N是測試集圖像數(shù)量；Ci和分別是人群計數(shù)場景的預(yù)測密度圖和真實密度圖。

2.2.2 數(shù)據(jù)集

在四個公開數(shù)據(jù)集 ShanghaiTech、UCF_CC_50、UCF_QNRF和World-Expo’10上進(jìn)行實驗，并與現(xiàn)有方法進(jìn)行了對比，結(jié)果如表2 所示。選擇對比的方法主要可以分為兩類：一類為多列多尺度結(jié)構(gòu)方法，一類為注意力機(jī)制方法。其中多列卷積神經(jīng)網(wǎng)絡(luò)（MCNN）、選擇卷積神經(jīng)網(wǎng)絡(luò)（Switch-CNN）、上下文金字塔神經(jīng)網(wǎng)絡(luò)（CP-CNN）、多尺度多列卷積神經(jīng)網(wǎng)絡(luò)（MsMCNN）以及尺度聚合網(wǎng)絡(luò)SANet（Scale Aggregation Network for accurate and efficient crowd counting）均是多列多尺度結(jié)構(gòu)的方法；像素級注意力網(wǎng)絡(luò)（PAM）、關(guān)系注意 力 網(wǎng) 絡(luò)RANet（Relational Attention Network for crowd counting）以及分級尺度校準(zhǔn)網(wǎng)絡(luò)HSRNet（crowd counting via Hierarchical Scale Recalibration Network）是注意力機(jī)制的方法；擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)（CSRNet）則是單列結(jié)構(gòu)網(wǎng)絡(luò)，本文在此基礎(chǔ)上改進(jìn)。

1）ShanghaiTech。本數(shù)據(jù)集有1 198 張帶標(biāo)注的圖像，包含330 165 個人。其中482 張較密集場景被劃分為PartA，716張較稀疏場景被劃分為PartB。PartA包括482張圖像，圖像場景中人數(shù)變化范圍從33 到3 139，其中，300 張圖像構(gòu)成訓(xùn)練集，182 張圖像構(gòu)成測試集；PartB 有716 張圖片，人數(shù)變化范圍從12 到578，其中，400 張圖像構(gòu)成訓(xùn)練集，316 張構(gòu)成測試集。

2）UCF_CC_50。本數(shù)據(jù)集僅包含50 張人數(shù)從94 到4 543不等的圖像，這使其成為了人群計數(shù)任務(wù)中最有挑戰(zhàn)性的數(shù)據(jù)集。使用與文獻(xiàn)［13］中相同的5 倍交叉驗證方法：將圖像劃分為5 等份圖像子集，每次選擇4 組作為訓(xùn)練集，剩余1 組為測試集進(jìn)行訓(xùn)練，最后給出5組結(jié)果的平均值。

3）UCF_QNRF。本數(shù)據(jù)集有1 535 張圖像，包含1 151 642個人，該數(shù)據(jù)集具有多種多樣的場景，人群密度從49到12 865不等，這使訓(xùn)練和預(yù)測都變得更加困難；而且，圖像分辨率變化也非常大，導(dǎo)致人頭尺寸急劇變化。其中訓(xùn)練集由1 201張圖像組成，其余為測試集。

4）World-Expo’10。它包含從108個不同監(jiān)控設(shè)備中收集的3 980張已標(biāo)注視頻序列圖像。其中，3 380張作為訓(xùn)練集，剩余600張劃分為5個場景作為測試集，每個圖像均包含一個感興趣區(qū)域（Region Of Interest，ROI）。在本數(shù)據(jù)集上，本文方法實驗結(jié)果展示了每個場景（Sce1～Sce5）的MAE 以及所有場景的平均值。

2.2.3 結(jié)果分析

如表2 所示，對于ShanghaiTech 數(shù)據(jù)集，本文方法與其他方法相比，在PartA 中實現(xiàn)了較低的MAE 和MSE。MAFNet 是基于CSRNet 做出的改進(jìn)，因此與CSRNet 相比，在PartA 中的MAE 和MSE 分別下降9.4%和9.9%；但比兩種注意力機(jī)制方法RANet 和HSRNet稍差，RANet 方法使用了先進(jìn)的自注意力機(jī)制，達(dá)到了所有方法中最低的MAE。此外，本文在PartB 的實驗結(jié)果達(dá)到了所有方法中最低的MAE 和MSE，人群計數(shù)準(zhǔn)確 率 最 高，與CSRNet 相 比MAE 下 降34.9%，MSE 下 降29.4%。在UCF_CC_50 數(shù)據(jù)集上，本文方法與CSRNet 相比，MAE 下降26.1%，MSE 下降26.2%，與最好的RANet 相比，MAE 下降18.0%，MSE 下降8.2%。在最大的數(shù)據(jù)集也是頭部大小變化最大的數(shù)據(jù)集UCF-QNRF 上，本文方法也取得了最低計數(shù)誤差，與現(xiàn)有最好方法RANet 相比，MAE 和MSE 分別下降4.5%和5.3%。與使用了相同注意力模塊的方法HSRNet相比，在World-Expo’10數(shù)據(jù)集中，本文方法獲得了更低的MAE。上述數(shù)據(jù)表明了本文方法MAFNet 無論是在擁擠的人群場景數(shù)據(jù)集中還是在稀疏的人群場景數(shù)據(jù)集均能達(dá)到較高的人群計數(shù)準(zhǔn)確率。從實驗結(jié)果中也可以發(fā)現(xiàn)，所有多列多尺度方法實驗結(jié)果均比注意力方法和單列結(jié)構(gòu)差，說明多列結(jié)構(gòu)提取到的特征信息相似度較高，單純多列結(jié)構(gòu)無法整合多尺度特征，對實驗性能提升不大。本文則采用從單列結(jié)構(gòu)中提取多尺度特征的策略，并引入注意力機(jī)制整合多尺度特征，這樣既減少了多列結(jié)構(gòu)帶來的計算量，也避免了多尺度特征融合的混亂，所以優(yōu)于多數(shù)方法。

表2 不同方法在公開數(shù)據(jù)集上的MAE與MSE結(jié)果比較Tab.2 Comparison on MAE and MSE of different methods on public datasets

此外，如圖3 所示，本文方法MAFNet 也可以產(chǎn)生更加精細(xì)的預(yù)測密度圖。在圖中展示的四個場景中，有兩個非常密集的場景和兩個相對稀疏的場景，本文方法均能生成與真實密度圖幾乎相同的密度圖，估計出更加接近真實人數(shù)的數(shù)字。這表明，本文方法在抑制背景干擾和保持細(xì)節(jié)方面的性能優(yōu)越。

圖3 本文方法針對不同場景圖生成的預(yù)測密度圖和真實密度圖對比Fig.3 Comparison results of estimated density map generated by the proposed method and ground truth density map for different scene images

如圖4所示，圖（a）是從ShanghaiTech的PartA提取的一張原始圖像，圖（b）是對應(yīng)的真實密度圖，圖（c）是MAFNet 生成的預(yù)測密度圖，（d）是CSRNet 生成的預(yù)測密度圖。針對標(biāo)注框內(nèi)區(qū)域，本文方法預(yù)測密度圖（c）的細(xì)節(jié)更加精細(xì)，背景和前景區(qū)分的輪廓更加明顯，而CSRNet 網(wǎng)絡(luò)的預(yù)測密度圖（d）則相對模糊。

圖4 MAFNet與CSRNet的密度圖細(xì)節(jié)對比Fig.4 Comparison of density map details of MAFNet and CSRNet

如圖5 所示，圖（a）展示了三種具有復(fù)雜背景的場景，圖像1 的背景有路燈、大量氣球以及遮陽傘；圖像2 的背景中有一塊亮斑，而且是夜景照片；圖像3 的背景包含茶杯、大量樹葉、汽車以及遮陽傘等。圖（b）是使用本文方法生成的預(yù)測密度圖，可以看出：圖像1 中所有的氣球、路燈和遮陽傘所在位置均被預(yù)測為背景；圖像2 中右上角的亮斑在密度圖中也被預(yù)測為背景；圖像3 中上部存在大量樹葉，樹葉在密集場景下是人群計數(shù)任務(wù)中最大的干擾背景，但在密度圖中也未被誤識別。

圖5 MAFNet在復(fù)雜背景場景下的預(yù)測密度圖Fig.5 Estimated density maps of MAFNet in complex background scenes

3 消融實驗

最后，分別從網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)兩個方面做消融實驗，驗證多尺度特征融合結(jié)構(gòu)、注意力模塊和聯(lián)合損失函數(shù)的有效性。消融實驗是深度學(xué)習(xí)方法驗證網(wǎng)絡(luò)模型各子結(jié)構(gòu)對精度提升有效性的最好方式。首先，在ShanghaiTech 數(shù)據(jù)集上，針對多尺度特征融合結(jié)構(gòu)和注意力模塊進(jìn)行消融實驗。由于本文方法是在CSRNet基礎(chǔ)之上的改進(jìn)，因此本文的消融實驗在CSRNet 上依次添加多尺度特征融合結(jié)構(gòu)（Multi-scale Future fusion structure，MF）和注意力模塊（CBAM）。最后，CSRNet+MF+CBAM就是本文的網(wǎng)絡(luò)MAFNet，實驗結(jié)果如表3所示。

如表3所示，CSRNet增加多尺度融合結(jié)構(gòu)可以使PartA數(shù)據(jù)集的MAE 下降2.9%，MSE 下降6.3%，使PartB 數(shù)據(jù)集的MAE 下降31.3%，MSE 下降25.6%，而且多尺度融合結(jié)構(gòu)對PartB 數(shù)據(jù)集的性能改善更大；CSRNet 增加注意力模塊使PartA 數(shù)據(jù)集的MAE 下降2.3%，MSE 下降10.5%，使PartB 數(shù)據(jù)集的MAE 下降26.4%，MSE 下降18.7%；當(dāng)CSRNet 增加多尺度特征融合結(jié)構(gòu)和注意力模塊時性能提升明顯，使PartA的MAE 下 降7.0%，MSE 下 降11.4%，使PartB 的MAE 下 降32.1%，MSE 下降28.1%。由此可見，多尺度特征融合結(jié)構(gòu)與注意力模塊結(jié)合可以使模型達(dá)到最低計數(shù)誤差。

表3 在ShanghaiTech數(shù)據(jù)集上的網(wǎng)絡(luò)結(jié)構(gòu)消融實驗Tab.3 Ablation experiment of network structure on ShanghaiTech dataset

在1.4 節(jié)提出了聯(lián)合損失函數(shù)，針對不同數(shù)據(jù)集使用了不同的λ值來加權(quán)L1和L2。在ShanghaiTech 數(shù)據(jù)集上就λ值開展消融實驗，結(jié)果如表4所示。

由表4 中PartA 數(shù)據(jù)顯示，在λ=0.2 時，MAE 下降到最低，相對于CSRNet 下降9.4%，MSE 下降9.9%；在λ=0 時，MAE 下降7.0%，而MSE 達(dá)到最低，下降11.4%；λ=0.2 的MAE 相較λ=0 下降2.5%，λ=0 的MSE 相較λ=0.2 下降1.6%。因此本文選擇λ=0.2的作為最佳結(jié)果。PartB 數(shù)據(jù)顯示，在λ=0.5時，可以達(dá)到最低的MAE和MSE，相較于CSRNet分別下降34.9%、29.4%。以上結(jié)果表明，聯(lián)合使用加權(quán)后的L1和L2作為損失函數(shù)可以有效提升人群計數(shù)的準(zhǔn)確率。而且實驗結(jié)果表明，針對不同的數(shù)據(jù)集應(yīng)該設(shè)置不同的λ值，表5中顯示了實驗中不同數(shù)據(jù)集設(shè)置為如下λ值時，本文方法在各數(shù)據(jù)集上可以達(dá)到最高人群計數(shù)準(zhǔn)確率。

表4 在ShanghaiTech數(shù)據(jù)集上的λ值消融實驗Tab.4 Ablation experiment of λ on ShanghaiTech dataset

表5 各數(shù)據(jù)集設(shè)置的λ值Tab.5 Values of λ for different datasets

4 結(jié)語

本文提出了一種多尺度空間注意力特征融合網(wǎng)絡(luò)（MAFNet）模型，該模型基于CSRNet 增加了多尺度特征融合結(jié)構(gòu)，并引入了通道空間注意力機(jī)制。其中，VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)、擴(kuò)張卷積、多尺度結(jié)構(gòu)和注意力機(jī)制四個組成部分?jǐn)U大了尺度感知的多樣性和特征的接受范圍，增強(qiáng)了模型抑制背景和保留細(xì)節(jié)信息的能力，可以解決各種復(fù)雜場景下的人群計數(shù)問題，在計算圖像中人數(shù)的方法中表現(xiàn)良好。此外，本文提出聯(lián)合使用兩種基本損失函數(shù)的方法來訓(xùn)練模型，提高了模型的泛化能力。本文方法在四個公開數(shù)據(jù)集上相比其他方法達(dá)到了較高的人群計數(shù)準(zhǔn)確率。盡管如此，本文方法在ShanghaiTech 數(shù)據(jù)集的PartA 上仍然表現(xiàn)不佳，對比RANet 之后認(rèn)為原因在于在密集場景下MAFNet 對場景內(nèi)全局元素和局部元素相關(guān)性整合度不夠。接下來的工作將考慮使用更深的網(wǎng)絡(luò)來做進(jìn)一步的研究。