基于空間維度循環(huán)感知網(wǎng)絡(luò)的密集人群計(jì)數(shù)模型

付倩慧，李慶奎，傅景楠，王 羽

（北京信息科技大學(xué)自動(dòng)化學(xué)院，北京 100192）

（*通信作者電子郵箱sdlqk01@126.com）

0 引言

人群計(jì)數(shù)是智能視頻監(jiān)控系統(tǒng)的重要任務(wù)之一，目前對(duì)高密度人流的公共場(chǎng)所缺乏有效預(yù)警措施，易造成人群踩踏等隱患性事件。因此，分析人群行為趨向且對(duì)其安全隱患提供有效預(yù)警信息的人群計(jì)數(shù)系統(tǒng)對(duì)于建設(shè)智慧安全城市具有重要意義［1］。人群計(jì)數(shù)面臨許多挑戰(zhàn)，例如遮擋、高度混亂、人員分布不均勻、透視畸變、視角失真等問(wèn)題。

通常人群計(jì)數(shù)方法是基于檢測(cè)或回歸。檢測(cè)方法是通過(guò)對(duì)個(gè)體定位以給出計(jì)數(shù)［2-3］；回歸方法是將人群作為整體研究對(duì)象，分析人群分布以建立特征與人數(shù)的映射關(guān)系，即通過(guò)人群特征與人數(shù)的映射關(guān)系給出計(jì)數(shù)。基于檢測(cè)方法，何鵬等［2］利用KLT（Kanade-Lucas-Tomasi）跟蹤器構(gòu)建跟蹤環(huán)節(jié)，基于多尺度塊局部二進(jìn)制模式（Multi-scale Block Local Binary Pattern，MBLBP）模型由對(duì)點(diǎn)跟蹤轉(zhuǎn)化為對(duì)人跟蹤，實(shí)現(xiàn)了實(shí)時(shí) 計(jì) 數(shù)。Gao 等［3］在 卷 積 神 經(jīng) 網(wǎng) 絡(luò)（Convolutional Neural Network，CNN）的基礎(chǔ)上結(jié)合級(jí)聯(lián)Adaboost 算法作為特征提取器學(xué)習(xí)人群頭部特征，通過(guò)對(duì)頭部檢測(cè)結(jié)果進(jìn)行計(jì)數(shù)來(lái)獲得人群數(shù)量。檢測(cè)方法在人群個(gè)體獨(dú)立且分布均勻的簡(jiǎn)單場(chǎng)景下能實(shí)現(xiàn)準(zhǔn)確計(jì)數(shù)，但這需要目標(biāo)具有清晰的輪廓特征。受監(jiān)控設(shè)備的視角、距離以及場(chǎng)景中光照的影響，如圖1 所示的大規(guī)模、高密度、寬視野的復(fù)雜場(chǎng)景，設(shè)感受野大小相等：S1=S2=S3=S4，設(shè)每個(gè)感受野中人數(shù)密度為δi(i=1，2，3，4)，由于透視畸變影響導(dǎo)致δ1＜δ2＜δ3＜δ4，即相同大小感受野中所捕捉到的人群數(shù)量隨著景距的加大而增大，該現(xiàn)象對(duì)人群計(jì)數(shù)任務(wù)造成極大困難。

圖1 高密度人群Fig.1 High-density crowd

隨著近年來(lái)深度學(xué)習(xí)技術(shù)的飛速發(fā)展，目前國(guó)內(nèi)外更趨向于采用基于CNN 密度回歸方法實(shí)現(xiàn)計(jì)數(shù)任務(wù)。Zhang 等［4］提出了一種基于CNN 的跨場(chǎng)景人群計(jì)數(shù)框架，通過(guò)人群密度和人群計(jì)數(shù)兩個(gè)相互關(guān)聯(lián)的學(xué)習(xí)目標(biāo)與數(shù)據(jù)驅(qū)動(dòng)方法來(lái)捕捉人群紋理模型，提高了未知場(chǎng)景中人群計(jì)數(shù)準(zhǔn)確率。Zhang等［5］提出了多列卷積神經(jīng)網(wǎng)絡(luò)（Multi-column CNN，MCNN），通過(guò)采用不同尺度卷積核的感受野來(lái)更充分地捕捉人群密度分布特征，在無(wú)透視矯正變換矩陣下能較為準(zhǔn)確地生成密度圖。在此基礎(chǔ)上，Sam等［6］提出了基于圖像中人群密度變化的切換卷積神經(jīng)網(wǎng)絡(luò)，利用多個(gè)CNN 回歸器的固有結(jié)構(gòu)和功能差異預(yù)測(cè)人群數(shù)量，通過(guò)執(zhí)行差分訓(xùn)練機(jī)制來(lái)應(yīng)對(duì)大規(guī)模和視角差異。Zhang 等［7］提出了尺度自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)，采用MCNN 提取特征，并在網(wǎng)絡(luò)間增加自適應(yīng)調(diào)整機(jī)制使之對(duì)特征的輸出能夠自主調(diào)節(jié)到同一尺寸以回歸到人群密度圖，在密度回歸損失函數(shù)中加入基于人數(shù)的誤差計(jì)算，密度圖的回歸精度隨即提高。近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)計(jì)算機(jī)視覺(jué)研究主題中取得了成功，Pu 等［8］提出了基于深層深度卷積神經(jīng)網(wǎng)絡(luò)的人群密度估計(jì)方法，即引入GoogleNet 和VGGNet 實(shí)現(xiàn)跨場(chǎng)景人群密度估計(jì)。隨著CNN 深度的不斷增加，其參數(shù)量與網(wǎng)絡(luò)結(jié)構(gòu)也隨之增加，網(wǎng)絡(luò)訓(xùn)練變得困難，準(zhǔn)確度未有效提升。為了進(jìn)一步消除透視畸變、視角失真導(dǎo)致比例變化對(duì)計(jì)數(shù)準(zhǔn)確率的影響，郭繼昌等［9］提出了基于CNN 與密度分布特征的人數(shù)統(tǒng)計(jì)方法，將人群圖像依據(jù)密度進(jìn)行劃分：高密度圖像的透視畸變問(wèn)題使用多核回歸函數(shù)處理；稀疏圖像中個(gè)體分布較均勻，即對(duì)場(chǎng)景去噪后基于個(gè)體位置研判人群數(shù)量。Xu等［10］提出了深度信息引導(dǎo)人群計(jì)數(shù)方法，即基于圖像深度信息將其劃分為遠(yuǎn)景與近景，遠(yuǎn)景區(qū)域基于MCNN 回歸人群密度圖，近景區(qū)域基于YOLO 框架檢測(cè)人群數(shù)量，并結(jié)合空間上下結(jié)構(gòu)消除誤差。Ma 等［11］提出了原子卷積空間金字塔網(wǎng)絡(luò)（Atrous Convolutions Spatial Pyramid Network，ACSPNet），采用遞增的原子速率排序的原子卷積核增大感受野并保持提取特征的分辨率，空間金字塔中使用無(wú)規(guī)則卷積進(jìn)行多尺度感知且連接集成多尺度語(yǔ)義。陸金剛等［12］提出了基于多尺度的多列卷積神經(jīng)網(wǎng)絡(luò)（Multi-scale MCNN，MsMCNN）的計(jì)數(shù)模型，引入了多尺度連接以結(jié)合不同卷積層的特征學(xué)習(xí)視角和尺度的變化。馬皓等［13］提出了特征金字塔網(wǎng)絡(luò)人群計(jì)數(shù)算法，結(jié)合高級(jí)語(yǔ)義特征和低層特征以多尺度特征回歸密度圖。郭瑞琴等［14］提出了GB-MSCNet（Gradient Boosting Multi-Scale Counting Net）人群計(jì)數(shù)網(wǎng)絡(luò)，該結(jié)構(gòu)增大了網(wǎng)絡(luò)輸出層感知野以保存細(xì)粒度信息，同時(shí)將多尺度特征融合生成更準(zhǔn)確的密度圖。Zhu 等［15］提出了層次密度估計(jì)器和輔助計(jì)數(shù)分類器，引入了軟注意力機(jī)制，基于分級(jí)策略從粗到精挖掘語(yǔ)義特征以解決縮放比例變化和視角失真的問(wèn)題。Wang 等［16］提出了基于通道和空間注意力機(jī)制的人群計(jì)數(shù)網(wǎng)絡(luò)，分別從通道和空間維度自適應(yīng)地選擇不同接受場(chǎng)［17］的特征，適當(dāng)獲取空間上下文信息。

隨著研究的不斷深入，上述文獻(xiàn)中的方法對(duì)于計(jì)數(shù)的準(zhǔn)確率已取得不錯(cuò)的效果；但是局限于密度區(qū)域的劃分［9-10］，仍需要大量的計(jì)算成本來(lái)確定區(qū)域邊界和削弱前景對(duì)象之間的上下語(yǔ)義依存關(guān)系，導(dǎo)致模型在復(fù)雜場(chǎng)景中的性能下降；或因?yàn)橐攵喑叨雀惺芤暗木矸e層［11-14］，增加了模型復(fù)雜度且未考慮到圖像視角旋轉(zhuǎn)變化，一定程度上限制了模型對(duì)視角變化的魯棒性。因此，受文獻(xiàn)［18］的啟發(fā)，本文提出了一種應(yīng)用于空間維度上循環(huán)感知的人群計(jì)數(shù)模型LMCNN。本文的主要工作如下：

1）引入空間維度上局部特征循環(huán)感知網(wǎng)絡(luò)，基于長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）單元的順序編碼對(duì)圖像區(qū)域之間的全局空間上下依存關(guān)系進(jìn)行存儲(chǔ)，進(jìn)一步在局部區(qū)域?qū)W習(xí)透視畸變、視角失真的高密度人群內(nèi)部透視變化信息；

2）設(shè)計(jì)端到端特征圖分割機(jī)制，將主干網(wǎng)絡(luò)的特征輸出自發(fā)地進(jìn)行序列化，從而實(shí)現(xiàn)不同維度的特征空間的轉(zhuǎn)換。

1 高密度人群計(jì)數(shù)模型

如圖2 所示，本文提出了一種應(yīng)用于空間維度上循環(huán)感知的高密度人群計(jì)數(shù)模型，由全局特征感知網(wǎng)絡(luò)（Global Feature Perception Network，GFPNet）和局部關(guān)聯(lián)性特征感知網(wǎng)絡(luò)（Local Association Feature Perception Network，LAFPNet）兩部分組成。為了進(jìn)一步提高密集人群計(jì)數(shù)準(zhǔn)確性，改善圖像透視畸變、視角失真問(wèn)題，先由GFPNet 有效提取人群圖像分布特征，再由LAFPNet 循環(huán)感知特征圖序列化的內(nèi)部空間維度，以進(jìn)一步在空間維度上迭代提取深層語(yǔ)義特征，最終計(jì)算殘差值以優(yōu)化人群圖像密度。

1.1 GFPNet

GFPNet 將輸入圖像經(jīng)處理后轉(zhuǎn)換為低維特征圖，提取深層語(yǔ)義特征。受Zhang等［5］工作的啟發(fā)，設(shè)計(jì)了多尺度工作模式的GFPNet（如圖3 所示），基于不同尺度的卷積核對(duì)圖像中不同密度的人群空間分布特征進(jìn)行提取，即不同尺度的感受野提取不同比例的圖像特征。由于透視畸變等問(wèn)題導(dǎo)致卷積核提取特征的局限性，通過(guò)LAFPNet 基于全局上下相關(guān)性以進(jìn)一步細(xì)化密集區(qū)域圖像特征。如圖3 所示，GFPNet 由三列并行的神經(jīng)網(wǎng)絡(luò)組成，每列共有5 層不同尺寸卷積核和通道數(shù)的卷積層，以及兩層最大池化層，在Conv 層參數(shù)s×k×k×N中，s表示卷積核步長(zhǎng)，k×k表示卷積核尺寸，N表示卷積核通道數(shù)；MaxPooling 層參數(shù)2 × 2 表示為池化區(qū)域且池化步長(zhǎng)為2。

三列子卷積神經(jīng)網(wǎng)絡(luò)中Conv_5 層輸出的特征圖經(jīng)Concat相連接，并且經(jīng)Conv_6層中卷積核尺寸為1× 1且通道數(shù)為1 的卷積層感知后生成特征圖。經(jīng)兩層最大池化處理，其生成特征圖的分辨率為輸入圖像的1/4，大大降低了網(wǎng)絡(luò)的參數(shù)量和耦合度，減少了優(yōu)化工作量。

圖2 LMCNN模型結(jié)構(gòu)Fig.2 Structure of LMCNN model

圖3 全局特征感知網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of global feature perception network

1.2 LAFPNet

LAFPNet優(yōu)化人群密度特征圖，提出基于LSTM 單元的順序編碼存儲(chǔ)區(qū)域之間的全局空間上下依存關(guān)系，該網(wǎng)絡(luò)主要由空間變換網(wǎng)絡(luò)［19］、LSTM單元和殘差優(yōu)化組成。

其中TD為空間位置變換，基于其空間不變性特點(diǎn)，從GFPNet 輸出特征圖中突出局部高密度區(qū)域，如式（1）所示。為保證LAFPNet 能輸入任意尺寸特征圖，引入了空間金字塔池化層（Spatial Pyramid Pooling Network，SPPNet）［20］，避免因不滿足輸入尺寸要求對(duì)特征圖進(jìn)行縮放造成失真等問(wèn)題。根據(jù)SPPNet 理論，基于網(wǎng)絡(luò)高度對(duì)其特征進(jìn)行提取，每層金字塔網(wǎng)絡(luò)的感受野為2m× 2m(m=0，1，…，n-1)，考慮到GFPNet 中有五層卷積層，將金字塔層數(shù)設(shè)為5。受限于Caffe中LSTM 單元輸入要求為一維向量，Slice 層在特征圖的垂直維度上進(jìn)行分割，將特征圖按照其高度均等分割成16 份，分別為L(zhǎng)STM單元16個(gè)時(shí)間步輸入。

其中θij為將特征圖進(jìn)行平移、旋轉(zhuǎn)、裁剪等運(yùn)算的變化參數(shù)。

1.2.1 LSTM單元

如圖4 所示，LSTM 單元對(duì)一段連續(xù)型特征具有較強(qiáng)的記憶性，能夠記憶歷史特征信息，每個(gè)時(shí)刻提取的特征都會(huì)對(duì)下一時(shí)刻提取的特征產(chǎn)生影響。因此，LSTM單元能夠感知局部高密度區(qū)域空間位置中上下特征的相互依存關(guān)系，從而使局部區(qū)域人群分布特征的感知更為細(xì)化，減弱圖像畸變、視角失真對(duì)于人群計(jì)數(shù)的影響。該“記憶性”特點(diǎn)由遺忘門(mén)、輸入門(mén)、輸出門(mén)三個(gè)門(mén)控單元控制。遺忘門(mén)ft控制之前特征信息對(duì)當(dāng)前的影響，其輸入為前一時(shí)刻的輸出ht-1和當(dāng)前時(shí)刻的輸入xt；輸入門(mén)it控制信息流的更新；輸出門(mén)ot控制網(wǎng)絡(luò)信息的流出，分別如下所示：

ct表示當(dāng)前的記憶狀態(tài)，遺忘門(mén)和輸入門(mén)對(duì)其進(jìn)行更新，其中為當(dāng)前時(shí)刻記憶單元的更新值，公式為：

特征信息經(jīng)提取后，最終輸出狀態(tài)值ht表示為：

其中：Wf、Wi、Wo、Wc為權(quán)重矩陣，bf、bi、bo、bc為偏置項(xiàng)。

上述公式詳細(xì)介紹了LSTM 單元工作原理。單元細(xì)胞基于時(shí)間順序連接，每個(gè)時(shí)刻提取的特征會(huì)對(duì)后續(xù)提取特征提供信息，不同時(shí)刻的特征相互影響，增強(qiáng)后續(xù)特征提取的可靠性。

圖4 t時(shí)刻的LSTM單元結(jié)構(gòu)Fig.4 Structure of LSTM cell at time t

1.2.2 殘差優(yōu)化

基于密度圖回歸的方法通常采用隨機(jī)梯度下降法進(jìn)行網(wǎng)絡(luò)優(yōu)化，以歐氏距離函數(shù)進(jìn)行損失計(jì)算，進(jìn)一步優(yōu)化結(jié)構(gòu)參數(shù)，損失函數(shù)定義如下：

其中：N代表訓(xùn)練樣本的總數(shù)；Ii代表第i張訓(xùn)練圖像Xi對(duì)應(yīng)的真實(shí)密度圖；I(Xi；Θ)代表訓(xùn)練輸出的密度圖，Θ代表需要學(xué)習(xí)的參數(shù)；L(Θ)是訓(xùn)練輸出的密度圖與真實(shí)密度圖之間的差距。

1.3 人群密度圖

當(dāng)圖像中人群稀疏并且圖像中人頭尺寸具有一致性時(shí)，采用傳統(tǒng)高斯核函數(shù)方法生成密度圖。即假設(shè)某個(gè)人頭中心點(diǎn)在像素xi上，該密度用狄拉克函數(shù)來(lái)近似表示為δ(x-xi)。高斯核濾波器為Gσ(x)，人群密度函數(shù)為：

在高密度人群圖像中，人群個(gè)體間并非相互獨(dú)立，由于透視畸變問(wèn)題，人頭在圖像中不同區(qū)域的尺度不同，則采用自適應(yīng)高斯濾波器Gσi(x)［12］計(jì)算人群密度函數(shù)：

2 實(shí)驗(yàn)與分析

為更加充分地驗(yàn)證本文模型的有效性，基于Shanghaitech數(shù)據(jù)集和UCF_CC_50 數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試，并與經(jīng)典、主流的人群計(jì)數(shù)算法MCNN［5］、ACSPNet［11］、GB-MSCNet［14］進(jìn)行對(duì)比。本文實(shí)驗(yàn)環(huán)境基于Linux 系統(tǒng)，使用Caffe 作為訓(xùn)練框架，程序語(yǔ)言為python 3.5。

2.1 數(shù)據(jù)集

人群計(jì)數(shù)任務(wù)對(duì)數(shù)據(jù)集的要求一般包括兩個(gè)方面：不同疏密程度的人群圖像以及相對(duì)應(yīng)的人頭中心點(diǎn)像素坐標(biāo)的標(biāo)簽文件。目前人群計(jì)數(shù)研究所使用的主流開(kāi)源數(shù)據(jù)集有Shanghaitech、WorldExpo’10、UCF_CC_50、UCSD 等，本文實(shí)驗(yàn)結(jié)果主要基于Shanghaitech、UCF_CC_50 數(shù)據(jù)集，其詳細(xì)信息如表1所示。

表1 Shanghaitech和UCF_CC_50數(shù)據(jù)集信息Tab.1 Information of Shanghaitech and UCF_CC_50 datasets

1）Shanghaitech數(shù)據(jù)集。

Shanghaitech 數(shù)據(jù)集是由Zhang 等［5］提出的具有多尺度疏密人群分布特點(diǎn)的大型數(shù)據(jù)集，該數(shù)據(jù)集包含兩部分：Part_A和Part_B。Part_A 是從互聯(lián)網(wǎng)上隨機(jī)爬取的482 張不同場(chǎng)景高密度人群圖像，包含300 張訓(xùn)練圖像和182 張測(cè)試圖像；Part_B 是從上海市繁華區(qū)域采集的716 張中小密度人群圖像，包含400 張訓(xùn)練圖像和316 張測(cè)試圖像，是目前使用最多的人群計(jì)數(shù)數(shù)據(jù)集。

2）UCF_CC_50數(shù)據(jù)集。

UCF_CC_50共有50張人群圖像，每張圖像的人群總數(shù)在94到4 543之間，密度分布差異較大。該數(shù)據(jù)集數(shù)據(jù)量較少且人群密度較大，對(duì)網(wǎng)絡(luò)計(jì)數(shù)準(zhǔn)確率挑戰(zhàn)極大。

考慮到人群圖像的樣本量過(guò)少，容易導(dǎo)致過(guò)擬合現(xiàn)象，因此在數(shù)據(jù)預(yù)處理階段進(jìn)行數(shù)據(jù)增強(qiáng)，主要通過(guò)裁剪操作以擴(kuò)充樣本，最后將所有圖像按照8∶1∶1 隨機(jī)劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集。

2.2 評(píng)價(jià)指標(biāo)

網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)采用平均絕對(duì)誤差（Mean Absolute Error，MAE）與均方誤差（Mean Square Error，MSE），MAE 反映了網(wǎng)絡(luò)的預(yù)測(cè)精度，MSE反映了網(wǎng)絡(luò)的泛化能力。計(jì)算公式如下：

其中：N為測(cè)試集的人群總數(shù)，ni為第i張測(cè)試圖像的真實(shí)人群總數(shù)，ni為第i張測(cè)試圖像的網(wǎng)絡(luò)預(yù)測(cè)人群總數(shù)。

2.3 LMCNN計(jì)數(shù)性能實(shí)例驗(yàn)證

將該模型與文獻(xiàn)［5，11，14］算法進(jìn)行對(duì)比，其中文獻(xiàn)［5］注意到CNN 中卷積核尺寸固定，同一卷積核卷積運(yùn)算的感受野大小不變，未考慮透視畸變對(duì)于人群密度分布的影響，率先提出MCNN 結(jié)構(gòu)，采用多列卷積與不同尺寸卷積核學(xué)習(xí)密度分布特征，是人群計(jì)數(shù)領(lǐng)域經(jīng)典模型；文獻(xiàn)［11］在此基礎(chǔ)上進(jìn)一步采用按原子速率排序的原子卷積結(jié)構(gòu)、金字塔結(jié)構(gòu)的無(wú)規(guī)則卷積塊跳過(guò)連接方式和權(quán)值與功能共享，在保證分辨率的同時(shí)擴(kuò)大感知范圍以集成多尺度特征；文獻(xiàn)［14］基于優(yōu)化Inception-ResNet-A 模塊和Gradient Boosting 集成學(xué)習(xí)方法設(shè)計(jì)端到端的網(wǎng)絡(luò)結(jié)構(gòu)，采用較大的感受野以融合多個(gè)尺度的特征，是目前評(píng)價(jià)指標(biāo)較好的模型。

2.3.1 基于Shanghaitech數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

在數(shù)據(jù)預(yù)處理階段，如圖5、6 中（a）所示，將圖像隨機(jī)裁剪相同大小的4份，同時(shí)保證這4份子圖相互疊加能夠覆蓋整張圖像。在Shanghaitech數(shù)據(jù)集上，對(duì)Part_A與Part_B分別進(jìn)行了訓(xùn)練與測(cè)試，不同算法的實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同算法在Shanghaitech數(shù)據(jù)集上的MAE和MSE對(duì)比Tab.2 Comparison of MAE and MSE for different algorithms on Shanghaitech dataset

由表2 來(lái)看，LMCNN 模型在稠密度較高的子集Part_A 上表現(xiàn)優(yōu)于其他方法，它的MAE 與MSE與經(jīng)典算法MCNN 相比顯著減少，相比基于CNN 結(jié)構(gòu)的ACSPNet 算法分別減小了18.7%和22.3%，相比目前較好的算法GB-MSCNet 分別減小了7.6%和10.7%，說(shuō)明LAFPNet充分學(xué)習(xí)到了高密度區(qū)域特征；但在如圖6（a）所示稠密度較低的子集Part_B 中，LMCNN的MAE 表現(xiàn)略遜于GB-MSCNet，Part_B 為低密度圖像，背景主要為街道且布局雜亂，LAFPNet 過(guò)多提取背景特征，導(dǎo)致MAE 稍大。圖5 與圖6 分別展示了模型在數(shù)據(jù)集Part_A 與Part_B 隨機(jī)圖像的真實(shí)密度圖與預(yù)測(cè)密度圖的對(duì)比，充分說(shuō)明網(wǎng)絡(luò)預(yù)測(cè)密度圖較為準(zhǔn)確地反映了圖像真實(shí)密度。

圖5 Part_A測(cè)試圖像的真實(shí)密度圖與預(yù)測(cè)密度圖對(duì)比Fig.5 Comparison of real density map and predicted density map of Part_A test picture

圖6 Part_B測(cè)試圖像的真實(shí)密度圖與預(yù)測(cè)密度圖對(duì)比Fig.6 Comparison of real density map and predicted density map of Part_B test picture

2.3.2 基于UCF_CC_50數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

在數(shù)據(jù)預(yù)處理階段，將每張圖像都隨機(jī)裁剪成相同大小的16 份，并保證這16 份子圖相加能夠覆蓋整張圖像。在UCF_CC_50數(shù)據(jù)集上進(jìn)行了訓(xùn)練與測(cè)試，結(jié)果如表3所示。

表3 不同算法在UCF_CC_50數(shù)據(jù)集上的MAE和MSE對(duì)比Tab.3 Comparison of MAE and MSE for different algorithms on UCF_CC_50 dataset

由表3 來(lái)看，LMCNN 模型在UCF_CC_50 數(shù)據(jù)集上的MAE 和MSE 比目前較好的算法GB-MSCNet 分別減小了10.1%和18.8%，模型性能顯著提高，比基于CNN 結(jié)構(gòu)的ACSPNet算法分別減小了20.3%和22.6%。該數(shù)據(jù)集人群密度較大，圖像中由于視角失真引起的密度分布變化規(guī)律更為明顯，充分發(fā)揮了LAFPNet 對(duì)局部高密度序列特征關(guān)聯(lián)性的感知能力，充分說(shuō)明LSTM 單元處理具有明顯層次變化信息的圖像的學(xué)習(xí)能力要比僅基于多尺度CNN 的效果更好。圖7中展示了在UCF_CC_50 數(shù)據(jù)集上訓(xùn)練損失值的變化曲線，可以看出，大約在前1 000次的迭代中，損失震蕩較為強(qiáng)烈，但總體趨勢(shì)在降低，隨著迭代輪數(shù)的增加，損失值最終收斂到了較低水平。對(duì)于回歸任務(wù)來(lái)說(shuō)，引進(jìn)LSTM 單元能有效提高模型準(zhǔn)確率。

圖7 UCF_CC_50數(shù)據(jù)集上的損失函數(shù)曲線Fig.7 Loss function curve on UCF_CC_50 dataset

3 結(jié)語(yǔ)

本文提出了融合全局特征感知網(wǎng)絡(luò)與局部關(guān)聯(lián)性特征感知網(wǎng)絡(luò)的LMCNN人群計(jì)數(shù)模型，該模型以全局感知特征網(wǎng)絡(luò)為主，基于多模融合策略引入LSTM 單元，利用LSTM 單元對(duì)序列的關(guān)聯(lián)性特征具有強(qiáng)感知的特點(diǎn)，通過(guò)對(duì)空間維度特征與單圖像內(nèi)序列特征的充分融合，以減小由透視畸變和視角失真引起的人群計(jì)數(shù)誤差，較為準(zhǔn)確地預(yù)測(cè)密集區(qū)域人數(shù)。在Shanghaitech、UCF_CC_50 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明LMCNN 網(wǎng)絡(luò)在UCF_CC_50 數(shù)據(jù)集上對(duì)于高密度人群預(yù)測(cè)準(zhǔn)確率均優(yōu)于MCNN、ACSPNet 和GB-MSCNet，說(shuō)明循環(huán)感知單元對(duì)于透視畸變、視角失真圖像序列特征學(xué)習(xí)的充分性。但是當(dāng)人群密度稀疏、背景雜亂時(shí)，LMCNN 模型預(yù)測(cè)能力較弱，主要由于人群個(gè)體尺寸變化規(guī)律的特征表示程度較小，導(dǎo)致循環(huán)感知特征時(shí)過(guò)多提取背景特征，空間維度上循環(huán)感知局部特征的學(xué)習(xí)能力無(wú)法得到很好的提升。在下一步工作中，將基于尺度和視角變化特征，進(jìn)一步提高該模型在低密度人群圖像中計(jì)數(shù)準(zhǔn)確性。