基于深度學(xué)習(xí)的人群計(jì)數(shù)研究綜述

余 鷹 朱慧琳 錢 進(jìn) 潘 誠 苗奪謙,2

1(華東交通大學(xué)軟件學(xué)院 南昌 330013) 2(同濟(jì)大學(xué)電子與信息工程學(xué)院 上海 201804)

人群計(jì)數(shù)是估計(jì)圖像或視頻中人群的數(shù)量、密度或分布[1]，它是智能視頻監(jiān)控分析領(lǐng)域的關(guān)鍵問題和研究熱點(diǎn)，也是后續(xù)行為分析[2-3]、擁塞分析[4]、異常檢測[5-6]和事件檢測[7]等高級視頻處理任務(wù)的基礎(chǔ).隨著城市化進(jìn)程的快速推進(jìn)，城市人口數(shù)量急劇增長，導(dǎo)致各種人員高度聚集的社會活動頻繁發(fā)生，如果管控不當(dāng)，極易發(fā)生擁擠踩踏事故.例如上海“12.31”外灘踩踏事故中，由于現(xiàn)場管理和應(yīng)對措施不當(dāng)，引發(fā)了人群擁擠和摔倒，最終造成了重大人員傷亡的嚴(yán)重后果[8-9].如果有精度良好的人群計(jì)數(shù)系統(tǒng)實(shí)時(shí)統(tǒng)計(jì)相關(guān)場所的人群數(shù)量、分布或密度等信息，及時(shí)發(fā)現(xiàn)人群擁擠和異常行為并進(jìn)行預(yù)警，以便采取措施進(jìn)行疏導(dǎo)，就可以避免悲劇的發(fā)生[10-11].性能良好的人群計(jì)數(shù)算法也可以遷移到其他目標(biāo)計(jì)數(shù)領(lǐng)域，如顯微圖片中的細(xì)菌與細(xì)胞計(jì)數(shù)[12]、擁擠道路上的汽車計(jì)數(shù)[13]等，拓展人群計(jì)數(shù)算法的應(yīng)用范圍.因此,人群計(jì)數(shù)方法的研究有著重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值.

隨著人工智能、計(jì)算機(jī)視覺等技術(shù)的不斷發(fā)展，人群計(jì)數(shù)受到了國內(nèi)外眾多學(xué)者的廣泛關(guān)注和研究.早期人群計(jì)數(shù)主要使用傳統(tǒng)的計(jì)算機(jī)視覺方法提取行人特征[14]，然后通過目標(biāo)檢測[15-19]或回歸[20-21]的方式獲取圖像[22-25]或視頻[26-28]中人群的數(shù)量.傳統(tǒng)方法具有一定局限性，無法從圖像中提取更抽象的有助于完成人群計(jì)數(shù)任務(wù)的語義特征，使得面對背景復(fù)雜、人群密集、遮擋嚴(yán)重的場景時(shí)，計(jì)數(shù)精度無法滿足實(shí)際需求.近年來，深度學(xué)習(xí)技術(shù)發(fā)展迅猛，在許多計(jì)算機(jī)視覺任務(wù)中得到成功應(yīng)用[29]，促使研究人員開始探索基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[30]的人群計(jì)數(shù)辦法.相比于傳統(tǒng)方法，基于CNN的人群計(jì)數(shù)方法在處理場景適應(yīng)性、尺度多樣性等問題時(shí)表現(xiàn)更優(yōu).而且由于特征是自學(xué)習(xí)的,不需要人工選取，可以顯著提升計(jì)數(shù)效果，因此已經(jīng)成為當(dāng)前人群計(jì)數(shù)領(lǐng)域的研究熱點(diǎn).使用CNN的人群計(jì)數(shù)方法主要分為直接回歸計(jì)數(shù)法和密度圖估計(jì)法2類.直接回歸法只需向CNN送入人群圖片，就可以直接輸出人群數(shù)量，適用于人群稀疏場景.在密度圖法中，CNN輸出的是人群密度圖，再以數(shù)學(xué)積分求和的方式計(jì)算出人數(shù).這類方法性能的好壞一定程度上依賴于密度圖的質(zhì)量.為了提升密度圖質(zhì)量，會引入新的損失函數(shù)[31]來提高密度圖的清晰度和準(zhǔn)確度.無論采用哪種方法，都需要先進(jìn)行特征提取.為了提升特征的魯棒性，常使用多尺度預(yù)測、上下文感知、空洞卷積、可形變卷積等方法改進(jìn)特征提取過程，以增強(qiáng)特征的判別能力.

得益于深度學(xué)習(xí)模型強(qiáng)大的特征提取能力，基于深度學(xué)習(xí)的人群計(jì)數(shù)方法的研究已經(jīng)取得了很多優(yōu)秀的成果.根據(jù)計(jì)數(shù)對象，可以將這些方法歸納為基于圖像和基于視頻的2類；根據(jù)網(wǎng)絡(luò)模型結(jié)構(gòu)，可將它們劃分為單分支結(jié)構(gòu)、多分支結(jié)構(gòu)和特殊結(jié)構(gòu)3類；根據(jù)度量規(guī)則，可將它們劃分為基于歐氏距離損失、基于SSIM損失和基于對抗損失等多類.

本文重點(diǎn)討論基于深度學(xué)習(xí)的靜態(tài)圖像人群計(jì)數(shù)方法，主要貢獻(xiàn)可以歸納為3個方面：

1)從不同層面，對人群計(jì)數(shù)領(lǐng)域的研究現(xiàn)狀進(jìn)行系統(tǒng)全面的總結(jié)和深入的探討，包括計(jì)數(shù)網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、性能評價(jià)指標(biāo)等.這種全面梳理可以幫助研究人員快速了解基于深度學(xué)習(xí)的人群計(jì)數(shù)算法的研究現(xiàn)狀和關(guān)鍵技術(shù).

2)基于數(shù)據(jù)比較了不同模型的計(jì)數(shù)效果，分析了計(jì)數(shù)模型性能優(yōu)劣的原因，為未來研究人員設(shè)計(jì)更加優(yōu)化的計(jì)數(shù)模型提供借鑒.

3)歸納總結(jié)了在模型設(shè)計(jì)、損失函數(shù)定義、ground-truth生成等方面存在的問題，為未來該領(lǐng)域的研究指明了方向.

1 人群計(jì)數(shù)網(wǎng)絡(luò)

1.1 單分支結(jié)構(gòu)計(jì)數(shù)網(wǎng)絡(luò)

早期使用CNN的人群計(jì)數(shù)網(wǎng)絡(luò)均為只包含一條數(shù)據(jù)通路的單分支網(wǎng)絡(luò)結(jié)構(gòu).Wang等人[32]最先將CNN引入人群計(jì)數(shù)領(lǐng)域，提出了一種適用于密集人群場景的端到端CNN回歸模型.該模型對AlexNet網(wǎng)絡(luò)[33]進(jìn)行改進(jìn)，將最后的全連接層替換為單神經(jīng)元層，直接預(yù)測人群數(shù)量.由于沒有預(yù)測人群密度圖，所以無法統(tǒng)計(jì)場景中的人員分布情況.此外,雖然該模型通過CNN自動學(xué)習(xí)了有效的計(jì)數(shù)特征，但是由于AlexNet的寬度較窄，深度也較淺，導(dǎo)致特征魯棒性不夠強(qiáng)，在人群密集場景下的計(jì)數(shù)效果較差，并且在跨場景計(jì)數(shù)時(shí)，效果不甚理想，缺乏足夠的泛化性.

為了解決跨場景問題，Zhang等人[24]提出了一種基于AlexNet的跨場景計(jì)數(shù)模型Crowd CNN，首次嘗試輸出人群密度圖，其總體結(jié)構(gòu)如圖1[24]所示:

Fig.1 The cross-scene crowd counting model proposed by Reference[24]

Fig.2 Normalized crowd density map for training[24]

其中，圖1(a)描繪了計(jì)數(shù)網(wǎng)絡(luò)的預(yù)訓(xùn)練(pre-trained)過程，通過人群密度圖(crowd density map)和人群計(jì)數(shù)(crowd counts)這2個目標(biāo)任務(wù)的交替訓(xùn)練來優(yōu)化模型.然后，算法會根據(jù)目標(biāo)場景特點(diǎn)，選擇相似場景對計(jì)數(shù)模型進(jìn)行微調(diào)(fine-tuning)，如圖1(b)所示，以達(dá)到跨場景計(jì)數(shù)的目的.為了提升計(jì)數(shù)準(zhǔn)確性，作者還提出了透視圖(perspective map)的概念，如圖2(a)所示，顏色越淺代表目標(biāo)尺度越大.然后，通過密度圖和透視圖的融合，如圖2(b)所示，降低透視形變(perspective distortion)的不良影響，提升密度圖質(zhì)量.但是透視圖較難獲得，限制了該模型的推廣.該工作的另一個貢獻(xiàn)是建立了經(jīng)典的人群計(jì)數(shù)數(shù)據(jù)集WorldExpo’10，為交叉場景人群計(jì)數(shù)模型的測評提供數(shù)據(jù).

1.2 多分支結(jié)構(gòu)計(jì)數(shù)網(wǎng)絡(luò)

人群分布相對監(jiān)控?cái)z像頭位置具有較大的不確定性，導(dǎo)致拍攝視角差異較大，所拍攝到的圖像或視頻中目標(biāo)尺寸變化較大.對于人群計(jì)數(shù)任務(wù)來說，如何提高計(jì)數(shù)網(wǎng)絡(luò)對目標(biāo)尺度變化的適應(yīng)性是亟待解決的問題.

為了解決多尺度問題，Boominathan等人[34]基于CNN提出了一種雙分支結(jié)構(gòu)計(jì)數(shù)網(wǎng)絡(luò)CrowdNet，如圖3所示.通過一個淺層網(wǎng)絡(luò)(shallow network)和一個深層網(wǎng)絡(luò)(deep network)分別提取不同尺度的特征信息進(jìn)行融合來預(yù)測人群密度圖.這種組合可以同時(shí)捕獲高級和低級語義信息，以適應(yīng)人群的非均勻縮放和視角的變化，因此有利于不同場景不同尺度的人群計(jì)數(shù).

通過引入多路網(wǎng)絡(luò)，使用大小不同的感受野提取不同尺度特征可以有效解決多尺度問題，由此衍生出了一系列多列卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的人群計(jì)數(shù)算法.

Zhang等人[25]受多分支深度卷積神經(jīng)網(wǎng)絡(luò)[35]的啟發(fā)，提出了一種多列卷積神經(jīng)網(wǎng)絡(luò)(multi-column CNN, MCNN)用于人群計(jì)數(shù)，其結(jié)構(gòu)如圖4所示.每一分支網(wǎng)絡(luò)采用不同大小的卷積核來提取不同尺度目標(biāo)的特征信息，減少因?yàn)橐暯亲兓纬傻哪繕?biāo)大小不一導(dǎo)致的計(jì)數(shù)誤差.MCNN建立了圖像與人群密度圖之間的非線性關(guān)系，通過用全卷積層替換全連接層，使得模型可以處理任意大小的輸入圖片.為了進(jìn)一步修正視角變化帶來的影響，MCNN在生成密度圖時(shí)，沒有采用固定的高斯核，而是利用自適應(yīng)高斯核計(jì)算密度圖，提升了密度圖質(zhì)量.該工作的另一貢獻(xiàn)是收集并標(biāo)注了ShanghaiTech人群計(jì)數(shù)數(shù)據(jù)集，該數(shù)據(jù)集由1 198張帶標(biāo)注的圖像組成，包含人群分布從稀疏到密集變化的各種場景，目前該數(shù)據(jù)集已成為人群計(jì)數(shù)領(lǐng)域的基準(zhǔn)數(shù)據(jù)集之一.

Fig.3 The structure of two-column crowd crounting network[34]

Fig.4 The structure of the multi-column crowd counting network[25]

計(jì)數(shù)性能的好壞主要依賴于密度圖的質(zhì)量.為了生成更高質(zhì)量的密度圖，Sindagi等人[36]提出了上下文金字塔卷積神經(jīng)網(wǎng)絡(luò)計(jì)數(shù)模型CP-CNN，其結(jié)構(gòu)如圖5所示，通過多個CNN獲取不同尺度的場景上下文信息，并將這些上下文信息顯式地嵌入到密度圖生成網(wǎng)絡(luò)，提升密度估計(jì)的精度.CP-CNN由4個部分組成，其中全局上下文估計(jì)器(global context estimator, GCE)和局部上下文估計(jì)器(local context estimator, LCE)分別提取圖像的全局和局部上下文信息，即分別從全局和局部的角度預(yù)測圖像的密度等級；密度估計(jì)器(density map estimator, DME)沒有直接生成密度圖，而是沿用了MCNN的多列網(wǎng)絡(luò)結(jié)構(gòu)生成高維特征圖；融合卷積神經(jīng)網(wǎng)絡(luò)(fusion-CNN, F-CNN)則將前3個部分的輸出進(jìn)行融合，生成密度圖.為了彌補(bǔ)DME中丟失的細(xì)節(jié)信息，F(xiàn)-CNN使用了一系列小數(shù)步長卷積層幫助重建密度圖的細(xì)節(jié).現(xiàn)有的CNN計(jì)數(shù)網(wǎng)絡(luò)主要使用像素級歐氏距離損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)，這導(dǎo)致生成的密度圖比較模糊.為此，CP-CNN引入對抗損失(adver-sarial loss)，利用生成對抗網(wǎng)絡(luò)(generative adver-sarial net, GAN)[37]來克服歐氏距離損失函數(shù)的不足.

2017年，Sam等人[38]提出了一種多列選擇卷積神經(jīng)網(wǎng)絡(luò)(switch convolution neural network, Switch-CNN)用于人群計(jì)數(shù)，其結(jié)構(gòu)如圖6所示.與MCNN不同之處在于，Switch-CNN雖然采用多列網(wǎng)絡(luò)結(jié)構(gòu)，但是各列網(wǎng)絡(luò)獨(dú)立處理不同的區(qū)域.在送入網(wǎng)絡(luò)之前，圖像被切分成3×3的區(qū)域，然后對每個區(qū)域使用特定的SWITCH模塊進(jìn)行密度等級劃分，并根據(jù)密度等級選擇對應(yīng)的分支進(jìn)行計(jì)數(shù).通過對于密度不同的人群有針對性地選用不同尺度的回歸網(wǎng)絡(luò)進(jìn)行密度估計(jì)，使得最終的計(jì)數(shù)結(jié)果更為準(zhǔn)確.Switch-CNN也存在不容忽視的弊端，如果分支選擇錯誤將會大大影響計(jì)數(shù)準(zhǔn)確度.

Fig.5 Architecture of CP-CNN[36]

Fig.6 Architecture of Switch-CNN[38]

Switch-CNN根據(jù)圖像塊的內(nèi)容選擇合適的分支網(wǎng)絡(luò)進(jìn)行人群密度估計(jì)的做法，為設(shè)計(jì)多列計(jì)數(shù)網(wǎng)絡(luò)提供了新思路.但是Swith-CNN將密度等級固定劃分為3個層次，難以應(yīng)對人群密度變化范圍很大的場景.為此，Sam等人[39]對Switch-CNN進(jìn)行改進(jìn)，提出了逐步增長卷積神經(jīng)網(wǎng)絡(luò)(incrementally growing CNN, IG-CNN)，其層次化訓(xùn)練過程如圖7所示.從一個基礎(chǔ)CNN模型(Base CNN)開始，通過不斷地迭代，最后生成1棵CNN二叉樹，葉子節(jié)點(diǎn)即為用于密度估計(jì)的回歸器，其中每個回歸器對應(yīng)1種特定的密度等級.第1層通過聚類將訓(xùn)練集D0劃分成D00和D01這2個部分，然后R00和R01是由復(fù)制R0而來，隨后R00和R01分別在對應(yīng)的訓(xùn)練集D00和D01上訓(xùn)練，其他層的構(gòu)建情況相似.最終通過層次聚類，將原始訓(xùn)練集劃分成多個子集，每個子集對應(yīng)1個密度等級，由相應(yīng)的密度估計(jì)器負(fù)責(zé)計(jì)數(shù).測試階段則會根據(jù)圖片的密度等級選擇對應(yīng)的密度估計(jì)器.

Fig.7 Training process of IG-CNN[39]

Fig.8 Architecture of DecideNet[41]

在已有的人群計(jì)數(shù)模型中，通常單純地假設(shè)場景中的人群分布是稀疏或密集的.針對稀疏場景，采用檢測方法進(jìn)行計(jì)數(shù)[40]；而針對密集場景，則采用回歸方法進(jìn)行人群密度估計(jì).這樣的模型往往難以應(yīng)對密度變化范圍很廣的人群場景的計(jì)數(shù).為了解決這個問題，Liu等人[41]提出了一種檢測和回歸相結(jié)合的人群計(jì)數(shù)模型DecideNet，其結(jié)構(gòu)如圖8所示.該模型也是一種多列結(jié)構(gòu)的計(jì)數(shù)網(wǎng)絡(luò)，其中RegNet模塊采用回歸方法直接從圖像中估計(jì)人群密度，DetNet模塊則在Faster-RCNN的后面添加了一個高斯卷積層(Gaussian convolution)，直接將檢測結(jié)果轉(zhuǎn)化為人群密度圖，然后QualityNet引入注意力模塊，自動判別人群密集程度，并根據(jù)判別結(jié)果自適應(yīng)地調(diào)整檢測和回歸這2種方法的權(quán)重，再根據(jù)這個權(quán)重將這2種密度圖進(jìn)行融合，以此獲取更好的最優(yōu)解.但是由于RegNet和DetNet這2個子網(wǎng)絡(luò)均使用了較大的感受野，模型參數(shù)過多，導(dǎo)致該模型的訓(xùn)練復(fù)雜度較高.

多列計(jì)數(shù)網(wǎng)絡(luò)使用不同大小的卷積核提取圖像的多尺度特征，其良好的效果說明多尺度表達(dá)的重要性.但是多列計(jì)數(shù)網(wǎng)絡(luò)也引入了新的問題，首先多尺度表達(dá)的性能通常依賴于網(wǎng)絡(luò)分支的數(shù)量，即尺度的多樣性受限于分支數(shù)目，其次已有工作大多采用歐氏距離作為損失函數(shù)，假設(shè)像素之間互相獨(dú)立，導(dǎo)致生成的密度圖比較模糊.

為了解決上述問題，Cao等人[42]提出了一種尺度聚合網(wǎng)絡(luò)(scale aggregation network, SANet)，其結(jié)構(gòu)如圖9所示.該模型沒有采用MCNN的多列網(wǎng)絡(luò)結(jié)構(gòu)，而是借鑒了Inception[43]的架構(gòu)思想，在每個卷積層同時(shí)使用不同大小的卷積核提取不同尺度的特征，最后通過反卷積生成高分辨率的密度圖.整個模型由FME(feature map encoder)和DME(density map estimator)這2個部分組成，F(xiàn)ME聚合提取出多尺度特征，DME融合特征生成高分辨率的密度圖.度量預(yù)測的密度圖與ground-truth的相似度時(shí)，采用SSIM計(jì)算局部一致性損失，然后對歐氏損失和局部一致性損失進(jìn)行加權(quán)得到總損失.

Fig.9 Architecture of SANet[42]

Fig.10 Architectureof SAAN[44]

由于“透視畸變”問題，位于不同景深的目標(biāo)尺寸差異較大，對人群計(jì)數(shù)模型的建模能力提出了很高的要求.為了解決這個問題，Hossain等人[44]首次將注意力機(jī)制引入人群計(jì)數(shù)領(lǐng)域，提出了多分支的尺度感知注意力網(wǎng)絡(luò)(scale-aware attention network, SAAN)，其結(jié)構(gòu)如圖10[44]所示.該網(wǎng)絡(luò)由4個模塊組成，其中多尺度特征提取器(multi-scale feature extractor, MFE)負(fù)責(zé)從輸入圖像中提取多尺度特征圖.受到MCNN[25]啟發(fā)，MFE被設(shè)計(jì)成包含3個分支的多列網(wǎng)絡(luò)，每個分支的感受野大小不同，可以捕獲不同尺度的特征；為了獲得圖像的全局密度信息，與MFE中3個不同尺度的分支相對應(yīng)，定義了3個全局密度等級，然后利用全局尺度注意力(global scale attentions, GSA)模塊負(fù)責(zé)提取輸入圖像的全局上下文信息，計(jì)算3個全局密度等級對應(yīng)的評分，并對這3個分值進(jìn)行歸一化.GSA只能提取圖像的全局尺度信息，但在實(shí)際的人群計(jì)數(shù)圖像中，不同位置往往存在密度差異，為此增加了局部尺度注意力(local scale attention, LSA)負(fù)責(zé)提取圖像不同位置的細(xì)粒度局部上下文信息，并生成3張像素級的注意力圖，用于描述局部尺度信息；最后，根據(jù)全局和局部的尺度信息對MFE提取的特征圖進(jìn)行加權(quán)，然后將加權(quán)后的特征圖輸入融合網(wǎng)絡(luò)(fusion network, FN)生成最終的密度圖.

與DecideNet[41]相比，SAAN通過注意力機(jī)制進(jìn)行尺度選擇的方式更加靈活.但是，由于SAAN包含4個子網(wǎng)絡(luò)，且MFE包含多個分支，網(wǎng)絡(luò)模型復(fù)雜、參數(shù)多、訓(xùn)練難度很大.

1.3 特殊結(jié)構(gòu)計(jì)數(shù)網(wǎng)絡(luò)

雖然多分支結(jié)構(gòu)計(jì)數(shù)網(wǎng)絡(luò)取得了較好的計(jì)數(shù)效果，但是多分支結(jié)構(gòu)網(wǎng)絡(luò)模型的復(fù)雜性較高，由此也帶來了一些新的問題[45].首先，網(wǎng)絡(luò)模型參數(shù)繁多、訓(xùn)練困難，導(dǎo)致計(jì)數(shù)實(shí)時(shí)性較差；其次，多分支網(wǎng)絡(luò)的結(jié)構(gòu)冗余度較高.多分支計(jì)數(shù)網(wǎng)絡(luò)原本是想通過不同的分支采用大小不等的感受野來提取不同尺度的特征，增強(qiáng)特征的適用性和魯棒性.但研究表明，不同分支學(xué)習(xí)到的特征相似度很高，并沒有因?yàn)閳鼍懊芗潭炔煌霈F(xiàn)明顯差異.為了克服這些問題，研究人員開始嘗試將一些新型CNN結(jié)構(gòu)，例如空洞卷積網(wǎng)絡(luò)(dilated convolutional networks)[46]、可形變卷積網(wǎng)絡(luò)(deformable convolutional network)[47]、GAN[37]等，引入人群計(jì)數(shù)領(lǐng)域，以降低計(jì)數(shù)模型復(fù)雜度，提升計(jì)數(shù)精度和人群密度圖的還原度.

2018年，Li等人[45]提出了一種適用于密集人群計(jì)數(shù)的空洞卷積神經(jīng)網(wǎng)絡(luò)模型CSRNet，其網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示.CSRNet沒有采用以往廣泛使用的多分支網(wǎng)絡(luò)結(jié)構(gòu)，而是將舍棄了全連接層的VGG-16作為該網(wǎng)絡(luò)的前端部分，后端則采用6層空洞卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)成一個單通道計(jì)數(shù)網(wǎng)絡(luò)，大幅削減了網(wǎng)絡(luò)參數(shù)量，降低了訓(xùn)練難度.同時(shí),借助空洞卷積可以在保持分辨率的同時(shí)擴(kuò)大感受野的優(yōu)勢，保留了更多的圖像細(xì)節(jié)信息，使得生成的人群分布密度圖質(zhì)量更高.CSRNet后端有A，B，C，D這4組不同的配置，其中B組方案在ShanghaiTech PartA數(shù)據(jù)集上的表現(xiàn)最優(yōu).

CSRNet的成功為密集人群計(jì)數(shù)提供了新的思路，隨后許多學(xué)者開始效仿采用空洞卷積進(jìn)行人群計(jì)數(shù)研究[48].

Fig.11 Configuration of CSRNet[45]

多分支計(jì)數(shù)網(wǎng)絡(luò)的不同分支之間缺少相互協(xié)作，每個分支只是試圖通過最小化歐氏損失優(yōu)化自己的估計(jì).由于每個分支只在特定尺度上表現(xiàn)良好，導(dǎo)致平均各分支結(jié)果后生成的密度圖較模糊，同時(shí)由于在網(wǎng)絡(luò)中使用池化層，大大降低了密度圖的分辨率，使得最終的計(jì)數(shù)結(jié)果產(chǎn)生誤差.此外，存在跨尺度統(tǒng)計(jì)不一致問題，一個圖像分割成多份分別輸入網(wǎng)絡(luò)得到的總?cè)藬?shù)和將輸入整張圖像計(jì)算得出的人數(shù)存在差異.

為解決這些問題，受GAN在圖像翻譯方面[49]成功應(yīng)用的啟發(fā)，文獻(xiàn)[50]提出了一種基于GAN的跨尺度人群計(jì)數(shù)網(wǎng)絡(luò)(adversarial cross-scale consis-tency pursuit network, ACSCP)，其結(jié)構(gòu)如圖12[50]所示.對抗損失的引入使得生成的密度圖更加尖銳，U-Net 結(jié)構(gòu)[51]的生成器保證了密度圖的高分辨率，同時(shí)跨尺度一致性正則化約束了圖像間的跨尺度誤差.因此，該模型最終能生成質(zhì)量好、分辨率高的人群分布密度圖，從而獲得更高的人群計(jì)數(shù)精度.

利用GAN來提高人群計(jì)數(shù)精度的方法，開啟了一種新的思路.在SFCN[52]計(jì)數(shù)網(wǎng)絡(luò)中，使用了改進(jìn)的Cycle GAN[53]產(chǎn)生數(shù)據(jù)集風(fēng)格相似的圖片，并貢獻(xiàn)了GCC數(shù)據(jù)集.DACC[54]中也使用Cycle GAN進(jìn)行風(fēng)格遷移.

基于深度神經(jīng)網(wǎng)絡(luò)的人群計(jì)數(shù)解決方案雖然取得了顯著成果，但在高度擁擠嘈雜場景中，計(jì)數(shù)效果仍然會受到背景噪音、遮擋和不一致的人群分布的嚴(yán)重影響.為了解決這個問題，Liu等人[55]提出了一種融合了注意力機(jī)制的可形變卷積網(wǎng)絡(luò)ADCrowdNet用于人群計(jì)數(shù).如圖13[55]所示，該網(wǎng)絡(luò)模型主要由2個部分串聯(lián)而成，其中注意力圖生成器(attention map generator, AMG)用于檢測人群候選區(qū)域，并估計(jì)這些區(qū)域的擁擠程度，為后續(xù)人群密度圖的生成提供精細(xì)化的先驗(yàn)知識.通過注意力機(jī)制，可以過濾掉復(fù)雜背景等無關(guān)信息，使得后續(xù)工作只關(guān)注人群區(qū)域，降低各種噪聲的干擾.密度圖估計(jì)器(density map estimator, DME)是一個多尺度可形變卷積網(wǎng)絡(luò)，用于生成高質(zhì)量的密度圖.由于注入了注意力，可形變卷積添加了方向參數(shù)，卷積核在注意力指導(dǎo)下在特征圖上延伸，可以對不同形狀的人群分布進(jìn)行建模，很好地適應(yīng)了真實(shí)場景中攝像機(jī)視角失真和人群分布多樣性導(dǎo)致的畸變，保證了擁擠場景中人群密度圖的準(zhǔn)確性.

Fig.12 Architecture of ACSCP[50]

Fig.13 Architecture of ADCrowdNet[55]

注意力圖生成器AMG的網(wǎng)絡(luò)結(jié)構(gòu)如圖14所示，采用了VGG-16網(wǎng)絡(luò)前10個卷積層作為前端(front end)，用來提取圖像的底層特征，后端(back end)架構(gòu)類似Inception結(jié)構(gòu)[43]，采用多個空洞率不同的空洞卷積層[56]擴(kuò)大感受野，應(yīng)對不同尺度的人群分布.后端輸出2通道的特征圖Fc和Fb，分別代表前景(人群)和背景.然后，通過對特征圖取全局平均池化GAP獲得相應(yīng)的權(quán)重Wc和Wb，再對其結(jié)果用softmax進(jìn)行分類獲取概率Pc和Pb.最后，對特征圖和概率進(jìn)行點(diǎn)乘獲得注意力圖.

密度圖估計(jì)器DME的網(wǎng)絡(luò)結(jié)構(gòu)如圖15所示，前端依然使用VGG-16，后端架構(gòu)依然類似inception結(jié)構(gòu)，但是采用了更適合擁擠嘈雜場景的多尺度可形變卷積，以適應(yīng)人群分布的幾何形變.

同年，DADNet[57]也同樣使用可形變卷積進(jìn)行人群計(jì)數(shù)，取得了較好的計(jì)數(shù)效果.

Fig.14 Architecture of attention map generator

Fig.15 Architecture of density map estimator

背景噪聲會對人群計(jì)數(shù)算法的性能帶來重大影響.為了減少背景噪聲干擾，許多學(xué)者進(jìn)行了嘗試，例如ADCrowdNet通過注意力機(jī)制，過濾掉背景，讓模型只關(guān)注人群區(qū)域.此外，也有學(xué)者試圖將圖像分割技術(shù)MASK R-CNN[58]應(yīng)用于人群計(jì)數(shù)領(lǐng)域，以去除背景噪聲.

實(shí)現(xiàn)背景和人群分割的難點(diǎn)在于如何制作用于分割的ground truth.為此，研究者們進(jìn)行了各種嘗試，SFANet[59]采用了將原本的坐標(biāo)點(diǎn)ground truth進(jìn)行固定高斯核大小的高斯模糊，再選取一定閾值對其進(jìn)行0和1的二值化，由此形成分割ground truth；MAN[60]采用了固定高斯核對原本坐標(biāo)點(diǎn)ground truth進(jìn)行處理，并將非0值全置為1，形成分割ground truth；W-Net[61]則采用SANet[42]中的歸一化高斯核方法對坐標(biāo)點(diǎn)圖進(jìn)行高斯模糊，再設(shè)置一定的閾值進(jìn)行二分類；SGANet[62]采用每個人頭使用25×25的方格表示，以此制作ground truth.

總之，如何降低背景噪聲干擾仍然是人群計(jì)數(shù)領(lǐng)域未來需要重點(diǎn)關(guān)注的問題.除了以上結(jié)合分割算法的人群計(jì)數(shù)算法以外，CFF[63]將分割任務(wù)、分類任務(wù)、計(jì)數(shù)任務(wù)結(jié)合，為我們提供了多任務(wù)結(jié)合的思路.

由分析可知，隨著研究的深入，計(jì)數(shù)模型的結(jié)構(gòu)在不斷發(fā)生變化.為了解決多尺度問題，計(jì)數(shù)網(wǎng)絡(luò)從最初簡單的單分支結(jié)構(gòu)演變?yōu)閺?fù)雜的多分支結(jié)構(gòu)，使得計(jì)數(shù)準(zhǔn)確性得到了提升.但是多分支結(jié)構(gòu)會帶來了網(wǎng)絡(luò)參數(shù)量大、計(jì)算復(fù)雜度高等問題，導(dǎo)致計(jì)數(shù)模型的效率低下.為了克服這些問題，研究人員在設(shè)計(jì)時(shí)又試圖重新回歸簡單的單分支網(wǎng)絡(luò)結(jié)構(gòu)，通過引入各種新型CNN技術(shù)來降低模型復(fù)雜度，同時(shí)提升計(jì)數(shù)精度.因此，減少分支數(shù)量，讓計(jì)數(shù)模型既簡單又有效，將是未來模型網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)方向.

此外，從分析中可知，注意力機(jī)制、空洞卷積、對抗生成網(wǎng)絡(luò)、可形變卷積等CNN技術(shù)可以解決計(jì)數(shù)領(lǐng)域存在的多尺度、復(fù)雜背景干擾等問題，幫助提升密度圖質(zhì)量.因此，未來在設(shè)計(jì)網(wǎng)絡(luò)時(shí)，可以考慮結(jié)合這些技術(shù)提升計(jì)數(shù)精度.

2 人群計(jì)數(shù)損失函數(shù)

損失函數(shù)的作用是評價(jià)模型的預(yù)測值與真實(shí)值ground-truth的一致程度，是模型訓(xùn)練中不可缺少的一部分.損失函數(shù)值越小，說明預(yù)測值越接近真實(shí)值，則模型的計(jì)數(shù)性能越好.在人群計(jì)數(shù)任務(wù)中，通過定義損失函數(shù)，可以將人群密度圖的映射關(guān)系學(xué)習(xí)轉(zhuǎn)化為一個最優(yōu)化問題.常用的人群計(jì)數(shù)損失函數(shù)包括歐氏損失、結(jié)構(gòu)相似性損失等.神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的就是是找到使損失函數(shù)值最小的網(wǎng)絡(luò)參數(shù)值.

2.1 歐氏距離損失

早期絕大多數(shù)基于密度圖進(jìn)行人群計(jì)數(shù)的工作，例如跨場景計(jì)數(shù)模型[24]、MCNN[25]、CrowdNet[34]、Switch-CNN[38]、CSRNet[45]等方法，均采用像素級的歐氏距離作為模型損失函數(shù)，度量估計(jì)密度圖與真實(shí)密度圖之間的差距：

(1)

其中，F(xiàn)(Xi;θ)是參數(shù)為θ的映射函數(shù)，它將輸入圖像Xi映射到預(yù)測密度圖，F(xiàn)i是真實(shí)密度圖，N為訓(xùn)練樣本個數(shù).

由于歐氏距離損失簡單、訓(xùn)練速度快，且計(jì)數(shù)效果較好，早期得到了較為廣泛的應(yīng)用.但是歐氏距離損失的魯棒性較差，很容易因?yàn)閭€別像素點(diǎn)的極端情況而影響整體的計(jì)數(shù)效果.此外，歐氏距離損失是取所有像素點(diǎn)的平均，并不關(guān)注圖片的結(jié)構(gòu)化信息.對于同一張圖片，容易出現(xiàn)人群密集區(qū)域預(yù)測值偏小，而人群稀疏區(qū)域預(yù)測值偏大的問題，但是最終的平均結(jié)果卻沒有體現(xiàn)這些問題，從而導(dǎo)致生成的密度圖模糊、細(xì)節(jié)不清晰.

2.2 結(jié)構(gòu)相似性損失

由于歐氏距離損失不足以表達(dá)人的視覺系統(tǒng)對圖片的直觀感受，導(dǎo)致生成的密度圖質(zhì)量不高.為了克服歐氏距離損失的不足，SANet[42]提出了以結(jié)構(gòu)相似性指標(biāo)(structual similarity index)[31]為基礎(chǔ)的結(jié)構(gòu)相似性損失來度量密度圖的質(zhì)量.結(jié)構(gòu)相似性指標(biāo)是由Wang等人[31]提出的一種圖像質(zhì)量評價(jià)標(biāo)準(zhǔn)，記為SSIM.不同于基于像素的誤差評價(jià)標(biāo)準(zhǔn)，SSIM從圖像的亮度、對比度和結(jié)構(gòu)這3個方面度量圖像相似性，并通過均值、方差、協(xié)方差3個局部統(tǒng)計(jì)量計(jì)算2張圖像之間的相似度.SSIM的取值范圍在-1～1之間，SSIM值越大，說明相似度越高.結(jié)構(gòu)相似性指標(biāo)SSIM的計(jì)算方法為

(2)

(3)

其中，N代表密度圖的像素點(diǎn)數(shù)量，X是生成密度圖與真實(shí)密度圖相同像素點(diǎn)位置對應(yīng)的圖像塊集合.

實(shí)驗(yàn)表明，結(jié)構(gòu)相似性損失確實(shí)可以提高生成密度圖質(zhì)量，相比于關(guān)注像素間差異的歐氏距離損失，結(jié)構(gòu)相似性損失能夠更好地關(guān)注圖像間對應(yīng)局部塊的差異，從而更好地生成密度圖.在后續(xù)的研究中，計(jì)數(shù)模型SFCN[52]也采用了類似的做法.

為了進(jìn)一步提高計(jì)數(shù)精度，許多學(xué)者對結(jié)構(gòu)相似性損失進(jìn)行改進(jìn).DSSINet[64]將空洞卷積融入結(jié)構(gòu)相似性度量中，構(gòu)建了一個空洞卷積網(wǎng)絡(luò)DMS-SSIM用于計(jì)算結(jié)構(gòu)相似性損失LSSIM.通過擴(kuò)大SSIM指標(biāo)的感受野，每個像素點(diǎn)可以融合多尺度信息，使得在不同尺度下，可以輸出局部區(qū)域的高質(zhì)量密度圖.

思想道德修養(yǎng)與法律基礎(chǔ)課程的設(shè)置主要是對大學(xué)生進(jìn)行社會主義道德教育和法制教育。在不改變課程屬性和課程內(nèi)容前提下，從課程設(shè)計(jì)的主線、內(nèi)容的排序、課程載體及考核等方面借鑒工作過程系統(tǒng)化設(shè)計(jì)課程。將原本課程章節(jié)組合設(shè)置為4大專題，如，“大學(xué)新生變形記”，“愛己、愛他(她)、愛家庭、愛工作崗位、愛自然、愛國家”系列專題，結(jié)合當(dāng)前現(xiàn)實(shí)生活熱點(diǎn)案例設(shè)置為“×××案例之我見”與“我的道德踐行錄”。因此，課程考核可從網(wǎng)絡(luò)教學(xué)、課堂教學(xué)、實(shí)踐教學(xué)3個方面進(jìn)行。

2.3 生成對抗損失

基于密度圖的人群計(jì)數(shù)方法通常以單張靜態(tài)的人群圖像作為輸入，然后輸出1張與輸入圖像對應(yīng)的人群密度圖，這一目標(biāo)本質(zhì)上可視作一個圖像轉(zhuǎn)換問題(image-to-image translation).GAN[37]為解決圖像轉(zhuǎn)換問題提供了一個可行的思路，即可以通過生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的不斷博弈，進(jìn)而使生成網(wǎng)絡(luò)學(xué)習(xí)人群密度分布，生成密度圖的質(zhì)量逐漸趨好；判別網(wǎng)絡(luò)也通過不斷訓(xùn)練，提高本身的判別能力.損失函數(shù)作為生成對抗網(wǎng)絡(luò)的關(guān)鍵，對于生成對抗網(wǎng)絡(luò)訓(xùn)練、求解最優(yōu)值的過程尤為重要.在人群計(jì)數(shù)領(lǐng)域，可以使用對抗損失函數(shù)，通過對抗的方式對生成圖片進(jìn)行矯正，由此避免出現(xiàn)密度圖模糊問題.

CP-CNN[36]網(wǎng)絡(luò)在歐氏距離損失的基礎(chǔ)上，增加了生成對抗損失，提高了預(yù)測密度圖的質(zhì)量，其損失函數(shù)為

LT=LE+λaLA，

(4)

(5)

LA=-log(φD(φ(X)))，

(6)

其中，LT是總損耗，LE是生成密度圖與對應(yīng)的真實(shí)密度圖之間的像素級歐氏損失，λa是權(quán)重因子，LA是對抗性損失，X是尺寸為W×H的輸入圖像，Y是ground truth密度圖，φ是由DME和F-CNN組成的網(wǎng)絡(luò)，φD是用于計(jì)算對抗損失的鑒別子網(wǎng)絡(luò).

在之后的人群計(jì)數(shù)算法研究中，對抗損失屢見不鮮.ACSCP[50]網(wǎng)絡(luò)采用U-Net作為密度圖生成器，并使用了對抗損失，可定義為

LA(G,D)=Ex,y～Pdata(x,y)[logD(x,y)]+

Ex～Pdata(x)[log(1-D(x,G(x)))]，

(7)

其中，x表示訓(xùn)練塊，y表示相應(yīng)的ground truth.G是生成網(wǎng)絡(luò)，D是判別網(wǎng)絡(luò)，G試圖最小化這個目標(biāo)函數(shù)，而D試圖將其最大化，通過判別網(wǎng)絡(luò)與生成網(wǎng)絡(luò)的一種聯(lián)合訓(xùn)練得到最終的模型.RPNet[65]采用了一種對抗結(jié)構(gòu)來提取擁擠區(qū)域的結(jié)構(gòu)特征.

對抗損失對于密度圖質(zhì)量的提升有著顯著作用，但對抗損失也有著難以訓(xùn)練的缺點(diǎn).除這3種損失外，人群計(jì)數(shù)任務(wù)使用的損失函數(shù)還有很多，例如人群統(tǒng)計(jì)損失，但是每個損失函數(shù)各有優(yōu)缺點(diǎn)，因此實(shí)際應(yīng)用中，常常會聯(lián)合多種損失，共同構(gòu)建一個綜合性的損失函數(shù).

對于人群計(jì)數(shù)任務(wù)來說，密度圖質(zhì)量的優(yōu)劣將直接影響計(jì)數(shù)性能.現(xiàn)有的損失函數(shù)雖然可以生成密度圖，但是仍有許多亟待改進(jìn)的地方.未來如何定義新的損失函數(shù)，以生成高質(zhì)量的密度圖也是該領(lǐng)域的一個研究重點(diǎn).

3 ground-truth密度圖生成方法

為了訓(xùn)練計(jì)數(shù)網(wǎng)絡(luò)，需要對人群圖片中的目標(biāo)進(jìn)行標(biāo)注.常見的做法是為圖片中的每個人頭標(biāo)注中心坐標(biāo)，然后再利用高斯核將坐標(biāo)圖轉(zhuǎn)化為ground-truth人群密度圖.ground-truth密度圖質(zhì)量的高低，直接影響網(wǎng)絡(luò)的訓(xùn)練結(jié)果.優(yōu)質(zhì)的ground-truth能使網(wǎng)絡(luò)更好地學(xué)習(xí)到人群圖片特征，計(jì)數(shù)網(wǎng)絡(luò)的魯棒性和適應(yīng)性也會更好.近年來對ground-truth生成方法的研究從未停止過，ground-truth密度圖生成的關(guān)鍵在于如何選擇高斯核，設(shè)置不同的高斯核對網(wǎng)絡(luò)性能的影響很大，常用的3種高斯核設(shè)置方法為：

1)幾何自適應(yīng)法

Fig.16 Geometric adaptive method[25]

2)固定高斯核法

該方法忽略了人頭尺寸差異，以及自身與鄰居的相似性，無論圖片中哪個位置的人頭均采用方差大小固定的高斯核對每個人頭進(jìn)行高斯模糊，采用固定高斯核的算法有CP-CNN[36]，其生成的ground-truth密度圖如圖17[36]所示.固定高斯核法解決了幾何自適應(yīng)法中的近處人頭消失的問題，但是由于高斯核大小固定，對于遠(yuǎn)處人頭來說，高斯核尺寸可能過大，使得遠(yuǎn)處人頭出現(xiàn)重疊，降低了密度圖質(zhì)量.

Fig.17 Fixed Gaussian kernel method[36]

3)內(nèi)容感知標(biāo)注法

為解決方法1)2)存在的問題，Oghaz等人[66]提出了一種通過內(nèi)容感知標(biāo)注技術(shù)生成密度圖的方法.首先，用暴力最近鄰(brute-force nearest neighbor)算法定位最近的頭部，再用無監(jiān)督分割算法Chan-Vese分割出頭部區(qū)域，然后依據(jù)鄰居頭部的大小計(jì)算高斯核尺寸，其生成的密度圖如圖18[66]所示.該方法也是根據(jù)鄰居情況靈活確定高斯核大小，但是與幾何自適應(yīng)法相比，它采用brute-force最近鄰算法替代k-d樹空間劃分法(k-d tree space partitioning approach)來尋找最近鄰，這樣能確保尋找結(jié)果與實(shí)際相符.

Fig.18 Content-aware annotation method[66]

總之，高質(zhì)量密度圖是人群計(jì)數(shù)算法成功的基礎(chǔ)和關(guān)鍵，因此ground-truth的生成方法將是人群計(jì)數(shù)領(lǐng)域未來的一個研究重點(diǎn).

4 評價(jià)指標(biāo)

為了對不同模型的準(zhǔn)確率以及魯棒性進(jìn)行測評，需要有合適的評價(jià)指標(biāo).在人群計(jì)數(shù)領(lǐng)域，常用的評價(jià)指標(biāo)有均方誤差(mean squared error,MSE)、平均絕對誤差(mean absolute error,MAE)和均方根誤差(root mean squared error,RMSE)，具體定義為

(8)

(9)

(10)

MSE和RMSE可以反映模型的魯棒性，而MAE可以反映模型的準(zhǔn)確性.通過對各個人群計(jì)數(shù)模型的評價(jià)指標(biāo)MSE，MAE，RMSE的比較，可以評定各個計(jì)數(shù)模型的性能.

由于上述評價(jià)指標(biāo)存在一定的局限性，很多研究人員進(jìn)行了不同的改進(jìn)，以適應(yīng)不同的評價(jià)需求.例如，原始的MSE，MAE，RMSE只能度量全局魯棒性和準(zhǔn)確性，無法評價(jià)局部區(qū)域的計(jì)數(shù)性能，因此Tian等人[67]將MAE和RMSE擴(kuò)展成塊平均絕對誤差(patch mean absolute error,PMAE)，和塊均方誤差(patch mean squared error,PMSE)，用于評價(jià)局部區(qū)域的計(jì)數(shù)效果.此外，對于基于密度圖的人群計(jì)數(shù)算法來說，密度圖質(zhì)量高低對算法性能優(yōu)劣具有決定性作用，因此也可以采用已有的圖像質(zhì)量評價(jià)指標(biāo)來衡量計(jì)數(shù)模型的性能.

5 人群計(jì)數(shù)數(shù)據(jù)集

隨著人群計(jì)數(shù)算法研究的不斷推進(jìn)，該領(lǐng)域數(shù)據(jù)集的豐富性和針對性在逐步提高，圖片數(shù)量以及質(zhì)量也在進(jìn)一步提升.表1按照時(shí)間順序列舉了具有代表性的人群計(jì)數(shù)數(shù)據(jù)集，不僅包括早期創(chuàng)建的經(jīng)典人群計(jì)數(shù)數(shù)據(jù)集，也包括近年來新出現(xiàn)的數(shù)據(jù)集.這些數(shù)據(jù)集在拍攝視角、場景類型、平均分辨率、圖像數(shù)量、每張圖像所標(biāo)注的目標(biāo)數(shù)量等方面各有不同，總體呈現(xiàn)多樣化特點(diǎn).分2個部分對數(shù)據(jù)集進(jìn)行簡要介紹.

Table 1 Crowd Counting Datasets

5.1 經(jīng)典人群計(jì)數(shù)數(shù)據(jù)集

本節(jié)主要介紹早期的經(jīng)典人群計(jì)數(shù)數(shù)據(jù)集，包括WorldExpo’10[24,70]，ShanghaiTech[25]，UCSD[68]，Mall[69]，UCF_CC_50[21]，它們經(jīng)常被看作是驗(yàn)證計(jì)數(shù)算法有效性的基準(zhǔn)數(shù)據(jù)集，在近幾年的人群計(jì)數(shù)算法研究中應(yīng)用最為廣泛[81].其中，UCSD，Mall，WorldExpo’10，ShanghaiTech PartB主要針對人群稀疏場景，UCF_CC_50和ShanghaiTech PartA則主要針對人群密集場景；在數(shù)據(jù)量方面，WorldExpo’10，UCSD，Mall的數(shù)據(jù)量較大；UCSD，Mall，World-Expo’10，ShanghaiTech PartB數(shù)據(jù)集圖片的分辨率是固定的，其他2個數(shù)據(jù)集中的圖像分辨率是隨機(jī)變化的.

數(shù)據(jù)集UCSD和Mall中的圖像均來自相同的視頻序列，在圖像之間不存在視角變化.而其他經(jīng)典數(shù)據(jù)集的圖像樣本來自不同的視頻序列，視角和人群尺度的變化較大.表2～7通過度量準(zhǔn)確性的MAE和度量魯棒性的MSE這2個評價(jià)指標(biāo)，比較了不同計(jì)數(shù)算法在各種經(jīng)典人群計(jì)數(shù)數(shù)據(jù)集上的表現(xiàn)，分析了算法表現(xiàn)優(yōu)劣的原因.所有實(shí)驗(yàn)數(shù)據(jù)均來自算法相關(guān)的參考文獻(xiàn).

UCSD數(shù)據(jù)集[68]是最早創(chuàng)建的人群計(jì)數(shù)數(shù)據(jù)集之一.包含2 000幀從人行道視頻監(jiān)控中采集的圖像，每幀的分辨率為238×158.每隔5幀人工標(biāo)注1次，其余幀中的行人位置則使用線性插值方式創(chuàng)建，最終標(biāo)注了49885個行人目標(biāo).該數(shù)據(jù)集的人群密度相對較低，平均1幀約15人，由于數(shù)據(jù)是從一個位置采集的，場景和透視角度單一.

表2列出了不同計(jì)數(shù)網(wǎng)絡(luò)在UCSD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，由表可知，隨著時(shí)間推移，算法性能在不斷提升.評價(jià)指標(biāo)MAE和MSE排名前3的算法分別是E3D[82]，PACNN[83]，PaDNet[67].其中，PaDNet提出了針對不同密度人群進(jìn)行計(jì)數(shù)的泛密度計(jì)數(shù)方法；E3D中最主要的創(chuàng)新是結(jié)合了3D卷積核來編碼局部時(shí)空特征，該網(wǎng)絡(luò)主要針對視頻中的人群計(jì)數(shù)，但在圖像數(shù)據(jù)集上依然取得了良好的性能；PACNN將透視信息集成到密度回歸中，以方便融合目標(biāo)比例變化相關(guān)的特征.其次，考慮了局部注意力的網(wǎng)絡(luò)ADCrowdNet以及考慮尺度多樣性的計(jì)數(shù)網(wǎng)絡(luò)MCNN，SANet，ACSCP等性能表現(xiàn)均較好.由此分析可知，對于較為稀疏的人群場景，場景的尺度多樣性是最應(yīng)該考慮的要素，而且將局部信息作為額外的輔助信息，將有助于提升計(jì)數(shù)性能.

Table 2 Comparison of Crowd Counting Networks on UCSD

Mall數(shù)據(jù)集[69]是由安裝在購物中心的監(jiān)控?cái)z像頭采集而來，共包含2 000幀分辨率為320×240的圖像樣本，標(biāo)注了行人目標(biāo)6 000個，前800幀用于訓(xùn)練，剩余1 200幀用于測試.該數(shù)據(jù)集場景復(fù)雜，人群密度以及光照條件差異較大，而且圖像存在嚴(yán)重的透視畸變，目標(biāo)的表觀特征和尺度差異較大.與UCSD數(shù)據(jù)集相比，Mall數(shù)據(jù)集的人群密度相對較高，然而這2個數(shù)據(jù)集由于都在固定地點(diǎn)拍攝，所以均存在場景單一的問題，無法反應(yīng)室內(nèi)場景的實(shí)際狀況.此外，該數(shù)據(jù)集還存在由場景對象，例如攤位、植物等，引起的嚴(yán)重遮擋，這一特性增加了人群計(jì)數(shù)的難度.

表3列出不同計(jì)數(shù)網(wǎng)絡(luò)在Mall數(shù)據(jù)集上的運(yùn)行結(jié)果.其中按照MAE和MSE排名，表現(xiàn)最好的算法包括DecideNet[41]，DRSAN[90]，E3D[82]，SAAN[44].其中，SAAN網(wǎng)絡(luò)利用了多尺度注意力機(jī)制；E3D考慮了局部時(shí)空特征；DecideNet中有檢測分支，更加關(guān)注局部信息；DRSAN主要是通過區(qū)域精細(xì)化過程自適應(yīng)地解決了可學(xué)習(xí)的空間變換模塊中的2個問題,來更好地適應(yīng)攝像機(jī)的不同視角變化，這種方法很好地考慮到了圖片中不同人群的尺度特征.

Table 3 Comparison of Crowd Counting Networks on Mall

相較于其他數(shù)據(jù)集，Mall與UCSD這2個數(shù)據(jù)集的人群密度均較小.由這2個數(shù)據(jù)集中各模型的實(shí)驗(yàn)結(jié)果可得，對于較為稀疏的場景，我們應(yīng)該更關(guān)注人群局部特征和多尺度特征，而空洞卷積在稀疏場景的效果并沒有特別突出.

MCNN網(wǎng)絡(luò)在提出多陣列網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)，還創(chuàng)建了人群計(jì)數(shù)數(shù)據(jù)集ShanghaiTech.該數(shù)據(jù)集包含1 198張圖片，分為partA和partB這2個部分，共標(biāo)注了330 165個頭部位置.人群分布較為密集的PartA包含300張訓(xùn)練圖片，182張測試圖片，圖像分辨率是變化的；人群分布較為稀疏的PartB包含400張訓(xùn)練圖片，316張測試圖片，圖像分辨率固定不變.總體上看，在ShanghaiTech數(shù)據(jù)集上進(jìn)行精確計(jì)數(shù)是具有挑戰(zhàn)性的，因?yàn)樵摂?shù)據(jù)集無論是場景類型，還是透視角度和人群密度都變化多樣.

表4和表5為各計(jì)數(shù)網(wǎng)絡(luò)在ShanghaiTech PartA和Part B上的運(yùn)行結(jié)果.在PartA上，性能表現(xiàn)較好的網(wǎng)絡(luò)包括SPANet+SANet，S-DCNet，PGCNet，ADSCNet.其中，SPANet將空間上下文融入人群計(jì)數(shù)，并與考慮尺度特征的SANet相結(jié)合，得到的模型擁有很好的魯棒性；S-DCNet是一種空間分而治之的網(wǎng)絡(luò)，通過獲取局部特征來實(shí)現(xiàn)圖片整體的計(jì)數(shù)；PGCNet克服了由于透視效應(yīng)而產(chǎn)生的場景尺度變化，獲得了較好的計(jì)數(shù)性能；ADSCNet提出了一種具有自我校正監(jiān)督的自適應(yīng)空洞網(wǎng)絡(luò)計(jì)數(shù)算法，對空洞卷積進(jìn)行改進(jìn)，使其可以根據(jù)圖片場景及尺度變換而自適應(yīng)地選擇不同的空洞卷積.PartB部分去除了PGCNet網(wǎng)絡(luò)，增加了DSSINet網(wǎng)絡(luò)的比較.該網(wǎng)絡(luò)引入了基于空洞卷積的結(jié)構(gòu)化損失，能更好地體現(xiàn)圖片中的局部損失.

Table 4 Comparison of Crowd Counting Networks on ShanghaiTech Part A

Table 5 Comparison of Crowd Counting Networks on ShanghaiTech Part B

由數(shù)據(jù)對比可知，稀疏場景的人群計(jì)數(shù)效果明顯優(yōu)于密集場景的人群計(jì)數(shù)效果.因此，在未來的研究中，密集場景人群計(jì)數(shù)將依然是該領(lǐng)域的研究重點(diǎn).

UCF_CC_50數(shù)據(jù)集是第1個真正意義上具有挑戰(zhàn)性的大規(guī)模人群計(jì)數(shù)數(shù)據(jù)集.包含了50張不同分辨率的圖片，內(nèi)容涵蓋了音樂會、抗議活動、體育場和馬拉松比賽等不同場景.整個數(shù)據(jù)集中共標(biāo)注了63 075個頭部位置，其中每張圖片包含的人數(shù)從94到4 543不等，密度等級變化極大.

表6是不同計(jì)數(shù)網(wǎng)絡(luò)在UCF_CC_50數(shù)據(jù)集上的運(yùn)行結(jié)果.在性能指標(biāo)MAE和MSE上排名前4的方法包括PaDNet，SPN+L2SM，ASD，CAN，其中PaDNet表現(xiàn)最好，其采用的融合圖像不同密度的泛密度方法恰好適用于UCF_CC_50這種人群密度變化范圍較廣的數(shù)據(jù)集；SPN提出了一個比例金字塔網(wǎng)絡(luò)(SPN)，該網(wǎng)絡(luò)采用共享的單個深列結(jié)構(gòu)，并通過尺度金字塔模塊提取高層的多種尺度信息，其與L2SM結(jié)合，更加關(guān)注于人群多尺度信息；ASD是一個場景自適應(yīng)框架，能夠更好地對可變?nèi)巳簣鼍斑M(jìn)行計(jì)數(shù)；CAN采用了空間金字塔池化結(jié)構(gòu)處理人群多尺度特征，在此數(shù)據(jù)集上獲得了較好的魯棒性.

由表6和分析可得，空洞卷積和多尺度網(wǎng)絡(luò)在此數(shù)據(jù)集上的表現(xiàn)效果更好.相比UCSD,Mall,ShanghaiTech,UCF_CC_50這4個數(shù)據(jù)集的效果，Switch-CNN網(wǎng)絡(luò)的性能提升明顯，而UCF_CC_50數(shù)據(jù)集的場景更為復(fù)雜，由此可得，Switch結(jié)構(gòu)增加了模型的魯棒性，多陣列模型的效果明顯好于單列計(jì)數(shù)網(wǎng)絡(luò)模型.

早期的人群計(jì)數(shù)方法主要關(guān)注單一場景的計(jì)數(shù)問題，導(dǎo)致模型跨場景計(jì)數(shù)性能較差，為此Zhang等人構(gòu)建了采集于上海世界博覽會的人群計(jì)數(shù)數(shù)據(jù)集WorldExpro’10.該數(shù)據(jù)集由108個監(jiān)控探頭采集的1 132個視頻序列組成，通過從不同位置的攝像頭采集數(shù)據(jù)，確保了場景類型的多樣性.其中，3 980幀圖像進(jìn)行了人工標(biāo)注，每幀的分辨率為576×720，總共標(biāo)注了199 923個目標(biāo)位置.該數(shù)據(jù)集被劃分為2個部分，來自103個場景的1 127個視頻序列作為訓(xùn)練集，其余5個場景的數(shù)據(jù)作為測試集.每個測試場景由120個標(biāo)記幀組成，觀眾數(shù)量從1～220不等.雖然嘗試捕捉不同密度級別的場景，但在測試集中，多樣性僅限于5個場景，人群數(shù)量最大被限制在220個.因此，該數(shù)據(jù)集不足以評估為極端密集場景設(shè)計(jì)的人群計(jì)數(shù)算法.

Table 6 Comparison of Crowd Counting Networks on UCF_CC_50

表7列出了不同計(jì)數(shù)網(wǎng)絡(luò)在WorldExpo’10數(shù)據(jù)集上的MAE值.其中，采用融入空洞率的結(jié)構(gòu)性損失的網(wǎng)絡(luò)DSSINet的平均性能最好；融合了圖像上下文信息的CP-CNN和CAN網(wǎng)絡(luò)對于多角度、多尺度場景的效果較好；在S2，S3，S5場景中，空洞卷積的表現(xiàn)都是最好；此外，包含空洞卷積和可形變卷積的ADCrowdNet在S4場景下得到了很好的計(jì)數(shù)效果；加入透視引導(dǎo)卷積(PGC)的網(wǎng)絡(luò)PGCNet在場景S3上獲得很好的效果，可見尺度信息對于場景S3的重要性.由分析可知，在人群相對稀疏的場景下，空洞卷積可以在不同場景下取得很好的效果，結(jié)構(gòu)性損失在多個場景的計(jì)數(shù)中都表現(xiàn)良好.

Table 7 Comparison of Crowd Counting Networks on WorldExpo’10

5.2 其他人群計(jì)數(shù)數(shù)據(jù)集

本節(jié)主要介紹近幾年新出現(xiàn)的人群計(jì)數(shù)數(shù)據(jù)集，包括DISCO[80]，NWPU-Crowd[78]，UCF-QNRF[72]，JHU-CROWD++[79]等.這些數(shù)據(jù)集的出現(xiàn)在一定程度上緩解了經(jīng)典數(shù)據(jù)集存在的場景單一、圖像質(zhì)量不高、數(shù)據(jù)規(guī)模過小等問題.

CityUHK-X[71]是由香港城市大學(xué)VISAL實(shí)驗(yàn)室創(chuàng)建的人群計(jì)數(shù)數(shù)據(jù)集，包含來自55個場景的3 191張圖片，其中訓(xùn)練集由來自43個場景的2 503張圖片構(gòu)成，共標(biāo)注了78 592個實(shí)例；測試集則由來自12個場景的688張圖片構(gòu)成，共標(biāo)注了28 191個實(shí)例.該數(shù)據(jù)集的特色在于將拍攝角度和高度作為場景上下文輔助信息，然后卷積核權(quán)重隨之自適應(yīng)變化，以提升計(jì)數(shù)準(zhǔn)確性.

UCF-QNRF[72]數(shù)據(jù)集具有場景豐富，視角、密度以及光照條件均變化多樣的特點(diǎn)，是一個非常具有挑戰(zhàn)性的人群計(jì)數(shù)數(shù)據(jù)集.它共包含1 535張密集人群場景圖片的數(shù)據(jù)集，其中訓(xùn)練集1 201張圖像，測試集334張圖像，共有1 251 642個目標(biāo)被標(biāo)注，由于標(biāo)注數(shù)量眾多，該數(shù)據(jù)集適合采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.此外，該數(shù)據(jù)集圖片的分辨率很高，因此在訓(xùn)練過程中可能出現(xiàn)內(nèi)存不足.

SmartCity數(shù)據(jù)集[73]主要用于驗(yàn)證計(jì)數(shù)模型在人群稀疏場景中的有效性.現(xiàn)有的人群計(jì)數(shù)數(shù)據(jù)集主要采集自人群密集場景，基于密集場景數(shù)據(jù)集訓(xùn)練出來的網(wǎng)絡(luò)難以保證對稀疏場景的泛化性.為此，騰訊優(yōu)圖從10種不同城市場景中，采集了50張圖片.這些圖像包括室內(nèi)和室外2種場景，均采用了很高的視角拍攝，圖像中行人稀少，平均數(shù)量只有7.4個.

Fudan-ShanghaiTech數(shù)據(jù)集[74]為進(jìn)行基于視頻的人群計(jì)數(shù)算法的研究提供了數(shù)據(jù).已有的數(shù)據(jù)集主要面向基于圖像的人群計(jì)數(shù)，為了更好地推動基于視頻的人群計(jì)數(shù)算法的研究，研究人員從13個不同場景中捕獲了100個視頻，這些視頻包含150 000幀圖片，共標(biāo)注了394 081個實(shí)體.其中訓(xùn)練集包含60個視頻，共9 000幀圖像；測試集包含剩余的40個視頻，共6 000幀圖像.

Beijing-BRT[75]是一個智能交通領(lǐng)域的人群計(jì)數(shù)數(shù)據(jù)集，包含1 280張從北京快速公交(bus rapid transit, BRT)采集的圖片，其中720張用于訓(xùn)練，560張用于測試.每張圖片像素大小為640×360，共標(biāo)注了16 795個行人目標(biāo).該數(shù)據(jù)集與實(shí)際情況比較相符，涵蓋了各種光照條件，而且時(shí)間跨度比較大，從白天到夜晚均有圖像數(shù)據(jù)，因此基于該數(shù)據(jù)集訓(xùn)練出來的計(jì)數(shù)模型泛化能力較強(qiáng).

DroneCrowd[76]數(shù)據(jù)集是由天津大學(xué)機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘?qū)嶒?yàn)室的AISKYEYE團(tuán)隊(duì)通過無人機(jī)拍攝創(chuàng)建，由288段視頻剪輯和10 209張靜態(tài)圖像構(gòu)成.數(shù)據(jù)集圖像涵蓋不同的地理位置、標(biāo)注目標(biāo)類型以及密集程度，變化范圍廣泛，很具有代表性.不僅可以用于視頻或圖像的目標(biāo)檢測和跟蹤任務(wù)的研究，也可以用于人群計(jì)數(shù)任務(wù)的研究.

DLR-ACD[77]是一個包括33張航拍圖像的人群計(jì)數(shù)數(shù)據(jù)集，數(shù)據(jù)集圖片來自不同的城市場景，包括運(yùn)動會、露天集會、慶典等存在大量人員聚集的場合，采用安裝在直升機(jī)上的攝像頭直接拍攝，所得到圖片的空間分辨率在4.5cm/pixel～15cm/pixel之間變化.對圖片中的每個人進(jìn)行了手工標(biāo)注，共標(biāo)注了226 291個實(shí)例.

NWPU-Crowd[78]是目前人群計(jì)數(shù)領(lǐng)域最大的數(shù)據(jù)集，擁有5 109張圖片和2 133 238個標(biāo)注實(shí)體，而且單張圖片的標(biāo)注實(shí)體數(shù)量變化范圍非常大，對計(jì)數(shù)任務(wù)來說雖然挑戰(zhàn)極大，但也有助于提升訓(xùn)練模型的泛化性；該數(shù)據(jù)集的圖片分辨率較高，有利于計(jì)數(shù)準(zhǔn)確性的提升.此外，部分圖片的目標(biāo)標(biāo)注數(shù)量為0，這些負(fù)樣本的加入有助于提升訓(xùn)練模型的魯棒性.該數(shù)據(jù)集還提供了一個平臺，供研究人員進(jìn)行計(jì)數(shù)模型的性能比較.

JHU-CROWD++[79]也是一個非常具有挑戰(zhàn)性的大規(guī)模人群計(jì)數(shù)數(shù)據(jù)集，包含4 372張圖像，共計(jì)151萬個標(biāo)注，所有圖像采集于各種不同的場景和環(huán)境條件，甚至包括一些基于惡劣天氣變化和光照變化的圖像，覆蓋面很廣.此外，該數(shù)據(jù)集與NWPU-Crowd類似，引入負(fù)樣本，增強(qiáng)訓(xùn)練模型的魯棒性，同時(shí)對人頭采用了多種標(biāo)注方式，包括點(diǎn)、近似邊界框、模糊級別等，為不同計(jì)數(shù)算法的訓(xùn)練提供支撐條件.

DISCO[80]是一個極具特色的大規(guī)模人群計(jì)數(shù)基準(zhǔn)數(shù)據(jù)集，包含1 935張圖片和170 270個帶標(biāo)注的實(shí)體，每張圖片對應(yīng)一段時(shí)長為1 s的音頻剪輯.最終通過聲音和圖像的共同作用，實(shí)現(xiàn)視聽人群計(jì)數(shù).

5.3 討 論

隨著人群計(jì)數(shù)領(lǐng)域受關(guān)注程度的提高和研究的深入，人群計(jì)數(shù)數(shù)據(jù)集也逐漸增多，主要呈現(xiàn)5個特點(diǎn)：

1)在場景方面，由早期的單一化向多樣化演變，部分?jǐn)?shù)據(jù)集甚至包含極端條件下的場景圖像，由此訓(xùn)練出來的模型跨場景遷移能力更強(qiáng).

2)在圖像分辨率方面，早期場景圖像分辨率較低，圖像質(zhì)量較差，人群特征不明顯，不利于模型訓(xùn)練.隨著視頻設(shè)備發(fā)展，圖像分辨率不斷增強(qiáng)，計(jì)數(shù)的準(zhǔn)確率不斷攀升.

3)在視角和尺度方面，變化范圍更廣，更貼近現(xiàn)實(shí)情況，有助于提升計(jì)數(shù)模型的泛化性和實(shí)用性.

4)數(shù)據(jù)規(guī)模不斷增強(qiáng)，更加適合采用深度學(xué)習(xí)方法進(jìn)行訓(xùn)練.此外，數(shù)據(jù)規(guī)模的增強(qiáng)降低了模型的過擬合風(fēng)險(xiǎn).

5)樣本類型更加豐富.早期人群計(jì)數(shù)數(shù)據(jù)集中每張圖片均有人，標(biāo)注數(shù)量至少為1，無人負(fù)樣本的加入可以幫助模型過濾噪聲，提升魯棒性.

此外，分析實(shí)驗(yàn)數(shù)據(jù)可知，采用了注意力機(jī)制、空洞卷積以及額外輔助信息的網(wǎng)絡(luò)往往性能較好.主要是由于注意力機(jī)制可以幫助計(jì)數(shù)網(wǎng)絡(luò)專注于有效信息，排除噪聲干擾；空洞卷積可以在不增加模型參數(shù)和計(jì)算量的前提下，擴(kuò)大感受野，捕獲多尺度信息，保留圖像更多細(xì)節(jié)；而額外的輔助信息，例如視角，可以輔助處理多尺度問題.

目前，雖然已經(jīng)構(gòu)建了各種人群計(jì)數(shù)數(shù)據(jù)集，為驗(yàn)證計(jì)數(shù)算法的有效性提供了數(shù)據(jù)支撐，但是在場景多樣性、標(biāo)注準(zhǔn)確性以及視圖多樣性等方面依然無法滿足實(shí)驗(yàn)需求，這些也將是今后構(gòu)建數(shù)據(jù)集時(shí)，需要重點(diǎn)考慮的問題.對于某些場景來說，采集圖像非常困難且無法實(shí)現(xiàn)準(zhǔn)確標(biāo)注，此時(shí)可以考慮通過人工合成的方法生成圖片，例如GCC[52]通過生成對抗網(wǎng)絡(luò)人工合成了大量圖片，為構(gòu)建數(shù)據(jù)集提供了新思路.

6 總結(jié)與展望

近年來人群計(jì)數(shù)算法研究，尤其是基于深度學(xué)習(xí)的人群計(jì)數(shù)算法研究已經(jīng)取得了明顯進(jìn)展，但是要在智能視頻監(jiān)控系統(tǒng)中真正應(yīng)用并普及仍然面臨許多挑戰(zhàn)[110]，例如相互遮擋、透視扭曲、照明變化以及天氣變化等因素，都會影響計(jì)數(shù)的準(zhǔn)確性.今后可以針對這些問題，從3個方面開展工作：

1)遮擋條件下的人群計(jì)數(shù).隨著人群密度增大，人與人之間會產(chǎn)生遮擋，下一步可以研究在遮擋條件下如何進(jìn)行人群計(jì)數(shù)同時(shí)獲取人群分布等細(xì)節(jié)信息.

2)特殊天氣條件下的人群計(jì)數(shù).現(xiàn)實(shí)中天氣變化多樣，不僅有風(fēng)和日麗，亦有風(fēng)雨交加.特殊天氣下的數(shù)據(jù)采集和標(biāo)注較困難[111]，研究相對較少.下一步可以重點(diǎn)關(guān)注特殊天氣條件下的人群計(jì)數(shù)問題，同時(shí)構(gòu)建相應(yīng)的數(shù)據(jù)集.

3)昏暗光照條件下的人群計(jì)數(shù).在光照不足的環(huán)境中，攝像頭拍攝的圖片往往較模糊，人頭無法清晰辨認(rèn)，下一步可以研究昏暗光照條件下人群計(jì)數(shù)問題的處理方法.

本文針對近年來人群計(jì)數(shù)領(lǐng)域的相關(guān)論文進(jìn)行調(diào)研, 在簡單回顧傳統(tǒng)人群計(jì)數(shù)算法之后, 對基于深度學(xué)習(xí)的人群計(jì)數(shù)方法進(jìn)行了系統(tǒng)性的總結(jié)和介紹，并給出了這個方向未來的研究趨勢，希望可以給相關(guān)研究人員提供一些參考.

作者貢獻(xiàn)聲明：余鷹負(fù)責(zé)綜述選題確定、文章主體撰寫和修訂等工作，并指導(dǎo)和督促完成相關(guān)文獻(xiàn)資料的收集整理以及論文初稿的寫作；朱慧琳和錢進(jìn)參與文獻(xiàn)資料的分析、整理和論文初稿的寫作；潘誠參與了文獻(xiàn)資料的收集以及部分圖表數(shù)據(jù)的繪制；苗奪謙負(fù)責(zé)提出論文修改意見，指導(dǎo)論文寫作.