面向嵌入式系統(tǒng)的高精度實(shí)時(shí)人群計(jì)數(shù)算法研究①

金 鑫 趙 旭 趙朝陽 徐華中 王金橋

(*武漢理工大學(xué)自動(dòng)化學(xué)院 武漢 430070) (**中國科學(xué)院自動(dòng)化研究所 北京 100190)

0 引 言

基于計(jì)算機(jī)視覺的人群計(jì)數(shù)算法即在圖像或視頻幀中對行人的軌跡進(jìn)行分析，統(tǒng)計(jì)當(dāng)前時(shí)段行人的數(shù)量/流量信息。人群計(jì)數(shù)算法主要分為基于回歸模型和基于目標(biāo)檢測兩類。

在基于回歸模型的方法中，經(jīng)典方法如Davies等人[1]在視頻幀中提取前景像素和邊緣特征等原始特征，然后從原始特征導(dǎo)出前景區(qū)域和總邊緣計(jì)數(shù)之類的整體屬性，最后利用線性回歸模型建立整體屬性與實(shí)際人數(shù)之間的直接映射。隨著深度學(xué)習(xí)的發(fā)展， Zhang等人[2]提出利用深度特征進(jìn)行人數(shù)估計(jì)的方法，利用不同尺度卷積核的卷積層提取圖片的深度特征，然后利用深度特征得到人群密度圖，最后根據(jù)密度圖估計(jì)圖片中行人數(shù)量。基于回歸方法的人群計(jì)數(shù)優(yōu)點(diǎn)在于對密度極高的人群計(jì)數(shù)會(huì)有較強(qiáng)的魯棒性和較快的速度，然而由于利用圖片整體特征或密度圖進(jìn)行估計(jì)人數(shù)的策略無法獲取圖像中單人的位置，在一般場景下精度較低。

在基于目標(biāo)檢測的人群計(jì)數(shù)算法中，行人檢測應(yīng)用最為廣泛。Dalal等人[3]提出了利用梯度方向直方圖(histogram of oriented gradient，HOG)特征檢測圖片中行人的數(shù)量，通過提取圖像HOG特征的方式獲取圖像內(nèi)行人的邊緣特征，根據(jù)邊緣特征檢測到行人，直接統(tǒng)計(jì)行人位置和數(shù)量。在HOG之后，Dollar等人[4]提出了聚合通道特征(aggregate channel feature，ACF)檢測算法進(jìn)行行人檢測，通過對圖片進(jìn)行快速特征金字塔變換，然后聚合多通道特征，更加準(zhǔn)確和高效地提取行人邊緣特征，最終獲取圖片中行人數(shù)量。然而HOG和ACF等經(jīng)典檢測算法精度較低，無法滿足實(shí)際需求。隨著深度學(xué)習(xí)的發(fā)展，快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)[5](faster region-based convolutional neural networks，F(xiàn)aster R-CNN)在目標(biāo)檢測領(lǐng)域獲得巨大的成功，它首先利用視覺幾何組網(wǎng)絡(luò)[6](visual geometry group network，VGGNet)等卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)的深度特征，然后在深度特征的基礎(chǔ)上利用區(qū)域候選網(wǎng)絡(luò)(region proposal network，RPN)獲得候選框，利用感興趣區(qū)域特征提取(region of interest pooling，ROIPooling)操作和全連接層或高維度卷積層構(gòu)成的子網(wǎng)絡(luò)對候選框內(nèi)深度特征進(jìn)一步分析，最終預(yù)測目標(biāo)檢測結(jié)果。由于Faster R-CNN[5]對于檢測精度的顯著提升，被廣泛應(yīng)用在行人檢測領(lǐng)域。例如，Mao等人[7]通過在RPN之前的通道中融入圖像分割特征提升行人特征在特征圖中的響應(yīng)，從而提升行人檢測的精度。Zhang等人[8]利用注意力模塊加強(qiáng)特征提取過程中被遮擋行人的可見部分特征響應(yīng)，減少被遮擋行人的漏檢。在減少由于行人之間相互遮擋導(dǎo)致部分行人檢測框被非極大值抑制策略(non-maximum suppression,NMS)抑制，最終形成漏檢的問題上，Wang等人[9]提出了互斥損失函數(shù)，使得候選框在回歸過程中不僅距離其匹配的目標(biāo)距離減少，同時(shí)距離其他目標(biāo)的距離增大，避免了候選框由于回歸后相互之間仍有較大交并比而被NMS抑制的情況。然而,行人檢測目前對于人群中的互相遮擋情況依然較為敏感，當(dāng)人群中互相遮擋較為嚴(yán)重時(shí)，此類方法會(huì)產(chǎn)生較大的誤差。Li等人[10]選取視頻序列中的頭肩區(qū)域作為檢測目標(biāo)，并采用FasterR-CNN[5]算法對每一個(gè)視頻幀進(jìn)行檢測，然后采用核化相關(guān)濾波器(kernelized correlation filter，KCF)[11]算法對FasterR-CNN[5]檢測到的頭肩結(jié)果進(jìn)行跟蹤，從而獲取視頻序列中每個(gè)頭肩的跟蹤軌跡，最終根據(jù)跟蹤軌跡的數(shù)量確定人數(shù)?；谖墨I(xiàn)[5]的方法雖然獲得了較高的精度，但是由于雙階段檢測算法諸如Faster R-CNN[5]和特征金字塔網(wǎng)絡(luò)(feature pyramid networks，F(xiàn)PN)[12]，在特征層經(jīng)過ROIPooling后會(huì)采用維度很高的卷積層或者全連接層對RPN過程產(chǎn)生的每個(gè)候選框進(jìn)一步地特征提取，導(dǎo)致模型時(shí)間復(fù)雜度急劇升高。采用VGGNet[6]為骨干網(wǎng)絡(luò)，該網(wǎng)絡(luò)時(shí)間復(fù)雜度過高。因此，基于文獻(xiàn)[5]的方法在高級精簡指令集機(jī)器(advanced reduced instruction set computing machine，ARM)上運(yùn)行效率極低。

目前在提升檢測器執(zhí)行效率的研究中，單階段多邊框目標(biāo)檢測(single shot multibox detector，SSD)[13]和統(tǒng)一實(shí)時(shí)對象檢測(you only look once，YOLO)[14,15]等單階段檢測器采用直接利用卷積預(yù)測分類和回歸的方式避免了計(jì)算量過高的問題。輕量級神經(jīng)網(wǎng)絡(luò)的研究例如MobileNets[16,17]等可以在很大程度上緩解由于骨干網(wǎng)絡(luò)計(jì)算量過大導(dǎo)致的運(yùn)行速度過慢的問題。但實(shí)際上即使在融合了MobileNets[16,17]等輕量級網(wǎng)絡(luò)后，檢測器依然難以在中低端ARM設(shè)備上進(jìn)行高效部署。主要原因是在ARM設(shè)備上執(zhí)行頭肩檢測等任務(wù)時(shí)，MobileNets[16,17]計(jì)算量依舊過大。

本文提出了一種基于目標(biāo)檢測人群計(jì)數(shù)算法，選取人體頭肩區(qū)域作為檢測目標(biāo)，針對目標(biāo)檢測計(jì)算量過大的問題，提出了一種速度快、精度高的輕量級弱計(jì)算力平臺加速網(wǎng)絡(luò)(low-computing-power platforms acceleration network,LPANet)，并基于此對文獻(xiàn)[13]中檢測算法進(jìn)行改進(jìn)。LPANet主要包含2個(gè)模塊：特征圖快速縮減模塊和多尺度感受野擴(kuò)增模塊。特征圖快速縮減模塊可以使檢測器在功耗較低的ARM平臺上獲得實(shí)時(shí)的速度；多尺度感受野擴(kuò)增模塊可以擴(kuò)大每個(gè)先驗(yàn)框關(guān)聯(lián)的感受野，利用多尺度感受野的特征減少誤檢。與此同時(shí)，在檢測器設(shè)計(jì)上，本文優(yōu)化了先驗(yàn)框與目標(biāo)的匹配策略，解決了匹配過程中小目標(biāo)匹配到的先驗(yàn)框過少導(dǎo)致檢出率過低的問題，以及密集人群中由于目標(biāo)擁擠造成的誤檢。得益于特征圖快速下降模塊、多尺度感受野擴(kuò)增模塊和優(yōu)化的匹配策略，檢測器不僅可以在頭肩檢測數(shù)據(jù)集上獲得高精度，同時(shí)可以在ARM平臺上獲得實(shí)時(shí)的運(yùn)行速度。在檢測之后，頭肩檢測器的結(jié)果偶爾會(huì)有一些誤檢，對此，本文采用多目標(biāo)跟蹤算法對多幀結(jié)果進(jìn)行軌跡關(guān)聯(lián)。通過對軌跡長度的分析，可以消除視頻幀頭肩檢測中的部分誤檢。同時(shí)本文建立了一個(gè)較為完備的頭肩檢測數(shù)據(jù)集，在該數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了本文提出的人群計(jì)數(shù)方法的有效性。

1 人群計(jì)數(shù)算法

本文提出的人群計(jì)數(shù)算法主要基于頭肩檢測結(jié)合多目標(biāo)跟蹤的方式進(jìn)行。算法框架如圖1所示。在自主設(shè)計(jì)的輕量級網(wǎng)絡(luò)基礎(chǔ)上，采用單階段目標(biāo)檢測算法對頭肩目標(biāo)進(jìn)行提取。在頭肩檢測后，采用多目標(biāo)匹配跟蹤算法獲得每個(gè)目標(biāo)的跟蹤軌跡，抑制誤檢，最終由跟蹤軌跡的數(shù)量確定視頻幀中的人數(shù)。

圖1 人群計(jì)數(shù)算法流程

1.1 頭肩檢測

作為人群計(jì)數(shù)算法的核心組件，頭肩檢測算法的檢測精度和效率決定了整體算法的實(shí)用性。本文針對ARM嵌入式平臺運(yùn)算能力低下的特點(diǎn)，首先設(shè)計(jì)了一種輕量化的神經(jīng)網(wǎng)絡(luò)(LPANet)，其后基于該網(wǎng)絡(luò)設(shè)計(jì)了一種改進(jìn)的單階段檢測算法，快速提取和定位頭肩目標(biāo)。LPANet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中Conv表示卷積，Conv下標(biāo)注依次表示卷積核寬、高和通道數(shù)，s表示卷積步長，d表示膨脹卷積中膨脹率，該網(wǎng)絡(luò)由特征圖快速縮減模塊和多尺度感受野擴(kuò)增模塊2部分組成。特征圖快速縮減模塊設(shè)計(jì)思路主要在于利用快速縮減特征圖空間尺寸的方式提升網(wǎng)絡(luò)運(yùn)行速度；多尺度感受野擴(kuò)增模塊則對目標(biāo)相關(guān)聯(lián)感受野進(jìn)行擴(kuò)增，并結(jié)合多尺度感受野的形式為頭肩目標(biāo)特征提供豐富的上下文語義信息。受文獻(xiàn)[13]中單階段目標(biāo)檢測算法的啟發(fā)，本文中頭肩檢測算法采用分3層對各尺度目標(biāo)進(jìn)行提取，此外，由于文獻(xiàn)[13]算法中先驗(yàn)框和圖像中目標(biāo)的匹配策略設(shè)計(jì)沒有考慮到小目標(biāo)、互相遮擋的目標(biāo)，導(dǎo)致小目標(biāo)的先驗(yàn)框匹配率低，互相遮擋目標(biāo)匹配到的先驗(yàn)框中包含大量其他目標(biāo)信息，從而產(chǎn)生小目標(biāo)的漏檢和互相遮擋目標(biāo)間的誤檢。有鑒于此，本文提出更為均衡的先驗(yàn)框設(shè)計(jì)和分配策略。下面將對各模塊進(jìn)行詳細(xì)介紹。

圖2 基于LPANet的輕量化頭肩檢測網(wǎng)絡(luò)結(jié)構(gòu)示意

(1)特征圖快速縮減模塊。特征圖快速縮減模塊的結(jié)構(gòu)如圖2所示，首先，不同于文獻(xiàn)[6]和文獻(xiàn)[16,17]第1層采用3×3卷積核尺寸、步長為1或2的卷積，網(wǎng)絡(luò)采用7×7卷積核尺寸、步長為4的卷積快速下降輸入尺寸，從而大幅度縮小后續(xù)卷積層處理的特征圖大小，進(jìn)而減小計(jì)算量。同時(shí)，7×7的卷積核參數(shù)量和感受野相對較大，提取到的特征更為豐富，從而可以減少特征圖尺寸快速下降帶來的特征信息損失。

在第1層卷積之后，網(wǎng)絡(luò)采用3×3卷積核尺寸、步長為2的卷積層Conv2進(jìn)一步縮小特征圖尺寸。然而在特征圖尺寸快速下降的過程中，目標(biāo)的細(xì)節(jié)特征信息也會(huì)有一定程度的損失。因此，為了減少特征信息過度損失，網(wǎng)絡(luò)在Conv2之后采用3×3卷積核尺寸、步長為1的卷積，一方面減小特征信息的過速流失，另一方面加深網(wǎng)絡(luò)深度使網(wǎng)絡(luò)提取到更精確的深度特征。最終，在Conv4卷積層，網(wǎng)絡(luò)將特征圖尺寸快速縮小為輸入的1/16。特征圖快速縮減模塊在大幅提升速度的同時(shí)減輕了特征信息損失帶來的精度下降問題。不僅可以加快模型的運(yùn)行速度，還使模型保持較高的精度。此外，網(wǎng)絡(luò)分別將Conv1、Conv2、Conv3和Conv4的卷積核數(shù)量設(shè)置為12、24、24和48，降低了參數(shù)冗余，進(jìn)一步提升了運(yùn)行效率。

(2)多尺度感受野擴(kuò)增模塊。相較于人臉檢測和行人檢測，頭肩目標(biāo)細(xì)節(jié)特征較少，多數(shù)情況下頭肩檢測更依賴于頭肩的輪廓特征。當(dāng)視頻幀中某些區(qū)域的輪廓與頭肩輪廓相似度較高時(shí)，檢測器很可能會(huì)將這些區(qū)域檢測為頭肩，造成誤檢，影響人群計(jì)數(shù)算法的精度。同時(shí)，特征圖快速縮減模塊網(wǎng)絡(luò)層數(shù)較少，每個(gè)先驗(yàn)框所對應(yīng)的特征表達(dá)力不足，且相關(guān)聯(lián)的感受野較小，這些因素限制了檢測精度的提升。不同于Zhao等人[18]在主干網(wǎng)絡(luò)之后加入不同膨脹率的膨脹卷積來豐富特征圖的上下文信息,本文提出多尺度感受野擴(kuò)增模塊為頭肩數(shù)據(jù)分布設(shè)計(jì)了更為適配的膨脹率并且大幅縮減了由于多分支膨脹卷積層帶來的速度損失。多尺度感受野擴(kuò)增模塊如圖2虛線框中所示，其中的Inception模塊如圖3所示。Inception模塊采用3×3卷積核尺寸，膨脹率為3的膨脹卷積增大感受野的同時(shí)獲取到多尺度的感受野，使得檢測器可以利用更多頭肩周圍的行人特征區(qū)分正負(fù)樣本，減少與頭肩輪廓相似物體的誤檢。此外，多尺度感受野擴(kuò)增模塊在預(yù)測目標(biāo)類別和坐標(biāo)回歸之前增加3×3卷積核尺寸，膨脹率為3的卷積進(jìn)一步擴(kuò)大感受野。在感受野尺度擴(kuò)增和多尺度生成之后，每個(gè)先驗(yàn)框尺寸和所關(guān)聯(lián)的感受野尺寸如表1所示。

圖3 Inception結(jié)構(gòu)

表1 先驗(yàn)框和感受野尺寸

先驗(yàn)框關(guān)聯(lián)層先驗(yàn)框尺寸(像素)感受野尺寸(像素)Inception16×16,32×3279×79,143×143Conv6164×64303×303,367×367Conv91128×128,256×256623×623,687×687

(3)先驗(yàn)框設(shè)計(jì)與分配策略。先驗(yàn)框尺寸設(shè)計(jì)如表1中所示。由于在頭肩檢測中，頭肩目標(biāo)寬高比趨近于1:1，因此，為了先驗(yàn)框能更高效地回歸目標(biāo)以及節(jié)約計(jì)算量，本文僅設(shè)計(jì)寬高比為1:1的先驗(yàn)框。如圖2中所示，檢測算法采用在3個(gè)不同分辨率的卷積層分別預(yù)測的方式對頭肩目標(biāo)進(jìn)行預(yù)測。在Inception后的第1個(gè)預(yù)測層先驗(yàn)框設(shè)計(jì)中，采用16像素和32像素的先驗(yàn)框尺寸；在Conv6_1后的第2層預(yù)測層先驗(yàn)框設(shè)計(jì)中，采用64像素的先驗(yàn)框尺寸；在Conv9_1后的第3層預(yù)測層先驗(yàn)框設(shè)計(jì)中，采用128和256像素的先驗(yàn)框尺寸。分層預(yù)測結(jié)合多尺度先驗(yàn)框設(shè)計(jì)可以有效地提升檢測器的魯棒性。

(4)先驗(yàn)框與目標(biāo)匹配策略。為了保證檢測算法執(zhí)行速度，算法選擇在特征圖尺寸縮小為原圖1/16大小的卷積層上預(yù)測小目標(biāo)，這意味著該預(yù)測層的先驗(yàn)框在原圖分布的步長為16個(gè)像素。對于該層預(yù)測小目標(biāo)的先驗(yàn)框來說，其步長和尺度之間的比例過大。此時(shí)如果按照文獻(xiàn)[14]中的先驗(yàn)框與目標(biāo)交并比閾值為0.5的匹配規(guī)則，會(huì)導(dǎo)致小目標(biāo)的先驗(yàn)框匹配數(shù)量過低，使得小目標(biāo)檢出率大幅下降。為了提升小目標(biāo)的檢出率，簡單直接的方法就是降低匹配過程中的閾值，但是當(dāng)閾值降低以后，目標(biāo)匹配到的先驗(yàn)框質(zhì)量大幅下降，在這種情況下，很大一部分匹配到目標(biāo)的先驗(yàn)框會(huì)包含較多背景特征或者其他目標(biāo)的特征，導(dǎo)致判別力減弱。同時(shí)，當(dāng)存在2個(gè)及以上目標(biāo)距離較近或者互相遮擋情況時(shí)，目標(biāo)匹配到的先驗(yàn)框不但會(huì)與當(dāng)前目標(biāo)有較高的交并比，還會(huì)與相鄰的目標(biāo)有較高的交并比，在這種情況下，先驗(yàn)框中包含了太多其他目標(biāo)的特征，導(dǎo)致在測試過程中相鄰或遮擋目標(biāo)間產(chǎn)生誤檢。為了解決以上問題，本文設(shè)計(jì)的分配策略步驟如下：1)在目標(biāo)與先驗(yàn)框匹配的過程中，若先驗(yàn)框與目標(biāo)交并比大于0.5，并且與該目標(biāo)的交并比大于與其他目標(biāo)交并比，則將該先驗(yàn)框分配給此目標(biāo)。同時(shí)，若該先驗(yàn)框與其他目標(biāo)交并比大于0.3，則定義此先驗(yàn)框?yàn)椴缓细裣闰?yàn)框，最終選取所有已匹配先驗(yàn)框?yàn)檎龢颖?，選取所有未匹配先驗(yàn)框和不合格先驗(yàn)框?yàn)樨?fù)樣本。2)將步驟1)中匹配先驗(yàn)框數(shù)量小于1)中平均數(shù)量的目標(biāo)匹配閾值降為0.35，并在匹配過程之后，將與這些目標(biāo)匹配到的先驗(yàn)框按照交并比大小進(jìn)行排序，選取得分前k數(shù)量的先驗(yàn)框作為該目標(biāo)的最終匹配到的正樣本，k的值選取為步驟1)中每個(gè)目標(biāo)所匹配先驗(yàn)框的平均數(shù)量，從而既保證每個(gè)目標(biāo)匹配到的先驗(yàn)框數(shù)量，又保證其質(zhì)量。通過本文提出的先驗(yàn)框匹配策略，小目標(biāo)的檢出率有明顯的提升，同時(shí)由于目標(biāo)之間距離過近導(dǎo)致的誤檢明顯下降。

1.2 目標(biāo)跟蹤和計(jì)數(shù)

在頭肩檢測之后，當(dāng)前幀每個(gè)頭肩目標(biāo)都會(huì)對應(yīng)一個(gè)檢測結(jié)果框，然而，受限于檢測器的檢測精度以及訓(xùn)練數(shù)據(jù)的豐富度，檢測結(jié)果中時(shí)常會(huì)出現(xiàn)漏檢和誤檢。因此，為了提高人群計(jì)數(shù)算法的精度以及魯棒性，本文在檢測基礎(chǔ)上加入多目標(biāo)跟蹤算法修正檢測結(jié)果并獲取每個(gè)頭肩目標(biāo)在連續(xù)視頻幀中的跟蹤軌跡。如圖4所示，本文采用由Bewley等人[19]提出的簡單實(shí)時(shí)在線跟蹤(simple online and realtime tracking，SORT)算法對頭肩目標(biāo)檢測結(jié)果進(jìn)行跟蹤，當(dāng)同一目標(biāo)在連續(xù)3幀中被檢測到時(shí)，則開始跟蹤該目標(biāo)，并且如果在最后一次檢測后連續(xù)10幀內(nèi)沒有檢測到該目標(biāo)則結(jié)束此次跟蹤。最終，根據(jù)跟蹤軌跡的數(shù)量確定視頻幀中的人數(shù)。相較于僅采用基于單幀圖像目標(biāo)檢測的人群計(jì)數(shù)策略，跟蹤結(jié)合檢測的人群計(jì)數(shù)策略進(jìn)一步提升了人群計(jì)數(shù)的精度和魯棒性。

圖4 頭肩目標(biāo)跟蹤與人數(shù)統(tǒng)計(jì)流程

1.3 算法實(shí)現(xiàn)細(xì)節(jié)

人群計(jì)數(shù)算法實(shí)現(xiàn)主要包含2個(gè)部分：頭肩檢測部分和跟蹤部分。其中頭肩檢測算法包含了數(shù)據(jù)擴(kuò)增、困難樣本挖掘、訓(xùn)練參數(shù)設(shè)置以及測試參數(shù)設(shè)置。

(1)對頭肩數(shù)據(jù)進(jìn)行擴(kuò)增。將原始圖片以邊長1.5倍進(jìn)行邊緣填充，然后在圖片中隨機(jī)截取[0.3，1]的正方形區(qū)域，并將其縮放到640×640分辨率?？s放過程中，去除像素值少于16個(gè)像素的目標(biāo)。

(2)困難樣本挖掘。訓(xùn)練過程中大部分的先驗(yàn)框?yàn)樨?fù)樣本，導(dǎo)致負(fù)樣本數(shù)量與正樣本數(shù)量嚴(yán)重的不均衡，從而使訓(xùn)練過程不穩(wěn)定以及收斂速度降低。因此，本文將訓(xùn)練過程中的所有負(fù)樣本根據(jù)其損失值進(jìn)行排序，并挑選損失最大的前n(n設(shè)置為正樣本數(shù)量的3倍)個(gè)負(fù)樣本參與訓(xùn)練。

(3)訓(xùn)練參數(shù)設(shè)置。在訓(xùn)練過程中，將原始圖片轉(zhuǎn)為灰度圖，在對灰度圖數(shù)據(jù)擴(kuò)增以后，首先采用熱身學(xué)習(xí)策略[20]以線性提升學(xué)習(xí)率的方式迭代4 000次，可以有效避免學(xué)習(xí)率過高導(dǎo)致梯度爆炸的問題，然后采用隨機(jī)梯度下降策略、0.9動(dòng)量、0.0005梯度衰減和32批量訓(xùn)練。采用分段學(xué)習(xí)策略，以0.01學(xué)習(xí)率迭代26 000次，再以0.001學(xué)習(xí)率迭代10 000次，然后以0.0001學(xué)習(xí)率迭代8 000次，最后以0.00001學(xué)習(xí)率迭代2 000次。本文實(shí)驗(yàn)均在Caffe深度學(xué)習(xí)框架上進(jìn)行。

(4)測試參數(shù)設(shè)置。在測試過程中，均采用視頻圖形陣列(video graphics array，VGA)分辨率(640×480)在瑞芯微RK3399的2個(gè)大核(cortex-A72 1.8 GHz)上測試，為了充分發(fā)揮RK3399的計(jì)算力，本文借助開源加速庫ncnn[21]將算法進(jìn)行移植。

2 實(shí) 驗(yàn)

2.1 頭肩數(shù)據(jù)集

參考Zhang等人[22-26]的方法,本文收集了包含服裝店、電腦城和汽車4S店等超過10個(gè)場景共計(jì)23 963張圖片建立頭肩數(shù)據(jù)集，該數(shù)據(jù)集涵蓋了常規(guī)攝像頭架設(shè)場景下可能出現(xiàn)的頭肩在畫面中呈現(xiàn)的視角。本文將所有圖片隨機(jī)劃分為訓(xùn)練集和測試集，測試集包含1 639張圖片，其余作為訓(xùn)練集。測試集和訓(xùn)練集頭肩目標(biāo)尺度分布分別如圖5和圖6所示，其中橫坐標(biāo)表示像素值，縱坐標(biāo)表示數(shù)量，此外，本文收集了一段和訓(xùn)練數(shù)據(jù)集完全無交叉的測試視頻進(jìn)行算法泛化性測試。視頻信息如表2所示。本文分別對檢測部分(包含特征圖快速縮減模塊、多尺度感受野擴(kuò)增模塊和先驗(yàn)框分配策略)和跟蹤部分進(jìn)行探究性實(shí)驗(yàn)。實(shí)驗(yàn)中，檢測算法精度采用11點(diǎn)插補(bǔ)法平均精度(average precision， AP)衡量，AP計(jì)算公式如式(1)、(2)、(3)、(4)所示。

(1)

(2)

(3)

(4)

(5)

(6)

圖5 測試集頭肩分布 圖6 訓(xùn)練集頭肩分布

表2 視頻子數(shù)據(jù)集信息

2.2 實(shí)驗(yàn)結(jié)果分析

本文對人群計(jì)數(shù)算法檢測部分、跟蹤部分以及檢測部分各個(gè)模塊分別進(jìn)行實(shí)驗(yàn)探究，下面將對實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)介紹。

(1)對特征圖快速縮減模塊、多尺度感受野擴(kuò)增模塊和先驗(yàn)框匹配策略進(jìn)行探究。為了驗(yàn)證特征圖快速縮減模塊的有效性，本節(jié)將特征圖快速縮減模塊替換為5個(gè)通道數(shù)與特征圖快速縮減模塊相同的卷積層，并將5個(gè)卷積層的卷積核尺寸和步長值分別設(shè)為3×3和2進(jìn)行對比實(shí)驗(yàn)。為了驗(yàn)證多尺度感受野擴(kuò)增模塊的有效性，本文去掉Inception模塊包含有膨脹卷積的分支，并將另一分支通道數(shù)加倍進(jìn)行對比實(shí)驗(yàn)。測試結(jié)果如表3所示。表3中M1為特征圖快速縮減模塊，M2為多尺度感受野擴(kuò)增模塊，M3為先驗(yàn)框匹配策略。由表3數(shù)據(jù)可知，特征圖快速縮減模塊提升20%檢測速度的同時(shí)提升了2.6%的精度，使得模型可以在RK3399上獲得實(shí)時(shí)的檢測速度和較高的精度。多尺度感受野擴(kuò)增模塊有效提升了每個(gè)先驗(yàn)框關(guān)聯(lián)的感受野尺寸，并抑制了與頭肩目標(biāo)特征相似的誤檢，并且膨脹卷積在增大感受野的同時(shí)并沒有帶來計(jì)算量的增大，最終使得模型獲得0.9%的精度提升。先驗(yàn)框匹配策略是必不可少的，它大幅地提升了數(shù)據(jù)集中小目標(biāo)的檢出率，并且抑制了擁擠場景下相鄰目標(biāo)間出現(xiàn)的誤檢，最終使得模型獲得了6.7%的精度提升。

表3 LPANet各模塊性能測試

(2)對人群計(jì)數(shù)算法整體檢測部分在圖片測試集上進(jìn)行探究。為了對比頭肩檢測器在速度和精度上的優(yōu)勢，本文在頭肩數(shù)據(jù)集上復(fù)現(xiàn)了2個(gè)計(jì)算量與頭肩檢測器相似的檢測算法，其一是在人臉檢測方面表現(xiàn)出眾的Faceboxes[27]檢測器，其二是將文獻(xiàn)[16]中網(wǎng)絡(luò)縮減3/4通道數(shù)，并將其融合到文獻(xiàn)[13]的檢測器中(記為SSD+0.25MobileNets)。2個(gè)檢測器訓(xùn)練過程與頭肩檢測器保持一致，實(shí)驗(yàn)對比結(jié)果如表4所示。表4中M1、M2與M3含義和表3中一致。從表4中數(shù)據(jù)可知，頭肩檢測器在保證精度的同時(shí)獲得了大幅度檢測速度提升。部分頭肩檢測效果如圖7所示。

表4 頭肩檢測器性能對比測試

圖7 頭肩檢測效果圖

(3)對人群計(jì)數(shù)算法跟蹤部分在視頻子測試集上進(jìn)行探究。探究實(shí)驗(yàn)結(jié)果如表5所示。表5中M1、M2與M3含義和表3中一致，Tracker為本文所采用的多目標(biāo)跟蹤算法。由表5中數(shù)據(jù)可知，本文提出的人群計(jì)數(shù)算法在ARM平臺RK3399上可以獲得實(shí)時(shí)的執(zhí)行速度并且在與訓(xùn)練集場景差異很大的視頻子數(shù)據(jù)集上有較高的精度。加入跟蹤模塊在提升算法精度和魯棒性的同時(shí)，算法執(zhí)行速度并沒有受到很大的影響。

表5 跟蹤模塊測試

3 結(jié) 論

本文提出了一種面向嵌入式平臺的基于深度學(xué)習(xí)的快速人群計(jì)數(shù)方法。算法采用頭肩目標(biāo)檢測結(jié)合多目標(biāo)跟蹤的方式來進(jìn)行人群計(jì)數(shù)。在算法檢測部分，本文針對頭肩檢測算法計(jì)算量大、小目標(biāo)多、目標(biāo)擁擠等問題，設(shè)計(jì)了輕量網(wǎng)絡(luò)LPANet作為算法骨干網(wǎng)絡(luò)，并改進(jìn)先驗(yàn)框設(shè)計(jì)和分配策略，在大幅提升檢測速度的同時(shí)，保證了目標(biāo)檢測的精度。同時(shí)本文引入多目標(biāo)跟蹤模塊來進(jìn)行軌跡關(guān)聯(lián)和誤檢抑制。本文提出的方法能夠在ARM嵌入式平臺上對連續(xù)視頻幀中的人群進(jìn)行實(shí)時(shí)準(zhǔn)確計(jì)數(shù)統(tǒng)計(jì)。在包含復(fù)雜場景的頭肩人群計(jì)數(shù)數(shù)據(jù)集上的對比實(shí)驗(yàn)表明了本文方法的有效性。