一種改進(jìn)的輕量人頭檢測(cè)方法

高瑋軍，師 陽，楊 杰，張春霞

蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州730050

隨著人口數(shù)量的增多，尤其是在商場(chǎng)、火車站等人口密集的公共區(qū)域，容易引起人員擁堵、推搡踩踏等安全事故。通過視頻監(jiān)控實(shí)時(shí)統(tǒng)計(jì)公共場(chǎng)所的人數(shù)，政府部門可以及時(shí)安排公安消防等人員對(duì)人流進(jìn)行疏散和引導(dǎo)，可以有效預(yù)防及減少突發(fā)性的安全問題。

現(xiàn)有的密集人數(shù)統(tǒng)計(jì)方法概括為以下兩種實(shí)現(xiàn)途徑[1]：基于回歸的人數(shù)統(tǒng)計(jì)方法和基于檢測(cè)的人數(shù)統(tǒng)計(jì)方法。

一種常用的人數(shù)統(tǒng)計(jì)方法是基于輸入圖像預(yù)測(cè)密度圖訓(xùn)練回歸模型，以像素為單位取整個(gè)密度圖的總和來預(yù)測(cè)最終人數(shù)。Zhang等[2]設(shè)計(jì)了一種簡單有效的多列卷積神經(jīng)網(wǎng)絡(luò)MCNN，從任意密度和任意視角準(zhǔn)確估計(jì)單幅圖像中的人數(shù)。Li 等[3]設(shè)計(jì)了一個(gè)更深的網(wǎng)絡(luò)CSRNet，引入膨脹卷積層作為后端部署，以擴(kuò)大感受野并提取更深的特征。Jiang等[4]提出的基于Trellis編解碼器網(wǎng)絡(luò)TEDNet。這些算法已經(jīng)取得非常好的結(jié)果，但缺點(diǎn)是對(duì)于輸入圖像的分辨率非常敏感，且不考慮密度映射中計(jì)數(shù)貢獻(xiàn)來自何處的位置，無法精準(zhǔn)定位。

另一種常用的人數(shù)統(tǒng)計(jì)方法是基于檢測(cè)的方法。將圖像直接輸入到經(jīng)過預(yù)先訓(xùn)練的目標(biāo)檢測(cè)框架中進(jìn)行分類，計(jì)算出類別為人的邊界框數(shù)量，以獲得最終的人數(shù)?，F(xiàn)有的檢測(cè)算法分為以下兩大類：一類是兩階段檢測(cè)算法，典型代表為R-CNN[5]、Fast-RCNN[6]、Faster-RCNN[7]等；另一類是一階段檢測(cè)算法，典型代表為SSD[8]、YOLO[9]等。但是通過檢測(cè)統(tǒng)計(jì)人數(shù)通常將整個(gè)人體作為檢測(cè)對(duì)象，由于高矮不一、胖瘦不均等原因，在人口密集的公共區(qū)域很容易出現(xiàn)高遮擋情況導(dǎo)致檢測(cè)結(jié)果不佳。

為了解決以上相應(yīng)模型中存在的問題，Gao 等[10]提出用局部部位檢測(cè)計(jì)數(shù)的方法，利用檢測(cè)到的人頭數(shù)目統(tǒng)計(jì)人數(shù)。Luo等[11]通過頭肩模型來統(tǒng)計(jì)人數(shù)。Vu等[12]提出一種包含三個(gè)子模型人頭檢測(cè)模型。Peng 等[13]設(shè)計(jì)了一種具有兩個(gè)檢測(cè)器的特征細(xì)化網(wǎng)和級(jí)聯(lián)多尺度結(jié)構(gòu)的頭部檢測(cè)模型。Vora[1]設(shè)計(jì)的FCHD人頭檢測(cè)模型能夠?qū)崿F(xiàn)快速準(zhǔn)確的人頭檢測(cè)，并適合在嵌入式設(shè)備上運(yùn)行。Chi 等[14]提出的JointDet 網(wǎng)絡(luò)能夠同時(shí)檢測(cè)頭部和人體。

本文采用人頭檢測(cè)的方法在密集場(chǎng)景中能夠精確定位且有效避免了高遮擋問題，并采用輕量級(jí)的網(wǎng)絡(luò)更加適合用于工業(yè)領(lǐng)域搭載嵌入式設(shè)備運(yùn)行，快速準(zhǔn)確地實(shí)現(xiàn)人頭檢測(cè)，提高人數(shù)統(tǒng)計(jì)的準(zhǔn)確率。本文的研究工作主要有以下兩點(diǎn)：

（1）通過在YOLOv3-tiny網(wǎng)絡(luò)上增加一個(gè)尺度改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，將低層更多包含人頭的特征信息提取出來，與高層語義信息相融合，實(shí)現(xiàn)不同卷積層多元信息的分類預(yù)測(cè)與位置回歸，提高檢測(cè)的精度。

（2）根據(jù)人頭較小且尺度變化不大的特點(diǎn)，結(jié)合有效感受野的思想，采用K-means聚類的方法分析設(shè)置初始候選框，提高候選框的精度。在測(cè)試集上對(duì)該方法進(jìn)行測(cè)試，與改進(jìn)前的方法對(duì)比，漏檢率降低，檢測(cè)精度和檢測(cè)速度均有所提升。

1 YOLOv3-tiny檢測(cè)算法

YOLOv3-tiny 是YOLOv3（You Only Look Once）的輕量級(jí)版本，作為目前最優(yōu)秀的目標(biāo)檢測(cè)架構(gòu)之一，采用回歸的方式做到了真正的端到端檢測(cè)，極大地提高了檢測(cè)實(shí)時(shí)性，并且借鑒了FPN 的思想，在多個(gè)尺度的融合特征圖上分別獨(dú)立做檢測(cè)，以輕量級(jí)、成本低的優(yōu)點(diǎn)已被廣泛運(yùn)用于各大工業(yè)中。其主要思想是將輸入圖片劃分為S×S個(gè)格子，圖像中的候選區(qū)域個(gè)數(shù)為S×S×K，若某個(gè)物體ground truth 的中心位置的坐標(biāo)落入到某個(gè)柵格，則這個(gè)柵格就負(fù)責(zé)檢測(cè)出物體。置信度反映是否包含物體以及包含物體情況下位置的準(zhǔn)確性，定義如下：Conf(Object)=Pr(Object)×Pr(Object)表示是否有目標(biāo)物落入候選框?qū)?yīng)的單元格中。若有，單元格對(duì)應(yīng)的候選框的置信度為Conf(Object)=；否則，認(rèn)定候選框中沒有目標(biāo)物，即Conf(Object)=0

表示預(yù)測(cè)框與真實(shí)框的交并比。對(duì)存在目標(biāo)物的候選框進(jìn)行人頭檢測(cè)，目標(biāo)是人頭的條件概率Pr( )

Person|Object，則候選框中包含人頭的置信度Conf：

對(duì)每個(gè)候選框預(yù)測(cè)其中包含人頭的概率以及邊界框的位置[15]，則每個(gè)候選框輸出的預(yù)測(cè)值為：[X,Y,W,H,，其中X、Y為預(yù)測(cè)框中心相對(duì)于單元格邊界的偏移，W、H為預(yù)測(cè)框?qū)捀呦鄬?duì)于整幅圖像之比[16]。對(duì)于輸入的每幅圖片，最終網(wǎng)絡(luò)輸出為向量：

2 MKYOLOv3-tiny網(wǎng)絡(luò)

在實(shí)際工業(yè)運(yùn)用中，較深地提取網(wǎng)絡(luò)容易造成梯度彌散和爆炸問題[17]。本文選取YOLOv3-tiny 網(wǎng)絡(luò)為基礎(chǔ)，其優(yōu)點(diǎn)主要是網(wǎng)絡(luò)簡單，計(jì)算量小，可以搭載移動(dòng)端或設(shè)備端運(yùn)行，但缺點(diǎn)是候選框和分類精度都較低。為解決這一問題，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示，通過增加一個(gè)尺度，讓網(wǎng)絡(luò)同時(shí)學(xué)習(xí)高層的語義信息與低層更多包含人頭特征的信息，更加快速，輕量，端到端地提高人頭檢測(cè)的精度。

圖1 MKYOLOv3-tiny網(wǎng)絡(luò)

2.1 調(diào)整輸入圖像大小

YOLOv3-tiny 網(wǎng)絡(luò)都會(huì)對(duì)輸入任意大小的圖像進(jìn)行縮放或剪裁，統(tǒng)一為相同尺度416×416。而Brainwash密集人頭檢測(cè)數(shù)據(jù)集中給出每張圖片的大小640×480。如果仍對(duì)圖像進(jìn)行縮放或者剪裁，原圖像中人頭的分辨率會(huì)減小，這對(duì)檢測(cè)人頭這類小目標(biāo)有很大的影響，增加檢測(cè)的難度。因此修改網(wǎng)絡(luò)參數(shù)中的width 和height為640×480，以此保持輸入圖像的分辨率不變。

2.2 改進(jìn)的網(wǎng)絡(luò)

在卷積神經(jīng)網(wǎng)絡(luò)中低層特征語義信息較少，但目標(biāo)位置明確；高層特征語義信息較豐富，但目標(biāo)位置信息較粗糙。為了防止圖像通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)小目標(biāo)進(jìn)行特征提取時(shí)，低層的信息利用不充分而導(dǎo)致部分信息丟失，本文借鑒特征金字塔的多尺度模塊原理，主干網(wǎng)絡(luò)tiny-darknet僅采用一個(gè)7層的conv+max網(wǎng)絡(luò)提取特征，嫁接網(wǎng)絡(luò)采用的是20×15、40×30 的分辨率檢測(cè)網(wǎng)絡(luò)。為提高人頭的檢測(cè)精度，將預(yù)測(cè)尺度從原有的兩個(gè)改為三個(gè)。多尺度融合時(shí)應(yīng)當(dāng)保證輸出的特征圖尺寸與通道數(shù)一致，因此需要對(duì)高層的特征進(jìn)行2倍上采樣得到80×60×128，與其對(duì)應(yīng)的低層特征圖80×60×128拼接得到80×60×256，隨后采用1×1 卷積核而不采用全連接的方式，在不改變特征圖大小的同時(shí)避免了特征信息的丟失。網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，低層特征映射圖如圖3所示，多尺度融合在對(duì)人頭的檢測(cè)上具有更深層次的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，三個(gè)預(yù)測(cè)尺度產(chǎn)生了尺度更為精細(xì)的特征圖，越細(xì)的網(wǎng)格劃分對(duì)人頭的適應(yīng)能力越好，以此提高對(duì)人頭檢測(cè)的精確度。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)圖

圖3 低層特征映射圖

2.3 候選框聚類

在目標(biāo)檢測(cè)任務(wù)中，合適的anchor能夠提高檢測(cè)任務(wù)的精度和速度。YOLOv3-tiny 算法中使用的候選框是根據(jù)VOC 數(shù)據(jù)集訓(xùn)練所得，其中包含多個(gè)類別且實(shí)例尺寸過大，對(duì)應(yīng)候選框的值也偏大。故在本文所使用的數(shù)據(jù)集中，部分候選框并不合理，如圖4所示。

圖4 目標(biāo)檢測(cè)框的尺寸

本文用的數(shù)據(jù)集僅針對(duì)人頭這一單目標(biāo)，考慮到人頭較小的特點(diǎn)，結(jié)合有效感受野的思想，采用K-means方法[18]對(duì)候選框重新進(jìn)行維數(shù)聚類。聚類的目的是使預(yù)測(cè)框（anchor box）與真實(shí)框（ground truth）的IOU 值盡量大，其中IOU（Intersection-over-Union）是反映預(yù)測(cè)框與真實(shí)框差異的重要指標(biāo)，IOU 值越大，表明兩者差異越小[15]。聚類的目標(biāo)函數(shù)為：

其中，N表示聚類的類別，M表示聚類的樣本集，Box[N]表示聚類得到的預(yù)測(cè)框?qū)捀撸琓ruth[M]表示真實(shí)框?qū)捀?。具體步驟如下：

（1）聚類的樣本集為預(yù)先標(biāo)注好的數(shù)據(jù)集，其中每個(gè)候選框輸出的預(yù)測(cè)值包含[xi,yi,wi,hi],i∈{1 ,2,…,N}，聚類中心設(shè)定為k個(gè)，隨機(jī)初始化為(Wi,Hi),i∈{1,2,…,k} ，由于卷積神經(jīng)網(wǎng)絡(luò)具有平移不變性，僅通過聚類計(jì)算出候選框的w和h即可。

（2）針對(duì)候選框的w和h進(jìn)行坐標(biāo)轉(zhuǎn)換，將相對(duì)于整張圖片的比例轉(zhuǎn)換為相對(duì)于柵格邊長的比例（即0到1之間）。

（3）將每個(gè)預(yù)測(cè)框的中心點(diǎn)都與聚類中心重合，通過d=1-IOU(Box[N],Truth[M])，計(jì)算預(yù)測(cè)框和聚類中心點(diǎn)的距離，將預(yù)測(cè)框分配給“距離”最近的聚類中心。

按照上述方法，對(duì)Brainwash 密集人頭數(shù)據(jù)集中的樣本進(jìn)行聚類分析，聚類結(jié)果如表1，在YOLOv3-tiny原有的2 個(gè)預(yù)測(cè)尺度上增加1 個(gè)，候選框的數(shù)量也由6 個(gè)增加為9 個(gè)，9 個(gè)候選框會(huì)被3 個(gè)預(yù)測(cè)尺度平分。anchors=（14，14），（15，16），（17，19），（21，19），（20，21），（22，24），（26，26），（31，33），（41，42）。僅針對(duì)該數(shù)據(jù)集人頭這一類別，候選框的準(zhǔn)確率達(dá)到了87.06%。通過對(duì)比VOC2012和本文使用的Brainwash數(shù)據(jù)集，得到K值與AvgIOU 之間的關(guān)系，如圖5 所示，隨著K值的增大，目標(biāo)函數(shù)變化越來越平穩(wěn)[19]。

表1 聚類結(jié)果

圖5 K-means聚類分析結(jié)果

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)所用的計(jì)算機(jī)配置：IntelCorei51.4 GHz，4 GB內(nèi)存；ubuntu14.04，64位操作系統(tǒng)；Tensorflow深度學(xué)習(xí)框架，僅采用CPU訓(xùn)練。

3.2 訓(xùn)練網(wǎng)絡(luò)

本文的模型是在Brainwash 密集人頭數(shù)據(jù)集2 的10 461張圖像中選取了部分5 000張進(jìn)行訓(xùn)練的，300張圖像進(jìn)行測(cè)試的。Brainwash密集人頭檢測(cè)數(shù)據(jù)集中給出每張圖片的大小為640×480。為保持輸入圖像的分辨率不變，將圖像重塑為640×480大小。數(shù)據(jù)集按照標(biāo)準(zhǔn)VOC數(shù)據(jù)集格式進(jìn)行構(gòu)建。

（1）整理Brainwash 數(shù)據(jù)集中給出的.idl 文件（包含文件名，[xmin,ymin,xmax,ymax]），將格式轉(zhuǎn)換成YOLO的＜類別＞＜?xì)w一化中心坐標(biāo)x＞＜?xì)w一化中心坐標(biāo)y＞＜?xì)w一化圖片w＞＜?xì)w一化圖片h＞，首先需要先生成.xml格式Annotations 文件，然后再算出歸一化的坐標(biāo)，歸一化的寬高，最后將一幅圖像的標(biāo)注文件添加到以圖片名命名的.txt文件中。

（2）將圖片及其.xml 文件導(dǎo)入YOLO-mark 進(jìn)行驗(yàn)證，確認(rèn)無誤后開始訓(xùn)練。

（3）為了加快訓(xùn)練同時(shí)防止過擬合，卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)的設(shè)定只能通過不斷嘗試的方式獲得。每1 000 次迭代保存一次權(quán)重文件，以便獲取最佳權(quán)重。通過多次實(shí)驗(yàn)不斷調(diào)整，本文網(wǎng)絡(luò)的超參數(shù)如表2所示。

表2 網(wǎng)絡(luò)的參數(shù)設(shè)置

3.3 聚類前后對(duì)比

本文采用K-means 重新維數(shù)聚類，聚類前后對(duì)比如圖6 所示，上下分別為兩次實(shí)驗(yàn)對(duì)比，圖（a）為原圖，圖（b）為YOLOv3-tiny 聚類，圖（c）為MKYOLOv3-tiny聚類?？擅黠@看出圖（b）改進(jìn)前的候選框偏大，經(jīng)過改進(jìn)，圖（c）中候選框的精度得到了有效提升。

圖6 聚類前后對(duì)比圖

3.4 模型有效性分析

為了檢驗(yàn)本文提出的人頭檢測(cè)模型的有效性，采用平均準(zhǔn)確率mAP（mean Average Precision）、檢測(cè)時(shí)間（單位ms）、漏檢個(gè)數(shù)三個(gè)指標(biāo)作為不同方法在人頭檢測(cè)任務(wù)上的性能評(píng)價(jià)指標(biāo)。其中平均準(zhǔn)確率（mAP）表示人頭檢測(cè)任務(wù)的精度；檢測(cè)時(shí)間（單位ms）表示人頭檢測(cè)任務(wù)的速度。為了更好地評(píng)估方法，在上述廣泛使用的精度和速度兩大性能評(píng)估指標(biāo)的基礎(chǔ)上，額外增加了漏檢個(gè)數(shù)[20]來表示沒有被正確檢測(cè)到的人頭個(gè)數(shù)。其中精確率precision和召回率recall的定義如下：

由于本文只涉及單個(gè)目標(biāo)人頭的檢測(cè)，故mAP即為AP：

在測(cè)試集上的表現(xiàn)與其他模型進(jìn)行對(duì)比分析，結(jié)果如表3所示。

表3 改進(jìn)網(wǎng)絡(luò)檢測(cè)結(jié)果對(duì)比

上述實(shí)驗(yàn)結(jié)果表明：在Brainwash 密集人頭檢測(cè)數(shù)據(jù)集上MKYOLOv3-tiny與YOLOv3-tiny相比檢測(cè)精度有明顯提升，漏檢率降低，且一般的遮擋和人頭的檢測(cè)都能實(shí)現(xiàn)。但檢測(cè)速度稍有下降，這是由于多尺度融合在充分利用上下文語義信息的同時(shí)，相當(dāng)于加深了網(wǎng)絡(luò)，增加了模型的復(fù)雜度。但實(shí)際運(yùn)用于工業(yè)領(lǐng)域中仍足夠輕量滿足搭載移動(dòng)端或設(shè)備端的需求，實(shí)時(shí)性也不會(huì)有太大影響。

卷積神經(jīng)網(wǎng)絡(luò)通過對(duì)原圖像的不同特征進(jìn)行提取，低層具有更加豐富的包含人頭特征的信息，提取效果圖如圖7 所示，其中圖（a）為原圖，圖（b）為第一層卷積后輸出的特征圖640×480×16可視化，圖（c）為第四層卷積后輸出的特征圖80×60×128可視化。

圖7 低層特征提取效果圖

部分測(cè)試樣本及其檢測(cè)結(jié)果如圖8 所示，其中由上到下分別為三次實(shí)驗(yàn)對(duì)比，圖（a）為原圖，圖（b）為YOLOv3-tiny的識(shí)別效果，圖（c）為改進(jìn)的MKYOLOv3-tiny方法的識(shí)別效果。實(shí)驗(yàn)結(jié)果分析如表4所示。

表4 實(shí)驗(yàn)結(jié)果分析

圖8 部分測(cè)試樣本及其檢測(cè)結(jié)果

通過對(duì)比發(fā)現(xiàn)，改進(jìn)的網(wǎng)絡(luò)檢測(cè)精度有所提高且漏檢個(gè)數(shù)明顯降低，能夠更加準(zhǔn)確地統(tǒng)計(jì)人數(shù)。這說明本文提出的方法在提高精度降低漏檢率的方面是有效的。

4 結(jié)束語

本文提出一種改進(jìn)的輕量人頭檢測(cè)方法MKYOLOtiny。以輕量級(jí)網(wǎng)絡(luò)YOLOv3-tiny 為基礎(chǔ)，通過多尺度融合提取出更多的人頭特征，提升檢測(cè)的精度；通過Kmeans 聚類減小初始候選框的大小，提升候選框的精度。最后，在Brainwash密集人頭數(shù)據(jù)集上驗(yàn)證，結(jié)合客觀性評(píng)價(jià)指標(biāo)的測(cè)試，和YOLOv3-tiny相比，MKYOLOtiny檢測(cè)精度更高，漏檢個(gè)數(shù)更少，滿足了實(shí)時(shí)性，并且適合在移動(dòng)端或設(shè)備端上運(yùn)行。