基于多尺度加權(quán)特征融合網(wǎng)絡(luò)的地鐵行人目標(biāo)檢測算法

董小偉 韓 悅* 張 正 曲洪斌 高國飛 陳明鈿 李 博

①(北方工業(yè)大學(xué)信息學(xué)院 北京 100144)

②(中國石油管道局工程有限公司國際事業(yè)部 北京 065000)

③(北京城建設(shè)計發(fā)展集團(tuán)股份有限公司城市軌道交通綠色與安全建造技術(shù)國家工程實驗室 北京 100037)

1 引言

近年來，公共安全已成為熱點問題被社會各界高度關(guān)注，城市的各個角落均安裝了較為密集的監(jiān)控裝置，確保市民的出行安全。地鐵交通受外界環(huán)境干擾小，行車速度穩(wěn)定，是市民主要的出行方式之一，但地鐵多建設(shè)于地下，環(huán)境復(fù)雜具有特殊性。當(dāng)發(fā)生突發(fā)事件時，人員疏散和救援困難，極易發(fā)生踩踏事故。因此需要更精準(zhǔn)的行人檢測技術(shù)，對地鐵中的復(fù)雜環(huán)境進(jìn)行實時監(jiān)控，避免群體突發(fā)性事件，確保市民安全。隨著深度學(xué)習(xí)的發(fā)展，行人檢測任務(wù)已經(jīng)取得了很大的進(jìn)步，但地鐵中由于攝像頭架設(shè)角度高、人流量大且不斷運(yùn)動，因此拍攝行人目標(biāo)小、遮擋等問題極大地影響了檢測結(jié)果。

早期目標(biāo)檢測方法大多基于手工特征，在底層特征中構(gòu)建復(fù)雜模型提升精度，但人工提取的特征對于復(fù)雜場景而言魯棒性不足。隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)、區(qū)域建議神經(jīng)網(wǎng)絡(luò) (Region-CNN, R-CNN)[1]等深度學(xué)習(xí)模型的提出，以卷積網(wǎng)絡(luò)為代表的目標(biāo)檢測方法迎來了前所未有的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)從原始像素中學(xué)習(xí)高級語義特征，對背景噪聲中具有復(fù)雜姿勢的行人目標(biāo)具有更強(qiáng)的識別力。目前主流的目標(biāo)檢測算法主要分為基于區(qū)域的兩階段算法，如Ren等人[2]提出結(jié)合目標(biāo)候選框的檢測模型更快速區(qū)域卷積網(wǎng)絡(luò)(Faster Region-CNN, Faster-RCNN)，設(shè)計了候選區(qū)域提取網(wǎng)絡(luò) (Region Proposal Network,RPN)，提高了候選框提取質(zhì)量。另一種是基于回歸的單階段目標(biāo)檢測算法如只需看一次網(wǎng)絡(luò)(You Only Look Once, YOLO)[3]、單鏡頭多核檢測器(Single Shot multibox Detector, SSD)[4]，這類算法只經(jīng)過一次前饋網(wǎng)絡(luò)，因此檢測速度更快，實時性更強(qiáng)。2016年Liu等人[4]提出了SSD方法，結(jié)合多尺度的概念在6個不同特征尺度上進(jìn)行預(yù)測且設(shè)定了多種尺度的檢測框，設(shè)計了不同尺寸不同長寬比的默認(rèn)框，其采用全卷積網(wǎng)絡(luò)進(jìn)行連接，通過多個卷積層的信息來檢測不同尺寸的目標(biāo)。SSD算法雖然檢測精度高、速度快，但是它僅將含有較少語義信息的底層特征圖用于小目標(biāo)檢測，比如在以VGG16作為主干網(wǎng)絡(luò)的檢測模型中所選用的最低卷積層是Conv4，這樣一些具有更低級別的信息層就被忽略掉了，包含的特征信息少，因此對于小中目標(biāo)的檢測效果不佳。針對這一問題，特征金字塔網(wǎng)絡(luò) (Feature Pyramid Networks, FPN)[5]設(shè)計了一種自頂向下的連接結(jié)構(gòu)，同時利用低層特征的高分辨率以及高層特征的語義信息，通過對特征層的融合得到最終的輸出結(jié)果。

本文結(jié)合FPN[5]的特征融合思想構(gòu)建了適用于地鐵車站的行人頭肩檢測網(wǎng)絡(luò)，在原來的SSD網(wǎng)絡(luò)的基礎(chǔ)上增加多尺度加權(quán)特征融合模塊，充分利用低層網(wǎng)絡(luò)信息提高對于小目標(biāo)的檢測性能。同時，針對地鐵行人數(shù)據(jù)中小目標(biāo)樣本數(shù)量少、分布不均衡的特點，本文提出了一種針對小目標(biāo)數(shù)據(jù)的過采樣增強(qiáng)算法，有效擴(kuò)充了小目標(biāo)樣本數(shù)量，增加了小目標(biāo)的訓(xùn)練權(quán)重。結(jié)合以上兩種策略，并通過大量試驗驗證，本文提出多尺度加權(quán)特征融合網(wǎng)絡(luò)(Multi-scale Weighted Feature fusion Single Shot multibox Detector, MWFSSD)，在保證速度的前提下，有效提高了小目標(biāo)的檢測精度，提升了整體模型的檢測性能。

2 多尺度特征加權(quán)融合模型

2.1 SSD網(wǎng)絡(luò)

SSD模型是采用VGG為特征提取網(wǎng)絡(luò)的端到端卷積網(wǎng)絡(luò)，采用多尺度方法進(jìn)行目標(biāo)檢測，在保證準(zhǔn)確率的同時，可以更快速高效地完成實時檢測任務(wù)，圖1是SSD網(wǎng)絡(luò)流程圖。原始SSD模型在進(jìn)行地鐵行人頭肩目標(biāo)檢測時出現(xiàn)以下問題：大量小尺寸目標(biāo)難以識別；一些背景區(qū)域如人像海報等被誤識成目標(biāo)對象；目標(biāo)的重復(fù)識別問題。針對以上問題，本文改進(jìn)了SSD模型，將相互獨立的特征層進(jìn)行特征融合，充分利用上下文信息[6]。

圖1 SSD網(wǎng)絡(luò)檢測流程

2.2 多尺度加權(quán)特征融合網(wǎng)絡(luò)MWFSSD

SSD目標(biāo)檢測算法經(jīng)過多個下采樣層來提取特征，而每經(jīng)過一次下采樣，網(wǎng)絡(luò)的分辨率就會被壓縮，從而損失不同分辨率的特征圖信息，這樣使得網(wǎng)絡(luò)在最后很難提取到針對小目標(biāo)的特征，另外，每個特征圖對小目標(biāo)的貢獻(xiàn)程度不同，網(wǎng)絡(luò)淺層提取目標(biāo)邊緣和紋理等細(xì)節(jié)特征，網(wǎng)絡(luò)深層提取物體輪廓的特征。根據(jù)FPN，淺層特征圖對小目標(biāo)檢測更有利，因此要想提高小目標(biāo)檢測精度就要增加底層特征信息，針對這一情況，本文改進(jìn)了特征提取網(wǎng)絡(luò)，選取VGG16的4個不同尺度的特征層分配權(quán)重進(jìn)行加權(quán)融合處理，使每個特征圖都能融合不同特征尺度的信息[7,8]。特征融合的結(jié)果由式(1)得到

其中，xi是用于融合的原始特征層，wi為每一層特征圖的權(quán)重，σi為激活函數(shù)，i代表4個不同的特征層。

本文在VGG16網(wǎng)絡(luò)中選擇conv3_3, conv4_3,fc_7和conv7_2作為特征提取層；在融合之前每一個原始特征層都需要經(jīng)過一個類似于激活函數(shù)的變換函數(shù)σi，對特征圖的尺寸進(jìn)行統(tǒng)一，使用1×1的卷積核來降低輸入通道，F(xiàn)C7和Conv7_2使用線性插值的方法，將所有特征圖轉(zhuǎn)換成相同尺寸(38×38×256)[9]。最終為每一層特征圖分配權(quán)重wi后經(jīng)過Θf融合函數(shù)進(jìn)行Concat操作[10]，為保證特征數(shù)據(jù)尺度一致性，對不同尺度特征進(jìn)行歸一化處理，添加了批標(biāo)準(zhǔn)化層 (Batch Normalization,BN)，其作用是在網(wǎng)絡(luò)訓(xùn)練時，使得每一層的輸入保持相同分布，防止過擬合，簡化調(diào)參過程，以提高收斂速度。最后，將處理后的特征圖送入SSD網(wǎng)絡(luò)中，更好地提取出小目標(biāo)的位置及類別信息[11–16]。多尺度加權(quán)特征融合網(wǎng)絡(luò)原理圖如圖2所示。

圖2 MWFSSD檢測流程圖

3 實驗結(jié)果分析

3.1 實驗數(shù)據(jù)及其預(yù)處理

本實驗的硬件配置采用Intel E5-2603 v4處理器，NVIDIA Titan XP顯卡，軟件環(huán)境是Ubuntu16.04,Python3.7和TensorFlow深度學(xué)習(xí)框架。

本文實驗所用的地鐵行人數(shù)據(jù)集采集自北京地鐵主要換乘站，共43954個頭肩樣本以及3933個難分樣本，包含了地鐵中的很多場景如車站、出入口、上下扶梯等，并且涵蓋了地鐵運(yùn)營各個時間段的客流情況。圖3為訓(xùn)練集及測試集中部分樣本圖像。

圖3 地鐵行人樣本庫示例

地鐵行人樣本庫中，行人目標(biāo)在鏡頭的近處和遠(yuǎn)處尺寸差別很大，這就給準(zhǔn)確檢測帶來了困難。COCO[17]數(shù)據(jù)集是2014年微軟提出的專門用于計算機(jī)視覺領(lǐng)域較權(quán)威的數(shù)據(jù)集，其對于面積小于32×32的目標(biāo)，就認(rèn)為是小目標(biāo)；對于中目標(biāo)的定義是32×32＜面積＜96×96。圖4展示了COCO數(shù)據(jù)集和地鐵行人數(shù)據(jù)集目標(biāo)尺寸的分布情況，其中橫縱坐標(biāo)分別代表目標(biāo)框高和寬的尺寸，可以看出COCO數(shù)據(jù)集圖4(a)中不同尺寸目標(biāo)分布均勻，大中小目標(biāo)都有，而我們的地鐵行人數(shù)據(jù)集圖4(b)目標(biāo)尺寸集中在96×96以內(nèi)的小、中尺寸目標(biāo)，幾乎不存在較大的目標(biāo)，這就需要我們的模型對于小尺寸目標(biāo)具有更強(qiáng)的檢測性能。

圖4 COCO數(shù)據(jù)集和地鐵行人數(shù)據(jù)集目標(biāo)尺寸分布

小目標(biāo)在地鐵行人數(shù)據(jù)集中非常常見，而它們在不同圖像中的分布是不可預(yù)測的。在整個數(shù)據(jù)集中，包含小目標(biāo)的圖片數(shù)量極少，然而卻存在個別圖像中幾乎所有的目標(biāo)都是小目標(biāo)。這種數(shù)據(jù)分布的不平衡嚴(yán)重妨礙了訓(xùn)練進(jìn)程。小目標(biāo)數(shù)量少且尺寸相對較小，因此在訓(xùn)練中對于網(wǎng)絡(luò)的優(yōu)化作用較小，這種不平衡的網(wǎng)絡(luò)參數(shù)優(yōu)化導(dǎo)致檢測性能不佳。根據(jù)這一發(fā)現(xiàn)，本文提出了一種數(shù)據(jù)增強(qiáng)的方法，使用過采樣方法構(gòu)造并擴(kuò)充小目標(biāo)樣本，將小目標(biāo)占比低的圖像尺寸縮小到原來的1/4，并將4張縮小后的圖像拼接成與原圖像尺寸相同的圖片送入網(wǎng)絡(luò)，從而增加小目標(biāo)數(shù)據(jù)的權(quán)重。

圖5是小目標(biāo)過采樣增強(qiáng)算法的原理圖。首先統(tǒng)計出地鐵行人數(shù)據(jù)集中每幅圖片中的小目標(biāo)(尺寸小于64×64)占總目標(biāo)的比例Rs，若比例小于閾值τ，則說明小目標(biāo)占比小，應(yīng)該增加小目標(biāo)的數(shù)量。因此，本文設(shè)計了小目標(biāo)增強(qiáng)預(yù)處理模塊，將這些圖片做拼接處理，并添加新的目標(biāo)框節(jié)點坐標(biāo)到新的數(shù)據(jù)文件中最終與原圖片一起送入設(shè)計好的檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，指導(dǎo)網(wǎng)絡(luò)更新[18]。假設(shè)原始圖片高和寬分別為h和w，則拼接后的圖片高和寬變成2h,2w。設(shè)原始圖片中目標(biāo)位置為(Xmin,Ymin,Xmax,Ymax)則該目標(biāo)擴(kuò)充后的4個新目標(biāo)坐標(biāo)分別為

圖5 小目標(biāo)過采樣增強(qiáng)算法

3.2 模型的評價指標(biāo)

本文采用準(zhǔn)確率(P)、召回率(R)、平均精度均值(mean Average Precision, mAP)、每秒幀率(frame per second, fps)對算法進(jìn)行性能評價。其中，平均精度均值mAP定義為所有類別檢測的平均準(zhǔn)確度，通常用mAP作為評估算法精度的最終指標(biāo)。目標(biāo)被成功檢測出認(rèn)定為正樣本，未被成功檢測出則認(rèn)為是負(fù)樣本。IoU閾值設(shè)為0.5，大于0.5則認(rèn)為是檢測正確，記為T；否則記為F。實驗結(jié)果中，IoU小于等于0.5的記為FP, IoU大于0.5的記為TP。

準(zhǔn)確率計算公式為

召回率計算公式為

除了檢測準(zhǔn)確度，目標(biāo)檢測算法的另外一個重要性能指標(biāo)是速度，只有速度快，才能實現(xiàn)實時檢測，這在地鐵行人檢測應(yīng)用中極其重要。評估速度的常用指標(biāo)是每秒幀率，即每秒內(nèi)可以處理的圖片數(shù)量。在實際應(yīng)用中，每秒幀數(shù)不能低于20 fps，否則會影響錄像視頻的流暢度[19]。

模型的時間復(fù)雜度可以用浮點運(yùn)算次數(shù)(floating-point operations)即FLOPS衡量。單個卷積層的時間復(fù)雜度計算公式如式(11)所示

最終，經(jīng)過計算，MWFSSD相對于SSD網(wǎng)絡(luò)而言，時間復(fù)雜度增加了31.31GFLOPs，沒有大幅增加網(wǎng)絡(luò)的時間開銷。

3.3 特征層選擇結(jié)果

本文實驗均基于地鐵行人頭肩數(shù)據(jù)集，選用VGG16網(wǎng)絡(luò)的Conv3_3(Conv3), Conv4_3(Conv4), FC7(Conv7), Conv7_2(Conv8), 4層特征層進(jìn)行不同方式融合，與原始SSD網(wǎng)絡(luò)進(jìn)行對比，得到不同特征層融合后的模型及其模型精度mAP的對比實驗結(jié)果。部分實驗結(jié)果如表1所示。

由表1可知，當(dāng)由Conv3, Conv4, Conv7,Conv8 4層特征圖一起融合后的模型精度可以達(dá)到86.48，比原始SSD高出2.58，說明融合底層特征的信息對模型精度的提升有很大影響。

表1 特征層融合精度結(jié)果比較

3.4 本文網(wǎng)絡(luò)MWFSSD實驗結(jié)果

本文在Conv3+Conv4+Conv7+Conv8的融合模型基礎(chǔ)上，分別為4個特征層分配不同權(quán)重w1,w2, w3, w4再進(jìn)行融合，并且w1+w2+w3+w4＝1，融合公式如式(1)。

本文做了大量實驗，驗證了不同權(quán)重分配方式的檢測精度。表2記錄了本文選擇的分配權(quán)重與無權(quán)重進(jìn)行比較的檢測結(jié)果。結(jié)果證明，淺層特征更有利于中、小目標(biāo)檢測，加入權(quán)重進(jìn)行融合比不加權(quán)重融合的模型mAP提高了1.44，有效提高了模型精度。

表2 不同權(quán)重分配的檢測結(jié)果

最終，結(jié)合小目標(biāo)過采樣增強(qiáng)算法與多尺度特征加權(quán)融合網(wǎng)絡(luò)進(jìn)行實驗驗證，表3記錄了本文模型與主流目標(biāo)檢測模型SSD, Faster-RCNN, YoloV3在精度和速度上的對比結(jié)果。本文所提模型在檢測精度上較原SSD模型提升了5.82，相較于其他模型也有不同程度的提高，速度上SSD每秒檢測43幀圖像，本文模型MWFSSD每秒檢測32幀圖像，速度有輕微下降是因為模型深度有所增加，但與精度較高的Faster-RCNN相比，速度上有明顯優(yōu)勢，并且仍能滿足實時性的要求。圖6是部分SSD與MWFSSD檢測結(jié)果對比圖，可以看出本文方法有效改善了地鐵行人檢測中漏檢、錯檢的問題。實驗證明，我們的方法在提高精度的同時，可以滿足實時性需求[20,21]。

表3 MWFSSD與主流檢測方法檢測結(jié)果對比

圖6 SSD與MWFSSD檢測效果對比圖

4 結(jié)論

本文針對地鐵行人檢測中小尺寸目標(biāo)數(shù)量不足、分布不均衡的特點提出了針對小目標(biāo)數(shù)據(jù)的過采樣增強(qiáng)算法，根據(jù)尺度比例增加小目標(biāo)的利用率。同時，針對地鐵行人目標(biāo)小的問題，提出了多尺度加權(quán)融合算法，并進(jìn)行大量實驗確定最優(yōu)參數(shù)，提高對小目標(biāo)的檢測精度。結(jié)果顯示，本文所提地鐵行人多尺度加權(quán)特征融合算法在保證實時性檢測的同時，檢測精度mAP達(dá)到89.72%，相比原始SSD算法提升了5.82%，能夠更準(zhǔn)確地實時監(jiān)測地鐵中的客流量。