一種優(yōu)化YOLO模型的交通警察目標(biāo)檢測方法

李妮妮，王夏黎，付陽陽，鄭鳳仙，何丹丹，袁紹欣

一種優(yōu)化YOLO模型的交通警察目標(biāo)檢測方法

李妮妮，王夏黎，付陽陽，鄭鳳仙，何丹丹，袁紹欣

(長安大學(xué)信息工程學(xué)院，陜西 西安 710064)

針對復(fù)雜交通場景中交通警察目標(biāo)檢測與定位準(zhǔn)確率低的問題，提出一種優(yōu)化YOLOv4模型的交通警察目標(biāo)檢測方法。首先，采用4種隨機(jī)轉(zhuǎn)換方式對自建的交通警察數(shù)據(jù)集進(jìn)行擴(kuò)充，解決了模型過擬合問題并提高模型的泛化能力；其次，將YOLOv4主干網(wǎng)絡(luò)替換為MobileNet并引入Inception-Resnet-v1結(jié)構(gòu)，有效地減少了參數(shù)總量并加深了網(wǎng)絡(luò)層數(shù)；然后，使用K-means++聚類算法對自建數(shù)據(jù)集進(jìn)行聚類分析以重新定義網(wǎng)絡(luò)的初始候選框，提高了交通警察目標(biāo)深度特征的學(xué)習(xí)效率；最后，引入焦點(diǎn)損失函數(shù)以優(yōu)化分類損失函數(shù)，解決了訓(xùn)練中正負(fù)樣本數(shù)量不平衡問題。研究結(jié)果表明，優(yōu)化后的YOLOv4模型大小僅50 M，AP值達(dá)98.01%，與Faster R-CNN，YOLOv3和原始YOLOv4模型相比均有提升。有效解決了目前復(fù)雜交通場景中交通警察目標(biāo)的漏檢、誤檢及檢測精度低等問題。

交通警察目標(biāo)檢測；YOLOv4模型；K-means++聚類算法；深度特征學(xué)習(xí)；焦點(diǎn)損失函數(shù)

近年來，隨著人工智能技術(shù)不斷地革新突破，無人駕駛技術(shù)因具有緩解交通壓力、降低環(huán)境污染、降低交通事故發(fā)生率等優(yōu)點(diǎn)，將成為智能交通領(lǐng)域未來發(fā)展的主流趨勢[1]。成熟的無人駕駛系統(tǒng)除需對交通信號燈[2]、交通標(biāo)志牌[3]等固定信號做出響應(yīng)外，還需對復(fù)雜交通場景中進(jìn)行靈活判斷和疏導(dǎo)的交通警察做相應(yīng)地回應(yīng)[4]。因?yàn)榻煌ň焓菑?fù)雜交通網(wǎng)絡(luò)中的重要一員，能夠有效地協(xié)調(diào)在無交通信號燈的路口、擁堵路段、事故現(xiàn)場等復(fù)雜交通狀況下的交通秩序問題，對城市交通網(wǎng)絡(luò)更好、更快地發(fā)展起著積極地促進(jìn)作用[5-6]。因此，對交通警察檢測算法的研究有助于保護(hù)交通警察人身安全及保障城市交通網(wǎng)絡(luò)持久健康的發(fā)展。

交通警察檢測屬于計算機(jī)視覺領(lǐng)域中目標(biāo)檢測的范疇。傳統(tǒng)的目標(biāo)檢測是通過特征提取和特征分類2個相互獨(dú)立的步驟完成，特征提取有方向梯度直方圖(histogram of oriented gradient，HOG)[7]、局部二值模式(local binary pattern，LBP)[8]等；特征分類包括AdaBoost (AdaptiveBoosting)[9]、支持向量機(jī)(support vector machine，SVM)[10]等，該方法由于受到光線、遮擋和復(fù)雜背景等問題影響易導(dǎo)致提取的特征單一且魯棒性不強(qiáng)。隨著卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork，CNN)在圖像分類任務(wù)上應(yīng)用后，其目標(biāo)檢測算法成了當(dāng)前主流算法[11-12]。如GIRSHICK等[13]提出的R-CNN (regions with CNN features)和Fast R-CNN[14]；REN等[15]提出的Faster R-CNN；HE等[16]提出的Mask R-CNN均是基于目標(biāo)候選框思想的Two-stage方法，擁有較高的準(zhǔn)確率。LIU等[17]提出的SSD (single shot multibox detector)；REDMON等[18]提出的YOLO (you only look once)，YOLO9000[19]和YOLOv3[20]；BOCHKOVSKIY等[21]提出的YOLOv4均是基于回歸思想的One-stage方法，其相較于R-CNN系列網(wǎng)絡(luò)因無目標(biāo)候選框提取操作而擁有更高地檢測速度。雖然采用CNN的方法在目前主流的數(shù)據(jù)集中取得了較大進(jìn)展和突破，但該方法不能完全適合復(fù)雜交通場景中交通警察圖像的檢測工作，因此要在復(fù)雜的交通場景下快速且準(zhǔn)確地檢測出交通警察仍面臨著一定的局限性。

針對以上問題，本文將Faster R-CNN，YOLOv3和YOLOv4等3種方法分別應(yīng)用于交通警察的檢測中，以尋求最適合交通警察檢測的算法，發(fā)現(xiàn)基于YOLOv4在檢測準(zhǔn)確率和檢測速度上均優(yōu)于其他檢測方法。為此，本文又通過K-means++聚類算法重新計算交通警察的anchor值、將主干網(wǎng)絡(luò)替換為MobileNet并引入Inception-Resnet-v1模塊及焦點(diǎn)損失函數(shù)來優(yōu)化YOLOv4網(wǎng)絡(luò)模型，使其更優(yōu)地實(shí)現(xiàn)復(fù)雜交通場景中不同服飾交通警察的檢測工作。實(shí)驗(yàn)結(jié)果表明，基于YOLOv4優(yōu)化模型的大小僅50 M，其在交通警察測試集上的精確率、召回率、類別平均精度、每秒幀數(shù)(frame per second，F(xiàn)PS)分別為99.60%，95.42%，98.01%和39.5，均優(yōu)于其他3種網(wǎng)絡(luò)模型。

1 YOLOv4算法原理及檢測流程

1.1 YOLOv4目標(biāo)檢測算法原理

YOLOv4是YOLO系列中最新的目標(biāo)檢測算法，其具體的網(wǎng)絡(luò)結(jié)構(gòu)由主干特征提取網(wǎng)絡(luò)、特征金字塔結(jié)構(gòu)和預(yù)測網(wǎng)絡(luò)組成，如圖1所示。

1.1.1 主干特征提取網(wǎng)絡(luò)

YOLOv4學(xué)習(xí)目標(biāo)特征的主干特征提取網(wǎng)絡(luò)為CSPDarknet53，該結(jié)構(gòu)是在YOLOv3主干特征提取網(wǎng)絡(luò)Darknet53的基礎(chǔ)上引入跨階段局部網(wǎng)絡(luò)結(jié)構(gòu)的思想[22]。首先對416×416×3大小的輸入圖像經(jīng)CBM進(jìn)行卷積操作使之變?yōu)?16×416×32大小，又經(jīng)5個CSPX模塊，然而對于YOLOv4中的CSPX模塊與一般的由初始輸入和經(jīng)卷積后輸出而組成的殘差模塊不同，其是在保留原有殘差塊的基礎(chǔ)上，將前一層的輸出經(jīng)過少量處理和小的殘差結(jié)構(gòu)做大的殘差連接，在CSPDarknet中可以繞過很多殘差結(jié)構(gòu)的大殘差邊，通過這種拼接方式可以在減少計算量和降低內(nèi)存成本的同時保證準(zhǔn)確率，從而提取更多有用的特征信息。對于圖1中的CSP1，CSP2，CSP4和CSP8中的1，2，4，8表示殘差單元模塊的重復(fù)次數(shù)。另外，由于網(wǎng)絡(luò)中每個CSP模塊相對應(yīng)的2個卷積核大小分別為3×3和1×1，能使經(jīng)過殘差塊處理的特征圖通道數(shù)翻倍，且尺寸縮小一半。由于在第3和第4個CSP8中的第54和85層分別有一個分支用于后續(xù)上采樣的特征，因此輸出維度分別為13×13×1024，26×26×512和52×52×256的3個殘差模塊的特征圖。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

1.1.2 特征金字塔結(jié)構(gòu)

特征金字塔由空間金字塔池化層(spatial pyramid pooling，SPP)[23]和路徑聚合網(wǎng)絡(luò)(path aggregation network，PANet)[24]組成，且位于主干特征提取網(wǎng)絡(luò)與預(yù)測網(wǎng)絡(luò)之間，主要負(fù)責(zé)深層融合特征的提取。如圖1所示的SPP模塊主要解決輸入圖像可能不符合輸入大小而對其進(jìn)行裁剪和拉伸操作時導(dǎo)致圖像失真的問題。SPP模塊僅處理輸出維度為13×13×1024的特征圖，為了增加網(wǎng)絡(luò)的感受野從而分離出顯著的上下文特征，使該特征經(jīng)過(1×1，5×5，9×9，13×13)不同大小的池化核進(jìn)行最大池化處理，再將每個池化后的結(jié)果進(jìn)行通道拼接輸出。YOLOv4主要通過深淺層特征融合實(shí)現(xiàn)增強(qiáng)特征信息的目的PANet網(wǎng)絡(luò)(圖2)，其主要對輸出維度為13×13×1024，26×26×512和52×52×256的特征圖上采用PANet結(jié)構(gòu)，然而PANet網(wǎng)絡(luò)對于高層和低層特征處理方式不同，為了與上一層同維度特征進(jìn)行拼接，采取對高層特征進(jìn)行上采樣的方式使特征圖的維度翻倍，為了與下一層同維度特征進(jìn)行拼接，采用對低層特征進(jìn)行下采樣的方式使特征圖的維度減半，從而實(shí)現(xiàn)特征信息的融合。

1.1.3 預(yù)測網(wǎng)絡(luò)

YOLOv4的預(yù)測網(wǎng)絡(luò)同YOLOv3，均是完成3種尺度的預(yù)測工作，其預(yù)測的本質(zhì)是在特征金字塔結(jié)構(gòu)輸出的特征維度信息上進(jìn)行解碼的過程。經(jīng)過特征金字塔結(jié)構(gòu)輸出的特征維度的大小為××75，將圖片劃分為×的網(wǎng)格，對于存在物體的網(wǎng)格將構(gòu)成先驗(yàn)框，根據(jù)特征信息對應(yīng)調(diào)整先驗(yàn)框可得特征層的預(yù)測結(jié)果。其中每個特征層輸出的特征均需要進(jìn)行一次解碼，并取各特征層預(yù)測結(jié)果中置信度最大的先驗(yàn)框作為最終的預(yù)測結(jié)果。

圖2 PANet結(jié)構(gòu)圖

1.2 YOLOv4交通警察目標(biāo)檢測流程

YOLOv4算法先對輸入的復(fù)雜交通場景下含交通警察的圖片進(jìn)行預(yù)處理，使之重置為416×416大小，使用CSPDarknet53主干特征提取網(wǎng)絡(luò)提取交通警察的深度特征，將特征向量發(fā)送至SPP和PANet進(jìn)行預(yù)測輸出特征，3個尺度預(yù)測輸出的特征可以檢測復(fù)雜交通場景中不同大小的交通警察，從而提高模型的精確度。

最后利用非極大值抑制的方法對每一個尺度的預(yù)測結(jié)果進(jìn)行處理，將預(yù)測相同目標(biāo)的重復(fù)選框進(jìn)行消除，最終得到復(fù)雜交通場景圖片中交通警察的位置信息。

2 優(yōu)化YOLOv4的交通警察檢測分析

2.1 聚類先驗(yàn)框優(yōu)化

YOLOv4借鑒Fast-RCNN思想引入先驗(yàn)框，先驗(yàn)框的引入使交通警察檢測問題轉(zhuǎn)為固定格子內(nèi)是否含有交通警察的問題，其是一組因摒棄多尺度滑動窗口遍歷而提高檢測精度和速度的固定尺寸大小的初始候選框。但與Fast-RCNN不同，先驗(yàn)框是在PASCALL_VOC和COCO數(shù)據(jù)集中采用的K-means算法[25]聚類而來，因2個數(shù)據(jù)集包含的物種種類繁多，在對復(fù)雜交通場景下的交通警察檢測時先驗(yàn)框不適合。為了能夠讓YOLOv4網(wǎng)絡(luò)更好地進(jìn)行交通警察的深度特征學(xué)習(xí)，選用K-means++對自建的交通警察數(shù)據(jù)集重新聚類分析，得到適合交通警察檢測的初始候選框。

傳統(tǒng)K-means++聚類算法[26]因采用歐幾里得距離函數(shù)聚類，可能導(dǎo)致結(jié)果發(fā)生一定程度的偏離，因此交通警察檢測的初始候選框采用交通警察先驗(yàn)?zāi)繕?biāo)框與交通警察實(shí)際預(yù)測框的交并比IOU (intersection over union)作為距離公式，即

其中，為交通警察真實(shí)標(biāo)記目標(biāo)框；為交通警察實(shí)際預(yù)測框；為與交集和并集面積的比值，與框的尺度無關(guān)。

圖3是不同初始候選框的數(shù)量對應(yīng)的平均IOU，可看出平均IOU隨候選框數(shù)量的增多而不斷增大，但因候選框數(shù)量和待檢測目標(biāo)區(qū)域成正比，若待檢測目標(biāo)區(qū)域越多其計算時間就越長，因此在兼顧精度和計算速度的情況下，選擇采用表1的9個先驗(yàn)框。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

YOLOv4原始的主干特征提取網(wǎng)絡(luò)為CSPDarknet53，該網(wǎng)絡(luò)雖然能提取有效的交通警察深度特征信息，但由于網(wǎng)絡(luò)模型較復(fù)雜可能導(dǎo)致實(shí)時性較差，因此將其主干網(wǎng)絡(luò)替換為輕量級的MobileNet[27]。其采用深度可分離卷積模塊(depthwise separable convolution，DSC)[28]，而建立的網(wǎng)絡(luò)結(jié)構(gòu)是普通卷積建立的網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)量的1/9，因此精簡了網(wǎng)絡(luò)參數(shù)減少了計算量從而提高了檢測速度。另外，為了避免普通卷積層中任意卷積核都需要對所有通道進(jìn)行操作，DSC采用將傳統(tǒng)的卷積操作分為深度卷積(depthwise convolution)和點(diǎn)卷積(pointwise convolution)2步進(jìn)行，其中深度卷積對不同輸入通道采用不同的卷積核，而點(diǎn)卷積主要融合來自深度卷積的特征。

圖3 不同候選邊框數(shù)量的平均IOU

表1 聚類優(yōu)化后先驗(yàn)框尺寸

雖然MobileNet網(wǎng)絡(luò)結(jié)構(gòu)相較于CSPDarknet53參數(shù)量大大減少，但對于復(fù)雜交通場景下遠(yuǎn)處的交通警察和被遮擋的交通警察的特征圖上信息將受到一定程度的影響。要想提高復(fù)雜交通場景下交通警察檢測的精確率，需要保證復(fù)雜交通場景下交通警察的深度特征信息足夠豐富。

2014年Google公司SZEGEDY等[29]提出的Inception-Resnet-v1網(wǎng)絡(luò)加入殘差模塊，使參數(shù)能夠跳層進(jìn)行傳播，解決深層次網(wǎng)絡(luò)結(jié)構(gòu)中存在的梯度消失現(xiàn)象。為增加網(wǎng)絡(luò)模型的寬度提升網(wǎng)絡(luò)的性能和對多尺度交通警察目標(biāo)檢測的適應(yīng)性，借鑒Inception-Resnet網(wǎng)絡(luò)的思想，在原始CBL位置引入如圖4所示的2個Inception-Resnet-v1模塊，在增加少量網(wǎng)絡(luò)參數(shù)的前提下實(shí)現(xiàn)增加網(wǎng)絡(luò)寬度和拓展網(wǎng)絡(luò)的深度，從而更好地提取交通警察的深度特性信息。優(yōu)化后的交通警察檢測網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示(https://www.sohu.com/picture/417071894)。

圖4 優(yōu)化的交通警察檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 損失函數(shù)優(yōu)化

在復(fù)雜交通場景圖片中，交通警察僅占圖像的小部分，其背景占據(jù)大部分區(qū)域。若將圖片中含交通警察的區(qū)域?yàn)檎龢颖?，不含區(qū)域?yàn)樨?fù)樣本，可知，不含交通警察區(qū)域的負(fù)樣本數(shù)量遠(yuǎn)多于正樣本數(shù)量。其數(shù)量嚴(yán)重失衡可能導(dǎo)致訓(xùn)練過程中給模型提供的交通警察的特征信息較少而影響模型的收斂。而焦點(diǎn)損失函數(shù)(focal loss，F(xiàn)L)[30]能通過降低內(nèi)部加權(quán)解決正、負(fù)樣本不平衡的問題，即使負(fù)樣本的數(shù)量很大，但其對總損失的影響卻很小，可認(rèn)為是一種困難樣本挖掘。將其應(yīng)用于分類損失函數(shù)中，使網(wǎng)絡(luò)學(xué)到更多更有用的交通警察特征信息從而提高對交通警察檢測的準(zhǔn)確率。

原始YOLOv4模型使用二元交叉熵計算分類損失函數(shù)的置信度損失為

其中，，分別為真值和檢測值，1和0分別為正、負(fù)樣本。二元交叉熵函數(shù)對于正樣本檢測概率和損失成反比，而對于負(fù)樣本則成正比。因此，在大量的負(fù)樣本進(jìn)行迭代訓(xùn)練的過程中模型無法達(dá)到理想狀態(tài)。

焦點(diǎn)損失函數(shù)本質(zhì)上是交叉熵?fù)p失函數(shù)的一種改進(jìn)，首先為了使易分類樣本的損失減少能夠更多地關(guān)注困難樣本，故在標(biāo)準(zhǔn)的二元交叉熵?fù)p失函數(shù)上引入一個大于零的因子，即

此外，為了解決正、負(fù)樣本不平衡問題，引入一個平衡因子，則總的焦點(diǎn)損失函數(shù)為

YOLOv4網(wǎng)絡(luò)的損失函數(shù)由邊界框回歸、置信度和分類損失組成[21]，即

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集準(zhǔn)備

3.1.1 數(shù)據(jù)集獲取

目前并沒有公開的交通警察檢測數(shù)據(jù)集，因此交通警察網(wǎng)絡(luò)檢測模型訓(xùn)練和測試所用數(shù)據(jù)集是一個自建數(shù)據(jù)集，其主要通過網(wǎng)絡(luò)爬蟲爬取一些交通警察圖片，另外，為了獲取更加豐富的復(fù)雜交通場景下的交通警察訓(xùn)練和測試圖片，又在實(shí)驗(yàn)室周邊進(jìn)行了交通警察圖片的拍攝工作，最終擇優(yōu)挑選1 000張復(fù)雜交通場景下的交通警察圖片作為本文所需的數(shù)據(jù)集樣本，其部分交通警察數(shù)據(jù)集樣本如圖5所示(https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%BD%BB%CD%A8%BE%AF%B2%EC%CD%BC%C6%AC&fr=ala&ala=1&alatpl=normal&pos=0&dyTabStr=MCwzLDIsMSw2LDUsNCw3LDgsOQ%3D%3D)。

該數(shù)據(jù)集中，每張圖片的背景、光線、交通警察年齡、性別、著裝及所處的位置均有所不同。例如，包含眾多行人車輛和建筑物的復(fù)雜交通場景，也包含陰雨天、傍晚等光線較弱的交通場景，以及不同著裝、不同年齡、不同性別的交通警察同時出現(xiàn)的交通場景。同時，一方面為進(jìn)一步提高網(wǎng)絡(luò)模型的魯棒性，防止模型在訓(xùn)練的過程中因收集的交通警察圖像數(shù)據(jù)量較少導(dǎo)致過擬合現(xiàn)象，從而停止交通警察深度特征的學(xué)習(xí)；另一方面為了提高該網(wǎng)絡(luò)模型的泛化能力，本文將采用隨機(jī)轉(zhuǎn)換的方式對采集的交通警察數(shù)據(jù)集進(jìn)行圖像處理擴(kuò)充操作。

3.1.2 數(shù)據(jù)集擴(kuò)充

為了使訓(xùn)練后的網(wǎng)絡(luò)模型能夠滿足復(fù)雜交通場景下交通警察的檢測需求，本文針對2種方式采集的每張交通警察數(shù)據(jù)集樣本，分別使用表2中的水平翻轉(zhuǎn)、添加高斯噪聲、標(biāo)準(zhǔn)模糊、亮度增強(qiáng)等4種圖像處理隨機(jī)轉(zhuǎn)換方式進(jìn)行交通警察數(shù)據(jù)集樣本的擴(kuò)充，得到一組新的數(shù)據(jù)樣本，其中對于每一種擴(kuò)充操作彼此之間是相互獨(dú)立的，原始圖像每經(jīng)過一種擴(kuò)充操作所得到的新數(shù)據(jù)集樣本均為1 000張，因此原始圖像分別通過4種數(shù)據(jù)擴(kuò)充后的交通警察圖片共計4 000張，加上原始圖像共計5 000張。其部分經(jīng)4種圖像處理擴(kuò)充處理后的數(shù)據(jù)集樣本示例圖6所示(網(wǎng)址同圖5)。

表2 交通警察數(shù)據(jù)集擴(kuò)充操作

圖6 數(shù)據(jù)擴(kuò)充后的部分交通警察數(shù)據(jù)集示例

3.1.3 數(shù)據(jù)集標(biāo)注

交通警察樣本數(shù)據(jù)集使用基于python語言編寫的labelImg進(jìn)行交通警察訓(xùn)練集和測試集的標(biāo)注。其為一款用于深度學(xué)習(xí)的數(shù)據(jù)集制作的標(biāo)注工具，可用于記錄復(fù)雜交通場景中交通警察的類別名和具體的位置信息，并將這些信息儲存在voc標(biāo)準(zhǔn)數(shù)據(jù)集格式的文件中。從自建的交通警察數(shù)據(jù)集中隨機(jī)劃分80%為訓(xùn)練集，20%為測試集。

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)平臺的軟件環(huán)境為Windows 10。64位操作系統(tǒng)，選用Python3.6語言進(jìn)行編程，采用的深度學(xué)習(xí)框架為Tensorflow1.14；搭載Intel(R) Core(TM) i5-10400F CPU @ 2.90 GHz處理器，GPU是NVIDIA GeForce GTX1660 SUPER，加速庫是CUDA10.0+CUDNN7.4.1。

3.3 評價指標(biāo)

為客觀分析實(shí)驗(yàn)結(jié)果，選用模型識別的精確率(Precision)、查全的召回率(Recall)、F1值、類別平均精度(average precision，AP)和FPS等5種評價標(biāo)準(zhǔn)衡量網(wǎng)絡(luò)的性能，即

其中，T，F，F分別為被正確、錯誤和未檢測的交通警察目標(biāo)數(shù)。

3.4 消融實(shí)驗(yàn)

為了進(jìn)一步分析各優(yōu)化部分在復(fù)雜交通場景下對交通警察檢測工作的影響，在自建交通警察數(shù)據(jù)集上分別從聚類先驗(yàn)框、MobileNet、Inception- Resnet-v1和分類損失函數(shù)做消融實(shí)驗(yàn)，對比了采用不同策略和組合對復(fù)雜交通場景下交通警察檢測模型的性能影響。由表3可見，優(yōu)化后的網(wǎng)絡(luò)模型AP值提高1.17%，且模型大小僅50 M。

3.5 對比實(shí)驗(yàn)

為客觀評價本文算法的有效性，在自建交通警察數(shù)據(jù)集上采用YOLOv4優(yōu)化網(wǎng)絡(luò)、Faster- RCNN網(wǎng)絡(luò)、YOLOv3網(wǎng)絡(luò)、原始YOLOv4網(wǎng)絡(luò)，并分別進(jìn)行實(shí)驗(yàn)，客觀分析4種網(wǎng)絡(luò)模型的綜合性能。

表4是當(dāng)Score_threhold=0.5時交通警察數(shù)據(jù)集上性能比較結(jié)果，可見YOLOv4優(yōu)化模型的大小僅50 M，在Precision，Recall，F(xiàn)1，F(xiàn)PS上均優(yōu)于其他3種網(wǎng)絡(luò)模型。PR是以Recall和Precision分別為橫、縱軸繪制的曲線，根據(jù)其PR曲線可計算其所對應(yīng)的AP值，如圖7所示，可見YOLOv4優(yōu)化網(wǎng)絡(luò)模型相比于其他3種深度學(xué)習(xí)模型也略勝一籌。

表3 不同策略YOLOv4網(wǎng)絡(luò)的性能影響

表4 4種算法的性能對比

圖7 不同網(wǎng)絡(luò)的PR圖

3.6 檢測結(jié)果分析

為了進(jìn)一步比較Faster-RCNN網(wǎng)絡(luò)、YOLOv3網(wǎng)絡(luò)、YOLOv4網(wǎng)絡(luò)、YOLOv4優(yōu)化網(wǎng)絡(luò)對交通警察的檢測效果，分別選取不同交通場景下的3張圖片進(jìn)行測試，結(jié)果如圖8～10所示。

圖8是在交通警察位置較隱蔽的情況下，圖9是在夜間交通場景下，圖10是在模糊且遮擋的交通場景中，其每幅圖中的(a)～(d)分別代表Faster R-CNN網(wǎng)絡(luò)、YOLOv3網(wǎng)絡(luò)、YOLOv4網(wǎng)絡(luò)、YOLOv4優(yōu)化網(wǎng)絡(luò)檢測的效果圖。通過對比發(fā)現(xiàn)，在圖8中Faster R-CNN網(wǎng)絡(luò)、YOLOv3網(wǎng)絡(luò)、YOLOv4網(wǎng)絡(luò)均未檢測到圖片中的第三位交通警察，且Faster R-CNN網(wǎng)絡(luò)還將路人錯檢為交通警察，而YOLOv4優(yōu)化網(wǎng)絡(luò)中在保證其他警察準(zhǔn)確率的前提下成功檢測出第三位交通警察。在圖9中Faster R-CNN網(wǎng)絡(luò)、YOLOv3網(wǎng)絡(luò)、YOLOv4網(wǎng)絡(luò)均檢測出一位交通警察，而YOLOv4優(yōu)化網(wǎng)絡(luò)檢測出位于該警察對面的第二位交通警察。在圖10中，YOLOv3網(wǎng)絡(luò)只檢測出一位交通警察，而Faster R-CNN網(wǎng)絡(luò)和YOLOv4網(wǎng)絡(luò)能檢測出兩位交通警察，對于圖片中嚴(yán)重遮擋的第三位交通警察均未檢測出，但YOLOv4優(yōu)化網(wǎng)絡(luò)以99%的準(zhǔn)確率檢測出被嚴(yán)重遮擋的第三位交通警察?？梢奩OLOv4優(yōu)化網(wǎng)絡(luò)模型在不同的交通場景下的檢測效果均優(yōu)于其他3種深度學(xué)習(xí)模型。

圖8 交通警察位置較隱蔽的交通場景

圖9 夜間交通場景

圖10 交通警察模糊且被嚴(yán)重遮擋的交通場景

4 結(jié)束語

本文在單階段檢測模型YOLOv4的基礎(chǔ)上，根據(jù)復(fù)雜交通場景中交通警察數(shù)據(jù)的特點(diǎn)，提出了一種主干網(wǎng)絡(luò)為輕量級目標(biāo)檢測網(wǎng)絡(luò)的YOLOv4交警察檢測模型。該模型的優(yōu)勢：①通過多種圖像處理擴(kuò)充策略對自建數(shù)據(jù)集樣本進(jìn)行擴(kuò)充處理，彌補(bǔ)了數(shù)據(jù)集不足的缺陷；②使用輕量級MobileNet網(wǎng)絡(luò)代替YOLOv4中CSPDarknet主干網(wǎng)絡(luò)并引入Inception-Resnet-v1結(jié)構(gòu)，精簡了網(wǎng)絡(luò)結(jié)構(gòu)，從而提高了模型檢測的實(shí)時性；③使用K-means++算法對自建數(shù)據(jù)集進(jìn)行聚類分析，有利于特征深度信息的提取；④通過焦點(diǎn)損失函數(shù)平衡數(shù)據(jù)集正、負(fù)樣本數(shù)量從而降低了漏檢率。優(yōu)化后的模型相對于原模型在自建的交通警察測試集上的精確率、召回率、類別平均精度和FPS分別提升了1.62%，2.67%，1.17%和14.1。并通過實(shí)驗(yàn)驗(yàn)證了該模型在弱光線、復(fù)雜背景、圖像模糊和被遮擋環(huán)境下的適應(yīng)性良好。但是，使用單一的圖像處理擴(kuò)充策略得到的樣本在亮度和色彩飽和度等方面與真實(shí)交通場景下的樣本存在一定差異性，后續(xù)將配合使用遷移學(xué)習(xí)和自監(jiān)督學(xué)習(xí)方式解決樣本失真的問題，并進(jìn)一步提高模型對極少量樣本情況檢測的準(zhǔn)確率，以便更好地服務(wù)于智能交通事業(yè)的發(fā)展。

[1] 李超軍. 面向自動駕駛的交警手勢識別算法研究[D]. 北京: 北京工業(yè)大學(xué), 2019.

LI C J. Traffic police gesture recognition for autonomous driving[D]. Beijing: Beijing University of Technology, 2019 (in Chinese).

[2] 董曉玉, 孔斌, 楊靜, 等. 小尺度交通信號燈的檢測與狀態(tài)識別[J]. 測控技術(shù), 2020, 39(11): 45-51.

DONG X Y, KONG B, YANG J, et al. Detection and state recognition of traffic light with small scale[J]. Measurement & Control Technology, 2020, 39(11): 45-51 (in Chinese).

[3] 薛搏, 李威, 宋海玉, 等. 交通標(biāo)志識別特征提取研究綜述[J]. 圖學(xué)學(xué)報, 2019, 40(6): 1024-1031.

XUE B, LI W, SONG H Y, et al. Review on feature extraction of traffic sign recognition[J]. Journal of Graphics, 2019, 40(6): 1024-1031 (in Chinese).

[4] 王科俊, 趙彥東, 邢向磊. 深度學(xué)習(xí)在無人駕駛汽車領(lǐng)域應(yīng)用的研究進(jìn)展[J]. 智能系統(tǒng)學(xué)報, 2018, 13(1): 55-69.

WANG K J, ZHAO Y D, XING X L. Deep learning in driverless vehicles[J]. CAAI Transactions on Intelligent Systems, 2018, 13(1): 55-69 (in Chinese).

[5] 陳澤新, 徐彧. 道路交通事故處理的規(guī)范性問題探討: 基于L市交通警察支隊行政復(fù)議案卷的分析[J]. 四川警察學(xué)院學(xué)報, 2020, 32(3): 133-139.

CHEN Z X, XU Y. Exploration on standardization of traffic accident treatment based on analysis of administrative review files from traffic police division in L city[J]. Journal of Sichuan Police College, 2020, 32(3): 133-139 (in Chinese).

[6] 石臣鵬. 我國交警手勢指揮現(xiàn)狀及改善對策[J]. 四川警察學(xué)院學(xué)報, 2016, 28(1): 72-75.

SHI C P. The current situation and countermeasures of gesture command of traffic police in China [J]. Journal of Sichuan Police College, 2016, 28(1): 72-75 (in Chinese).

[7] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2005: 886-893.

[8] WANG X Y, HAN T X, YAN S C. An HOG-LBP human detector with partial occlusion handling[C]//2009 IEEE 12th International Conference on Computer Vision. New York: IEEE Press, 2009: 32-39.

[9] FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and an application to boosting[J]. Journal of Computer and System Sciences, 1997, 55(1): 119-139.

[10] PLATT J. Sequential minimal optimization: a fast algorithm for training support vector machines[J]. Advances in Kernel Methods-Support Vector Learning, 1998, 208: 1-21.

[11] 李哲, 張慧慧, 鄧軍勇. 基于改進(jìn)Faster R-CNN的交通標(biāo)志檢測算法[J]. 液晶與顯示, 2021, 36(3): 484-492.

LI Z, ZHANG H H, DENG J Y. Traffic sign detection algorithm based on improved Faster R-CNN[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(3): 484-492 (in Chinese).

[12] 劉勝, 馬社祥, 孟鑫, 等. 基于多尺度特征融合網(wǎng)絡(luò)的交通標(biāo)志檢測[J]. 計算機(jī)應(yīng)用與軟件, 2021, 38(2): 158-164, 249.

LIU S, MA S X, MENG X, et al. Traffic sign detection based on multi-scale feature fusion network[J]. Computer Applications and Software, 2021, 38(2): 158-164, 249 (in Chinese).

[13] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 580-587.

[14] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 1440-1448.

[15] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[16] HE K M, GKIOXARI G, DOLLAR P, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 2961-2969.

[17] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[M]//Computer Vision – ECCV 2016. Cham: Springer International Publishing, 2016: 21-37.

[18] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 779-788.

[19] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 6517-6525.

[20] REDMON J, FARHADI A. YOLOv3: an incremental improvement [EB/OL]. (2018-04-08) [2021-06-04].https:// arxiv.org/abs/1804.02 767.

[21] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2021-06-04]. https://arxiv.org/abs/2004.10934.

[22] WANG C Y, LIAO H Y M, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2020: 1571-1580.

[23] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[24] LIU S, QI L, QIN H F, et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 8759-8768.

[25] HARTIGAN J A, WONG M A. Algorithm as 136: a K-means clustering algorithm[J]. Applied Statistics, 1979, 28(1): 100.

[26] LATTANZI S, LAVASTIDA T, MOSELEY B, et al. Online scheduling via learned weights[C]//The 14th Annual ACM-SIAM Symposium on Discrete Algorithms. Philadelphia: Society for Industrial and Applied Mathematics. 2020: 1859-1877.

[27] HOWARD A G, ZHU M L, CHEN B, et al. Mobilenets: efficient convolutional neural networks for mobile vision applications[EB/OL]. (2017-04-17) [2021-06-04]. https://arxiv. org/abs/1704.04861.

[28] CHOLLET F. Xception: Deep Learning with Depthwise Separable Convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition, New York: IEEE Press, 2017: 1800-1807.

[29] SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[EB/OL]. (2016-08-23) [2021-06-04]. https://arxiv.org/ abs/1 602.07261.

[30] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence. New York: IEEE Press, 2020: 318-327.

A traffic police object detection method based on optimized YOLO model

LI Ni-ni, WANG Xia-li, FU Yang-yang, ZHENG Feng-xian, HE Dan-dan, YUAN Shao-xin

(School of Information Engineering, Chang’an University, Xi’an Shaanxi 710064, China)

To tackle the problems of low accuracy of detection and localization for traffic police object in complex traffic scenes, a method to detect traffic police object based on the optimized YOLOv4 model was proposed in this study. Firstly, four random transformation methods were employed to expand the self-built traffic police data set, so as to solve the problem of model over-fitting and improve the generalization ability of the network model. Secondly, the YOLOv4 backbone network was replaced with the lightweight MobileNet. The Inception-Resnet-v1 structure was introduced to reduce the parameter numbers and deepen the network layers of the model effectively. Then, the K-means++ clustering algorithm was adopted to perform clustering analysis on the self-built data set. In doing so, the initial candidate frame of the network was redefined, and the learning efficiency was improved for traffic police object depth features. Finally, to address the problem of the imbalance of positive and negative samples in the process of network training, the focus loss function was introduced to optimize the classification loss function. Experimental results demonstrate that the size of the optimized YOLOv4 model is only 50 M and the AP value reaches up to 98.01%. compared with Faster R-CNN, YOLOv3, and the original YOLOv4 model, the optimized network has been significantly improved. The proposed method can effectively solve the problems of missed detection, false detection, and low accuracy for traffic police object in current complex traffic scenes.

traffic police object detection; YOLOv4 model; K-means++clustering algorithm; deep feature learning; focus loss function

TP 391

10.11996/JG.j.2095-302X.2022020296

A

2095-302X(2022)02-0296-10

2021-06-09；

2021-09-27

國家重點(diǎn)研發(fā)計劃項目(2020YFB1600400)

李妮妮(1996–)，女，碩士研究生。主要研究方向?yàn)閳D形圖像處理與智能交通系統(tǒng)。E-mail：ninili0128@163.com

王夏黎(1965–)，男，副教授，博士。主要研究方向?yàn)閳D形圖像處理與智能交通系統(tǒng)。E-mail：2453277077@qq.com

9 June，2021；

27 September，2021

National Key R&D Program of China (2020YFB1600400)

LI Ni-ni (1996–), master student. Her main research interests cover graphic image processing and intelligent transportation systems. E-mail：ninili0128@163.com

WANG Xia-li (1965–), associate professor, Ph.D. His main research interests cover graphic image processing and intelligent transportation systems. E-mail：2453277077@qq.com