牟 亮,趙 紅,李 燕,仇俊政,孫傳龍,劉曉童
青島大學(xué)機(jī)電工程學(xué)院, 青島 266071
隨著人工智能與計(jì)算機(jī)視覺的發(fā)展,智能交通系統(tǒng)[1](Intelligent traffic system, ITS)在兩者的基礎(chǔ)上得到了快速的發(fā)展,車輛及其車型的識(shí)別也在該領(lǐng)域受到了廣泛的關(guān)注. 智能交通系統(tǒng)將先進(jìn)的信息技術(shù)、數(shù)據(jù)通信技術(shù)、傳感器技術(shù)、電子控制技術(shù)以及計(jì)算機(jī)技術(shù)等有效地綜合運(yùn)用于整個(gè)交通運(yùn)輸管理體系,從而建立起一種大范圍內(nèi)、全方位發(fā)揮作用的,實(shí)時(shí)、準(zhǔn)確、高效的綜合運(yùn)輸和管理系統(tǒng). 車輛檢測(cè)[2]是智能交通系統(tǒng)數(shù)據(jù)前端采集的一個(gè)重要環(huán)節(jié),并且分不同車型進(jìn)行識(shí)別,能夠?yàn)榻煌髁拷y(tǒng)計(jì)、交通智能控制以及解決擁堵問(wèn)題提供更加詳細(xì)的數(shù)據(jù)保障.
近幾年,深度學(xué)習(xí)在目標(biāo)檢測(cè)、語(yǔ)音識(shí)別等方面取得了重大的突破[3-5],這很大程度上歸功于大型數(shù)據(jù)集、計(jì)算機(jī)強(qiáng)大的計(jì)算能力、復(fù)雜網(wǎng)絡(luò)架構(gòu)和優(yōu)化算法的進(jìn)展. 本文所涉及的車輛檢測(cè)屬于目標(biāo)檢測(cè)算法的一項(xiàng)應(yīng)用,目前應(yīng)用到車輛檢測(cè)的主要有傳統(tǒng)機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)的目標(biāo)檢測(cè).
對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)的目標(biāo)檢測(cè)算法主要是通過(guò)對(duì)選定區(qū)域中車輛的基本信息及其運(yùn)動(dòng)特征進(jìn)行分析,并提取候選區(qū)中的特征,將提取到的特征送入分類器[6]來(lái)判斷是否為車輛. 現(xiàn)有的主要研究有,馬泊寧[7]提出的基于方向梯度直方圖(Histogram of gradient,HOG)特征、支持向量機(jī)(Support vector machine,SVM)的車輛識(shí)別算法和基于卡爾曼濾波的車輛跟蹤算法; Cai等[8]提出了一種基于場(chǎng)景模型和模式識(shí)別相結(jié)合的概率框架,由可變形組件模型(Deformable part model,DPM)和條件隨機(jī)場(chǎng)(Conditional random field,CRF)描述的車輛模型,使用DPM生成的根和組件的分?jǐn)?shù)及其空間配置來(lái)學(xué)習(xí)CRF模型. 基于機(jī)器學(xué)習(xí)的目標(biāo)檢測(cè)算法沒有針對(duì)性區(qū)域選擇會(huì)造成大量的冗余窗口,并且因?yàn)榻煌▓?chǎng)景的復(fù)雜性與多變性,難以實(shí)現(xiàn)針對(duì)該任務(wù)設(shè)計(jì)的特征提取,數(shù)據(jù)規(guī)模的缺失和提取特征的質(zhì)量問(wèn)題,會(huì)造成泛化能力差及識(shí)別精度低等問(wèn)題.
基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法,主要是通過(guò)建立數(shù)據(jù)之間多層的、非線性的模型,通過(guò)數(shù)據(jù)集的訓(xùn)練來(lái)更新層與層之間的權(quán)重. 該類目標(biāo)檢測(cè)算法主要分為兩類,一類是以SSD(Single shot multibox detector)[9]、 YOLO(You only look once)[10]、RefineDet(Single-shot refinement neural network for object detection)[11]等為代表的分類回歸算法,而另一類是基于候選區(qū)域生成的算法,主要有R-CNN(Region-based convolution neural networks)[12]、Faster R-CNN(Faster region-based convolution neural networks)[13]、SPP-Net(Spatial pyramid pooling in deep convolutional networks)[14]等. 其中基于回歸的YOLO系列算法是當(dāng)前比較流行的目標(biāo)檢測(cè)算法,將模型的訓(xùn)練與檢測(cè)均放到一個(gè)單獨(dú)的網(wǎng)絡(luò)中來(lái)完成原始數(shù)據(jù)從輸入到檢測(cè)類別和檢測(cè)目標(biāo)位置輸出的過(guò)程. 趙坤等[15]針對(duì)弱光照下交通標(biāo)志易發(fā)生的問(wèn)題改進(jìn)了YOLO v3算法來(lái)提高交通標(biāo)志的檢測(cè)和識(shí)別;曹凱寧[16]針對(duì)在視頻檢測(cè)過(guò)程中對(duì)遠(yuǎn)端物體檢測(cè)效率低下和實(shí)時(shí)性等問(wèn)題,基于改進(jìn)的YOLO算法來(lái)提升車輛目標(biāo)檢測(cè)的速率和準(zhǔn)確率.
針對(duì)交通復(fù)雜多變的環(huán)境特點(diǎn)及智能交通領(lǐng)域?qū)δ繕?biāo)檢測(cè)的實(shí)時(shí)性要求,本文選取YOLO v4目標(biāo)檢測(cè)算法作為基本算法進(jìn)行研究,最新的YOLO v4算法在YOLO v3的基礎(chǔ)上實(shí)現(xiàn)了檢測(cè)精度的提升,但是增加了網(wǎng)絡(luò)的復(fù)雜程度,造成訓(xùn)練時(shí)間較長(zhǎng),本文在該算法的基礎(chǔ)上進(jìn)行了如下工作:
(1)針對(duì)青島地區(qū)道路及車輛特點(diǎn)進(jìn)行數(shù)據(jù)采集,拍攝青島地區(qū)四個(gè)路段的車流,根據(jù)不同的車流密度對(duì)每個(gè)視頻進(jìn)行分幀,從中剔除冗余的訓(xùn)練集,剩下2870張構(gòu)成自建數(shù)據(jù)集,在網(wǎng)絡(luò)車輛信息檢測(cè)數(shù)據(jù)集UA-DETRAC中采用同樣的方法挑選1500張,對(duì)貨車進(jìn)行數(shù)據(jù)增強(qiáng)所構(gòu)建的數(shù)據(jù)集包含210張3D圖片,共組成含有4580張圖片的訓(xùn)練集.
(2)改變學(xué)習(xí)率余弦退火衰減法的更新方式,學(xué)習(xí)率的改變會(huì)幫助算法在訓(xùn)練過(guò)程中跳出局部最優(yōu)并防止網(wǎng)絡(luò)模型超調(diào).
(3)對(duì)于檢測(cè)算法的檢測(cè)精度及泛化能力,本文考慮直接在梯度上進(jìn)行操作,通過(guò)采用一種合適的梯度壓縮方法來(lái)平滑梯度曲線,同時(shí)梯度壓縮也會(huì)帶來(lái)權(quán)重空間與輸出特征空間的正則化,從而提高檢測(cè)算法的性能.
本文選用的YOLO v4是在YOLO v3檢測(cè)框架的基礎(chǔ)上從主干特征提取網(wǎng)絡(luò)、激活函數(shù)、數(shù)據(jù)處理和損失函數(shù)等方面進(jìn)行優(yōu)化,檢測(cè)部分與YOLO v3相似,經(jīng)參考得知YOLO v4算法具有較好的檢測(cè)速度與精度,故本文將在YOLO v4算法的基礎(chǔ)上開展工作.
YOLO v4算法的主干特征提取網(wǎng)絡(luò)采用CSPDarknet53,如圖1所示. 該特征提取網(wǎng)絡(luò)主要由卷積塊CBM(Conv + Batchnorm + Mish)與通過(guò)CSPnet結(jié)構(gòu)修改的殘差塊(Resblock_body)組成.YOLO v4采用Mish激活函數(shù)替換原有的LeakyReLU激活函數(shù),CSPnet結(jié)構(gòu)將原來(lái)的堆疊殘差塊拆分成兩部分,主干部分繼續(xù)進(jìn)行原先的殘差塊堆疊的操作,而另一部分則通過(guò)一個(gè)大的殘差邊實(shí)現(xiàn)跨階段層次合并,在減少計(jì)算量的同時(shí)保證了特征提取的完整.
圖1 CSPDarknet53特征提取網(wǎng)絡(luò)Fig.1 CSPDarknet53 feature extraction network
激活函數(shù)將非線性的特性引入神經(jīng)網(wǎng)絡(luò)算法中,就是在神經(jīng)元中運(yùn)行的函數(shù),負(fù)責(zé)神經(jīng)元輸入端與輸出端之間的映射,其對(duì)于神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)并理解非常復(fù)雜和非線性的輸入特性具有重要的作用. 目前廣泛使用的激活函數(shù)ReLU[17]存在著負(fù)值時(shí)會(huì)被直接截?cái)嗪吞荻认陆挡粔蚱交膯?wèn)題,因此YOLO v4采用Mish激活函數(shù)[18]來(lái)代替ReLU,圖2為Mish與ReLU激活函數(shù)的圖像.
圖2 兩種激活函數(shù)圖像. (a)Mish 激活函數(shù);(b)ReLU 激活函數(shù)Fig.2 Two kinds of activation function images: (a) Mish activation function; (b) ReLU activation function
Mish和ReLU激活函數(shù)的公式如下:
其中,x表示輸入節(jié)點(diǎn)的值. Mish激活函數(shù)在負(fù)值時(shí)不是像ReLU一樣完全不被激活,而是以較小的負(fù)梯度流入神經(jīng)網(wǎng)絡(luò)進(jìn)而保證了信息的流動(dòng)性.并且Mish也保留了激活函數(shù)無(wú)邊界的優(yōu)點(diǎn),巧妙避開了在兩邊極限梯度趨向于1而造成的飽和問(wèn)題.
IoU(Intersection over Union)就是所謂的交并比,是目前檢測(cè)中比較常用的指標(biāo),可以反映出預(yù)測(cè)檢測(cè)框與真實(shí)檢測(cè)框的檢測(cè)效果.
YOLO v4目標(biāo)檢測(cè)算法回歸損失函數(shù)采用CIoU Loss(Complete-IoU Loss),該回歸損失函數(shù)將目標(biāo)與anchors之間的距離、重疊率、尺度及懲罰項(xiàng)都考慮進(jìn)去,使得目標(biāo)框回歸變得更加穩(wěn)定,不會(huì)出現(xiàn)訓(xùn)練中發(fā)散的問(wèn)題,公式如下:
其中,gt為groundtruth的縮寫,表示真實(shí)框的信息,為真實(shí)框的寬度,為真實(shí)框的高度,代表了預(yù)測(cè)框和真實(shí)框中心點(diǎn)的歐式距離,表示同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的對(duì)角線距離,為權(quán)重函數(shù),用來(lái)度量長(zhǎng)寬比的相似度.
目前目標(biāo)檢測(cè)算法的優(yōu)化方法主要有在激活函數(shù)中起作用的 BN(Batch normalization)[19]和在權(quán)重上操作的 WS(Weight standardization)[20],除了在這兩方面操作外,本文考慮直接在梯度方面進(jìn)行操作,來(lái)優(yōu)化訓(xùn)練過(guò)程和檢測(cè)精度.
目標(biāo)檢測(cè)算法中對(duì)梯度進(jìn)行操作的優(yōu)化算法中,最常用的就是計(jì)算梯度的動(dòng)量. 借用物理中動(dòng)量的概念,模擬物體運(yùn)動(dòng)時(shí)的慣性,在更新時(shí)一定程度上保留之前更新的方向,并根據(jù)梯度微調(diào)下一步的更新方向. 利用動(dòng)量思想的優(yōu)化算法主要有SGDM(Stochastic gradient descent with momentum)[21]和Adam(Adaptive moment estimation)[22]. 經(jīng)過(guò)文獻(xiàn)參考,Adam相比于SGDM算法具有更高的性能,它利用梯度的一階矩估計(jì)(即梯度的均值)與二階矩估計(jì)(及梯度的方差)對(duì)更新步長(zhǎng)進(jìn)行動(dòng)態(tài)調(diào)整. 為進(jìn)一步提高算法性能及方便操作者使用本文方法,提出了一種在Adam優(yōu)化器上根據(jù)訓(xùn)練的epoch自動(dòng)更新梯度的方法,稱為梯度壓縮,改進(jìn)后的優(yōu)化器簡(jiǎn)稱為Adam-GC.
梯度壓縮的公式如下:
其 中 , wi(i=1,2,···,N)代 表 權(quán) 重 向 量 , ? wiL代 表?yè)p失函數(shù)對(duì)權(quán)重向量的梯度,為當(dāng)前訓(xùn)練次數(shù) t 與總訓(xùn)練次數(shù)的比值. 在這里為梯度平滑曲線,選取的值為0.4,該曲線的圖像如圖3所示.
圖3 梯度平滑曲線Fig.3 Gradient smoothing curve
只需求得梯度矩陣的均值,在每個(gè)梯度的列向量中減掉該均值后再與梯度平滑系數(shù)相乘,就可以得到最優(yōu)的權(quán)重更新方向. 該方法的計(jì)算廉價(jià),不涉及除法運(yùn)算,只需要幾行代碼就可以實(shí)現(xiàn). 實(shí)驗(yàn)表明,采用卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)訓(xùn)練Mnist數(shù)據(jù)集,每個(gè)epoch只需多花費(fèi)0.5 s左右的時(shí)間.
將上述公式寫成矩陣形式如下:
圖4 Adam-GC 的幾何解釋Fig.4 Geometric interpretation of Adam-GC
在深度學(xué)習(xí)的算法中,對(duì)學(xué)習(xí)率的調(diào)整策略[24]有著十分重要的作用. 合適的學(xué)習(xí)率不僅會(huì)幫助模型在訓(xùn)練過(guò)程中跳出局部最優(yōu),更會(huì)加速模型收斂、提高模型識(shí)別精度.
余弦退火衰減法會(huì)使學(xué)習(xí)率先線性上升后模擬余弦函數(shù)下降,更新前的學(xué)習(xí)率衰減法只一次上升與下降,但經(jīng)過(guò)驗(yàn)證可知該方法的學(xué)習(xí)率變化緩慢,導(dǎo)致訓(xùn)練收斂速度較慢,并且易陷入局部最優(yōu)值,所以實(shí)現(xiàn)學(xué)習(xí)率的多次上升與下降,更新前后的學(xué)習(xí)率對(duì)比如圖5(a)所示.
將更新前后的學(xué)習(xí)率衰減方法在Mnist數(shù)據(jù)集中利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證,設(shè)置epoch為50,learning_rate_base為 0.1,訓(xùn)練過(guò)程的 Loss及Acc如圖5(b)~(c)所示,經(jīng)過(guò)更新后的學(xué)習(xí)率衰減方式對(duì)訓(xùn)練收斂更加快速,更加穩(wěn)定.
圖5 學(xué)習(xí)率衰減策略及 Loss、Accuracy 圖. (a)更新前后學(xué)習(xí)率衰減策略;(b)Loss圖; (c)Accuracy 圖Fig.5 learning rate decay strategy and Loss, Accuracy chart: (a) learning rate decay strategy before and after update; (b) Loss chart; (c) Accuracy chart
市區(qū)中主要車輛類型分為轎車、公交車和貨車,本文將分這三種車型進(jìn)行識(shí)別,獲取的樣本如圖6所示.
圖6 市區(qū)中主要車型樣本圖. (a)小汽車;(b)公交車;(c)貨車Fig.6 Sample map of the main models in the urban area: (a) car; (b) bus; (c) truck
本文旨在建立針對(duì)市區(qū)的車輛目標(biāo)檢測(cè)系統(tǒng),故采集實(shí)際交通道路中的車流圖作為網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集,對(duì)于提高系統(tǒng)的實(shí)用性及準(zhǔn)確性有著十分重要的意義. 選用型號(hào)為Canon EOS700D的攝像機(jī),數(shù)據(jù)采集地點(diǎn)位于青島市福州北路及重慶南路的兩處過(guò)街天橋,攝像機(jī)的安裝位置、角度及高度均與交管部門安裝的攝像頭的方式相似. 本文主要研究市區(qū)交通中3個(gè)具有代表性的時(shí)段[25],分別為8:00—9:00為阻塞流(900<每小時(shí)車流量≤1300)、9:00—10:00為同步流(300<每小時(shí)車流量≤600)、10:00—11:00為自由流(每小時(shí)車流量≤300).
為使訓(xùn)練樣本保持多樣性并減少冗余和訓(xùn)練成本,采取將視頻隔幀抽取的方法,根據(jù)不同密度車流采取不同間隔幀數(shù)來(lái)優(yōu)化訓(xùn)練樣本,阻塞流因車速最低故每10幀抽取一次,同步流每5幀抽取一次,自由流則每2幀抽取一次,抽取數(shù)據(jù)采集后的樣本,如圖7~9所示.
圖7 阻塞流車流樣本. (a)福州北路 1;(b)福州北路 2;(c)重慶南路 1;(d)重慶南路 2Fig.7 Traffic flow sample of blocked flow: (a) Fuzhou North Road 1; (b) Fuzhou North Road 2; (c) Chongqing South Road 1; (d) Chongqing South Road 2
在構(gòu)建數(shù)據(jù)集的過(guò)程中,發(fā)現(xiàn)貨車的樣本數(shù)量較少,會(huì)造成因樣本缺少而識(shí)別不準(zhǔn)確,為解決該問(wèn)題,需對(duì)貨車樣本進(jìn)行數(shù)據(jù)增強(qiáng),在交管部門攝像頭的角度上截取廂式貨車3D場(chǎng)景下的圖片作為訓(xùn)練的數(shù)據(jù)增強(qiáng)樣本,部分如圖10所示.
圖8 同步流車流樣本. (a)福州北路 1;(b)福州北路 2;(c)重慶南路 1;(d)重慶南路 2Fig.8 Traffic flow sample of synchronous flow: (a) Fuzhou North Road 1; (b) Fuzhou North Road 2; (c) Chongqing South Road 1; (d) Chongqing South Road 2
圖9 自由流車流樣本. (a)福州北路 1;(b)福州北路 2;(c)重慶南路 1;(d)重慶南路 2Fig.9 Traffic flow sample of free flow: (a) Fuzhou North Road 1; (b) Fuzhou North Road 2; (c) Chongqing South Road 1; (d) Chongqing South Road 2
圖10 貨車數(shù)據(jù)增強(qiáng)樣本圖. (a)樣本 1;(b)樣本 2;(c)樣本 3Fig.10 Truck data enhancement sample diagram: (a) sample 1; (b) sample 2; (c) sample 3
UA-DETRAC車輛檢測(cè)數(shù)據(jù)集是北京和天津地區(qū)中24個(gè)不同地點(diǎn)由交管部門攝像頭拍攝的視頻,以每秒25幀的拍攝速度錄制,共超過(guò)14萬(wàn)幀,手動(dòng)標(biāo)注了8250輛車. 從中選取與市區(qū)道路狀況相似的1500張圖片作為樣本輸入到訓(xùn)練網(wǎng)絡(luò)中,來(lái)提高訓(xùn)練樣本的數(shù)量及多樣性.
本次實(shí)驗(yàn)的數(shù)據(jù)集包括自建的市區(qū)數(shù)據(jù)集2870張,UA-DETRAC網(wǎng)絡(luò)數(shù)據(jù)集1500張,貨車數(shù)據(jù)增強(qiáng)數(shù)據(jù)集200張,在訓(xùn)練模型的過(guò)程中用于訓(xùn)練與驗(yàn)證的圖像隨機(jī)按照90%和10%的比例分開,用這個(gè)訓(xùn)練集來(lái)訓(xùn)練一個(gè)可以綜合有效地識(shí)別不同車流密度場(chǎng)景下車輛的模型. 本文關(guān)于YOLO v4的一系列算法均是在Pytorch 1.2框架下搭建的,硬件配置CPU為Intel(R) Core(TM) i7-9700 CPU@3.00GHz,GPU為 NVIDIA GeForce RTX 2070 SUPER,8 GB顯存,CUDA核心數(shù)2560個(gè),運(yùn)行內(nèi)存為16 GB,操作系統(tǒng)為Windows10.
根據(jù)上文中提到的改進(jìn)方式,分別組合來(lái)驗(yàn)證這些方法的有效性,記錄其在訓(xùn)練過(guò)程中Loss的變化情況,為防止訓(xùn)練模型過(guò)擬合導(dǎo)致模型泛化能力差,采用Pytorch中的早停法(Early stopping),當(dāng)訓(xùn)練達(dá)到收斂和權(quán)重更新小于一定的閾值時(shí),則停止訓(xùn)練,最大迭代次數(shù)設(shè)為2000次,每隔100代保存一次模型權(quán)重. 訓(xùn)練過(guò)程的Loss如圖11所示.
圖11表示加入GC后的YOLO v4算法訓(xùn)練過(guò)程的Loss更加穩(wěn)定,收斂更快并且平均的Loss值更低,在1950代左右達(dá)到early stopping的條件停止迭代. 同時(shí)加入CD優(yōu)化算法的學(xué)習(xí)率調(diào)整策略使得跳出局部最優(yōu)的能力變強(qiáng),Loss值相對(duì)降低,在1900代左右時(shí)滿足停止條件,得到的訓(xùn)練效果更優(yōu). 接下來(lái)僅拿出YOLO v4與YOLO v4 GC CD訓(xùn)練得到的模型進(jìn)行測(cè)試對(duì)比.
圖11 各種算法訓(xùn)練的Loss曲線Fig.11 Loss curves trained by various algorithms
為驗(yàn)證本文方法的泛化性能,分析不同交通道路條件對(duì)檢測(cè)結(jié)果的影響,在第二天拍攝同一地點(diǎn)同一時(shí)間段內(nèi)的3種不同車流密度的數(shù)據(jù)作為檢測(cè)的樣本,進(jìn)行測(cè)試對(duì)比的模型均采用算法在訓(xùn)練迭代1900次保存的模型,分別驗(yàn)證其在3種不同車流密度場(chǎng)景下對(duì)車型的識(shí)別能力.
圖12為自由流樣本檢測(cè),自由流測(cè)試樣本在相同時(shí)間內(nèi)通過(guò)的車輛數(shù)較少,場(chǎng)景復(fù)雜度與檢測(cè)難度相對(duì)較低,兩種算法檢測(cè)的準(zhǔn)確率都相對(duì)較高,但改進(jìn)后算法在整體的精確度上優(yōu)于改進(jìn)前的. 圖13~14為同步流與阻塞流測(cè)試樣本的檢測(cè),車輛數(shù)量的增加導(dǎo)致場(chǎng)景更加復(fù)雜,車輛遮擋情況嚴(yán)重,目標(biāo)檢測(cè)難度大大增加. YOLO v4 GC CD算法可以在相同的訓(xùn)練迭代次數(shù)中很好地學(xué)習(xí)到模糊不清、遠(yuǎn)處的小目標(biāo)和被遮擋車輛的特征.
圖12 自由流樣本檢測(cè)對(duì)比. (a)YOLO v4在場(chǎng)景 1的檢測(cè)結(jié)果;(b)YOLO v4在場(chǎng)景 2的檢測(cè)結(jié)果;(c)YOLO v4在場(chǎng)景 3的檢測(cè)結(jié)果;(d)YOLO v4 GC CD在場(chǎng)景1檢測(cè)結(jié)果;(e)YOLO v4 GC CD在場(chǎng)景2檢測(cè)結(jié)果;(f)YOLO v4 GC CD在場(chǎng)景3檢測(cè)結(jié)果Fig.12 Comparison of free flow sample detection: (a) detection results of YOLO v4 in scenario 1; (b) detection results of YOLO v4 in scenario 2; (c)detection results of YOLO v4 in scenario 3; (d) detection results of YOLO v4 GC CD in scenario 1; (e) detection results of YOLO v4 GC CD in scenario 2; (f) detection results of YOLO v4 GC CD in scenario 3
圖13 同步流樣本檢測(cè)結(jié)果對(duì)比. (a)YOLO v4在場(chǎng)景 1的檢測(cè)結(jié)果;(b)YOLO v4在場(chǎng)景2的檢測(cè)結(jié)果;(c)YOLO v4在場(chǎng)景3的檢測(cè)結(jié)果;(d)YOLO v4 GC CD在場(chǎng)景1檢測(cè)結(jié)果;(e)YOLO v4 GC CD在場(chǎng)景2檢測(cè)結(jié)果;(f)YOLO v4 GC CD在場(chǎng)景3檢測(cè)結(jié)果Fig.13 Comparison of synchronous flow sample detection: (a) detection results of YOLO v4 in scenario 1; (b) detection results of YOLO v4 in scenario 2; (c) detection results of YOLO v4 in scenario 3; (d) detection results of YOLO v4 GC CD in scenario 1; (e) detection results of YOLO v4 GC CD in scenario 2; (f) detection results of YOLO v4 GC CD in scenario 3
為分析訓(xùn)練后的模型對(duì)車型的識(shí)別性能,從上述驗(yàn)證數(shù)據(jù)集中選取100張包含3種不同車流密度的圖片,車型包括小轎車2316輛,公交車172輛,貨車108輛,分別繪制針對(duì)不同車型識(shí)別的P-R曲線如圖15所示.
圖14 阻塞流樣本檢測(cè)結(jié)果對(duì)比. (a)YOLO v4在場(chǎng)景 1的檢測(cè)結(jié)果;(b)YOLO v4在場(chǎng)景2的檢測(cè)結(jié)果;(c)YOLO v4在場(chǎng)景3的檢測(cè)結(jié)果;(d)YOLO v4 GC CD在場(chǎng)景1檢測(cè)結(jié)果;(e)YOLO v4 GC CD在場(chǎng)景2檢測(cè)結(jié)果;(f)YOLO v4 GC CD在場(chǎng)景3檢測(cè)結(jié)果Fig.14 Comparison of blocked flow sample detection: (a) detection results of YOLO v4 in scenario 1; (b) detection results of YOLO v4 in scenario 2; (c)detection results of YOLO v4 in scenario 3; (d) detection results of YOLO v4 GC CD in scenario 1; (e) detection results of YOLO v4 GC CD in scenario 2; (f) detection results of YOLO V4 GC CD in scenario 3
圖15 針對(duì)不同車型的 P-R 曲線. (a)小汽車;(b)公交車;(c)貨車Fig.15 P-R curves for different models: (a) car; (b) bus; (c) truck
從上圖可知,YOLO v4 GC CD算法的模型在識(shí)別小轎車和公交車時(shí)的平均精度(Average precision,AP)均大于原始算法的,由于加入貨車的3D模型圖使得兩個(gè)算法都可以很好地學(xué)習(xí)到貨車的特征,從而兩個(gè)算法模型的AP值相差不大.
同上述實(shí)驗(yàn)方法類似,取100張不同車流密度下的圖片輸入到網(wǎng)絡(luò)中進(jìn)行檢測(cè),通過(guò)記錄模型在檢測(cè)過(guò)程中出現(xiàn)的錯(cuò)檢的個(gè)數(shù)來(lái)分析兩個(gè)模型的準(zhǔn)確性,其中錯(cuò)檢個(gè)數(shù)是漏檢和誤檢個(gè)數(shù)的總和,實(shí)際個(gè)數(shù)是由人工計(jì)數(shù)得到的實(shí)際車輛數(shù)量,正確檢測(cè)的個(gè)數(shù)與實(shí)際個(gè)數(shù)的比值為準(zhǔn)確率,兩個(gè)模型在不同車流密度上的準(zhǔn)確率測(cè)試結(jié)果對(duì)比如表1所示.
經(jīng)實(shí)驗(yàn)驗(yàn)證,在檢測(cè)時(shí)由于阻塞流具有復(fù)雜的道路狀況和嚴(yán)重的遮擋,檢測(cè)難度較高. YOLO v4 GC CD在三種密度的車流中檢測(cè)的準(zhǔn)確率均優(yōu)于原始算法,在自由流的檢測(cè)時(shí)較原始算法準(zhǔn)確率提高1.9%,在同步流檢測(cè)時(shí)準(zhǔn)確率提高1.86%,在阻塞流檢測(cè)時(shí)準(zhǔn)確率提高1.87%. 可見經(jīng)改進(jìn)的算法有效解決了誤檢和漏檢問(wèn)題,并且學(xué)習(xí)圖像的特征能力增強(qiáng),具有更好的檢測(cè)效果.
為驗(yàn)證改進(jìn)后算法在其他場(chǎng)景下的檢測(cè)效果,選取UA-DETRAC網(wǎng)絡(luò)數(shù)據(jù)集中場(chǎng)景為雨天和夜間的圖片作為另一個(gè)驗(yàn)證集,數(shù)量都為100張. 利用該驗(yàn)證集來(lái)測(cè)試YOLO v4 GC CD算法對(duì)其他場(chǎng)景下車輛的檢測(cè)效果,結(jié)果如表2所示.
表2 YOLO v4-GC-CD在雨天和夜間場(chǎng)景下的準(zhǔn)確性Table 2 Accuracy of YOLO v4 GC CD in rainy and nighttime scenarios
部分檢測(cè)效果如圖16所示.
圖16 YOLO v4 GC CD算法在夜間和雨天場(chǎng)景下的檢測(cè)效果. (a)夜間場(chǎng)景 1;(b)夜間場(chǎng)景 2; (c)雨天場(chǎng)景 1;(d)雨天場(chǎng)景 2Fig.16 Detection effect of YOLO V4 GC CD algorithm in night and rainy day scenarios: (a) night scene 1; (b) night scene 2; (c) rainy day scene 1; (d) rainy day scene 2
經(jīng)驗(yàn)證YOLO v4 GC CD算法在其他場(chǎng)景下也保持了較好的準(zhǔn)確性,但場(chǎng)景的更換確實(shí)對(duì)檢測(cè)的準(zhǔn)確率造成了一定的影響. 雨天檢測(cè)的準(zhǔn)確率要高于夜間,主要因?yàn)楣饩€的問(wèn)題,夜間較暗同時(shí)又有車輛燈光的影響,從而導(dǎo)致識(shí)別準(zhǔn)確率的下降.
本文在YOLO v4的基礎(chǔ)上提出了梯度壓縮和一種新的學(xué)習(xí)率調(diào)整策略,分為3種典型城市車流進(jìn)行了一系列的驗(yàn)證并得到如下結(jié)論:
(1)本文方法可以滿足智能交通系統(tǒng)中對(duì)實(shí)時(shí)性的要求,實(shí)現(xiàn)對(duì)車輛分不同車型識(shí)別的目的,為智能交通中路況分析、擁擠度檢測(cè)等方面提供有力的支持.
(2)構(gòu)建了適合市區(qū)的車型識(shí)別的數(shù)據(jù)集,并通過(guò)截取貨車的3D模型圖來(lái)增加數(shù)據(jù)集的多樣性,并且取得了較好的檢測(cè)效果.
(3)經(jīng)過(guò)驗(yàn)證,本文改進(jìn)的方法比原始算法的準(zhǔn)確率有較大的提高,并且檢測(cè)效果良好.
(4)經(jīng)實(shí)驗(yàn)驗(yàn)證,YOLO v4 GC CD算法在其他場(chǎng)景下也保持了很高的準(zhǔn)確性,但為得到更優(yōu)的效果應(yīng)該增加關(guān)于其他場(chǎng)景的訓(xùn)練集或者對(duì)其進(jìn)行圖像處理等手段.