基于改進YOLOv3算法的交通場景目標檢測

肖雨晴楊慧敏

(東北林業(yè)大學(xué) 工程技術(shù)學(xué)院,哈爾濱 150040)

0 引言

在現(xiàn)代交通追求更安全、更智能的背景下,自動駕駛技術(shù)發(fā)展迅速[1]。深入研究自動駕駛問題,不僅可以促進汽車與人工智能、通信等技術(shù)的深度融合,還可以推動自動駕駛生態(tài)產(chǎn)業(yè)的發(fā)展[2]。在自動駕駛技術(shù)中,道路交通目標的精準檢測是關(guān)鍵的研究問題。傳統(tǒng)算法利用哈爾特征(Haar-like feature,Haar)、局部二值模式(Local binary pattern,LBP)和方向梯度直方圖(Histogram of oriented gradient,HOG)等特征與機器學(xué)習(xí)結(jié)合的方式檢測識別交通場景目標,檢測效率低,難以實現(xiàn)不同尺度目標的實時檢測定位[3-6]。隨著研究的深入,基于深度學(xué)習(xí)的目標檢測算法憑借檢測速度快的優(yōu)點被廣泛應(yīng)用在道路目標檢測[7-8]。例如,Xu等[9]利用通道注意力(Squeeze and excitation network,SENet)改進YOLOv3算法,車輛檢測的速度和精度均有提升,但算法的參數(shù)量增大;Choi等[10]通過高斯建模邊界框坐標,實現(xiàn)了檢測速度與精度的良好平衡,但對圖像尺寸有一定要求;Chen等[11]通過剪枝YOLOv3_tiny算法來檢測車輛目標,大幅提升了檢測速度,可以實現(xiàn)嵌入式設(shè)備應(yīng)用,但對小目標和遮擋目標檢測存在局限性。Cai等[12]利用可變卷積構(gòu)造新型主干網(wǎng)絡(luò)并添加特征融合模塊,解決了車載計算平臺資源有限問題,促進了自動駕駛的研究。

盡管基于深度學(xué)習(xí)的目標檢測算法表現(xiàn)出強大的優(yōu)越性,但交通場景目標檢測仍存在多尺度信息丟失和小目標檢測精度低的問題[13]。因此,本文提出一種適應(yīng)交通場景的YOLOv3_4d目標檢測算法。主要解決如下問題:①四尺度檢測網(wǎng)絡(luò)。在檢測網(wǎng)絡(luò)上增加一個檢測尺度,獲取不同尺度特征信息;②注意力殘差單元。設(shè)計注意力殘差單元構(gòu)造主干網(wǎng)絡(luò)(DarkNet_SE),增強特征圖中關(guān)鍵信息的權(quán)重;③特征增強模塊。利用不同卷積核的最大池化對特征圖進行增強操作,獲取高維融合特征,提高目標檢測精度;④損失函數(shù)。引入GIoU函數(shù)對邊界框回歸,優(yōu)化反向傳播過程,替換置信度損失函數(shù)為Focal函數(shù),平衡正負樣本,增強算法的魯棒性。

1 交通場景目標檢測難點

1.1 小目標檢測精度低

交通場景中小目標覆蓋區(qū)域較小,檢測十分困難。圖1中綠色框為未檢測出的目標。經(jīng)過分析,小目標檢測困難的原因主要有以下3點[14-15]:①特征信息較少。小目標在圖像中占用像素少,標注面積占比小,特征信息不易提取,且易受噪聲、遮擋等因素干擾,進而無法精準定位;②卷積神經(jīng)網(wǎng)絡(luò)下采樣率大,在卷積神經(jīng)網(wǎng)絡(luò)下采樣提取特征過程中,輸出特征圖尺度不斷縮小,當下采樣率大于小目標尺寸時,傳遞的特征圖則不能包含需要的小目標信息;③正負樣本分布不均。常用數(shù)據(jù)集包含的小目標樣本數(shù)占比少,而中、大樣本數(shù)居多,在訓(xùn)練過程中,算法會更加關(guān)注中、大目標樣本而忽略小目標樣本,從而使小目標樣本不能充分訓(xùn)練,造成小目標檢測困難。

圖1 小目標檢測效果Fig.1 Small targets detection effect

1.2 多尺度目標信息丟失

道路場景中存在車輛由近及遠、由遠及近的尺度變化情況[16]。圖2中,道路目標種類多樣,不同目標尺度變化很大,甚至同種類型目標也出現(xiàn)了一定程度變形等情況。車輛在行駛過程中攝像頭的視角和高度存在差異,會造成多尺度信息丟失的問題,影響交通目標檢測的效果。

圖2 不同道路交通場景Fig.2 Different road traffic scenes

2 改進的YOLOv3算法

2.1 算法結(jié)構(gòu)

改進算法由主干網(wǎng)絡(luò)(Darknet_SE)、特征融合網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)3部分組成,如圖3所示。依據(jù)卷積網(wǎng)絡(luò)在大尺度特征圖上檢測小目標效果好的特點,在YOLOv3算法原有3個檢測尺度的基礎(chǔ)上,對特征融合網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)進行設(shè)計,增加1個檢測小目標的大尺度特征輸出圖,設(shè)計的算法稱為YOLOv3_4d算法。為適應(yīng)新增特征圖的尺度變化,特征融合網(wǎng)絡(luò)在原先2個拼接模塊(Concat)的基礎(chǔ)上新增1個拼接模塊,同時在主干網(wǎng)絡(luò)后增加1個特征增強模塊。主干網(wǎng)絡(luò)第3個殘差塊輸出的64×64特征圖通過1次上采樣與第2個殘差塊輸出的特征圖128×128進行拼接,隨后交替使用3×3和1×1的卷積操作映射得到張量數(shù)據(jù)(YOLO_Head)。主干網(wǎng)絡(luò)輸出的4、8、16、32倍下采樣的特征向量,經(jīng)過一系列特征融合形成具有4層檢測層的檢測網(wǎng)絡(luò),分別對小、中、大目標獨立檢測。

由表1可知,主干網(wǎng)絡(luò)(DarkNet_SE)由5個殘差塊組成,每個殘差塊由多個注意力殘差單元構(gòu)成,注意力殘差單元由卷積層(Conv2d)和注意力(SE)模塊組成。其中,Conv2d是基本組成構(gòu)件,包括卷積,批歸一化和Leaky Relu激活函數(shù)。注意力殘差單元可以獲取高維信息,在遠景小目標的檢測上考慮更加充分。

圖3 YOLOv3_4d算法Fig.3 YOLOv3_4d algorithm

表1 主干網(wǎng)絡(luò)Tab.1 Backbone network

2.2 注意力殘差單元

通道注意力(SENet)模塊易于實現(xiàn),并且很容易引入現(xiàn)有的算法框架中,不僅如此,SENet模塊能夠顯著改善網(wǎng)絡(luò)的特征提取能力,并且對算法的負面影響較小[17-19]。SENet結(jié)構(gòu)如圖4(a)所示,將SENet模塊改進,提取深層次圖像語義信息。

注意力殘差單元結(jié)構(gòu)如圖4(b)所示,具體實現(xiàn)如下內(nèi)容:①輸入為特征圖H×W×C,經(jīng)過2層卷積(Conv2d)處理,特征圖的尺寸與通道數(shù)保持不變;②處理后的特征圖通過全局平均池化層生成特征圖1×1×C,然后輸入第1層全連接層后特征圖變?yōu)?×1×C/r,利用激活函數(shù)ReLU非線性變換后輸入第2層全連接層恢復(fù)為1×1×C,r為縮放系數(shù),取值為16;③全連接層處理后的1×1×C特征圖通過Sigmoid函數(shù)生成權(quán)重系數(shù)矩陣,再將權(quán)重系數(shù)乘以對應(yīng)的通道數(shù)生成H×W×C特征圖。④將卷積(Conv2d)輸出特征圖與H×W×C特征圖進行相加操作獲取融合特征圖。

2.3 特征增強模塊

交通場景圖像中含有豐富的空間與位置信息,應(yīng)該充分提取其特征,提高目標檢測效果。而對于目標檢測任務(wù),網(wǎng)絡(luò)的層數(shù)達到一定數(shù)量時再繼續(xù)增加,會發(fā)生精度下降等情況[20]。所以算法設(shè)計特征增強模塊,利用不同卷積核的最大池化對主干網(wǎng)絡(luò)輸出的特征圖進行深度提取,增強特征圖的表現(xiàn)性能,并通過跳躍連接實現(xiàn)深層特征與增強特征的融合[21-22]。

特征增強模塊如圖5所示,輸入尺度為H×W×C的特征圖,使用卷積核為5、9、13的3個最大池化對特征圖進行特征增強并利用Concat模塊拼接不同尺度增強特征圖,融合特征圖尺度不變,但通道數(shù)由C擴大為4×C,再經(jīng)過卷積(Conv2d)降維通道數(shù)為C進行目標預(yù)測。

圖4 注意力殘差單元Fig.4 Res_block_SE unite

圖5 特征增強模塊Fig.5 Feature enhance module

2.4 損失函數(shù)

YOLOv3算法的邊界框損失采用均方差損失函數(shù),該函數(shù)主要有2方面不足:一是4個坐標的預(yù)測是獨立的,與實際情況不符;二是4個坐標沒有實現(xiàn)正則化[23]。在此基礎(chǔ)上,曠世科技提出IoU損失函數(shù)(公式中用IoU表示),將4個坐標看作整體進行預(yù)測,使預(yù)測更為精確。但IoU仍然有一定局限性,當2框之間沒有重疊面積時,不能預(yù)測目標[24]。因此,算法引入GIoU函數(shù)(公式中用LossGIoU表示),如公式(1)和(2)所示[25]。

式中:IoU為預(yù)測框(b)與真實框(bgt)的交并比;B為真實框與預(yù)測框相并的面積;Ac為包含真實框與預(yù)測框的最小包閉區(qū)域面積。

此外,在訓(xùn)練過程中一些難以檢測的正樣本不能充分學(xué)習(xí),制約交通目標檢測效果。所以,算法引入Focal函數(shù)(公式中用LossFocol表示)作為置信度損失函數(shù),如公式(3)所示。該函數(shù)是在交叉熵函數(shù)中添加動態(tài)因子,減少易分樣本損失,增大難分樣本損失,加強網(wǎng)絡(luò)對難樣本的學(xué)習(xí)和挖掘[26]。

式中:α代表平衡參數(shù),取值為0.25;γ代表聚焦參數(shù),取值為1.5;y′為預(yù)測標簽概率。

至于目標分類損失仍采用交叉熵函數(shù)(公式中用LLosscls表示),如公式(4)所示,y為真實標簽概率。所以,改進算法的損失函數(shù)(公式用Loss表示)如式(5)所示。

3 結(jié)果與分析

3.1 實驗數(shù)據(jù)集

(1)BDD 100K數(shù)據(jù)集[27]。該數(shù)據(jù)集是目前內(nèi)容最具多樣性的自動駕駛數(shù)據(jù)集,共有70 000張訓(xùn)練圖像,10 000張測試圖像,包含公交汽車、交通標志和騎行人等10類目標。數(shù)據(jù)集標簽采用json格式,訓(xùn)練前將格式轉(zhuǎn)為符合YOLO算法的txt格式。為平衡不同類別樣本的數(shù)量,將Train類目標去除,構(gòu)建包含9類目標的交通場景數(shù)據(jù)集。

(2)VOC 2012數(shù)據(jù)集[28]。該數(shù)據(jù)集是目標檢測任務(wù)的基準數(shù)據(jù)集,來自Pascal VOC計算機視覺挑戰(zhàn)賽,共有11 540張圖像,訓(xùn)練圖像5 717張,測試圖像5 823張。包含車輛、行人和自行車等20個類別,標簽統(tǒng)一采用xml格式,需要進一步轉(zhuǎn)換為txt格式。

3.2 實驗環(huán)境

實驗軟件平臺為Ubuntu 18.04系統(tǒng),Cuda 10.2,硬件平臺為Intel (R) Xeon (R) CPU E5-2678 v3

處理器和RTX 2080Ti顯卡,內(nèi)存11 G。編程語言為Python 3.6,使用Pytorch 1.6.0框架訓(xùn)練算法。訓(xùn)練時采用隨機梯度下降法優(yōu)化損失函數(shù),初始學(xué)習(xí)率為0.001,批量大小為8。

3.3 評價指標

算法采用平均精度均值(mean Average Precision,mAP)作為評價指標,如公式(6)—(9)所示。其中,大(大于96×96像素)、中(小于96×96像素,大于32×32像素)、小(小于32×32像素)目標按照COCO數(shù)據(jù)集劃分[29]。

式中:TP為真正例;FP為假正例;FN為假負例;Precision為準確率;Recall為召回率;AP為準確率與召回率下的面積;mAP值越高表示算法在全部目標檢測中的綜合性能越高。

另一個重要的評價指標是算法的檢測速度,單位為每秒幀率(Frames per second,FPS),即每秒內(nèi)檢測的圖像數(shù)量。每秒內(nèi)處理的圖像越多,表示算法的實行性越好。

3.4 實驗結(jié)果與分析

3.4.1 損失函數(shù)實驗結(jié)果

改進算法的Loss值為組合損失函數(shù)值,由邊界框損失、置信度損失與分類損失獲得。實驗采用遷移學(xué)習(xí)手段,在獲得預(yù)訓(xùn)練權(quán)重下迭代10個Epoch(BDD 100K)和30個Epoch(VOC 2012),在第3個Epoch和第4個Epoch后損失函數(shù)逐漸趨于穩(wěn)定。由圖6可知,YOLOv3_Loss算法的損失值明顯低于YOLOv3算法,并且擬合過程平穩(wěn),收斂效果好。

圖6 損失函數(shù)實驗結(jié)果Fig.6 Experimental results of loss function

3.4.2 BDD 100K實驗結(jié)果

實驗依次改進四尺度網(wǎng)絡(luò)、注意力殘差單元、特征增強模塊和損失函數(shù)4個部分進行消融實驗。由表2可知,當對所有模塊進行改進時,算法的檢測性能提升顯著。相對YOLOv3算法,Ours算法的mAPS值增加了2.3%,mAPM和mAPL值分別增加了4.7%和5.4%。此外,實驗結(jié)果顯示注意力殘差單元和四尺度檢測網(wǎng)絡(luò)對檢測效果的提升更為重要。當改進四尺度檢測網(wǎng)絡(luò)時,YOLOv3_FD算法的mAP50值增加了2.2%,mAPS值增加了1.6%;而當網(wǎng)絡(luò)添加注意力殘差單元時,YOLOv3_SE算法的mAP50值大幅增加了8.6%,mAPS值增加了2.2%。雖然改進算法利用GIoU函數(shù)和Focal函數(shù)對于mAP50值來說僅僅增加了1.8%,但在網(wǎng)絡(luò)收斂方面發(fā)揮了自身的作用。另外,YOLOv3_FE算法添加特征增強模塊的mAP50值增加了1.5%。

表2 BDD 100K實驗結(jié)果Tab.2 BDD 100K experimental results %

3.4.3 VOC 2012實驗結(jié)果

實驗進一步驗證改進算法的檢測效果。由表3可知,算法改進四尺度檢測網(wǎng)絡(luò)、注意力殘差單元、特征增強模塊和損失函數(shù)4個部分的mAP50值分別為81.1%、82.3%、81.2%和81.1%。在經(jīng)過多次訓(xùn)練后,實驗發(fā)現(xiàn)替換注意力殘差單元,YOLOv3_SE算法的mAPS值、mAPM值、mAPL值分別增加了2.7%、4.6%、2.7%,優(yōu)化效果較明顯。其次為增加特征增強模塊,YOLOv3_FE算法的mAPS值、mAPM值、mAPL值分別增加了2.5%、4.6%、2.3%。算法增加四尺度檢測對mAP值提升不大,YOLOv3_FD算法的mAPS值、mAPM值、mAPL值分別增加了2.3%、4.6%、2.2%。當對4種模塊進行改進時, Ours算法的mAPS值增加了3.2%,mAPM值、mAPL值分別增加了5.1%、3.0%。改進算法的mAP50值與MAP75值分別增加了4.0%和3.1%,算法的檢測精度有明顯提升。

表3 VOC 2012實驗結(jié)果Tab.3 VOC 2012 experimental results %

3.4.4 對比實驗結(jié)果

實驗將改進算法與其他算法比較,驗證改進算法的有效性。由表4可知,BDD 100K數(shù)據(jù)集上,改進算法的mAP50值為30.0%,相比YOLOv3、YOLOv4_tiny[30]、CenterNet算法,mAP50值分別增加了9.2%、2.0%、21.7%。改進算法的檢測速度為11幀/s,檢測速度一般。VOC 2012數(shù)據(jù)集上,改進算法的mAP值相對SSD[31]、YOLOv3、YOLOv5s[32]算法增加了9.1%、4.0%、4.0%,檢測速度需要進一步提高。

表4 對比實驗結(jié)果Tab.4 Experimental results of comparison

3.4.5 算法測試

實驗選取部分圖像進行可視化。由圖7可以明顯看出,YOLOv3算法出現(xiàn)了部分漏檢和誤檢現(xiàn)象,且對小目標檢測效果較差。改進算法可以全面檢測出惡劣天氣環(huán)境下道路交通場景目標,魯棒性較高,能夠定位出中心點和目標框的精確位置,并且小目標的檢測效果優(yōu)良。但也出現(xiàn)了誤檢現(xiàn)象,可以進一步深入研究后處理算法等方面[33-34]。

圖7 算法測試Fig.7 Algorithm demo

4 結(jié)論

針對道路小目標檢測精度低和多尺度信息丟失的問題,本文提出改進的YOLOv3_4d算法。算法首先設(shè)計四尺度檢測網(wǎng)絡(luò),有效檢測不同尺度目標,緩解了不同目標尺度差異帶來的信息丟失等負面影響。其次,算法設(shè)計注意力殘差單元構(gòu)造主干網(wǎng)絡(luò),添加特征增強模塊,獲取深層次特征信息。另外,算法引入GIoU和Focal設(shè)計損失函數(shù),加快收斂速度,平衡正負樣本。實驗選用BDD 100K和VOC 2012數(shù)據(jù)集,結(jié)果表明改進算法的mAP50值分別增加了9.2%和4.0%,對小目標檢測效果良好,符合交通場景目標檢測應(yīng)用需求。