一種基于改進(jìn)YOLO v3的小目標(biāo)檢測(cè)方法

蔡鴻峰，吳觀茂

(安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，安徽 淮南 232001)

目標(biāo)檢測(cè)包含目標(biāo)的定位和分類。早期的目標(biāo)檢測(cè)方法是使用手工提取特征，再在此基礎(chǔ)上構(gòu)造模型。使用該方法設(shè)計(jì)的模型結(jié)構(gòu)復(fù)雜，提升模型精度困難。卷積神經(jīng)網(wǎng)絡(luò)具有較好的學(xué)習(xí)特征能力，Girshick等[1]將CNN應(yīng)用到目標(biāo)檢測(cè)中，提出了R-CNN模型，使模型的檢測(cè)性能有了很大提升，但其網(wǎng)絡(luò)只能輸入固定尺寸的圖像，且R-CNN通過SS算法生成的候選區(qū)大量重疊，造成計(jì)算資源浪費(fèi)。針對(duì)R-CNN模型的這類缺點(diǎn)，He等[2]提出了SPP-Net網(wǎng)絡(luò)。Girshick[3]與Ren等[4]先后提出了Fast R-CNN與Faster R-CNN模型。從R-CNN發(fā)展到Faster R-CNN，模型的檢測(cè)速度與檢測(cè)精度均有所提高，但這類兩階段的檢測(cè)方法在檢測(cè)速度上與單階段檢測(cè)方法仍存在一定差距。典型的單階段目標(biāo)檢測(cè)方法有YOLO系列算法和SSD算法。Redmon等[5]在2015年提出了第一個(gè)單階段檢測(cè)方法YOLO算法，Liu等[6]借鑒了YOLO和Faster R-CNN的優(yōu)點(diǎn)提出了SSD算法，檢測(cè)速度快并且實(shí)現(xiàn)了多尺度預(yù)測(cè)。在YOLO v1的基礎(chǔ)上，Redmon等[7-8]又提出了YOLO v2和YOLO v3算法。其中，YOLO v2進(jìn)行了各種嘗試，使用了批標(biāo)準(zhǔn)化技術(shù)；YOLO v3使用了Darknet-53和sigmoid函數(shù)。本文以YOLO v3作為研究基礎(chǔ)，通過網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的改進(jìn)來提升小目標(biāo)檢測(cè)的精度。

1 YOLO v3算法

相較于YOLO v2，YOLO v3算法在整體網(wǎng)絡(luò)結(jié)構(gòu)上有較大改變，使用sigmoid函數(shù)代替了softmax函數(shù)，并實(shí)現(xiàn)了多尺度預(yù)測(cè)。YOLO v3能夠在3個(gè)不同位置的3個(gè)不同尺寸的特征圖上使用大小為1×1的卷積核實(shí)現(xiàn)檢測(cè)，其中的2個(gè)特征圖是經(jīng)過上采樣和特征融合以后得到的。Darknet-53作為主干網(wǎng)絡(luò)進(jìn)行特征提取，借鑒了殘差網(wǎng)絡(luò)的結(jié)構(gòu)，實(shí)現(xiàn)了跳層連接與殘差模塊。YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)的加深使其在檢測(cè)速度上較之前的版本有所降低，但在檢測(cè)準(zhǔn)確度上得到了提升。

Darknet-53是全卷積網(wǎng)絡(luò)，使用了殘差結(jié)構(gòu)，共有53個(gè)卷積層，主要作用是提取圖像特征。對(duì)于像素為256×256的輸入圖像，用于檢測(cè)的3個(gè)特征圖的步長(zhǎng)為8，16，32。而對(duì)于像素為416×416的輸入圖像，用于檢測(cè)的3個(gè)特征圖的步長(zhǎng)為13，26，52。3個(gè)不同尺度的特征圖經(jīng)過FPN(Feature Pyramid Network)進(jìn)行融合后，采用多尺度方法幫助Darknet-53網(wǎng)絡(luò)學(xué)習(xí)到不同層次的特征信息，然后將融合后的特征信息輸入 YOLO 層，實(shí)現(xiàn)類別預(yù)測(cè)和邊界框回歸。

YOLO v3中使用了多個(gè)尺度的特征圖預(yù)測(cè)，根據(jù)不同尺寸的輸入圖像，得到不同大小的輸出特征圖，最終的特征圖包含了檢測(cè)框位置信息、檢測(cè)置信度和類別信息。YOLO v3 共使用了 9種anchor box作為先驗(yàn)框。這9種anchor box由K-means聚類算法得到，先驗(yàn)框尺寸與特征圖尺度大小成反比。13×13的特征層用于檢測(cè)大目標(biāo)，26×26的特征層用于檢測(cè)中等目標(biāo)，52×52的特征層用于檢測(cè)小目標(biāo)。

YOLO v3檢測(cè)置信度的計(jì)算公式為：

Confidence=Pr(object)×IoU

(1)

式(1)中，Pr(object) 用于判斷預(yù)測(cè)邊界框中是否包含待檢測(cè)目標(biāo)；IoU為預(yù)測(cè)邊界框與真值邊界框的交并比。

得到全部預(yù)測(cè)邊界框后，通過設(shè)置閾值與非極大值抑制等操作得到目標(biāo)邊界框。有了先驗(yàn)框與輸出特征圖，就可以解碼檢測(cè)框。邊界框位置預(yù)測(cè)示意圖如圖1所示。

圖1 邊界框位置預(yù)測(cè)示意圖

YOLO的位置預(yù)測(cè)是指相對(duì)于左上角格點(diǎn)坐標(biāo)預(yù)測(cè)偏移量，計(jì)算每個(gè)網(wǎng)格實(shí)際預(yù)測(cè)框的中心位置和尺寸大小。計(jì)算公式為：

(2)

式(2)中，cx,cy為坐標(biāo)偏移量；bx,by為實(shí)際預(yù)測(cè)框的中心位置；Pw，Ph為實(shí)際先驗(yàn)框的寬度和長(zhǎng)度；bw，bh為實(shí)際預(yù)測(cè)框的尺寸；tx，ty為坐標(biāo)預(yù)測(cè)值；tw，th為邊界框?qū)挾群透叨鹊念A(yù)測(cè)值。

2 YOLO v3算法的改進(jìn)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

YOLO v3算法使用Darknet-53 網(wǎng)絡(luò)進(jìn)行特征提取，利用卷積核實(shí)現(xiàn)下采樣操作，步長(zhǎng)為2，大小為 3×3 。該網(wǎng)絡(luò)雖然感受野較大，但是犧牲了空間分辨率，經(jīng)過深層卷積提取特征后容易使小目標(biāo)的信息丟失。針對(duì)小目標(biāo)物體的檢測(cè)更加依賴淺層特征這一特點(diǎn)，將網(wǎng)絡(luò)層數(shù)較少的Darknet作為檢測(cè)網(wǎng)絡(luò)的backbone，使用49層主干網(wǎng)絡(luò)，記為Darknet-49。

Darknet-49共有49個(gè)卷積層，5個(gè)殘差塊。由于使用ReLU激活函數(shù)會(huì)對(duì)低維特征信息造成大量損失，根據(jù)MobileNet網(wǎng)絡(luò)中倒殘差結(jié)構(gòu)的最后一個(gè)1×1的卷積層，使用線性激活函數(shù)來保留低維特征的思想，在Darknet-49的第1個(gè)卷積層使用線性激活函數(shù)，減少低維信息的損失。Darknet-49網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行 5 次下采樣操作，得到5個(gè)尺度的特征圖。改進(jìn)后的檢測(cè)網(wǎng)絡(luò)將原有的3個(gè)檢測(cè)尺度擴(kuò)展為5個(gè)檢測(cè)尺度，多尺度的特征融合能夠提升檢測(cè)性能[9]。改進(jìn)后的檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)后的檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 損失函數(shù)的改進(jìn)

YOLO v3是一種端到端的單階段目標(biāo)檢測(cè)算法，其損失函數(shù)由坐標(biāo)回歸損失、置信度損失和分類損失3個(gè)部分共同組成，其中坐標(biāo)回歸損失使用均方誤差進(jìn)行計(jì)算，其余使用交叉熵進(jìn)行計(jì)算。

目標(biāo)尺度的變化會(huì)影響坐標(biāo)回歸的準(zhǔn)確性，使用均方誤差不能處理檢測(cè)目標(biāo)尺度敏感問題。IoU為預(yù)測(cè)目標(biāo)邊界框與真實(shí)目標(biāo)邊界框之間的交并比，其公式為：

(3)

式(3)中，B為預(yù)測(cè)目標(biāo)邊界框；Bgt為真實(shí)目標(biāo)邊界框。

IoU Loss具有尺度不變性的特點(diǎn)，能夠更好地反映重合程度。雖然IoU Loss 比均方誤差更有優(yōu)勢(shì)，但是當(dāng)預(yù)測(cè)框與ground-truth是包含關(guān)系時(shí)，其IoU Loss為定值，檢測(cè)效果會(huì)具有較大差異；當(dāng)兩者不相交時(shí)，IoU Loss的值為0，則無法進(jìn)行優(yōu)化。

IoU Loss的計(jì)算公式為：

LIoU=1-IoU

(4)

針對(duì)IoU Loss的不足，本文使用DIoU Loss(Distance IoU Loss)[10]，DIoU示意圖如圖3所示。

圖3 DIoU示意圖

DIoU公式為:

(5)

式(5)中，b為預(yù)測(cè)目標(biāo)邊界框的中心坐標(biāo)；bgt為真實(shí)目標(biāo)邊界框的中心坐標(biāo)；ρ為2個(gè)中心點(diǎn)之間的距離；c是2個(gè)目標(biāo)邊界框最小外接矩形的對(duì)角線長(zhǎng)度。

則DIoU Loss表示為:

(6)

置信度損失Lconf與分類損失Lclass均用均方誤差進(jìn)行計(jì)算，計(jì)算公式為：

(7)

(8)

最終損失函數(shù)公式為：

Loss=LDIoU+Lconf+Lclass

(9)

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用ubuntu18.04操作系統(tǒng)，使用Python3.7與pytorch進(jìn)行編程，通過GPU加速計(jì)算。

3.2 數(shù)據(jù)集

實(shí)驗(yàn)使用PASCAL VOC 2012數(shù)據(jù)集，共有20種類別，背景為第21類。PASCAL VOC 2012數(shù)據(jù)集見表1。

表1 PASCAL VOC 2012數(shù)據(jù)集

3.3 實(shí)驗(yàn)結(jié)果

將PASCAL VOC 2012 數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集，將改進(jìn)后的YOLO v3算法與原YOLO v3，F(xiàn)aster R-CNN，SSD進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果以mAP值和FPS值作為評(píng)估指標(biāo)。FPS表示模型每秒鐘可以檢測(cè)的圖片數(shù)量，F(xiàn)PS值越大，模型的檢測(cè)速度越快。mAP指標(biāo)即各類別AP的均值，公式為：

(10)

式(10)中，C為樣本種類數(shù)；AP為樣本的平均精度。

4種算法模型的mAP和FPS見表2。由表2可以看出，改進(jìn)后的YOLO v3算法的mAP值相較于原YOLO v3算法有一定提升，提升了約2.4%，但低于Faster R-CNN和SSD300算法；其FPS值與原YOLO v3算法相比有所降低，但遠(yuǎn)超F(xiàn)aster R-CNN和SSD300算法。這是因?yàn)殡m然主干網(wǎng)絡(luò)選取了比原網(wǎng)絡(luò)層數(shù)更少的Darknet-49網(wǎng)絡(luò)，但同時(shí)也增加了網(wǎng)絡(luò)的預(yù)測(cè)輸出層數(shù)，對(duì)檢測(cè)速度產(chǎn)生一定影響，致使FPS值降低。總體來說，改進(jìn)后的YOLO v3算法在mAP值上有一定提升，其檢測(cè)速度與原算法接近。

表2 4種算法模型的mAP和FPS

改進(jìn)前后YOLO v3算法各類別的AP值如圖4所示。由圖4可以看出，改進(jìn)后的YOLO v3的mAP值提高了約2.4%，對(duì)應(yīng)的各個(gè)類別的AP值都有一定提升。例如，train這一類的目標(biāo)在算法改進(jìn)前后AP值的變化不大，主要原因是這一類大尺度圖片本身已經(jīng)達(dá)到了較高的精度且這類大尺度圖片占有較大的圖片比例，不容易因?yàn)槌叽绲目s放而丟失精度；而改進(jìn)后類別為bottle的AP值增加最多，上升了約0.13%，說明通過增加特征融合層的數(shù)量可以提高小目標(biāo)物體的檢測(cè)精度。

圖4 改進(jìn)前后YOLO v3算法各類別的AP

4 結(jié)論

通過對(duì)原YOLO v3算法的網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)進(jìn)行改進(jìn)，增強(qiáng)了算法對(duì)小目標(biāo)物體的檢測(cè)精度。但是，改進(jìn)后的算法檢測(cè)速率有所降低，并且在實(shí)際檢測(cè)過程中仍然會(huì)存在漏檢的情況。