基于改進(jìn)YOLOv3的目標(biāo)檢測方法研究

王繼千，劉喚喚，廖濤，朱小東

（安徽理工大學(xué)，安徽 淮南 232001）

0 引 言

目標(biāo)檢測是當(dāng)前的研究熱點(diǎn)，其主要目標(biāo)是確定物體在圖像中的位置，并分辨出當(dāng)前目標(biāo)的類別，是模式識別中的重要算法。目前已應(yīng)用于行人檢測、醫(yī)學(xué)圖像檢測、人臉檢測等領(lǐng)域，由此可以看出目標(biāo)檢測具有重要的研究價(jià)值與現(xiàn)實(shí)意義。目標(biāo)檢測在農(nóng)業(yè)領(lǐng)域也有不錯的應(yīng)用前景。隨著農(nóng)業(yè)生產(chǎn)中不斷引入科學(xué)技術(shù)，農(nóng)作物的產(chǎn)量及質(zhì)量都有了顯著的提高。伴隨著農(nóng)業(yè)生產(chǎn)和科學(xué)技術(shù)的快速融合，雖然很多農(nóng)業(yè)問題已經(jīng)得以解決，但是農(nóng)業(yè)昆蟲災(zāi)害依然是農(nóng)業(yè)生產(chǎn)中科學(xué)技術(shù)無法完全攻克的一大難題，例如，昆蟲啃食對農(nóng)作物的數(shù)量和質(zhì)量造成較為嚴(yán)重的影響。因此，如何快速檢測出農(nóng)業(yè)昆蟲的種類和數(shù)量，并保證較高的檢測精準(zhǔn)度就成為農(nóng)業(yè)生產(chǎn)中的一項(xiàng)重要工作。隨著科學(xué)技術(shù)的快速發(fā)展，昆蟲的檢測方式也發(fā)生了改變。昆蟲檢測大致可以分為傳統(tǒng)方法和非傳統(tǒng)方法，比如人工方法、誘捕法可以歸為傳統(tǒng)的昆蟲檢測方法，而正是由于科學(xué)技術(shù)的迅速發(fā)展，傳統(tǒng)的昆蟲檢測方法逐漸發(fā)展為成聲檢測、圖像識別和深度學(xué)習(xí)圖像處理等非傳統(tǒng)方法。傳統(tǒng)的昆蟲圖像識別策略是針對不同昆蟲外部特征的差異性進(jìn)行精準(zhǔn)設(shè)計(jì)，之后送入分類器，最終確定昆蟲種類。正是由于技術(shù)理論的疾速發(fā)展以及深度學(xué)習(xí)理論形成了較好的理論體系，結(jié)合這種理論基礎(chǔ)的目標(biāo)檢測技術(shù)也在農(nóng)業(yè)生產(chǎn)中逐漸盛行起來。這種新型檢測技術(shù)的優(yōu)越性簡化了手工設(shè)計(jì)環(huán)節(jié)，提高了對昆蟲特征的自動學(xué)習(xí)能力。這種新型的昆蟲檢測技術(shù)無論在速度上，還是在檢測精度上都具有很大的優(yōu)越性，同時(shí)也在很大程度上減少了人力物力的投入比。這種檢測技術(shù)不僅具有極高的現(xiàn)實(shí)價(jià)值，還有著良好的發(fā)展前景。隨著各種理論技術(shù)的普及，YOLO算法的應(yīng)用也逐漸增多，并慢慢進(jìn)入人類的生產(chǎn)生活中。例如文獻(xiàn)[1]中改進(jìn)的YOLOv3-my-prune方法，在甘蔗環(huán)境下取得了不錯的行人檢測效果；文獻(xiàn)[2]中通過替換不同層級的特征檢測模塊并引入Boosting思想，提出了新的Multi branch YOLO檢測算法，并且在肺炎數(shù)據(jù)集上有著優(yōu)秀的表現(xiàn)；文獻(xiàn)[3]中的YOLOv3算法使用Mobile Net網(wǎng)絡(luò)代替YOLOv3中的特征提取網(wǎng)絡(luò)，并融合了Self-attention機(jī)制，該算法在公開數(shù)據(jù)集上也取得了不錯的準(zhǔn)確率并在一定程度上滿足實(shí)時(shí)性要求；深度學(xué)習(xí)技術(shù)的快速發(fā)展使得它在圖像處理領(lǐng)域也發(fā)揮了重要作用，比如文獻(xiàn)[6]中提出的基于門控通道注意力機(jī)制的優(yōu)化YOLOv3算法，結(jié)合自適應(yīng)模塊后，在小目標(biāo)檢測上取得了良好的成效。從YOLO算法模型的應(yīng)用來看，深度學(xué)習(xí)理論的應(yīng)用比較成熟。雖然目標(biāo)檢測方法已經(jīng)應(yīng)用于現(xiàn)實(shí)生活中的很多方面，但是有一些領(lǐng)域還是鮮少涉及的，比如在農(nóng)業(yè)昆蟲領(lǐng)域就運(yùn)用得較少。YOLO算法的輸入模塊用于獲取一張完整的圖像，因?yàn)橐粡埻暾膱D片所涵蓋的信息屬于全局特征信息，可以在很大程度上降低目標(biāo)的誤檢率，也可以實(shí)現(xiàn)實(shí)時(shí)檢測。算法最后輸出不同大小的特征圖，可以用來融合深、淺雙層特征，同時(shí)又加入了對目標(biāo)特征信息具有良好提取效果的Darknet-53特征提取網(wǎng)絡(luò)，使得目標(biāo)檢測能力得到明顯提升，例如文獻(xiàn)[7]的mAP為91.7%。但當(dāng)所要進(jìn)行目標(biāo)檢測的背景復(fù)雜、多尺度且姿態(tài)多樣時(shí)，由于圖像本身的像素小、特征不顯著等原因，容易造成小目標(biāo)的漏檢和誤檢，檢測能力尚需提高。

本文針對YOLOv3模型算法的不足之處，并且基于農(nóng)業(yè)昆蟲領(lǐng)域的目標(biāo)檢測任務(wù)，提出一種改進(jìn)特征提取和特征融合并融入CBAM模塊的YOLOv3目標(biāo)檢測算法。相較于其他深度學(xué)習(xí)框架，Tens flow深度學(xué)習(xí)框架沒有靈活性差、拓展性差以及健壯性不強(qiáng)等方面的缺陷。因此將優(yōu)秀的Tens flow應(yīng)用到該模型中，之后再引入連續(xù)的殘差結(jié)構(gòu)和深度卷積雙路特征提取模型，在增加模型深度的同時(shí)提高感受野，提高錨框的定位準(zhǔn)確性；另一方面引入改進(jìn)的卷積注意力模塊繼續(xù)提高目標(biāo)檢測和物體分類的精度，從而提高網(wǎng)絡(luò)的性能。最終各項(xiàng)指標(biāo)在改進(jìn)的模型上表現(xiàn)良好。

1 典型的YOLOv3算法

如圖1所示，YOLOv3模型結(jié)構(gòu)可以分為3個(gè)主要模塊：圖片輸入、基礎(chǔ)網(wǎng)絡(luò)Darknet-53和YOLOv3。其中，Input模塊輸入圖像大小為416×416×3，Darknet-53骨干網(wǎng)絡(luò)進(jìn)行特征提取，其中的DBL模塊是卷積、BN算法、線性激活函數(shù)LeakyRelu的總稱，是YOLOv3算法的基本組件；res借鑒了ResNet殘差結(jié)構(gòu)的思想，進(jìn)一步加深了網(wǎng)絡(luò)結(jié)構(gòu)，res1中的數(shù)字1表示當(dāng)前模塊使用1次，其中的1、2、8、8、4表示五種尺度，總共進(jìn)行了32倍的下采樣，殘差模塊中1×1卷積降維，然后3×3卷積升維，殘差組件結(jié)構(gòu)如圖2所示；Concat用來完成張量拼接操作，將darknet中間層和之后的某一個(gè)上采樣層拼接，擴(kuò)充了張量的維度；、、表示三個(gè)不同尺度的輸出分支。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

圖2 殘差組件結(jié)構(gòu)

2 改進(jìn)的YOLOv3算法

改進(jìn)的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示，該網(wǎng)絡(luò)結(jié)構(gòu)圖對經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)的Darknet-53骨干網(wǎng)絡(luò)做了調(diào)整，將原有的res殘差結(jié)構(gòu)替換為twostream_block和cbam_block模塊。圖中的數(shù)字3表示經(jīng)過了3次循環(huán)的twostream_block和cbam_block模塊特征提取。整體的網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過5次twostream_block和cbam_block模塊的特征提取后，之后經(jīng)過三種不同的Scale，再分別使用Convs卷積一次，最后進(jìn)入Detection檢測模塊，獲取不同尺度的目標(biāo)檢測結(jié)果。

圖3 改進(jìn)的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

2.1 特征提取中引入雙路特征提取感受野擴(kuò)增結(jié)構(gòu)

傳統(tǒng)的深度學(xué)習(xí)隨著網(wǎng)絡(luò)深度的加深會遇到梯度消失和梯度爆炸問題，常規(guī)的解決方案是數(shù)據(jù)初始化和正則化。雖然可以解決梯度問題，但是網(wǎng)絡(luò)深度加深后會帶來網(wǎng)絡(luò)性能退化問題，這種情況下可以通過殘差來解決該問題，同時(shí)還可以提升網(wǎng)絡(luò)性能。另外，一般的卷積操作是在各個(gè)通道上采用不同的卷積核提取不同方面的特征。而深度卷積在各個(gè)通道上采用不同的卷積核提取不同方面的特征，不僅會產(chǎn)生與普通卷積相同的特征圖，同時(shí)還會大大解約參數(shù)量。因此，本文考慮到Y(jié)OLOv3目標(biāo)檢測算法的特征提取特性，首先在特征提取中引入雙路特征提取感受野擴(kuò)增結(jié)構(gòu)，一路采用連續(xù)的殘差結(jié)構(gòu)提取特征，增加模型深度提取更深層的特征，有效避免梯度消失情況的發(fā)生；另一路采用深度卷積提取特征，一方面計(jì)算量更小，另一方面選擇更大的卷積核，有效提高感受野，提高錨框的定位準(zhǔn)確性；最后兩條路在通道層面融合，增加了模型的維度，獲取更多的特征，同時(shí)修改深度卷積網(wǎng)絡(luò)中的池化操作。在深度卷積網(wǎng)絡(luò)中使用混合池化來代替最大池化進(jìn)行數(shù)據(jù)的壓縮。原始混合池化概率方法如式（1）所示。

其中，為混合池化輸出，為平均池化輸出，為最大池化輸出，為[0，1]范圍內(nèi)的可變參數(shù)。在該定義中，值不但影響訓(xùn)練網(wǎng)絡(luò)的隨機(jī)性，而且還在一定概率上影響網(wǎng)絡(luò)的穩(wěn)定性。

因此，調(diào)整原始混合池化，將參數(shù)修改為可訓(xùn)練參數(shù)，并對混合池化輸出的定義進(jìn)行了修正，如式（2）所示。

針對當(dāng)前實(shí)驗(yàn)環(huán)境中計(jì)算機(jī)的算力瓶頸，本文使用改進(jìn)的混合池化進(jìn)一步降低了網(wǎng)絡(luò)的整體計(jì)算代價(jià)，不僅可以降低過擬合風(fēng)險(xiǎn)，而且還會增大感受野，減少了信息冗余，使模型對輸入圖像的特征位置變化更具魯棒性。

2.2 改進(jìn)卷積注意力模塊

圖像中包含多種圖像特征，其中的低級特征會保留較多的空白空間和邊緣末端信息，而高級特征則會包含很多的高級語義知識信息。受注意力機(jī)制原理的啟發(fā)，為了更好地精確定位顯著性目標(biāo)物體，本文參考借鑒了Woo等提出的卷積注意力模塊（Convolutional Block Attention Module,CBAM），將淺層特征輸入空間注意力模塊，而將通道注意力模塊作為輸入高級特征模塊，從而達(dá)到突出顯著性目標(biāo)邊緣和整體的目的。通道注意力與空間注意力的連接方式表示為式（3）：

其中，為Sigmoid激勵函數(shù)，M為網(wǎng)絡(luò)初始特征預(yù)測結(jié)果，?為點(diǎn)積操作，(f)為高級特征經(jīng)過通道注意力模塊（CAM）的結(jié)果，（f）為低級特征通過空間注意力模塊（SAM）的權(quán)重結(jié)果，M為預(yù)測結(jié)果。由于重要特征信息在檢測中的影響因子較大，故引入注意力特征融合模塊（Attention feature Fusion Block, AFF Block）增強(qiáng)殘差單元，提高對重要特征的提取能力。如圖4所示，空間注意力融合模塊和通道注意力模塊的雙模塊結(jié)合，產(chǎn)生了新的AFFBlock模塊。

圖4 注意力特征融合模塊（AFF Block）

其中，f、f是需要融合的特征圖信息，二者經(jīng)過空間注意力融合模塊可得到空間區(qū)域信息加強(qiáng)后的融合特征圖，經(jīng)通道注意力融合模塊后通過注意力對特征圖的通道信息進(jìn)行加強(qiáng)，得到融合特征圖。將兩種融合的特征圖進(jìn)行融合，即可得到融合特征，三者之間的關(guān)系可以表示為式（4）：

單體的AFF Block模塊和微小的殘差單元在特征信息保留上皆有局限性，因此將二者整合得到新的殘差注意力模塊，如圖5所示，從而達(dá)到保留較多重要特征信息的目的。本文采用如圖5所示的殘差注意力網(wǎng)絡(luò)模塊（用于昆蟲圖像的算法中），模塊內(nèi)卷積層的通道數(shù)為64、64、128。

圖5 殘差注意力模塊示意圖

CBAM模塊屬于輕量級模塊，表示其開銷較小。將其加入CNN架構(gòu)中，其對模型性能的提升效果遠(yuǎn)遠(yuǎn)大于其開銷。將CBAM注意力模塊嵌入到Y(jié)OLOv3網(wǎng)絡(luò)后，有效提高了目標(biāo)檢測和物體分類的精度，計(jì)算開銷和參數(shù)量較少，解決了原始網(wǎng)絡(luò)沒有注意力偏好的問題，提高了網(wǎng)絡(luò)的整體性能。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

Insects數(shù)據(jù)集是百度與北京林業(yè)大學(xué)合作制作的識蟲數(shù)據(jù)集。該昆蟲數(shù)據(jù)集的制作目的是進(jìn)行目標(biāo)檢測算法測試。

基于實(shí)驗(yàn)?zāi)Ｐ秃蛯?shí)驗(yàn)設(shè)備方面的限制，同時(shí)又考慮到檢測目標(biāo)的指標(biāo)參數(shù)，本文采用的試驗(yàn)數(shù)據(jù)集是由百度與北京林業(yè)大學(xué)合作制作的Insects識蟲數(shù)據(jù)集，其中包含的主要是小尺度的昆蟲圖像。該數(shù)據(jù)集較小，共計(jì)2 183張圖片，1 693張用于訓(xùn)練，245張用作驗(yàn)證集，245張用作測試集，其中13%作為測試集，87%作為訓(xùn)練集，該數(shù)據(jù)集中共包括7種昆蟲，圖6是實(shí)驗(yàn)數(shù)據(jù)昆蟲圖樣例。

圖6 昆蟲數(shù)據(jù)圖

3.2 評價(jià)指標(biāo)

本文采用平均準(zhǔn)確率（Average precision, AP）、平均準(zhǔn)確率均值（mean Average Precision, mAP）和幀率（Frame Per Second, FPS）等指標(biāo)來評價(jià)當(dāng)前昆蟲檢測模型的性能。平均精度均值用于衡量模型在所有類別上的好壞程度，本文mAP的計(jì)算是取 AP、AP、AP、AP、AP、AP、AP的平均值，其中A、B、C、D、E、F、G分別表示當(dāng)前數(shù)據(jù)集的7種昆蟲類別。

計(jì)算當(dāng)前某一種昆蟲的平均準(zhǔn)確率AP。公式為：

目標(biāo)檢測應(yīng)用中，一個(gè)模型可以檢測出多種類別的昆蟲，而mAP就是所有種類昆蟲的AP均值。公式為：

本文除了使用精確度作為模型評價(jià)指標(biāo)外，同時(shí)又采用FPS來評價(jià)目標(biāo)網(wǎng)絡(luò)的檢測速度，F(xiàn)PS表示的是每秒內(nèi)可以處理的圖片數(shù)量。

3.3 模型訓(xùn)練

本文將經(jīng)典的模型和改進(jìn)的模型分別進(jìn)行訓(xùn)練，模型初始輸入圖像大小為416×416，初始化的IoU設(shè)置為0.5，模型訓(xùn)練初期采用凍結(jié)訓(xùn)練的方式來加速訓(xùn)練，該方式可以防止訓(xùn)練初期權(quán)值被破壞，前150個(gè)epoch使用大學(xué)習(xí)率，用來平穩(wěn)擬合，之后的200個(gè)epoch采用小學(xué)習(xí)率，并將每次傳入到網(wǎng)絡(luò)模型的圖片數(shù)量設(shè)置為8，強(qiáng)化訓(xùn)練樣本的穩(wěn)定性，而且可以防止過擬合。模型訓(xùn)練的整個(gè)階段，采納分批隨機(jī)梯度下降法優(yōu)化損失函數(shù)。通過對實(shí)驗(yàn)數(shù)據(jù)的觀察，改良的新模型算法在訓(xùn)練過程中趨于穩(wěn)定，損耗值的增幅較小，效果更好。在整個(gè)模型訓(xùn)練的設(shè)定中，本文將算法的epoch設(shè)定為350輪，在340個(gè)epoch后取得了較好的模型。

3.4 實(shí)驗(yàn)結(jié)果及分析

本文的試驗(yàn)數(shù)據(jù)是Insects數(shù)據(jù)集，將的初始值設(shè)置為0.5，池化偏向得以確定折中，訓(xùn)練模型的收斂速度也表現(xiàn)出不錯的效果。YOLOv3模型經(jīng)過訓(xùn)練后，在測試集上得到的效果如圖7所示。該圖中目標(biāo)間隔較大，人眼容易分辨，因此不需要做過多的處理。對于一些目標(biāo)比較密集，標(biāo)記不是十分明顯的圖片，將生成的結(jié)果參數(shù)輸出到result.txt保存下來。實(shí)驗(yàn)結(jié)果一定程度上獲得了效率和精確度的提高，實(shí)驗(yàn)結(jié)果也顯示出少量種類的昆蟲并沒有被框住識別出來，這是由于昆蟲交叉遮擋而導(dǎo)致的誤檢和漏檢，另一方面，也要考慮到該數(shù)據(jù)集較小，算法模型訓(xùn)練的不是非常充分，另外還需要考慮到數(shù)據(jù)集的標(biāo)注問題等因素。這些導(dǎo)致實(shí)驗(yàn)結(jié)果不好的因素也是今后需要繼續(xù)優(yōu)化的方向。

圖7 測試結(jié)果圖

實(shí)驗(yàn)結(jié)果如表1所示，可以看出：改進(jìn)后的YOLOv3算法在Insects數(shù)據(jù)集上的檢測精度為71.22%，相較于原始YOLOv3的檢測精度提高了4.88個(gè)百分點(diǎn)，檢測一張圖片的時(shí)間更短，相比于文獻(xiàn)[8]算法雖然精度較低，但是處理時(shí)間更快。

表1 實(shí)驗(yàn)結(jié)果

4 結(jié) 論

本文講述YOLOv3算法在農(nóng)業(yè)昆蟲災(zāi)害檢測中的運(yùn)用，針對當(dāng)前昆蟲目標(biāo)檢測算法在農(nóng)業(yè)生產(chǎn)中存在的精度低、漏檢率高等缺陷，提出了改進(jìn)的YOLOv3算法來提升各項(xiàng)指標(biāo)。實(shí)驗(yàn)采用的Insects昆蟲數(shù)據(jù)集的特征不是十分顯著，因此增強(qiáng)了網(wǎng)絡(luò)結(jié)構(gòu)，加深了顯著特征的提取，優(yōu)化了特征提取環(huán)節(jié)，提高了目標(biāo)檢測的準(zhǔn)確度；同時(shí)進(jìn)一步引入CBAM，加強(qiáng)了圖像特征的相關(guān)性，進(jìn)一步增強(qiáng)了目標(biāo)檢測的識別能力。實(shí)驗(yàn)結(jié)果表明改進(jìn)的模型極大地提高了昆蟲檢測的精準(zhǔn)度，降低了漏檢率。改進(jìn)的模型算法的指標(biāo)還有較大的上升空間，又考慮到實(shí)驗(yàn)結(jié)果的局限性，以及實(shí)際的農(nóng)業(yè)生產(chǎn)要求。作者未來將繼續(xù)深入研究模型，將特征金字塔引入到模型中，繼續(xù)提高模型性能，努力將其落地到農(nóng)業(yè)生產(chǎn)中。