趙 嚴(yán),劉應(yīng)安,業(yè)巧林,周小亮
(南京林業(yè)大學(xué) 信息科學(xué)技術(shù)學(xué)院,江蘇 南京 210037)
林業(yè)害蟲泛指危害森林及林產(chǎn)品的昆蟲。林業(yè)害蟲的侵襲或寄生會(huì)導(dǎo)致林木生長(zhǎng)發(fā)育不良,產(chǎn)品質(zhì)量下降,生態(tài)環(huán)境惡化。2020年中國(guó)生態(tài)環(huán)境狀況顯示,全國(guó)主要林業(yè)有害生物發(fā)生面積為1 278.45萬(wàn)公頃,比2019年上升3.4%,蟲害發(fā)生面積為790.62萬(wàn)公頃[1]。林業(yè)害蟲檢測(cè)是蟲情監(jiān)測(cè)的關(guān)鍵環(huán)節(jié),其方法研究對(duì)于林業(yè)發(fā)展有重要意義。
近年來(lái),深度學(xué)習(xí)發(fā)展迅速,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[2]憑 借 自動(dòng)提取特征的優(yōu)勢(shì)逐漸替代人工特征提取方法[3-5]。研究者開始將深度學(xué)習(xí)同昆蟲檢測(cè)相結(jié)合。2018年,Z.Liu等人[6]首次將深度學(xué)習(xí)目標(biāo)檢測(cè)模型應(yīng)用于識(shí)別儲(chǔ)糧害蟲稻象甲和玉米象。結(jié)果表明,Inception-ResNet-v2作特征提取網(wǎng)絡(luò),F(xiàn)aster R-CNN[7]作檢測(cè)器,mAP達(dá)到85.76%??墒窃撗芯啃枰~外制作預(yù)訓(xùn)練數(shù)據(jù)集;采用兩步預(yù)測(cè)模型,計(jì)算開銷大。2020年,J.Liu等人[8]利用圖像金字塔改進(jìn)YOLOv3[9],實(shí)現(xiàn)多尺度特征的融合,并在不同圖片尺寸下進(jìn)行番茄病蟲害檢測(cè)。2021年,袁哲明等人[10]提出基于深度學(xué)習(xí)的輕量化田間昆蟲檢測(cè)模型,以YOLOv3為基礎(chǔ)融合深度可分離卷積和聯(lián)合交并比。2021年,J.W.Chen等人[11]利用多種目標(biāo)檢測(cè)方法對(duì)3類害蟲進(jìn)行基于移動(dòng)平臺(tái)的檢測(cè)研究,結(jié)果表明YOLOv4[12]取得了最高的檢測(cè)精度。2021年,M.Zha等人[13]提出一種輕量化YOLOv4林業(yè)害蟲檢測(cè)方法,該方法以添加CA注意力機(jī)制[14]的MobileNetv2作特征提取網(wǎng)絡(luò),利用BiFPN和ASFF進(jìn)行特征融合,在北京林業(yè)大學(xué)制作的數(shù)據(jù)集上mAP達(dá)到88.93%。
本文以深度學(xué)習(xí)模型YOLOv4為基礎(chǔ)進(jìn)行林業(yè)害蟲檢測(cè)優(yōu)化研究,無(wú)需制作預(yù)訓(xùn)練數(shù)據(jù)集且為端到端單階段模型,相較于Faster R-CNN等雙階段模型,具備一定的檢測(cè)實(shí)時(shí)性。為進(jìn)一步提高林業(yè)害蟲檢測(cè)精度,本文給出優(yōu)化的林業(yè)害蟲檢測(cè)模型Pest-YOLOv4:
(1)為CSPDarknet-53特征提取網(wǎng)絡(luò)引入ECA-CBAM注意力機(jī)制。使網(wǎng)絡(luò)更多地關(guān)注有利于檢測(cè)的特征信息,在一定程度上緩解特征提取信息丟失問(wèn)題。
(2)重新組織網(wǎng)絡(luò)頸部,構(gòu)成SPP-PANet。融合多重感受野捕獲的特征信息,在緩解梯度消失的同時(shí)增強(qiáng)特征提取信息的表達(dá)能力。
(3)利用Focal Loss思想改進(jìn)損失函數(shù),緩解小樣本檢測(cè)任務(wù)存在的正負(fù)樣本不平衡問(wèn)題,加強(qiáng)網(wǎng)絡(luò)對(duì)難區(qū)分樣本的學(xué)習(xí)。
此外,采用K-means++算法重新聚類先驗(yàn)框,提高了avg-IoU值。
YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)分為3個(gè)部分:
(1)特征提取網(wǎng)絡(luò)。相較于YOLOv3的特征提取網(wǎng)絡(luò),YOLOv4引入CSP(Cross Stage Partial connections)結(jié) 構(gòu)[15],構(gòu) 成CSPDarknet-53特征提取網(wǎng)絡(luò)。
(2)網(wǎng)絡(luò)頸部。采用SPP[16]模塊和PANet[17]。YOLOv4采用優(yōu)化的SPP模塊進(jìn)行多尺度池化,獲取了更豐富的語(yǔ)義信息。PANet在FPN[18]后添加了自底向上融合部分,從而縮短底層和頂層特征之間的信息路徑。
(3)網(wǎng)絡(luò)檢測(cè)器。沿用YOLOv3的YOLO Head,利用CIoU損失[19]改進(jìn)邊界框回歸損失。
YOLOv4損失函數(shù)由置信度損失、類別損失和邊界框回歸損失3個(gè)部分構(gòu)成。3部分及YOLOv4總損失分別如式(1)、(2)、(3)、(6)所示。
式中,λobj、λnoobj和λclass分別為正樣本置信度權(quán)重、負(fù)樣本置信度權(quán)重和類別損失權(quán)重;S2為劃分的網(wǎng)格數(shù)量;B為先驗(yàn)框數(shù)量;Iobjij和Inoobjij用于判斷第i網(wǎng)格的第j先驗(yàn)框內(nèi)樣本的正負(fù)性,若為正樣本則Iobjij和Inoobjij分別為1和0,否則分別為0和1;classes集 合 為 類 別集合;C^ji和Cji分 別 為 第i網(wǎng)格存在正樣本的實(shí)際置信度和預(yù)測(cè)置信度;P^i(c)和Pi(c)分別為第i網(wǎng)格類別為c的實(shí)際概率和預(yù)測(cè)概率;IoU為真實(shí)框和預(yù)測(cè)框的交并比;(bgt,wgt,hgt)和(b,w,h)分別為真實(shí)框和預(yù)測(cè)框的中心坐標(biāo)、寬、高;ρ2(b,bgt)表示b和bgt兩點(diǎn)間歐式距離;k為同時(shí)覆蓋真實(shí)框和預(yù)測(cè)框的最小包圍框的對(duì)角線長(zhǎng)度。
為了匹配實(shí)驗(yàn)數(shù)據(jù)集樣本尺寸,需要重新聚類先驗(yàn)框的寬高比。Pest-YOLOv4采用K-means++算法進(jìn)行聚類。K-means++相較于K-means而言,采用了使初始聚類中心間的相互距離盡可能遠(yuǎn)的策略。Pest-YOLOv4結(jié)構(gòu)圖如圖1所示。算法流程如下:
圖1 Pest-YOLOv4結(jié)構(gòu)圖Fig.1 Structure of Pest-YOLOv4
輸入:集合S,K
(1)從集合S中隨機(jī)選取一個(gè)點(diǎn)作為初始聚類中心Ci;
(2)計(jì)算S中每個(gè)點(diǎn)x至其最近聚類中心Cx的距離D(x),依據(jù)D(x)生成各點(diǎn)成為下一聚類中心的概率P(x)。依據(jù)各點(diǎn)P(x)使用加權(quán)隨機(jī)抽樣選取一個(gè)新的聚類中心Ci;
(3)重復(fù)步驟(2),直到找到K個(gè)聚類中心;
(4)計(jì)算集合S中每個(gè)點(diǎn)至K個(gè)聚類中心的距離D(x)并將其劃入D(x)最小的聚類中心所在簇。重新生成每個(gè)簇的聚類中心Ci;
(5)重復(fù)步驟(4),直至聚類中心Ci不再變化。輸出:K組聚類中心
集合S為林業(yè)害蟲寬高集合;K為需要生成的先驗(yàn)框數(shù)量。距離度量D(x)采用樣本間IoU值。距離度量D(x)、聚類中心概率P(x)、重新生成聚類中心Ci的計(jì)算公式分別如式(7)、(8)、(9)所示。
式 中,IoU(A,B)為 真 實(shí) 框A和 真 實(shí) 框B的 交并比。
為深度學(xué)習(xí)模型增加注意力機(jī)制可使模型更多地關(guān)注有利于檢測(cè)的特征信息,從而提升模型檢測(cè)精度[20-21]。Pest-YOLOv4提出ECACBAM注意力機(jī)制,該注意力機(jī)制基于CBAM(Convolutional Block Attention Module)[22]模塊和ECA(Efficient Channel Attention)[23]模塊實(shí)現(xiàn)。
CBAM為卷積塊注意力模塊,包括通道域(Channel Attention Module,CAM)和空間域(Spatial Attention Module,SAM)兩個(gè)部分。CAM結(jié)構(gòu)、SAM結(jié)構(gòu)、CBAM連接方式如圖2所示。
圖2 CBAM結(jié)構(gòu)圖Fig.2 Structure of CBAM
CBAM內(nèi)CAM采用的全連接層被設(shè)計(jì)為捕捉非線性跨通道交互,涉及降維以控制模型復(fù)雜度。降維對(duì)通道注意力權(quán)重預(yù)測(cè)產(chǎn)生了負(fù)面影響,并且沒有必要捕獲所有通道之間的依賴關(guān)系[23]。ECA模塊在不降低維數(shù)的通道級(jí)全局平均池化后,通過(guò)尺寸為k的一維卷積,利用每個(gè)通道及其k-1個(gè)鄰居來(lái)捕獲局部跨通道交互信息。該方法保證了模型效率,提高了計(jì)算效果。ECA模塊如圖3所示,其中k=3。
圖3 ECA模塊結(jié)構(gòu)圖Fig.3 Structure of ECA
k代表參與一個(gè)通道注意力權(quán)重預(yù)測(cè)的相鄰?fù)ǖ罃?shù)。k通過(guò)通道維度C的映射自適應(yīng)地確定,計(jì)算公式如式(10)所示:
式 中,|t|odd為 距 離t最 近 的 奇 數(shù);γ和b分 別 為2和1。
ECA模塊可有效降低CAM參數(shù)量和計(jì)算量,并避免CAM降維操作帶來(lái)的通道注意力權(quán)重預(yù)測(cè)效果損失,其結(jié)構(gòu)如圖3所示。Pest-YOLOv4基于ECA模塊和CBAM內(nèi)的SAM部分,構(gòu)成ECA-CBAM模塊,結(jié)構(gòu)如圖4所示。
圖4 ECA-CBAM模塊結(jié)構(gòu)圖Fig.4 Structure of ECA-CBAM
ECA-CBAM改進(jìn)CBAM原 有CAM存在的問(wèn)題,并保留CBAM串聯(lián)結(jié)合通道注意力模塊和空間注意力模塊的策略。ECA-CBAM對(duì)特征圖依次進(jìn)行通道注意力加權(quán)和空間注意力加權(quán),操作步驟如式(11)、(12)所示。
式中,F(xiàn)為ECA-CBAM的輸入特征圖,Mc(·)為ECA通道注意力權(quán)重計(jì)算公式,Ms(·)為SAM空間注意力權(quán)重計(jì)算公式,?為元素乘法。
Mc(·)和Ms(·)計(jì) 算 方 式 如 式(13)、(14)所示。
式中,σ(·)為Sigmoid激活函數(shù),fa×b(·)為核尺寸a×b的卷積操作,k由式(10)確定,AvgPool(·)為平均值池化操作,MaxPool(·)為最大值池化操作。
在ECA-CBAM與網(wǎng)絡(luò)結(jié)合的過(guò)程中,本文分析YOLOv4網(wǎng)絡(luò)框架,在特征提取網(wǎng)絡(luò)內(nèi)添加注意力模塊時(shí),合適的位置是在CSP模塊后及特征圖引入PANet和SPP前。該處的ECA-CBAM可以增強(qiáng)CSP模塊提取的特征信息表達(dá)能力,提高PANet的特征融合效果,使SPP模塊融合的多尺度特征信息向有利于林業(yè)害蟲檢測(cè)的方向發(fā)展。共計(jì)選擇3個(gè)添加位點(diǎn),如圖1中的②所示。
YOLOv4引入優(yōu)化后的SPP模塊,以小的計(jì)算開銷為代價(jià),大幅提高了mAP。該模塊結(jié)構(gòu)如圖5所示。
圖5 SPP模塊結(jié)構(gòu)圖Fig.5 Structure of SPP
特征圖輸入后并聯(lián)進(jìn)入核尺寸為{13,9,5,1}、步長(zhǎng)為1的最大值池化,拼接融合,即得到SPP模塊的輸出。SPP模塊利用4個(gè)不同尺度的最大值池化進(jìn)行特征提取并拼接,實(shí)現(xiàn)多尺度感受野信息的融合,在顯著增加網(wǎng)絡(luò)感受野的同時(shí)分離出重要的上下文特征。
YOLOv4僅對(duì)深層特征使用一次SPP模塊以豐富特征圖信息。此次信息豐富的效果直接作用于25×25的YOLO Head并通過(guò)PANet深層特征上采樣融合路徑間接作用于50×50和100×100的YOLO Head。文獻(xiàn)[24]提出利用多SPP模塊優(yōu)化目標(biāo)檢測(cè)模型的策略,構(gòu)建YOLOv4-SPP3模型,在VEDAI小 目標(biāo)數(shù)據(jù)集上mAP提高2.3%(mAP50為75.4%),可見該策略具備提高檢測(cè)效果的能力。但是SPP模塊會(huì)將原特征圖通道數(shù)擴(kuò)增4倍。YOLOv4-SPP3為每個(gè)YOLO Head都配置直接作用的SPP模塊,共計(jì)存在3個(gè)SPP模塊并且引入額外的卷積操作,極大地增加了模型計(jì)算開銷。
YOLOv4模 型100×100的YOLO Head距SPP模塊位置遠(yuǎn)、受影響程度小,且其前存在大量卷積操作,為其引入直接作用的SPP模塊將極大豐富該處特征圖信息并緩解梯度消失現(xiàn)象。在網(wǎng)絡(luò)第134層增加SPP模塊,構(gòu)成SPP-PANet。此時(shí)網(wǎng)絡(luò)僅存在兩個(gè)SPP模塊并且未額外引入卷積操作,有效控制了網(wǎng)絡(luò)模型的計(jì)算開銷。兩SPP分別直接作用于25×25和100×100的YOLO Head,并且通過(guò)上采樣和下采樣路徑共同間接作用于50×50的YOLO Head。SPP-PANet結(jié)構(gòu)如圖1中的③所示。
單階段檢測(cè)模型為了保證算法的實(shí)時(shí)性,在整張圖片上回歸預(yù)測(cè)物體坐標(biāo),較雙階段模型減少了生成目標(biāo)候選區(qū)域的過(guò)程。林業(yè)害蟲檢測(cè)存在小目標(biāo)的特點(diǎn),背景像素居多。在此情況下,大部分檢測(cè)框位于背景區(qū)域,正負(fù)樣本不平衡問(wèn)題顯著。同時(shí),林業(yè)害蟲檢測(cè)存在難區(qū)分問(wèn)題,部分類別的害蟲顏色、外觀不易區(qū)分。Pest-YOLOv4利 用Focal Loss[25]緩解上 述問(wèn)題。
YOLOv4置信度損失函數(shù)和類別損失函數(shù)采用二元交叉熵形式構(gòu)成,如式(1)、式(2)所示。二元交叉熵一般形式如式(15)所示:
Focal Loss在二元交叉熵形式上引入平衡因子α和調(diào)制因子γ,可以改善正負(fù)樣本不均衡問(wèn)題,同時(shí)減少簡(jiǎn)單樣本對(duì)網(wǎng)絡(luò)的改變量,增強(qiáng)網(wǎng)絡(luò)對(duì)復(fù)雜樣本的學(xué)習(xí)能力。
僅添加調(diào)制因子γ時(shí),其取值大于0。損失函數(shù)形式如式(16)所示:
當(dāng)γ=2時(shí),預(yù)測(cè)值為0.9的正樣本(簡(jiǎn)單樣本)的損失值將降低至原1 100,預(yù)測(cè)值為0.5的正樣本(復(fù)雜樣本)的損失值將降低至原1 4,實(shí)現(xiàn)了增加復(fù)雜樣本的損失值占比,削弱了簡(jiǎn)單樣本對(duì)模型的影響。
僅添加平衡因子α?xí)r,其取值范圍為0.5~1。損失函數(shù)形式如式(17)所示:
當(dāng)α=0.75時(shí),正樣本損失值將降低至原3 4,負(fù)樣本損失值將降低至原1 4。此時(shí),增加了正樣本損失值占比,削弱了負(fù)樣本對(duì)模型的改變量。
同時(shí)使用平衡因子α和調(diào)制因子γ時(shí),平衡因子α取值0~0.5。損失函數(shù)形式如式(18)所示:
此時(shí),調(diào)制因子γ已實(shí)現(xiàn)對(duì)簡(jiǎn)單負(fù)樣本影響的削弱,平衡因子α的作用在于保證簡(jiǎn)單樣本的損失值不至于過(guò)小。訓(xùn)練中,平衡因子取值0.25,調(diào)制因子取值2[26-27]。
改進(jìn)后的置信度損失、類別損失如式(19)、(20)所示。
式中,α為平衡因子,γ為調(diào)制因子,其余符號(hào)的解釋同式(1)、式(2)。
實(shí)驗(yàn)采用北京林業(yè)大學(xué)制作的小蠹科林業(yè)害蟲數(shù)據(jù)集[28]。該數(shù)據(jù)集由室內(nèi)害蟲圖像自動(dòng)采集裝置創(chuàng)建。自動(dòng)采集裝置由顯示器、誘捕器、拍攝系統(tǒng)構(gòu)成。采集時(shí)用鑷子將害蟲放入誘捕器的收集器內(nèi),模擬野外條件下害蟲誘捕環(huán)境。利用拍攝系統(tǒng)獲取害蟲圖片,并借助顯示器的高清成像捕捉害蟲細(xì)節(jié),共計(jì)獲得圖片2 183張。其中,1 693張作為訓(xùn)練集,245張作為驗(yàn)證集,245張作為測(cè)試集。數(shù)據(jù)集圖片采集情況如圖6所示。
圖6 北京林業(yè)害蟲數(shù)據(jù)集展示Fig.6 Display of BJFU pest data set
數(shù)據(jù)集共有6類林業(yè)害蟲,訓(xùn)練集中每類昆蟲實(shí)例統(tǒng)計(jì)結(jié)果如表1所示。數(shù)據(jù)集圖片分辨率為1 236×1 236,進(jìn)行縮放調(diào)整至800×800。蟲情測(cè)報(bào)儀利用特殊光譜的光源引誘害蟲撲燈,憑借內(nèi)部遠(yuǎn)紅外線烘干器將蟲體烘干。工作人員間隔固定時(shí)間通過(guò)接蟲箱接蟲并統(tǒng)計(jì)[29]。數(shù)據(jù)集中圖片為收集器內(nèi)拍攝所得,滿足實(shí)際處理情況。
表1 訓(xùn)練集昆蟲樣本統(tǒng)計(jì)結(jié)果Tab.1 Statistics of insects in the training set
實(shí)驗(yàn)運(yùn)行在Ubuntu 18.04.5 LTS操作系統(tǒng)上,CPU為AMD R9 5900X,GPU為NVIDIA RTX 3060,使用Pytorch深度學(xué)習(xí)框架,編譯環(huán)境為cuda 11.0.228,torch 1.90,torchversion 0.10.0,numpy 1.21.1,Python 3.7。實(shí)驗(yàn)參數(shù)設(shè)置見表2。
表2 實(shí)驗(yàn)參數(shù)設(shè)置Tab.2 Experimental parameters setting
為了驗(yàn)證目標(biāo)檢測(cè)模型的有效性,本文主要采用查準(zhǔn)率(Precision,P)、查全率(Recall,R)、平均準(zhǔn)確率(Average Precision,AP)、平均準(zhǔn)確率均值(mean Average Precision,mAP)、每秒檢測(cè)幀數(shù)(Frames Per Second,F(xiàn)PS)等評(píng)價(jià)指標(biāo)。
查準(zhǔn)率用于描述在所有預(yù)測(cè)為正的樣本中預(yù)測(cè)正確的比例,如式(21)所示。查全率用于描述在所有正例樣本中有多少被成功檢測(cè)出,如式(22)所示。平均準(zhǔn)確率指查準(zhǔn)率和查全率為坐標(biāo)軸繪制的P-R曲線圍成面積。平均準(zhǔn)確率均值指對(duì)所有類別的平均準(zhǔn)確率取均值。平均準(zhǔn)確率和平均準(zhǔn)確率均值的計(jì)算公式如式(23)所示。
式中,TP表示預(yù)測(cè)為正、實(shí)際為正的樣本;FP表示預(yù)測(cè)為正、實(shí)際為負(fù)的樣本。
式中,TP表示預(yù)測(cè)為正、實(shí)際為正的樣本;FN表示預(yù)測(cè)為負(fù)、實(shí)際為正的樣本。
式中,N表示樣本類別數(shù);P(R)為查準(zhǔn)率關(guān)于查全率的函數(shù)。
4.4.1 Kmeans++先驗(yàn)框優(yōu)化
Pest-YOLOv4使用K-means++算法進(jìn)行先驗(yàn)框的重新聚類,并采用平均交并比(avg-IoU)評(píng)價(jià)聚類效果。K-means++算法和K-means算法聚類效果如圖7所示。
圖7 K-means++和K-means聚類效果圖Fig.7 Clustering effects of K-means++and K-means
由圖7可得,當(dāng)聚類中心數(shù)為9時(shí),K-means++算法聚類先驗(yàn)框avg-IoU值為82.15%,相較于Kmeans算法的avg-IoU(78.35%)提高了3.8%。此時(shí)先驗(yàn)框尺寸為(34,50)、(50,35)、(44,72)、(73,45)、(57,75)、(70,59)、(72,115)、(115,72)、(107,108)。
為了進(jìn)一步探究聚類獲得的先驗(yàn)框有效性,分別采用兩種聚類算法生成的先驗(yàn)框進(jìn)行林業(yè)害蟲檢測(cè),實(shí)驗(yàn)結(jié)果如表3所示。
表3 先驗(yàn)框優(yōu)化結(jié)果比較Tab.3 Comparison of anchor box optimization
由表3可得,兩種聚類方式生成的先驗(yàn)框?qū)z測(cè)效果產(chǎn)生了影響,顯著區(qū)別在于查全率和mAP指標(biāo)。在不改動(dòng)YOLOv4算法的情況下,利用K-means++優(yōu)化先驗(yàn)框提高了YOLOv4模型的檢測(cè)精度,查全率增加0.5%,mAP值增加0.5%。
4.4.2 Pest-YOLOv4
Pest-YOLOv4和YOLOv4訓(xùn)練損失情況如圖8所示。
圖8 損失情況圖Fig.8 Loss curves
Pest-YOLOv4模 型 在109個(gè)Epoch時(shí),總 損失值達(dá)到0.045 59,低于0.05。在230個(gè)Epoch時(shí)網(wǎng)絡(luò)總損失值趨于穩(wěn)定。比較Pest-YOLO4和YOLOv4模型收斂曲線可知,Pest-YOLO4收斂速度略快、收斂情況更加平穩(wěn)。
為了驗(yàn)證所提Pest-YOLOv4對(duì)林業(yè)害蟲檢測(cè)的有效性和先進(jìn)性,采用目前目標(biāo)檢測(cè)中性能較優(yōu)的Faster R-CNN、SSD[30]、YOLOv3及YOLOv4進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表4和圖9所示。
圖9 5種模型林業(yè)害蟲檢測(cè)mAP比較Fig.9 mAP comparison of 5 models for forestry pest detection
表4 5種模型林業(yè)害蟲檢測(cè)結(jié)果比較Tab.4 Comparison of five models for forestry pest detection
Pest-YOLOv4相較于YOLOv4在查準(zhǔn)率、查全率和mAP指標(biāo)上皆有不同程度的提高,最明顯的提高指標(biāo)為查準(zhǔn)率(Precision值67.5%),提高了7.2%。Pest-YOLOv4和Faster R-CNN查全率接近。在查準(zhǔn)率和mAP指標(biāo)上,Pest-YOLOv4分別高出4.5%和0.9%。相較于SSD和YOLOv3,Pest-YOLOv4檢測(cè)效果改善明顯。同時(shí),Pest-YOLOv4具備檢測(cè)實(shí)時(shí)性,F(xiàn)PS指標(biāo)達(dá)到33.4,遠(yuǎn)高于雙階段檢測(cè)模型Faster R-CNN,并高于SSD模型,同YOLOv3模型FPS接近。
Pest-YOLOv4與YOLOv4對(duì)每類林業(yè)害蟲的檢測(cè)結(jié)果如表5所示。Pest-YOLOv4在多數(shù)林業(yè)害蟲種類上達(dá)到很好的檢測(cè)效果,尤其是Leconte類別(AP值96.2%),但Coleoptera類別的識(shí)別效果一般(AP值86.2%)。這兩類昆蟲情況如圖10所示。
表5 Pest-YOLOv4和YOLOv4檢測(cè)結(jié)果Tab.5 Detection results of Pest-YOLOv4 and YOLOv4
由圖10可得,Coleoptera類別相較于Leconte類別,尺寸更小、顏色外觀更加不易區(qū)分。但是Pest-YOLOv4對(duì)此類林業(yè)害蟲檢測(cè)效果仍有明顯提高(AP值提高5.7%),說(shuō)明Pest-YOLOv4在處理小目標(biāo)和難區(qū)分樣本問(wèn)題上有很大進(jìn)步。
圖10 Leconte和Coleoptera采集 情況Fig.10 Samples of Leconte and Coleoptera
在部分樣本密集的測(cè)試圖片上,Pest-YOLOv4和YOLOv4檢測(cè)結(jié)果如圖11所示。
由 圖11可得,Pest-YOLOv4和YOLOv4的邊界框擬合皆表現(xiàn)良好。對(duì)比圖11(i-a)與圖11(i-b),Pest-YOLOv4檢測(cè)出的樣本置信程度較YOLOv4更 高 且 更 穩(wěn) 定。圖11(i-a)、圖11(ii-a)和圖11(iii-a)顯示YOLOv4對(duì)尺寸相對(duì)較小的Acuminatus類別林業(yè)害蟲存在嚴(yán)重漏檢,此與表6顯示的YOLOv4對(duì)該類害蟲檢測(cè)查全率低一致。然而Pest-YOLOv4能夠順利檢出該類害蟲,未出現(xiàn)嚴(yán)重漏檢。圖11(iii-a)、圖11(iii-b)顯示,YOLOv4對(duì)位置分布靠近的樣本存在漏檢現(xiàn)象,然而Pest-YOLOv4仍可檢出該情況樣本。
圖11 部分測(cè)試圖片上Pest-YOLOv4和YOLOv4效果比較Fig.11 Comparison of Pest-YOLOv4 and YOLOv4 on some test pictures
4.4.3各改進(jìn)模塊對(duì)比實(shí)驗(yàn)
為探究改進(jìn)策略對(duì)網(wǎng)絡(luò)檢測(cè)效果的影響,進(jìn)行了各改進(jìn)策略相互組合的檢測(cè)效果對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表6所示。
由 表6可 得,YOLOv4檢 測(cè)mAP達(dá) 到 了86.2%。YOLOv4-A添 加 了ECA-CBAM注意力模塊,相較于YOLOv4模型的mAP值增加了2.3%。YOLOv4-B采用SPP-PANet作為網(wǎng)絡(luò)頸部,mAP值達(dá)到87.1%,相較于YOLOv4增加了0.9%,說(shuō)明SPP-PANet有利于檢測(cè)效果的提高。YOLOv4-C利用Focal Loss改進(jìn)損失函數(shù),mAP值達(dá)到88.3%,相較于YOLOv4提高了2.1%,說(shuō)明改進(jìn)的損失函數(shù)可以有效地平衡正負(fù)樣本比例,提高網(wǎng)絡(luò)處理復(fù)雜樣本的能力。YOLOv4-D在YOLOv4-B基礎(chǔ)上添加ECA-CBAM注意力模塊,mAP值達(dá)到89.0%,相較于YOLOv4增加了2.8%,相較于YOLOv4-B增加了1.9%,其表明ECA-CBAM和SPP-PANet共同使用可明顯提高網(wǎng)絡(luò)模型的檢測(cè)效果。Pest-YOLOv4在YOLOv4-D的基礎(chǔ)上利用Focal Loss改進(jìn)損失函數(shù),獲得了最高的mAP值,達(dá)到90.4%,相較于YOLOv4提高4.2%,說(shuō)明Pest-YOLOv4可以明顯提高YOLOv4模型處理林業(yè)害蟲檢測(cè)任務(wù)的能力,對(duì)林業(yè)害蟲蟲情監(jiān)測(cè)產(chǎn)生助益。
表6 各改進(jìn)策略的檢測(cè)效果Tab.6 Detection effects of various improvement strategies
林業(yè)害蟲檢測(cè)存在識(shí)別難度高、識(shí)別精度低的問(wèn)題。本文進(jìn)行林業(yè)害蟲檢測(cè)優(yōu)化研究,提出了基于深度學(xué)習(xí)模型YOLOv4優(yōu)化的Pest-YOLOv4網(wǎng)絡(luò)模型。該模型在K-means++聚類先驗(yàn)框的基礎(chǔ)上引入ECA-CBAM注意力機(jī)制,重新組織網(wǎng)絡(luò)頸部構(gòu)成SPP-PANet,利用Focal Loss改進(jìn)損失函數(shù),在1 693張含有多種林業(yè)害蟲的圖片上對(duì)模型進(jìn)行訓(xùn)練。結(jié)果表明,Pest-YOLOv4在保證檢測(cè)實(shí)時(shí)性的前提下,對(duì)多種林業(yè)害蟲具有良好的檢測(cè)能力,mAP值達(dá)到90.4%,相較于YOLOv4提高了4.2%。