一種基于YOLOv4-TIA 的林業(yè)害蟲實(shí)時(shí)檢測(cè)方法

候瑞環(huán)，楊喜旺，王智超，高佳鑫

（中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051）

0 概述

林業(yè)害蟲泛指危害森林的昆蟲。當(dāng)病蟲害爆發(fā)時(shí)，通常會(huì)給林業(yè)發(fā)展造成重大經(jīng)濟(jì)損失。因此，在病蟲害發(fā)生早期，通過智能噴灑裝置對(duì)害蟲進(jìn)行消殺具有重要意義［1］。因此，對(duì)林業(yè)害蟲圖像進(jìn)行快速精確檢測(cè)成為目標(biāo)檢測(cè)領(lǐng)域的研究熱點(diǎn)。昆蟲檢測(cè)主要由工作人員對(duì)誘捕到的昆蟲進(jìn)行人工識(shí)別與計(jì)數(shù)，其效率低、勞動(dòng)量大且及時(shí)性差［2］。隨著圖像采集技術(shù)和機(jī)器學(xué)習(xí)的發(fā)展，昆蟲檢測(cè)技術(shù)通過將人工提取圖像特征與支持向量機(jī)等機(jī)器學(xué)習(xí)分類方法相結(jié)合，并將其應(yīng)用于自然場(chǎng)景下的昆蟲數(shù)據(jù)分析，但該方法的魯棒性和泛化能力較差［3］。

近年來，研究人員開始將深度學(xué)習(xí)算法應(yīng)用于昆蟲圖像檢測(cè)領(lǐng)域中。文獻(xiàn)［4］提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的油菜蟲害檢測(cè)方法，使用VGG16［5］網(wǎng)絡(luò)提取圖像特征，并生成初步候選區(qū)域，再通過Fast R-CNN［6］對(duì)候選框進(jìn)行分類和定位，但是該方法的檢測(cè)速度較慢。文獻(xiàn)［7］提出基于改進(jìn)的SSD［8］深度學(xué)習(xí)模型的蟲情檢測(cè)系統(tǒng)，實(shí)現(xiàn)了對(duì)紅脂大小蠹蟲情的全自動(dòng)化監(jiān)測(cè)，然而該系統(tǒng)是針對(duì)特定場(chǎng)景設(shè)計(jì)的，因此只能對(duì)一種類型的害蟲進(jìn)行檢測(cè)，無法實(shí)現(xiàn)多類別害蟲檢測(cè)需求。

為實(shí)現(xiàn)對(duì)林業(yè)害蟲的實(shí)時(shí)精確監(jiān)測(cè)，本文提出一種基于YOLOv4-TIA 的昆蟲圖像檢測(cè)方法。將檢測(cè)速度較快且可以進(jìn)行多目標(biāo)檢測(cè)的深度學(xué)習(xí)模型YOLOv4［9］引入到林業(yè)害蟲監(jiān)測(cè)領(lǐng)域中，并對(duì)其進(jìn)行改進(jìn)，通過融合三分支注意力［10］機(jī)制與改進(jìn)的PANet［11］結(jié)構(gòu)，提高模型對(duì)林業(yè)害蟲圖像的綜合檢測(cè)能力。

1 YOLOv4 目標(biāo)檢測(cè)算法

YOLO 系列算法是一種將目標(biāo)檢測(cè)問題轉(zhuǎn)換為回歸問題［12-13］的目標(biāo)檢測(cè)算法。該模型采用端到端的網(wǎng)絡(luò)結(jié)構(gòu)，在產(chǎn)生候選區(qū)域的同時(shí)完成分類和位置調(diào)整，從而節(jié)省了檢測(cè)時(shí)間且降低了計(jì)算資源使用率。

YOLOv4 是YOLO 系列算法的最新版本，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。與YOLOv3［14］不同，YOLOv4 在數(shù)據(jù)處理過程中引入mosaic數(shù)據(jù)增強(qiáng)，CSPDarkNet53和PANet 分別作為主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)，并通過多種訓(xùn)練方式優(yōu)化激活函數(shù)與損失函數(shù)。這些方式能夠加快YOLOv4 的檢測(cè)速度，且實(shí)現(xiàn)速度和精度的最佳平衡［15］。

圖1 YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of YOLOv4 network

YOLOv4 模型將CSPDarkNet53 作為骨干網(wǎng)絡(luò)，CSPDarkNet53 主要由CBM 模塊和CSP 模塊構(gòu)成，其中CBM 模塊由卷積層（Conv）、批歸一化層（Batch Normolization，BN）和Mish 激活功能組成，CSP 模塊包括兩條支路，一條是主干部分的卷積，另一條用于生成大的殘差邊，通過對(duì)兩條支路的跨級(jí)拼接與通道整合，以增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的學(xué)習(xí)能力。CSP 結(jié)構(gòu)如圖2 所示，其中CBL 模塊由卷積層（Conv）、批歸一化層（Batch Normolization，BN）和Leaky ReLu 激活功能組成。此外，YOLOv4 模型在檢測(cè)部分使用了空間金字塔池化層SPP 模塊，使得任意大小的特征圖都能夠轉(zhuǎn)換成固定大小的特征向量，利用K-means 聚類生成不同尺度的先驗(yàn)框，并在不同層級(jí)的特征圖上進(jìn)行預(yù)測(cè)。與YOLOv3 相比，YOLOv4 是 基于PANet 的原理對(duì)不同層級(jí)的特征進(jìn)行融合。

圖2 CSP 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of CSP network

2 模型改進(jìn)

2.1 林業(yè)害蟲候選區(qū)域參數(shù)聚類

YOLOv4 模型是在輸入圖片上生成一系列錨框，錨框是w和h固定的初始候選框，也是生成預(yù)測(cè)框的前提，anchor 的選用會(huì)直接影響模型的性能［16］。YOLOv4 模型使用的錨框是在COCO 數(shù)據(jù)集上統(tǒng)計(jì)較合適的錨框大小。因此，本文通過對(duì)林業(yè)昆蟲數(shù)據(jù)集進(jìn)行聚類，得到合適的anchor 大小。利用K-means++聚類算法代替YOLOv4 模型中使用的K-means 算法。K-means 算法流程如圖3 所示。

圖3 K-means 算法流程Fig.3 Procedure of K-means algorithm

K-means 算法需要人為設(shè)定初始聚類中心，然而不同的初始聚類中心對(duì)聚類結(jié)果的影響較大。因此，本文使用K-means++對(duì)林業(yè)昆蟲數(shù)據(jù)集中昆蟲對(duì)象的w和h進(jìn)行聚類。K-means++在對(duì)初始聚類中心的選擇上進(jìn)行了優(yōu)化，首先隨機(jī)選擇一個(gè)點(diǎn)作為第1 個(gè)初始類簇中心點(diǎn)，然后選擇距離該點(diǎn)最遠(yuǎn)的點(diǎn)作為第2 個(gè)初始類簇中心點(diǎn)，最后再選擇距離前2 個(gè)點(diǎn)距離最遠(yuǎn)的點(diǎn)作為第3 個(gè)初始類簇的中心點(diǎn)，以此類推，直至選出k個(gè)初始類簇中心點(diǎn)［17］。在初始點(diǎn)選出后，本文使用標(biāo)準(zhǔn)的K-means 算法進(jìn)行聚類。

聚類評(píng)估標(biāo)準(zhǔn)通常用輪廓系數(shù)來表示，如式（1）所示，輪廓系數(shù)取值范圍為［-1，1］，取值越接近1，則說明分類效果越好。

其中：i為已聚類數(shù)據(jù)中的樣本；bi為i到其他各個(gè)族群所有樣本的距離平均值中的最小值；ai為i到本身簇的距離平均值。

經(jīng)過聚類與計(jì)算輪廓系數(shù)后，聚類類別數(shù)與輪廓系數(shù)的對(duì)應(yīng)關(guān)系如圖4 所示。

圖4 聚類類別數(shù)與輪廓系數(shù)的對(duì)應(yīng)關(guān)系Fig.4 Corresponding relationship between the number of clustering categories and contour coefficient

聚類類別數(shù)的取值為3～9。經(jīng)分析可得，以k表示聚類類別數(shù)，當(dāng)k為3 時(shí)，輪廓系數(shù)最高，聚類效果最好；當(dāng)k為6 時(shí)，聚類效果次之；當(dāng)k為7 時(shí)，聚類效果較好。本文將三者相結(jié)合，最終得到候選區(qū)域參數(shù)，分別為（51，52）、（68，69）、（63，91）、（88，64）、（92，137）、（99，140）、（136，91）、（140，100）、（146，144）。

2.2 基于三分支注意力機(jī)制的YOLOv4-TIA 網(wǎng)絡(luò)

YOLOv4 網(wǎng)絡(luò)平等對(duì)待每個(gè)通道特征，在一定程度上限制了算法的檢測(cè)性能。為進(jìn)一步提升模型精度，本文利用三分支注意力機(jī)制對(duì)YOLOv4 中的CSPDarkNet53 特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn)，改進(jìn)后的模型命名為YOLOv4-TIA。三分支注意力機(jī)制模塊是一種可學(xué)習(xí)參數(shù)少、不涉及維數(shù)降低且有效的注意力機(jī)制［18］，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 三分支注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Structure of three branch attention mechanism network

三分支注意力機(jī)制網(wǎng)絡(luò)的原理是通過旋轉(zhuǎn)操作和殘差變換建立維度間的依存關(guān)系，主要包含3 個(gè)分支，其中2 個(gè)分支分別用于捕獲通道C維度和空間維度W/H之間的跨維度交互，剩下的1 個(gè)分支捕捉（H，W）維間的依賴關(guān)系，通過均衡3 個(gè)分支的輸出，實(shí)現(xiàn)跨維度交互。

傳統(tǒng)通道注意力的計(jì)算是通過選取高層特征圖進(jìn)行全局池化，將每個(gè)通道的二維特征壓縮為1 個(gè)實(shí)數(shù)，如式（2）所示：

由于zc是根據(jù)二維特征的所有值計(jì)算得到，因此在某種程度上具有全局的感受野。但該計(jì)算方式會(huì)丟失大量的空間信息，也無法體現(xiàn)通道維數(shù)和空間維數(shù)之間的相互依賴性，傳統(tǒng)的空間注意力計(jì)算同理。雖然基于空間和通道的卷積模塊注意力機(jī)制（CBAM）可以體現(xiàn)通道與空間之間的相互依賴性，但是通道注意與空間注意是分離的，其計(jì)算也是相互獨(dú)立的。三分支注意力機(jī)制的優(yōu)點(diǎn)主要有以下3 個(gè)方面：1）不會(huì)丟失大量的空間與通道信息；2）可以進(jìn)行跨維度交互；3）需要的可學(xué)習(xí)參數(shù)量少，算力消耗小。

本文使用三分支注意力模塊對(duì)CSPDarkNet53網(wǎng)絡(luò)進(jìn)行改進(jìn)，使網(wǎng)絡(luò)可以通過自動(dòng)學(xué)習(xí)獲取跨維度交互，以提高有效的特征通道權(quán)重，從而使網(wǎng)絡(luò)重點(diǎn)關(guān)注重要的特征通道。結(jié)合三分支注意力模塊改進(jìn)的YOLOv4-TIA 骨干網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 YOLOv4-TIA 骨干網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Structure of YOLOv4-TIA backbone network

2.3 融合改進(jìn)PANet 結(jié)構(gòu)的YOLOv4-TIA

通過YOLOv4-TIA 網(wǎng)絡(luò)中的骨干網(wǎng)絡(luò)提取輸入圖片特征后，經(jīng)過檢測(cè)頸部網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)輸出。YOLOv4 采用PANet 作為頸部網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。該網(wǎng)絡(luò)采用自上而下和自下而上的路徑聚合方式，利用準(zhǔn)確的低層定位信號(hào)增強(qiáng)整個(gè)特征層次，從而縮短低層與頂層特征之間的信息路徑。

圖7 PANet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Structure of PANet network

圖7 中C表示輸入特征圖，P表示輸出特征圖。PANet 網(wǎng)絡(luò)結(jié)構(gòu)雖然可以將高層特征圖的強(qiáng)語義信息與低層特征圖的定位信息進(jìn)行雙向融合，但是在融合時(shí)是將不同層級(jí)的特征直接進(jìn)行相加。為了使網(wǎng)絡(luò)可以融合更多的特征及學(xué)習(xí)不同輸入特征的權(quán)重，本文提出一種改進(jìn)的PANet 結(jié)構(gòu)，如圖8 所示。

圖8 改進(jìn)的PANet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 Structure of improved PANet network

改進(jìn)的PANet 網(wǎng)絡(luò)結(jié)構(gòu)去除了PANet 結(jié)構(gòu)中只有一條輸入邊和輸出邊的節(jié)點(diǎn)，并且當(dāng)輸入和輸出節(jié)點(diǎn)是同一層級(jí)時(shí)，通過殘差的方式增加一條額外的邊，這樣可以在不增加計(jì)算開銷的同時(shí)融合更多的特征［19］。輸入圖片經(jīng)過CSPDarkNet53 骨干網(wǎng)絡(luò)得到各層級(jí)的特征圖后，通過跨級(jí)連接和同級(jí)跳躍連接的多尺度特征融合方式獲得尺度分別為152、76、38 和19 的4 個(gè)層級(jí)的特征圖，并在此基礎(chǔ)上進(jìn)行預(yù)測(cè)。

2.4 Focal loss 函數(shù)

在林業(yè)監(jiān)測(cè)中采集到的昆蟲數(shù)據(jù)存在樣本不均衡且不容易分類的問題，為此，在YOLOv4-TIA 中使用Focal loss 函數(shù)優(yōu)化分類損失。Focal loss 函數(shù)可以用于解決一階段模型中背景分類不均衡和正負(fù)樣本嚴(yán)重失衡的問題［20］。YOLOv4 中的損失函數(shù)分為位置損失、置信度損失和類別損失3 個(gè)部分，將Sigmoid 與交叉熵?fù)p失函數(shù)相結(jié)合進(jìn)行計(jì)算。在多分類任務(wù)中，交叉熵表示激活函數(shù)實(shí)際輸出值與期望輸出值的距離，交叉熵越小表示兩者的概率分布越近［21］，如式（3）所示：

其中：L為交叉熵；C為分類類別數(shù)；y為期望輸出；y'為經(jīng)過激活函數(shù)的實(shí)際輸出。改進(jìn)后Focal loss 計(jì)算如式（4）所示：

其中：α取0.25，α因子的作用是平衡樣本數(shù)量；β取2，β＞0 的作用是減少易分類目標(biāo)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

本文實(shí)驗(yàn)所使用的數(shù)據(jù)集（北京林業(yè)大學(xué)昆蟲）共有2 183 幅圖像，其中1 693 幅作為訓(xùn)練集，245 幅作為驗(yàn)證集，其他245 幅作為測(cè)試集。數(shù)據(jù)集共有Boerner、Leconte、Linnaeus、acuminatus、armandi、coleoptera和linnaeus7 類昆蟲目標(biāo)。在使用模型對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練前先對(duì)訓(xùn)練集中每類目標(biāo)樣本數(shù)量進(jìn)行統(tǒng)計(jì)，以均衡檢測(cè)樣本分布，統(tǒng)計(jì)結(jié)果如表1 所示。

表1 在訓(xùn)練集中每類目標(biāo)樣本的統(tǒng)計(jì)結(jié)果Table 1 Statistical results of each target sample in the training set

從表1可以看出，Linnaeus、acuminatus和linnaeus3類目標(biāo)的樣本數(shù)較少。為了使每類樣本數(shù)量分布更均衡，本文對(duì)包含這3 類目標(biāo)的圖片進(jìn)行數(shù)據(jù)增強(qiáng)操作。每幅圖片包含多類目標(biāo)，因圖像旋轉(zhuǎn)、色調(diào)變換等常見數(shù)據(jù)增強(qiáng)方式會(huì)導(dǎo)致其他樣本數(shù)目增加，因此增強(qiáng)后的整體樣本數(shù)據(jù)分布仍不均勻。

本文采用的增強(qiáng)方式是將數(shù)目較少的類別目標(biāo)區(qū)域進(jìn)行復(fù)制，經(jīng)過放大、旋轉(zhuǎn)、平移等方式粘貼回原圖，以達(dá)到精準(zhǔn)類別增強(qiáng)。本文以Linnaeus 目標(biāo)為例進(jìn)行數(shù)據(jù)增強(qiáng)，增強(qiáng)前后的效果對(duì)比如圖9所示。

圖9 精準(zhǔn)數(shù)據(jù)增強(qiáng)前后的效果Fig.9 Effect of data before and after accurate enhancement

本文對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理后，每類目標(biāo)樣本數(shù)目如表2 所示。

表2 數(shù)據(jù)增強(qiáng)后每類目標(biāo)樣本的統(tǒng)計(jì)結(jié)果Table 2 Statistical results of each target sample after data enhancement

3.2 訓(xùn)練結(jié)果對(duì)比分析

本文使用調(diào)整后的數(shù)據(jù)集作為訓(xùn)練集，分別對(duì)改進(jìn)前后的模型進(jìn)行訓(xùn)練。本文實(shí)驗(yàn)的操作系統(tǒng)為windows10，CPU 為E5-2630L v3，內(nèi)存16 GB，GPU為1080 Ti，顯存11 GB。訓(xùn)練時(shí)batchsize 設(shè)置為16，學(xué)習(xí)率為0.001，優(yōu)化器為Adam，根據(jù)訓(xùn)練日志繪制出模型損失函數(shù)值的變化曲線如圖10 所示。從圖10 可以看出，當(dāng)YOLOv4 訓(xùn)練進(jìn)行到約9 000 次時(shí)，整體曲線趨于平穩(wěn)并無明顯震蕩，模型收斂。改進(jìn)后YOLOv4-TIA 模型的最終損失函數(shù)值明顯低于原模型，損失函數(shù)最低值僅為0.12。

圖10 改進(jìn)前后模型的訓(xùn)練結(jié)果Fig.10 Training results of models before and after improvement

在完成模型訓(xùn)練后，本文將YOLOv4、VGG16、Faster R-CNN 作為對(duì)比模型，在測(cè)試集上采用以下評(píng)定指標(biāo)分別對(duì)4 個(gè)模型進(jìn)行綜合性能對(duì)比，結(jié)果如表3 所示。

表3 不同檢測(cè)模型進(jìn)行林業(yè)害蟲檢測(cè)的綜合性能對(duì)比Table 3 Comprehensive performances comparison among different detection models for forestry pests detection

1）精確率（P），通過計(jì)算正確檢測(cè)目標(biāo)數(shù)量與整體檢測(cè)到的目標(biāo)數(shù)量的比例，以衡量模型的分類能力。

2）召回率（R），通過計(jì)算正確檢測(cè)目標(biāo)數(shù)與驗(yàn)證集目標(biāo)總數(shù)的比例，衡量模型的查全能力。

3）面積交并比（IoU），通過計(jì)算模型預(yù)測(cè)目標(biāo)的矩形區(qū)域與驗(yàn)證集中目標(biāo)標(biāo)定的矩形區(qū)域的面積交并比，衡量模型的位置預(yù)測(cè)能力。

從表3 可以看出，改進(jìn)的YOLOv4-TIA 模型檢測(cè)速度與YOLOv4 相差不大，比SSD 快1.6 倍，比Faster R-CNN 快6.7 倍。相比SSD、Faster R-CNN 和YOLOv4方法，改進(jìn)的YOLOv4-TIA的準(zhǔn)確率更高，且在比Faster R-CNN 模型檢測(cè)速度加快了6 倍的情況下，準(zhǔn)確率仍提高了6.5%。因此，YOLOv4-TIA 通過捕捉跨維度交互增強(qiáng)了網(wǎng)絡(luò)特征表達(dá)能力，利用高效的多尺度連接方式與Focal loss函數(shù)，進(jìn)一步提高模型的檢測(cè)精確率，能夠檢測(cè)到更小的目標(biāo)，YOLOv4-TIA 的召回率相比于YOLOv4 提升了8.3%。

根據(jù)精確率和召回率，本文對(duì)每類目標(biāo)的平均精準(zhǔn)度（Average Precision，AP）和模型整體的mAP（mean Average Precision）進(jìn)行計(jì)算對(duì)比，結(jié)果如表4 所示。優(yōu)化后YOLOv4-TIA 模型的整體mAP 相比于YOLOv4提升了5.6%，結(jié)合表3 的對(duì)比數(shù)據(jù)，優(yōu)化后模型的魯棒性較優(yōu)。YOLOv4-TIA 與YOLOv4 模型的mAP 值分別為85.7%和80.7%。YOLOv4-TIA 與YOLOv4 模型的FLOPs 分別為57×109和52×109。本文對(duì)每類目標(biāo)的的AP 值進(jìn)行分析，由于YOLOv4 樣本數(shù)量分布不均導(dǎo)致AP 值差異較大，而YOLOv4-TIA 模型經(jīng)過數(shù)據(jù)增強(qiáng)后每類AP 值較均衡，且無明顯波動(dòng)。

表4 YOLOv4-TIA 與YOLOv4 模型的AP 對(duì)比Table 4 AP comparison of YOLOv4-TIA and YOLOv4 models %

在測(cè)試集上YOLOv4 模型和YOLOv4-TIA 模型的昆蟲圖像實(shí)際檢測(cè)效果對(duì)比如圖11 和圖12 所示。從圖中可以看出，所有昆蟲對(duì)象檢測(cè)結(jié)果用矩形框標(biāo)示，在直接使用YOLOv4 模型進(jìn)行檢測(cè)時(shí)，存在一些昆蟲對(duì)象漏檢的情況，然而使用YOLOv4-TIA 模型均無漏檢情況。

圖11 YOLOv4 模型檢測(cè)結(jié)果Fig.11 Detection results of YOLOv4 model

圖12 YOLOv4-TIA 模型檢測(cè)結(jié)果Fig.12 Detection results of YOLOv4-TIA model

因此，YOLOv4-TIA 的目標(biāo)檢測(cè)精確率和召回率都要高于YOLOv4，其小目標(biāo)的檢測(cè)能力也更優(yōu)。

4 結(jié)束語

本文提出基于YOLOv4-TIA 的林業(yè)害蟲目標(biāo)檢測(cè)方法，通過對(duì)數(shù)據(jù)集進(jìn)行精準(zhǔn)數(shù)據(jù)增強(qiáng)，利用三分支注意力機(jī)制對(duì)CSPDarkNet53 網(wǎng)絡(luò)進(jìn)行改進(jìn)，并將其與優(yōu)化的PANet 網(wǎng)絡(luò)相結(jié)合，獲取更豐富的語義信息和位置信息，實(shí)現(xiàn)對(duì)誘捕器鏡頭下林業(yè)害蟲的監(jiān)測(cè)。實(shí)驗(yàn)結(jié)果表明，YOLOv4-TIA 方法的精確率和召回率分別達(dá)到85.9%和91.2%，相比SSD、Faster R-CNN、YOLOv4方法，在保證實(shí)時(shí)性的前提下，能夠有效提高檢測(cè)精度。