基于改進(jìn)YOLO v5的寧夏草原蝗蟲識(shí)別模型研究

馬宏興 張 淼 董凱兵 魏淑花 張 蓉 王順霞

(1.北方民族大學(xué)電氣信息工程學(xué)院，銀川 750021；2.寧夏農(nóng)林科學(xué)院植物保護(hù)研究所，銀川 750002；3.寧夏回族自治區(qū)草原工作站，銀川 750002)

0 引言

蝗蟲是造成全球農(nóng)業(yè)和草原畜牧業(yè)經(jīng)濟(jì)損失的重要原因之一，每年因蝗蟲造成的經(jīng)濟(jì)損失高達(dá)千億美元[1-3]。

對(duì)蟲情的預(yù)測(cè)和防控，較為先進(jìn)的方法是利用遙感、地理信息系統(tǒng)等技術(shù)宏觀上對(duì)蝗蟲蟲群進(jìn)行監(jiān)測(cè)，但這種方法成本較高，監(jiān)測(cè)精度受限于遙感影像的分辨率，只適合大面積的蝗災(zāi)檢測(cè)，且這種檢測(cè)是在蝗蟲已泛濫成災(zāi)之后，沒(méi)有預(yù)見性[4-6]。近些年來(lái)，部分學(xué)者利用機(jī)器學(xué)習(xí)技術(shù)，在微觀方面對(duì)蝗蟲識(shí)別進(jìn)行了研究。例如通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型來(lái)自主學(xué)習(xí)蝗蟲的生物特征[7-9]。LIMA等[10]提出了將蟲類特征與支持向量機(jī)(Support vector machine，SVM)相結(jié)合的方法，建立了一個(gè)能分類64科的昆蟲分類系統(tǒng)，識(shí)別率為93%。YE等[11]提出的ResNet-Locust-BN模型能夠識(shí)別三齡幼蟲，準(zhǔn)確率為77.20%，識(shí)別五齡幼蟲準(zhǔn)確率為88.40%，識(shí)別成蟲準(zhǔn)確率為93.8%。這些分類模型能對(duì)蝗蟲進(jìn)行分類，但不能確定蝗蟲的具體位置信息。武英潔等[12]提出了基于Faster RCNN的野外蝗蟲快速識(shí)別網(wǎng)絡(luò)，準(zhǔn)確率為75.6%。李林等[13]設(shè)計(jì)了K-SSD-F算法，可對(duì)視頻數(shù)據(jù)中的東亞飛蝗進(jìn)行檢測(cè)，平均精度為88.94%。這些方法雖然能夠確定蝗蟲的位置，但對(duì)蝗蟲的檢測(cè)精度較低，且只能對(duì)單類蝗蟲進(jìn)行檢測(cè)。

在微觀上對(duì)蝗蟲的檢測(cè)識(shí)別精度不高的原因是自然環(huán)境中蝗蟲圖像背景復(fù)雜，很難對(duì)蝗蟲進(jìn)行有效的分割，而且由于蝗蟲樣本收集困難，不同種類的蝗蟲樣本分布不均勻，拍攝所獲取的蝗蟲圖像尺度不一，這都造成了蝗蟲圖像檢測(cè)識(shí)別的困難。為有效解決蝗蟲圖像樣本少、小目標(biāo)和目標(biāo)多尺度等識(shí)別難點(diǎn)，基于YOLO v5網(wǎng)絡(luò)，擬提出一種復(fù)雜背景下多尺度蝗蟲目標(biāo)檢測(cè)識(shí)別模型。該模型可利用生成式對(duì)抗網(wǎng)絡(luò)CycleGAN來(lái)擴(kuò)充數(shù)據(jù)集[14]，使用ConvNeXt來(lái)保留小目標(biāo)蝗蟲特征[15]，使用Bi-FPN結(jié)構(gòu)增強(qiáng)網(wǎng)絡(luò)提取蝗蟲特征的能力[16]。并將改進(jìn)后的網(wǎng)絡(luò)模型結(jié)合研發(fā)的草原生態(tài)環(huán)境數(shù)據(jù)采集設(shè)備，構(gòu)建基于Web的蝗蟲識(shí)別檢測(cè)平臺(tái)，提高對(duì)自然環(huán)境中蝗蟲檢測(cè)和識(shí)別精度，應(yīng)用在寧夏草原地區(qū)的蝗蟲實(shí)時(shí)檢測(cè)中，為寧夏草原蟲情防治等提供生態(tài)信息和決策依據(jù)。

1 蝗蟲數(shù)據(jù)集建立

寧夏荒漠草原中常見蝗蟲有亞洲小車蝗、短星翅蝗、中華劍角蝗等，主要分布在寧夏中衛(wèi)、鹽池、固原等地[17-18]。

由于蝗蟲在自然環(huán)境中與背景高度相似，不利于蝗蟲特征的研究與分析，為豐富蝗蟲數(shù)據(jù)多樣性，提高識(shí)別模型泛化能力，在不同角度、不同光照環(huán)境下，在自然環(huán)境、捕蟲網(wǎng)、仿真草皮和粘蟲板上采集了蝗蟲圖像數(shù)據(jù)，如圖1所示。

圖1 蝗蟲圖像

在采集過(guò)程中，共得到寧夏草原常見蝗蟲圖像335幅，刪除圖像數(shù)據(jù)集中拍攝模糊、枝葉遮擋等特征不明顯的蝗蟲圖像，最終得到208幅有效圖像。該數(shù)據(jù)集屬于少樣本數(shù)據(jù)集，需對(duì)蝗蟲數(shù)據(jù)集進(jìn)行預(yù)處理。

2 圖像預(yù)處理

為了擴(kuò)充數(shù)據(jù)集，提高識(shí)別的準(zhǔn)確性，采用生成對(duì)抗網(wǎng)絡(luò)生成新的蝗蟲圖像，對(duì)蝗蟲樣本進(jìn)行擴(kuò)充，并采用馬賽克數(shù)據(jù)增強(qiáng)來(lái)提高識(shí)別網(wǎng)絡(luò)的泛化能力。

2.1 數(shù)據(jù)集擴(kuò)充

生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial network，GAN)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，通過(guò)兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈進(jìn)行非監(jiān)督學(xué)習(xí)。判別網(wǎng)絡(luò)輸入真實(shí)樣本，生成網(wǎng)絡(luò)盡可能的誤導(dǎo)判別網(wǎng)絡(luò)，兩個(gè)網(wǎng)絡(luò)不斷調(diào)整參數(shù)，相互對(duì)抗，生成以假亂真的圖像數(shù)據(jù)，盡量模仿訓(xùn)練集中的真實(shí)樣本，完成少樣本數(shù)據(jù)集擴(kuò)充[19-21]。

CycleGAN結(jié)構(gòu)如圖2所示，其中X表示輸入的真實(shí)樣本，Y表示生成的對(duì)抗樣本，G、F為生成網(wǎng)絡(luò)，DX、DY為對(duì)抗性網(wǎng)絡(luò)。

圖2 CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)

采用生成對(duì)抗網(wǎng)絡(luò)CycleGAN對(duì)寧夏草原蝗蟲圖像進(jìn)行數(shù)據(jù)擴(kuò)充，擴(kuò)充前后蝗蟲圖像數(shù)據(jù)對(duì)比效果如圖3所示。

圖3 使用CycleGAN擴(kuò)充數(shù)據(jù)樣本

2.2 數(shù)據(jù)增強(qiáng)

除了使用對(duì)抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)樣本外，還可以采用馬賽克數(shù)據(jù)增強(qiáng)和傳統(tǒng)圖像增強(qiáng)相結(jié)合的方法，擴(kuò)展蝗蟲圖像樣本的豐富度。

在對(duì)蝗蟲圖像增強(qiáng)時(shí)，將4幅蝗蟲圖像進(jìn)行隨機(jī)裁剪拼接，并對(duì)蝗蟲圖像進(jìn)行位移、大小變換、剪切、復(fù)制粘貼等操作，增強(qiáng)結(jié)果如圖4所示。

圖4 數(shù)據(jù)增強(qiáng)結(jié)果

通過(guò)對(duì)數(shù)據(jù)集進(jìn)行馬賽克數(shù)據(jù)增強(qiáng)，能夠增加模型每次訓(xùn)練所選取的樣本數(shù)，間接降低計(jì)算開銷。

2.3 數(shù)據(jù)標(biāo)注

為使網(wǎng)絡(luò)模型能夠?qū)W習(xí)蝗蟲的特征與位置信息，提高模型輸出的準(zhǔn)確性，可對(duì)圖像中的蝗蟲進(jìn)行標(biāo)注。在此使用標(biāo)注工具LabelImg對(duì)圖像中的蝗蟲進(jìn)行矩形標(biāo)注，標(biāo)注結(jié)果如圖5所示。

圖5 圖像標(biāo)注

對(duì)自然環(huán)境中的蝗蟲圖像標(biāo)注時(shí)盡可能使邊界框最小，以減小背景的影響。標(biāo)注完成，得到記錄蝗蟲位置和種類信息的文件，圖像和標(biāo)注文件均作為模型的訓(xùn)練集。

3 基于YOLO v5的蝗蟲識(shí)別模型設(shè)計(jì)

YOLO v5模型更適合中、大型目標(biāo)檢測(cè)，對(duì)于復(fù)雜背景和尺度變化較大的蝗蟲等小目標(biāo)圖像檢測(cè)效果達(dá)不到預(yù)期目標(biāo)。為了正確識(shí)別復(fù)雜背景中小目標(biāo)，本文首次通過(guò)將YOLO v5原主干網(wǎng)絡(luò)Darknet改進(jìn)為ConvNeXt，來(lái)解決Darknet對(duì)小目標(biāo)特征提取能力不足的問(wèn)題；同時(shí)，將Neck特征融合部分改進(jìn)為雙向融合特征網(wǎng)絡(luò)Bi-FPN，來(lái)解決多尺度特征融合問(wèn)題。通過(guò)這些改進(jìn)，來(lái)提升網(wǎng)絡(luò)模型對(duì)復(fù)雜背景中不同尺度蝗蟲目標(biāo)的識(shí)別能力。改進(jìn)后的網(wǎng)絡(luò)模型命名為YOLO v5-CB。

3.1 YOLO v5結(jié)構(gòu)模型

目標(biāo)檢測(cè)算法中，YOLO v5因運(yùn)算速度較快，識(shí)別正確率較高等原因，應(yīng)用范圍較廣。YOLO v5由特征提取(Backbone)、特征融合(Neck)和檢測(cè)頭(Head)3部分組成，結(jié)構(gòu)模型如圖6所示。

圖6 YOLO v5結(jié)構(gòu)模型

YOLO v5對(duì)于大中型、顯著性目標(biāo)的檢測(cè)具有良好的效果，但對(duì)于小目標(biāo)、少樣本且背景復(fù)雜的蝗蟲圖像，YOLO v5的檢測(cè)識(shí)別性能并不理想，需要在特征信息提取和特征融合方面進(jìn)行改進(jìn)，使其適應(yīng)自然背景中蝗蟲的檢測(cè)和識(shí)別。

3.2 特征提取

由于數(shù)據(jù)集中存在小目標(biāo)的蝗蟲圖像，在特征提取時(shí)，YOLO v5的下采樣方式會(huì)丟失小目標(biāo)蝗蟲特征。為有效解決小目標(biāo)蝗蟲圖像特征提取不充分的問(wèn)題，本文改進(jìn)模型YOLO v5-CB在特征提取部分采用性能更為優(yōu)異的ConvNeXt網(wǎng)絡(luò)。

ConvNeXt是一種純卷積網(wǎng)絡(luò)，在相同的計(jì)算開銷下，擁有更快的推理速度和更高的準(zhǔn)確率，網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。其中h、w、dim分別表示特征圖的高、寬和層數(shù)。

圖7中，ConvNeXt網(wǎng)絡(luò)將原ResNet模塊堆疊block的次數(shù)從(3, 4, 6, 3)調(diào)整成(3, 3, 9, 3)，通過(guò)一個(gè)卷積核尺寸等于步長(zhǎng)的卷積層進(jìn)行下采樣，采用深度可分離卷積平衡精確率與計(jì)算開銷，調(diào)整通道數(shù)到96；ConvNeXt Block采用倒瓶頸層設(shè)計(jì)，使用3×3深度可分離卷積用于提取特征后，先用1×1卷積升維，將通道數(shù)由96升到384，再用1×1卷積降維，將通道數(shù)從384降到96，用以減少高維信息的損失；ConvNeXt通過(guò)4個(gè)階段的特征提取，得到尺寸為7×7×768的特征圖，通過(guò)全局平均池化和LN層，最終通過(guò)線性分類器輸出。

圖7 ConvNeXt網(wǎng)絡(luò)結(jié)構(gòu)圖

ConvNeXt模型因其特殊的倒置瓶頸層結(jié)構(gòu)，有效地避免了降采樣過(guò)程中小目標(biāo)蝗蟲特征信息的丟失。ConvNeXt在每次降采樣前后和全局均值池化之后的位置都添加了一個(gè)LN層，這種歸一化策略使得模型更加穩(wěn)定，減少了梯度的振蕩。此外，由于借鑒了Swin Transformer[22]的結(jié)構(gòu)，減少激活函數(shù)和BN層的使用，ConvNeXt模型不僅提升了蝗蟲目標(biāo)檢測(cè)的準(zhǔn)確率，也使網(wǎng)絡(luò)降低了浮點(diǎn)運(yùn)算次數(shù)。

3.3 特征融合

網(wǎng)絡(luò)訓(xùn)練過(guò)程中，隨著網(wǎng)絡(luò)層數(shù)越深，獲得的特征信息越高級(jí)，但是目標(biāo)的位置信息會(huì)變得越弱，對(duì)小目標(biāo)的位置損失就越大。因此在提取蝗蟲特征后，需要通過(guò)Neck進(jìn)行特征融合提高檢測(cè)頭(Head)對(duì)蝗蟲位置與類別信息預(yù)測(cè)的準(zhǔn)確性。

YOLO v5使用不同尺度來(lái)預(yù)測(cè)并用特征金字塔(Feature pyramid network，F(xiàn)PN)結(jié)合像素聚合網(wǎng)絡(luò)(Pixel aggregation network，PAN)結(jié)構(gòu)對(duì)特征進(jìn)行多尺度融合。由于拍攝獲得的寧夏草原蝗蟲目標(biāo)尺度變化較大，使用YOLO v5的PANet結(jié)構(gòu)會(huì)破壞不同尺度蝗蟲特征的一致性。為解決蝗蟲目標(biāo)多尺度檢測(cè)問(wèn)題，本文改進(jìn)模型YOLO v5-CB在特征融合部分采用Bi-FPN結(jié)構(gòu)，通過(guò)引入權(quán)值，來(lái)解決不同尺度的特征圖對(duì)特征融合的貢獻(xiàn)不同的問(wèn)題。PANet結(jié)構(gòu)如圖8所示，Bi-FPN結(jié)構(gòu)如圖9所示。

圖8 PANet 結(jié)構(gòu)圖

圖9 Bi-FPN結(jié)構(gòu)圖

Bi-FPN結(jié)構(gòu)為了學(xué)習(xí)不同分辨率特征圖對(duì)特征融合的重要程度，反復(fù)進(jìn)行多尺度特征融合。

Bi-FPN帶權(quán)特征融合公式為

(1)

式中Ii——輸入特征

wi、wj——權(quán)值，用于衡量不同分辨率的特征對(duì)特征融合的貢獻(xiàn)情況

e——數(shù)值極小的學(xué)習(xí)率，用以約束數(shù)值的振蕩

O——輸出，加權(quán)特征融合的值

Bi-FPN在第6層融合特征的計(jì)算公式為

(2)

(3)

Pin——對(duì)輸入進(jìn)行下采樣操作

Resize——上采樣函數(shù)

ω——學(xué)習(xí)到的參數(shù)

Pout——融合的輸出特征

Conv——卷積運(yùn)算函數(shù)

Bi-FPN在融合不同尺度的特征圖中，因其特有的雙向交叉尺度連接結(jié)構(gòu)，能夠高效融合到更多的蝗蟲特征；同時(shí)運(yùn)用加權(quán)特征融合的設(shè)計(jì)，通過(guò)學(xué)習(xí)不同層輸入特征的權(quán)重，得到不同尺度的輸入特征對(duì)輸出特征的貢獻(xiàn)情況，從而解決了蝗蟲圖像尺度變化較大的問(wèn)題。

4 蝗蟲圖像識(shí)別結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

模型在服務(wù)器上完成訓(xùn)練，服務(wù)器配置為Intel(R)Core(TM)i7-7820x CPU，GeForce RTX 2080Ti 11GB GPU。軟件環(huán)境采用Python 3.7，深度學(xué)習(xí)框架采用Pytorch 1.8.1。

4.2 識(shí)別結(jié)果

采用本文改進(jìn)模型YOLO v5-CB對(duì)寧夏草原蝗蟲圖像進(jìn)行檢測(cè)和識(shí)別，結(jié)果如圖10所示。從圖中可以看出，YOLO v5-CB能夠?qū)D像中的亞洲小車蝗、短星翅蝗和中華劍角蝗進(jìn)行準(zhǔn)確定位和識(shí)別。

圖10 寧夏草原蝗蟲圖像識(shí)別結(jié)果

為進(jìn)一步驗(yàn)證改進(jìn)模型YOLO v5-CB的性能，選擇與Faster R-CNN[23]、YOLO v3[24]、YOLO v4[25]和YOLO v5模型進(jìn)行比較，結(jié)果如圖11所示。

圖11 不同網(wǎng)絡(luò)識(shí)別結(jié)果

圖11中，存在亞洲小車蝗、短星翅蝗兩類蝗蟲，背景復(fù)雜且蝗蟲尺度變化較大。Faster R-CNN 能夠定位所有蝗蟲，但存在亞洲小車蝗與短星翅蝗錯(cuò)檢和重復(fù)檢測(cè)的情況；YOLO v3網(wǎng)絡(luò)與YOLO v4網(wǎng)絡(luò)存在亞洲小車蝗漏檢，將非蝗蟲錯(cuò)檢成短星翅蝗的情況；YOLO v5網(wǎng)絡(luò)能夠識(shí)別出多數(shù)蝗蟲，但對(duì)目標(biāo)較小的短星翅蝗存在漏檢的情況；本文改進(jìn)模型YOLO v5-CB能夠準(zhǔn)確定位并識(shí)別出亞洲小車蝗、短星翅蝗，且無(wú)錯(cuò)檢漏檢情況。說(shuō)明改進(jìn)模型YOLO v5-CB能有效提高復(fù)雜背景中多尺度蝗蟲檢測(cè)和識(shí)別的準(zhǔn)確率。

4.3 網(wǎng)絡(luò)模型性能指標(biāo)

為了客觀評(píng)估模型性能，對(duì)Faster R-CNN、YOLO v3、YOLO v4、YOLO v5和本文改進(jìn)模型YOLO v5-CB的精確率、召回率、平均精度均值(mAP)、F1值進(jìn)行比較[26]，如表1所示。

表1 網(wǎng)絡(luò)模型評(píng)價(jià)指標(biāo)

由表1可見，在對(duì)寧夏草原常見亞洲小車蝗、短星翅蝗和中華劍角蝗檢測(cè)識(shí)別時(shí)，YOLO v3、YOLO v4與Faster R-CNN相比，網(wǎng)絡(luò)性能有了較大的改善，但略遜于YOLO v5。YOLO v5對(duì)小目標(biāo)蝗蟲的識(shí)別精確率和平均精度均值偏低；YOLO v5-CB的精確率、召回率、平均精度均值和F1值均為最優(yōu)，其中，精確率比Faster R-CNN提高27個(gè)百分點(diǎn)，比YOLO v3提高9.1個(gè)百分點(diǎn)，比YOLO v4提高11.9個(gè)百分點(diǎn)，比YOLO v5提高5.8個(gè)百分點(diǎn)；召回率比 Faster R-CNN提高13.3個(gè)百分點(diǎn)，比YOLO v3提高6個(gè)百分點(diǎn)，比YOLO v4提高8.2個(gè)百分點(diǎn)；比YOLO v5提高6.1個(gè)百分點(diǎn)；F1值比Faster R-CNN提高21個(gè)百分點(diǎn)，比YOLO v3提高8個(gè)百分點(diǎn)，比YOLO v4提高10個(gè)百分點(diǎn)，比YOLO v5提高6個(gè)百分點(diǎn)。

為了得到亞洲小車蝗、短星翅蝗和中華劍角蝗的平均精度，使用Faster R-CNN、YOLO v3、YOLO v4、YOLO v5和YOLO v5-CB在訓(xùn)練過(guò)程中得到的精確率和召回率繪制亞洲小車蝗、短星翅蝗和中華劍角蝗精確率-召回率曲線，如圖12所示。

圖12 精確率-召回率曲線

由Faster R-CNN、YOLO v3、YOLO v4、YOLO v5和本文模型YOLO v5-CB的精確率-召回率曲線可得，亞洲小車蝗、短星翅蝗和中華劍角蝗的平均精度如表2所示。

由圖12和表2可以得出，本文模型YOLO v5-CB檢測(cè)亞洲小車蝗的平均精度比Faster R-CNN提高9.9個(gè)百分點(diǎn)，比YOLO v3提高2.7個(gè)百分點(diǎn)，比YOLO v4提高2.8個(gè)百分點(diǎn)，比YOLO v5提高3.7個(gè)百分點(diǎn)；檢測(cè)短星翅蝗的平均精度比

表2 不同蝗蟲的平均精度

Faster R-CNN提高 27.5個(gè)百分點(diǎn)，比YOLO v3提高14.8個(gè)百分點(diǎn)，比YOLO v4提高24.1個(gè)百分點(diǎn)；比YOLO v5提高11.4個(gè)百分點(diǎn)；檢測(cè)中華劍角蝗的平均精度比Faster R-CNN提高10.8個(gè)百分點(diǎn)，比YOLO v3提高0.8個(gè)百分點(diǎn)，比YOLO v4提高0.9個(gè)百分點(diǎn)；比YOLO v5提高0.5個(gè)百分點(diǎn)。綜上所述，本文改進(jìn)網(wǎng)絡(luò)模型YOLO v5-CB對(duì)亞洲小車蝗、短星翅蝗、中華劍角蝗檢測(cè)的平均精度表現(xiàn)最優(yōu)。

為了進(jìn)一步驗(yàn)證本文模型YOLO v5-CB的有效性和實(shí)用性，在訓(xùn)練時(shí)長(zhǎng)和檢測(cè)時(shí)間上與YOLO v5進(jìn)行了對(duì)比實(shí)驗(yàn)。

在訓(xùn)練時(shí)長(zhǎng)的對(duì)比實(shí)驗(yàn)中，訓(xùn)練150個(gè)迭代周期后，得到的YOLO v5和YOLO v5-CB的蝗蟲類別損失值和蝗蟲位置損失值如圖13和圖14所示。

圖13 類別損失值對(duì)比

圖14 位置損失值對(duì)比

由圖13、14可知，由于改進(jìn)模型YOLO v5-CB引入了ConvNeXt網(wǎng)絡(luò)和Bi-FPN結(jié)構(gòu)，導(dǎo)致收斂速度略慢于YOLO v5，訓(xùn)練時(shí)長(zhǎng)增加，但充分訓(xùn)練后，收斂結(jié)果優(yōu)于YOLO v5。

檢測(cè)時(shí)間對(duì)比實(shí)驗(yàn)中，選取50幅復(fù)雜背景下的小目標(biāo)蝗蟲圖像，對(duì)訓(xùn)練好的YOLO v5和YOLO v5-CB網(wǎng)絡(luò)進(jìn)行對(duì)比，為了消除偶然性，使結(jié)果更加準(zhǔn)確，將50個(gè)結(jié)果每10個(gè)分成一組，共分成5組，分別記為T1～T5，求得每一組檢測(cè)時(shí)間的平均值，結(jié)果如表3所示。

由表3可知，訓(xùn)練后YOLO v5-CB的檢測(cè)時(shí)間最多比YOLO v5增加了0.004 s，對(duì)實(shí)際應(yīng)用基本沒(méi)有影響。

表3 檢測(cè)時(shí)間對(duì)比

為了更好地模擬蝗蟲真實(shí)的生存環(huán)境，驗(yàn)證模型的實(shí)際應(yīng)用效果，針對(duì)含有負(fù)樣本的圖像，YOLO v5和YOLO v5-CB的檢測(cè)結(jié)果如圖15所示。

圖15 引入噪聲檢測(cè)結(jié)果

由圖15可見，對(duì)于含有負(fù)樣本的復(fù)雜背景下小目標(biāo)蝗蟲檢測(cè)，YOLO v5存在錯(cuò)檢，而YOLO v5-CB檢測(cè)更加準(zhǔn)確。

由此可知，YOLO v5-CB因其主干部分的深度可分離卷積，只增加了空間維度上的信息混合，配合其特殊的倒置瓶頸層結(jié)構(gòu)，有效地平衡了準(zhǔn)確度與計(jì)算量，部署在服務(wù)器端是可行的。

4.4 消融實(shí)驗(yàn)及分析

為了驗(yàn)證改進(jìn)方案的有效性，需要通過(guò)消融實(shí)驗(yàn)進(jìn)行對(duì)比分析，結(jié)果如表4所示。

表4 消融實(shí)驗(yàn)結(jié)果

模型1是YOLO v5網(wǎng)絡(luò)；模型2是將YOLO v5的特征提取部分替換為ConvNeXt后得到的網(wǎng)絡(luò)；模型3是將YOLO v5的特征融合部分替換為Bi-FPN得到的網(wǎng)絡(luò)；模型4是本文改進(jìn)網(wǎng)絡(luò)YOLO v5-CB。實(shí)驗(yàn)時(shí)，各網(wǎng)絡(luò)模型訓(xùn)練100個(gè)周期。

由表4可知，相比YOLO v5，模型2的精確率提高0.8個(gè)百分點(diǎn)，召回率提高3.4個(gè)百分點(diǎn)，F(xiàn)1值提高2個(gè)百分點(diǎn)，平均精度均值提高3.7個(gè)百分點(diǎn)，說(shuō)明采用ConvNeXt網(wǎng)絡(luò)，能夠較好地提取小目標(biāo)特征，有效提高網(wǎng)絡(luò)對(duì)蝗蟲的檢測(cè)性能。相比YOLO v5，模型3的精確率提高4個(gè)百分點(diǎn)，召回率提高7.4個(gè)百分點(diǎn)，F(xiàn)1值提高5個(gè)百分點(diǎn)，平均精度均值提高4.19個(gè)百分點(diǎn)，說(shuō)明采用Bi-FPN，可增加網(wǎng)絡(luò)對(duì)多尺度蝗蟲特征的融合能力，保留了不同尺度蝗蟲特征的一致性。相比YOLO v5，模型4的精確率提高5.8個(gè)百分點(diǎn)，召回率提高6.1個(gè)百分點(diǎn)，F(xiàn)1值提高6個(gè)百分點(diǎn)，平均精度均值提高5.48個(gè)百分點(diǎn)。說(shuō)明本文改進(jìn)方法YOLO v5-CB可更好地檢測(cè)和識(shí)別多目標(biāo)、尺度不一的蝗蟲圖像，提高蝗蟲目標(biāo)檢測(cè)的準(zhǔn)確性。

5 蝗蟲識(shí)別系統(tǒng)平臺(tái)設(shè)計(jì)與應(yīng)用

為了探索蝗蟲數(shù)量與生態(tài)因子之間的內(nèi)在聯(lián)系，需要對(duì)觀測(cè)點(diǎn)的蝗蟲圖像進(jìn)行長(zhǎng)期采集并檢測(cè)。在實(shí)際應(yīng)用中設(shè)計(jì)了分布式可擴(kuò)展生態(tài)環(huán)境數(shù)據(jù)采集系統(tǒng)[27-28]，結(jié)構(gòu)如圖16所示。

圖16 分布式可擴(kuò)展生態(tài)環(huán)境數(shù)據(jù)采集系統(tǒng)架構(gòu)圖

系統(tǒng)主要由邊緣端數(shù)據(jù)采集模塊和云端處理模塊兩部分組成。邊緣端數(shù)據(jù)采集模塊實(shí)物如圖17所示，主要完成各類生態(tài)環(huán)境數(shù)據(jù)采集并通過(guò)4G網(wǎng)絡(luò)發(fā)送至云端處理模塊，云端處理模塊不僅對(duì)邊緣端數(shù)據(jù)采集模塊數(shù)據(jù)進(jìn)行接收、校驗(yàn)、存儲(chǔ)，還對(duì)邊緣端進(jìn)行監(jiān)控、分析、反饋與調(diào)控。

圖17 邊緣端數(shù)據(jù)采集模塊實(shí)物

分布式可擴(kuò)展生態(tài)環(huán)境數(shù)據(jù)采集系統(tǒng)主要應(yīng)用于山地、荒漠、草原、戈壁等惡劣環(huán)境中的生態(tài)數(shù)據(jù)監(jiān)測(cè)，可完成觀測(cè)點(diǎn)光照強(qiáng)度、降雨量、空氣溫濕度、土壤主要元素及不同深度溫濕度等10余類生態(tài)環(huán)境數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)和跟蹤，同時(shí)可對(duì)觀測(cè)點(diǎn)圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)采集并進(jìn)行昆蟲、植物識(shí)別。

為了對(duì)觀測(cè)點(diǎn)的圖像進(jìn)行實(shí)時(shí)采集并查看，通過(guò)Flask構(gòu)建Web界面，通過(guò)邊緣端數(shù)據(jù)采集模塊的高清圖像采集設(shè)備，使用RTMP推流的方式，結(jié)合螢石云開放平臺(tái)，可實(shí)時(shí)獲取寧夏草原蝗蟲圖像，利用部署在云端處理模塊中的YOLO v5-CB模型，可完成觀測(cè)點(diǎn)蝗蟲圖像的實(shí)時(shí)識(shí)別。生態(tài)環(huán)境圖像采集界面如圖18所示。

圖18 生態(tài)環(huán)境圖像采集界面

目前，該設(shè)備已安裝在寧夏回族自治區(qū)鹽池縣大水坑、黃記場(chǎng)和麻黃山等地，主要用于長(zhǎng)期跟蹤觀測(cè)點(diǎn)各類生態(tài)環(huán)境數(shù)據(jù)。

為了測(cè)試本文改進(jìn)模型YOLO v5-CB在Web端的實(shí)際識(shí)別效果，選取60只蝗蟲，其中亞洲小車蝗25只、中華劍角蝗20只、短星翅蝗15只，并與YOLO v5模型進(jìn)行對(duì)比測(cè)試，結(jié)果如表5所示。

表5 改進(jìn)前后模型識(shí)別檢測(cè)結(jié)果

由表5可以看出，YOLO v5網(wǎng)絡(luò)存在將短星翅蝗錯(cuò)檢成亞洲小車蝗的情況，而本文模型YOLO v5-CB可以正確檢測(cè)3類蝗蟲，且無(wú)漏檢錯(cuò)檢情況。

在草原蝗蟲實(shí)時(shí)識(shí)別時(shí)，對(duì)采集設(shè)備區(qū)域地面進(jìn)行平整并鋪上比較單一的草皮背景，結(jié)果如圖19所示，在此僅顯示某段視頻中第256～270幀的識(shí)別結(jié)果。

圖19 運(yùn)動(dòng)蝗蟲圖像識(shí)別結(jié)果

由于YOLO v5顯示蝗蟲種類的標(biāo)簽是拼音字母，在視覺上不夠友好，不利于應(yīng)用的擴(kuò)展，因此在YOLO v5-CB中采用Unicode編碼方式，將視頻中的蝗蟲檢測(cè)結(jié)果以中文輸出。

6 結(jié)論

(1)針對(duì)寧夏草原蝗蟲樣本較少、尺度大小不一，目標(biāo)與背景相近等識(shí)別難題，提出了一種復(fù)雜背景下多尺度蝗蟲目標(biāo)檢測(cè)識(shí)別模型YOLO v5-CB，通過(guò)CycleGAN擴(kuò)充數(shù)據(jù)集，使用ConvNeXt提取特征，結(jié)合Bi-FPN結(jié)構(gòu)進(jìn)行特征融合，構(gòu)建了復(fù)雜背景下的寧夏草原蝗蟲檢測(cè)模型，并采用對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)對(duì)改進(jìn)模型的性能進(jìn)行評(píng)估與分析。

(2)在寧夏草原蝗蟲檢測(cè)識(shí)別時(shí)，本文改進(jìn)模型YOLO v5-CB識(shí)別精確率為98.6%，召回率為96.6%，F(xiàn)1值為98%，平均精度均值為96.8%。與Faster R-CNN、YOLO v3、YOLO v4、YOLO v5模型相比，本文改進(jìn)網(wǎng)絡(luò)模型對(duì)寧夏蝗蟲具有更好的檢測(cè)性能。

(3)設(shè)計(jì)并開發(fā)了分布式可擴(kuò)展生態(tài)環(huán)境數(shù)據(jù)采集平臺(tái)，通過(guò)Flask構(gòu)建Web界面，基于YOLO v5-CB+平臺(tái)，實(shí)現(xiàn)了對(duì)寧夏草原包括蝗蟲圖像在內(nèi)的生態(tài)環(huán)境數(shù)據(jù)實(shí)時(shí)檢測(cè)和長(zhǎng)期跟蹤。