摘要: 針對模型對復雜場景下農(nóng)作物病蟲害的識別精度低、模型參數(shù)量大的問題,本研究對輕量級YOLOv5n模型進行改進。首先,在YOLOv5n模型的骨干網(wǎng)絡(luò)中加入坐標注意力模塊,使模型關(guān)注檢測目標及其位置,減少復雜背景對模型的影響。其次,引入加權(quán)的雙向特征融合金字塔網(wǎng)絡(luò)(BiFPN),減少小目標信息丟失,提高了模型的特征學習能力。最后,用損失函數(shù)SIoU代替損失函數(shù)CIoU,在不改變模型參數(shù)量的情況下,提升了目標檢測精度。在無人機采集到的玉米病蟲害數(shù)據(jù)集上,本研究提出的AgriPest-YOLOv5n模型的mAP@0.50達81.32%,在Jetson Xavier開發(fā)板上檢測速度達到77 FPS,模型大小為1.63 MB。改進后的YOLOv5n模型能夠滿足輕量化的要求,能夠?qū)崟r、準確地識別復雜背景下的農(nóng)作物病蟲害,本研究結(jié)果可為病蟲害精準防治提供技術(shù)支持。
關(guān)鍵詞: 農(nóng)業(yè)病蟲害;目標檢測;輕量級模型;注意力機制
中圖分類號: S435 文獻標識碼: A 文章編號: 1000-4440(2024)11-2021-11
Identification method of crop diseases and insect pests based on improved YOLOv5n model
CHENG Dayu1, ZHAO Wei1, HE Weide1, WU Zepeng1, WANG Jiandong2
(1.School of Mining and Geomatics Engineering, Hebei University of Engineering, Handan 056038, China;2.Institute of Environment and Sustainable Development in Agriculture, Chinese Academy of Agricultural Sciences, Beijing 100081, China)
Abstract: In order to solve the problems of low recognition accuracy for crop diseases and insect pests in complex scenes and large model parameters of the model, the lightweight YOLOv5n model was improved in this study. Firstly, a coordinate attention module was added to the backbone network of YOLOv5n model to make the model focus on the detection target and its location and reduce the influence of complex background on the model. Secondly, the weighted bi-directional feature fusion pyramid network (BiFPN) was introduced to reduce the information loss of small targets and improve the model’s feature learning ability. Finally, the loss function SIoU was used to replace the loss function CIoU, which improved the target detection accuracy without changing the parameters of the model. In the dataset of corn pests and diseases collected by unmanned air vehicle, the AgriPest-YOLOv5n model mAP@0.50 proposed by this study reached 81.32%, and the detection speed reached 77 FPS on the Jetson Xavier development board. The size of the model was 1.63 MB. The improved YOLOv5n model can meet the requirement of light weight, and can identify crop diseases and insect pests in real time and accurately under complex background. The results of this study provide technical support for the precision control of crop diseases and insect pests.
Key words: agricultural pest and disease;object detection;lightweight model;attention mechanism
農(nóng)作物病蟲害防治是農(nóng)業(yè)生產(chǎn)的重要環(huán)節(jié),而高效的農(nóng)作物病蟲害檢測與識別技術(shù)是實現(xiàn)有效防治的前提[1]。傳統(tǒng)的作物病蟲害檢測主要依賴農(nóng)業(yè)專家或農(nóng)業(yè)人員的經(jīng)驗,不僅費時、費力,還會受檢查人員主觀判斷的影響,容易造成不必要的經(jīng)濟損失[2]。近年來,隨著計算機視覺技術(shù)的迅速發(fā)展,基于視覺信息處理的病蟲害檢測方法已被廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域,計算機視覺技術(shù)結(jié)合無人機巡航成為主流的大田蟲情監(jiān)控方法[3]。然而,無人機視角下拍攝的大田農(nóng)作物圖像背景較為復雜,除了農(nóng)作物外,還有雜草、田間雜物等其他干擾,而且害蟲的大小、顏色和形狀各異,感染病蟲害的農(nóng)作物癥狀也多種多樣,同時,無人機搭載的移動設(shè)備或邊緣設(shè)備算力較低。因此,需要探索在復雜大田背景和低算力設(shè)備條件下有效檢測和識別病蟲害的方法。
目前,基于視覺信息處理的農(nóng)作物病蟲害檢測方法包括圖像處理技術(shù)和深度學習技術(shù)[4]。圖像處理技術(shù)通常涉及手動提取各種圖像特征,包括顏色、紋理、形狀、大小等[5-8]。然而這些圖像特征分析技術(shù)存在一些局限性,如操作繁瑣、魯棒性低、適應(yīng)性低、準確性差和耗時長等。隨著計算機性能的不斷提高和深度學習技術(shù)的突破性發(fā)展,基于深度學習的目標分類和檢測方法在農(nóng)業(yè)中的應(yīng)用越來越多[9-11]。在病蟲害檢測領(lǐng)域,李就好等[12]在ResNet-50的基礎(chǔ)上融入特征金字塔網(wǎng)絡(luò)(FPN),提出了一種基于改進的更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)的苦瓜葉部病害目標檢測方法,提升了對苦瓜葉部病害的檢測精度。Wang等[13]重新構(gòu)建了區(qū)域建議網(wǎng)絡(luò)(RPN),提出了一種正負樣本均衡的RPN結(jié)構(gòu),能夠生成更多高質(zhì)量的錨框,從而更容易檢測到小目標。宋中山等[14]將原始Faster R-CNN全連接層模塊轉(zhuǎn)變?yōu)槎M制全卷積神經(jīng)網(wǎng)絡(luò),提升對了柑橘病蟲害的識別準確率。這些病害蟲檢測和識別算法大多基于R-CNN深度學習模型,該模型網(wǎng)絡(luò)結(jié)構(gòu)復雜、參數(shù)量和計算量大,難以應(yīng)用于移動端或邊緣計算設(shè)備。張善文等[15]在VGG16模型的基礎(chǔ)上,提出一種基于多尺度注意力的卷積網(wǎng)絡(luò),將模型的識別準確率提升到92.44%。Redmon等[16]提出的YOLO算法在模型參數(shù)量和檢測速度方面具有明顯的優(yōu)勢。呂石磊等[17]提出一種YOLOv3-LITE輕量級網(wǎng)絡(luò)模型,使用MobileNet-v2作為模型的骨干網(wǎng)絡(luò),該模型檢測速度比Faster-RCNN提升了近20倍。儲鑫等[18]在YOLOv4網(wǎng)絡(luò)的基礎(chǔ)上,提出了MobileNetv1-YOLOv4模型,模型參數(shù)量減少80%。周維等[19]結(jié)合GhostNet網(wǎng)絡(luò),提出了一種基于改進的YOLOv4-GhostNet的水稻病蟲害識別方法,模型權(quán)重大小縮減為42.45 MB。駱潤玫等[20]使用YOLOv5s網(wǎng)絡(luò)模型作為基礎(chǔ)網(wǎng)絡(luò),引入多尺度特征融合模塊,提高了模型對廣佛手病蟲害識別的準確率。Xue等[21]將自注意力機制和卷積塊注意力模塊集成到Y(jié)OLOv5中,使模型更加關(guān)注茶葉病蟲害。
綜上所述,當前深度學習算法已經(jīng)被廣泛應(yīng)用于農(nóng)作物病蟲害檢測,特別是以YOLO為代表的目標檢測算法[22-24]。但是,上述方法中所使用的數(shù)據(jù)集場景簡單,而真實農(nóng)田場景較為復雜。并且上述方法中的模型不適用于算力較低的移動端或邊緣設(shè)備。為此,本研究擬對YOLOv5n模型進行改進,提升病蟲害檢測模型的性能,實現(xiàn)對農(nóng)業(yè)病蟲害的高效檢測和精準防治。
1 材料與方法
1.1 農(nóng)業(yè)病蟲害數(shù)據(jù)集
本研究以農(nóng)業(yè)領(lǐng)域的農(nóng)作物病蟲害作為研究對象,旨在利用目標檢測算法對常見農(nóng)作物病蟲害進行高效而準確的識別。為了評估不同農(nóng)業(yè)場景中的模型性能,采用IP102數(shù)據(jù)集[25]和自制玉米病蟲害數(shù)據(jù)集。IP102是一個大型的用于害蟲識別的公開數(shù)據(jù)集,包含了102個害蟲類別和75 222張圖像。本研究從中選取30種有關(guān)小麥、玉米和水稻農(nóng)作物的病蟲害,共18 976張圖像,并將原始數(shù)據(jù)集的XML格式標簽轉(zhuǎn)換為YOLO數(shù)據(jù)集所需的TXT格式,部分樣本如圖1a所示。同時,利用高空無人機搭載變焦相機在河北省邯鄲市的一處中型農(nóng)場中航拍實際生產(chǎn)中的玉米病蟲害,結(jié)合手機攝像頭和Kaggle公開數(shù)據(jù)集共收集到2 232張圖像,并使用隨機上下左右翻轉(zhuǎn)、高斯模糊、圖像縮放和旋轉(zhuǎn)等數(shù)據(jù)增強的方法,將數(shù)據(jù)集擴充至3 356張圖像,病蟲害類型包括早期玉米的黃葉病和蟲害導致的爛葉病,自制玉米病蟲害數(shù)據(jù)集部分圖像如圖1b所示。
1.2 試驗方法
1.2.1 YOLOv5n模型結(jié)構(gòu)及其改進 YOLOv5網(wǎng)絡(luò)模型是一種基于深度學習的單階段目標檢測算法,網(wǎng)絡(luò)結(jié)構(gòu)主要分為骨干網(wǎng)絡(luò)(Backbone)、頸部(Neck)、頭部(Head)3個模塊。骨干網(wǎng)絡(luò)部分使用跨階段局部網(wǎng)絡(luò)(CSPNet)和快速空間金子塔池化(SPPF)進行特征提取,頸部部分使用路徑聚合網(wǎng)絡(luò)(PANet)進行特征融合,頭部網(wǎng)絡(luò)部分有3個不同比例的特征圖,用于目標檢測。YOLOv5網(wǎng)絡(luò)模型的特點是速度快、通用性強,近年來在農(nóng)業(yè)病蟲害檢測領(lǐng)域被廣泛應(yīng)用。根據(jù)網(wǎng)絡(luò)的深度和寬度,YOLOv5模型分為5個版本,YOLOv5x、YOLOv5l、YOLOv5m、YOLOv5s、YOLOv5n,其中YOLOv5n的模型參數(shù)量最小,適用于內(nèi)存小和算力低的邊緣計算設(shè)備。目前YOLO系列模型的最新版本是YOLOv8,但是在英偉達Jetson Xavier開發(fā)板的圖形處理器(GPU)環(huán)境中,TensorRT推理框架對YOLOv5模型的支持相對更加穩(wěn)定。同時,YOLOv5已經(jīng)被廣泛應(yīng)用于各項研究中,這使得本研究的結(jié)果更易于與現(xiàn)有結(jié)果進行比較和驗證,確保試驗的可重復性。針對農(nóng)業(yè)病蟲害圖像中目標密集且小目標居多的特點,本研究提出了AgriPest-YOLOv5n網(wǎng)絡(luò)模型,該模型通過對YOLOv5n模型中骨干網(wǎng)絡(luò)部分的C3模塊以及頸部的路徑聚合網(wǎng)絡(luò)模塊進行改進,增強空間和語義信息,并用損失函數(shù)SIoU替換原始損失函數(shù)CIoU,進而提升檢測精度,模型結(jié)構(gòu)如圖2所示。
1.2.2 坐標注意力機制 在傳統(tǒng)的輕量級神經(jīng)網(wǎng)絡(luò)模型中,通常采用SE模塊[26]作為注意力機制,然而該模塊僅關(guān)注通道之間的關(guān)系,卻忽略了位置信息在目標檢測任務(wù)中的作用,從而使得模型在目標檢測任務(wù)中的精度降低。為解決這一問題,Hou等[27]提出了一種新穎有效的注意力機制——坐標注意力機制(CA)。CA將圖像中水平和垂直方向上的坐標信息融合到通道信息中,能夠捕捉更廣泛的空間特征,避免了大量的計算,使得輕量級模型能夠更有針對性地關(guān)注不同位置的特征,從而提高目標檢測的精確性。坐標注意力機制不僅克服了傳統(tǒng)SE模塊在位置信息利用方面的不足,還提升了輕量級模型在目標檢測任務(wù)中的性能。
C3CA模塊與CA的相似之處在于池化操作過程中對圖像高度(H)和寬度(W)進行加權(quán)計算。但不同的是,C3CA模塊輸入的特征圖來自C3模塊,特征通過多層卷積操作提取。在使用CA計算通道注意力之前,C3CA模塊使用1×1和3×3的卷積核提取特征,并通過殘差連接有效整合圖像的通道和空間信息。接下來,分別在高度和寬度維度上執(zhí)行自適應(yīng)平均池化。得到每個子張量的平均值后,用2個全連接層對這些平均值進行編碼,以獲得每個子張量的權(quán)重。最后,將這些權(quán)重組合并對特征圖進行加權(quán)。通過重新組合特征,將加權(quán)后的特征圖與原始輸入特征圖進行逐元素相加,最終得到新的特征圖。C3CA注意力模塊通過強化模型對目標特征的關(guān)注,降低了背景噪聲對目標的干擾,有效提高了模型對目標檢測的準確性。圖3為C3CA注意力模塊的結(jié)構(gòu),這種設(shè)計使得輕量級模型在目標檢測任務(wù)中能夠有效利用位置信息,提高模型性能。
1.2.3 雙向特征金字塔網(wǎng)絡(luò) 在AgriPest-YOLOv5n模型中,YOLOv5s中的路徑聚合網(wǎng)絡(luò)(PAN)被替換為Tan等[28]提出的加權(quán)雙向特征金字塔網(wǎng)絡(luò)(BiFPN),以提高信息挖掘深度和特征提取能力。BiFPN的引入實現(xiàn)了深淺層特征的多尺度融合,加強了特征信息在不同網(wǎng)絡(luò)層之間的傳遞,提升了模型的檢測能力。如圖4所示,BiFPN相對于PAN的改進主要體現(xiàn)在以下幾個方面:第一,通過刪除只有1條輸入邊的網(wǎng)絡(luò)節(jié)點,BiFPN簡化了雙向網(wǎng)絡(luò)結(jié)構(gòu),減少了對融合不同特征貢獻較小的節(jié)點,提高了計算效率。第二,在同一層的輸入和輸出節(jié)點之間增加了額外的邊,這樣的設(shè)計可以有效集成更多功能,同時不增加計算量,進一步豐富了特征表示。第三,PAN僅有1個自頂向下和自底向上的路徑,而BiFPN將每個雙向路徑看作1個特征網(wǎng)絡(luò)層,并且多次重復同一層,以實現(xiàn)更高層次的特征融合,從而提高模型的表達能力。BiFPN通過下采樣、上采樣和雙向路徑,強化了不同尺度之間的特征融合效果。這種設(shè)計有助于模型利用檢測目標在不同尺度下的特征,提升識別精度。
BiFPN結(jié)合特征融合(Concat)能夠有效結(jié)合不同層級的特征圖,確保重要信息不會被忽略或丟失,同時不受特征圖中通道數(shù)量的限制。采用Concat方法可以更好地保留各層的信息,有利于提高模型的特征表達能力,尤其是在處理復雜場景和多尺度目標時表現(xiàn)更為出色。BiFPN的另一優(yōu)勢在于其能更好地利用不同尺度深度圖之間的相關(guān)性。通過引入更復雜的路徑結(jié)構(gòu),模型能夠獲取并感知不同尺度的信息,并通過融合這些信息來提高模型檢測性能。
1.2.4 SIoU損失函數(shù) 交并比(Intersection over union,IoU)用于計算預(yù)測框面積和真實框面積的交集與并集之比,根據(jù)IoU的定義,2個矩形的重疊面積即交集越大,IoU值越接近1,反之IoU值接近0,一般認為當IoU值大于某個閾值時預(yù)測正確。損失函數(shù)通過判別模型的預(yù)測值與真實值的差值,可以為訓練提供正確的方向。IoU計算方法如公式(1)所示:
式中,R1表示預(yù)測框的面積,R2表示真實框的面積。
在基礎(chǔ)的YOLOv5n模型中,使用CIoU損失函數(shù)作為邊界損失函數(shù),CIoU計算方法如公式(2)所示:
式中,b和bgt分別表示預(yù)測框和真實框的中心坐標,c為最小封閉區(qū)域的對角線長度;α為權(quán)重參數(shù),計算方法如公式(3)所示;v表示縱橫比的一致程度,計算方法如公式(4)所示。
式中,w、h分別表示預(yù)測框的高度、寬度;wgt、hgt分別表示真實框的高度、寬度。
CIoU損失函數(shù)考慮了形狀對結(jié)果的影響,特別是由于輸入圖像的長和寬而造成的檢測損失,但忽略了角度對結(jié)果的影響。因此,本研究引入SIoU[29]來加速2個預(yù)測框之間距離的收斂,從而減少推理時間和計算損失。SIoU定義了角度損失函數(shù)Λ,計算方法如公式(5)所示;φ是2個矩形中心之間的銳角,計算方法如公式(6)所示。
式中,(bcx,bcy)為預(yù)測框的中心坐標,(bgtcx,bgtcy)為真實框的中心坐標。
SIoU還定義了距離損失函數(shù)△,計算方法如公式(7)所示。ρx表示歸一化后的預(yù)測框中心x坐標與真實框中心x坐標之間的相對差,ρy表示歸一化后的預(yù)測框中心y坐標與真實框中心y坐標之間的相對差,計算方法如公式(8)所示。
式中,Λ為角度損失函數(shù),θ為超參數(shù),cw、ch分別為真實框和預(yù)測框最小外接矩形的寬、高。
SIoU還使用2個矩形形狀相似度的差異作為計算損失函數(shù)的標準,定義形狀損失為Ω,計算方法如公式(9)所示:
Ω=(1-e-ωw)θ+(1-e-ωh)θ(9)
式中,(w,h)、(wgt,hgt)分別為預(yù)測框、真實框的寬和高,ωw=|w-wgt|/max(w,wgt)、ωh=|h-hgt|/max(h,hgt)和θ是超參數(shù)。
最后得到SIoU損失函數(shù),計算方法如公式(10)所示:
SIoU=1-IoU+△+Ω/2(10)
農(nóng)作物病蟲害形狀和大小存在多樣性,為了提高模型性能,減少輸出時預(yù)測框與真實框的偏差,本研究在目標檢測模塊中用更精確的SIoU損失函數(shù)替換原來的CIoU損失函數(shù),增強整體框架的檢測能力。
2 結(jié)果與分析
2.1 試驗環(huán)境及評價指標
本研究使用包含深度學習框架PyTorch和GPU的服務(wù)器對農(nóng)作物病蟲害數(shù)據(jù)集進行訓練,試驗的軟硬件環(huán)境及詳細參數(shù)情況如表1所示。試驗過程中利用YOLOv5n預(yù)訓練權(quán)重來更好地初始化神經(jīng)網(wǎng)絡(luò)參數(shù),設(shè)置訓練次數(shù)為600 epoch(訓練輪次),初始學習率為0.01,批處理大小設(shè)置為16,圖像尺寸為640×640像素,進行訓練的IP102公開數(shù)據(jù)集和自制玉米病蟲害數(shù)據(jù)集圖片數(shù)量分別為18 976張和3 356張。每類數(shù)據(jù)集數(shù)量按照訓練集∶驗證集∶測試集=6∶2∶2的比例進行劃分。訓練集中的樣本類別分布、邊界框的尺寸分布、中心點的位置分布和寬高分布信息如圖5所示。在推理階段將訓練好的模型部署在Jetson Xavier開發(fā)板上,結(jié)合TensorRT推理框架測試檢測速度,訓練時置信度閾值設(shè)置為0.25,推理時閾值設(shè)置為0.50。
為了評估模型檢測的性能,使用精度(Precision)、均值平均精度(mAP)和每秒檢測幀數(shù)(Frame per second,F(xiàn)PS)作為評價指標。如表2所示,數(shù)據(jù)集中每個被檢測到的邊界框可以分為4種情況:真陽性(TP)表示陽性樣本中正確預(yù)測為陽性的樣本數(shù)量;真陰性(TN)表示陰性樣本中正確預(yù)測為陰性的樣本數(shù)量;假陽性(FP)表示陰性樣本中錯誤預(yù)測為陽性的樣本數(shù)量;假陰性(FN)表示陽性樣本中錯誤預(yù)測為陰性的樣本數(shù)量。
精度(Precision)反映了模型在所有檢測到的邊界框中的正確性,計算方法如公式(11)所示:
Precision=TP/TP+FP(11)
均值平均精度(mAP)計算方法如公式(12)所示:
mAP=1/C∑C/i=1Precision(i)(12)
式中,C表示病蟲害總類別數(shù)。
mAP@0.50的定義為在交并比(IoU)閾值為0.50的情況下,對每一類分別計算平均精度(AP),然后取平均值,計算方法如公式(13)所示。mAP@0.50∶0.95的定義為在交并比閾值從0.50到0.95″的范圍內(nèi),以0.05的步長遞增,計算每個閾值下的mAP,然后取平均值,計算公式如(14)所示。
mAP@0.50=∑K/i=1APi/K×100%(13)
mAP@0.50∶0.95=mAP@0.50+mAP@0.55+ … +mAP@0.95/10×100%(14)
2.2 消融試驗
在IP102公開數(shù)據(jù)集上,利用消融試驗驗證改進的YOLOv5n模型對mAP@0.50的影響。結(jié)果如表3所示,相較于YOLOv5n模型,引入了BiFPN注意力機制的YOLOv5n+BiFPN模型mAP@0.50提高了0.26個百分點,引入了C3CA注意力機制的YOLOv5n+C3CA模型mAP@0.50提高了1.05個百分點,使用損失函數(shù)SIoU的YOLOv5n+C3CA+BiFPN+SIoU模型的mAP@0.50提升了1.44個百分點。試驗結(jié)果證明了該方法的魯棒性。
在自制玉米病蟲害數(shù)據(jù)集上,利用消融試驗驗證改進的YOLOv5n模型對mAP@0.50的影響。結(jié)果如表4所示,相較于YOLOv5n模型,引入了BiFPN注意力機制的YOLOv5n+BiFPN模型mAP@0.50提高了0.31個百分點,引入了C3CA注意力機制的YOLOv5n+C3CA模型mAP@0.50提高了3.85個百分點。試驗結(jié)果表明,加權(quán)雙向特征融合金字塔網(wǎng)絡(luò)(BiFPN)可以減少小目標信息丟失,提高了模型的特征學習能力。在YOLOv5n原始C3模塊中引入CA注意力機制能夠準確定位對象的位置,減少分類和對象損失,從而提高模型的檢測性能。相比于CIoU,SIoU損失函數(shù)考慮到了預(yù)測幀和真實幀之間的矢量角度,在模型參數(shù)幾乎不變化的情況下,加速了模型的收斂,提升了對病蟲害檢測的精度。試驗結(jié)果表明,相較于YOLOv5n模型,YOLOv5n+C3CA+BiFPN模型mAP@0.50提升了4.53個百分點,使用損失函數(shù)SIoU的YOLOv5n+C3CA+BiFPN+SIoU模型的mAP@0.50提升了5.80個百分點,證明該組合模型效果較好。
真實場景下收集到的玉米病蟲害數(shù)據(jù)集場景相對于IP102數(shù)據(jù)集更加復雜,對比表3和表4可以看出,在復雜場景下的農(nóng)作物病蟲害數(shù)據(jù)集上,本研究提出的模型YOLOv5n+C3CA-BiFPN+SIoU效果更佳。
2.3 與先進的輕量級模型對比
對比本研究提出的模型YOLOv5n+C3CA+BiFPN+SIoU與輕量級模型MobileNetv3、ShuffleNetv2、GhostNet、YOLOv3Tiny、YOLOv5n和YOLOv7Tiny在2類農(nóng)作物病蟲害數(shù)據(jù)集上的檢測性能,所有模型的數(shù)據(jù)均在Ultralytics版YOLOv5框架下訓練得出。訓練結(jié)果如圖6所示,圖6a為各輕量級模型在IP102公開數(shù)據(jù)集上的mAP@0.50訓練曲線。如表5所示,在簡單場景下,YOLOv5n+C3CA+BiFPN+SIoU模型的mAP@0.50僅低于YOLOv7Tiny模型,但相較于YOLOv7Tiny模型,YOLOv5n+C3CA+BiFPN+SIoU模型參數(shù)量更少,幀率更高。圖6b為各輕量級模型在自制玉米病蟲害數(shù)據(jù)集上的mAP@0.50訓練曲線,在輕量級模型MobileNetv3、ShuffleNetv2、GhostNet、YOLOv3Tiny、YOLOv5n和YOLOv7Tiny中,YOLOv5n模型的mAP@0.50最高,YOLOv5n+C3CA+BiFPN+SIoU模型在YOLOv5n模型基礎(chǔ)上進行了改進,YOLOv5n+C3CA+BiFPN+SIoU模型的mAP@0.50高于YOLOv5n模型。如表6所示,在復雜場景下,YOLOv5n+C3CA+BiFPN+SIoU模型的mAP@0.50為81.32%,在Jetson Xavier開發(fā)板上的幀率為76.92 FPS。綜上可知,本研究提出的YOLOv5n+C3CA+BiFPN+SIoU模型更適用于實際農(nóng)業(yè)生產(chǎn)中的農(nóng)作物病蟲害實時檢測。
為了評價本研究提出的模型YOLOv5n+C3CA+BiFPN+SIoU對農(nóng)作物病蟲害的檢測性能,利用玉米病蟲害數(shù)據(jù)集和IP102公開數(shù)據(jù)集中劃分的測試集對YOLOv5n模型和改進后的模型檢測結(jié)果進行對比。如圖7所示,YOLOv5n模型會漏檢自制玉米病蟲害數(shù)據(jù)集中的小目標,對IP102公開數(shù)據(jù)集中的目標的檢測精度較低。加入坐標注意力機制CA和加權(quán)雙向特征融合BiFPN后,YOLOv5n+C3CA+BiFPN+SIoU模型具有更加優(yōu)越的目標檢測能力和更高的準確率,并且漏檢的情況明顯減少,將該模型命名為AgriPest-YOLOv5n。
3 討論
神經(jīng)網(wǎng)絡(luò)模型的層數(shù)和通道數(shù)直接影響計算量,參數(shù)量較大的模型精度較高,但會犧牲一定的計算速度。當圖像中存在多個檢測目標時,模型需要對每個目標進行定位和識別,這會增加模型的計算量。在英偉達Jetson Xavier開發(fā)板上利用TensorRT框架對驗證集中的每張圖像進行推理可知,YOLOv7Tiny模型的檢測速度約為45.45 FPS。相比之下,改進后的YOLOv5n模型檢測速度能夠達到76.92 FPS,即每1 s大約處理77張圖像,遠超人眼分辨圖像的速度30 FPS,說明該模型能夠充分滿足農(nóng)業(yè)應(yīng)用場景的實時性要求。
相較于YOLOv7Tiny算法,YOLOv5n算法的檢測性能較差,這是因為YOLOv7Tiny模型的尺寸和參數(shù)量相較于YOLOv5n模型更大,相對復雜的架構(gòu)能夠更有效地提取病蟲害檢測的關(guān)鍵特征,所以YOLOv7Tiny模型可以更有效地檢測背景相對簡單、目標特征較為明顯的IP102數(shù)據(jù)集。然而在無人機采集的病蟲害數(shù)據(jù)集上,YOLOv5n比YOLOv7Tiny表現(xiàn)更好。在實際應(yīng)用中,YOLOv5n模型對復雜背景的圖像中病蟲害的檢測能力更強,并且在資源受限的邊緣計算設(shè)備和無人機實時監(jiān)測場景下,檢測速度也是一個關(guān)鍵指標。
張善文等[15]在VGG16模型的基礎(chǔ)上提出了一種基于多尺度注意力卷積網(wǎng)絡(luò)的作物害蟲檢測方法,然而VGG16模型的計算復雜,檢測效率低,無法應(yīng)用在計算資源有限的移動設(shè)備上進行實時檢測。儲鑫等[18]使用Plant Village公開數(shù)據(jù)集中的番茄葉片集作為訓練數(shù)據(jù)對YOLOv4模型性能進行評估,并使用MobileNet網(wǎng)絡(luò)對YOLOv4模型進行改進。然而在實驗室條件下拍攝的公開數(shù)據(jù)集,不同圖像之間的背景相似,檢測結(jié)果易受背景噪音的干擾。在復雜場景下,本研究提出的輕量級算法AgriPest-YOLOv5n對玉米病蟲害的識別精度較高、識別速度較快,并且識別精度和識別速度均高于MobileNet。本研究的算法可應(yīng)用于無人機系統(tǒng)、監(jiān)控攝像機、移動設(shè)備和邊緣計算盒子設(shè)備端,為實現(xiàn)精準農(nóng)業(yè)病蟲害監(jiān)測提供了有效方法。
4 結(jié)論
為了提升無人機視角下背景復雜的大田農(nóng)作物病蟲害識別的檢測速度和準確率,本研究提出一種基于YOLOv5n的改進模型AgriPest-YOLOv5n。本研究提出的AgriPest-YOLOv5n主要包括以下3個方面的改進:第一,在原始模型骨干網(wǎng)絡(luò)的C3模塊中引入坐標注意力機制,使模型能夠準確定位目標位置;第二,將YOLOv5s中的PAN結(jié)構(gòu)替換為BiFPN結(jié)構(gòu),提升模型對小目標的識別能力;第三,使用損失函數(shù)SIoU替代損失函數(shù)CIoU,在不改變參數(shù)量的情況下加速模型的收斂,提升輕量級模型的檢測性能。本研究提出的方法能夠有效提取復雜背景下農(nóng)業(yè)病蟲害特征,具有較高檢測精度和速度。在自制玉米病蟲害數(shù)據(jù)集上,AgriPest-YOLOv5n模型的mAP@0.50為81.32%,在IP102公開數(shù)據(jù)集上,AgriPest-YOLOv5n模型的mAP@0.50為78.15%。AgriPest-YOLOv5n模型在Jetson Xavier開發(fā)板上的檢測速度為76.92 FPS。與其他輕量級模型相比,AgriPest-YOLOv5n模型具有較大的優(yōu)勢。在今后的研究工作中,還可以進一步擴展樣本庫,使得模型能檢測出病蟲害的類型和名稱,同時可以使模型進一步輕量化,并提升模型對目標的檢測精度。
參考文獻:
[1] TIAN Y N, WANG S H, LI E, et al. MD-YOLO:multi-scale dense YOLO for small target pest detection[J]. Computers and Electronics in Agriculture,2023,213:108233.
[2] 王吉蕓,胡 彥,楊春震,等. 云南省杧果主要病蟲害發(fā)生與綠色防控措施概述[J]. 中國植保導刊,2023,43(11):60-64.
[3] 廖 娟,陶婉琰,臧 英,等. 農(nóng)作物病蟲害遙感監(jiān)測關(guān)鍵技術(shù)研究進展與展望[J]. 農(nóng)業(yè)機械學報,2023,54(11):1-19.
[4] NGUGI L C, ABELWAHAB M, ABO-ZAHHAD M. Recent advances in image processing techniques for automated leaf pest and disease recognition-a review[J]. Information Processing in Agriculture,2021,8(1):27-51.
[5] PADOL P B, SAWANT S D. Fusion classification technique used to detect downy and Powdery Mildew grape leaf diseases[C]//IEEE. 2016 International Conference on Global Trends in Signal Processing,Information Computing and Communication. Jalgaon:IEEE,2016.
[6] 高 雄, 湯 巖, 陳鐵英, 等. 基于圖像處理的甘藍蟲害識別研究[J]. 江蘇農(nóng)業(yè)科學,2017,45(23):235-238.
[7] 李 海, 李誼駿, 陳詩果, 等. 蘋果樹病蟲害智能識別系統(tǒng)設(shè)計與實現(xiàn)[J]. 科學技術(shù)與工程,2021,21(25):10639-10645.
[8] DEY A K, SHARMA M, MESHRAM M R. Image processing based leaf rot disease,detection of betel vine (Piper betle L.)[J]. Procedia Computer Science,2016,85:748-754.
[9] TIAN Y N, YANG G D, WANG Z, et al. Instance segmentation of apple flowers using the improved mask R–CNN model[J]. Biosystems Engineering,2020,193:264-278.
[10]WANG X W, ZHAO Q Z, JIANG P, et al. LDS-YOLO:a lightweight small object detection method for dead trees from shelter forest[J]. Computers and Electronics in Agriculture,2022,198:107035.
[11]王銘慧,張懷清,樊江川,等. 基于深度學習網(wǎng)絡(luò)實現(xiàn)番茄病蟲害檢測與識別[J]. 中國農(nóng)業(yè)大學學報,2023,28(11):165-181.
[12]李就好,林樂堅,田 凱,等. 改進Faster R-CNN的田間苦瓜葉部病害檢測[J]. 農(nóng)業(yè)工程學報,2020,36(12):179-185.
[13]WANG R J, JIAO L, XIE C J, et al. S-RPN:sampling-balanced region proposal network for small crop pest detection[J]. Computers and Electronics in Agriculture,2021,187:106290.
[14]宋中山,汪 進,鄭 祿,等. 基于二值化的Faster R-CNN柑橘病蟲害識別研究[J]. 中國農(nóng)機化學報,2022,43(6):150-158.
[15]張善文,邵 彧,齊國紅,等. 基于多尺度注意力卷積網(wǎng)絡(luò)的作物害蟲檢測[J]. 江蘇農(nóng)業(yè)學報,2021,37(3):579-588.
[16]REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once:unified,real-time object detection[C]//IEEE/CVF. 2016 IEEE conference on computer vision and pattern recognition. Las Vegas,NV:IEEE,2016.
[17]呂石磊,盧思華,李 震,等. 基于改進YOLOv3-LITE輕量級神經(jīng)網(wǎng)絡(luò)的柑橘識別方法[J]. 農(nóng)業(yè)工程學報,2019,35(17):205-214.
[18]儲 鑫,李 祥,羅 斌,等. 基于改進YOLOv4算法的番茄葉部病害識別方法[J]. 江蘇農(nóng)業(yè)學報,2023,39(5):1199-1208.
[19]周 維,牛永真,王亞煒,等. 基于改進的YOLOv4-GhostNet水稻病蟲害識別方法[J]. 江蘇農(nóng)業(yè)學報,2022,38(3):685-695.
[20]駱潤玫,殷惠莉,劉偉康,等. 基于YOLOv5-C的廣佛手病蟲害識別[J]. 華南農(nóng)業(yè)大學學報,2023,44(1):151-160.
[21]XUE Z Y, XU R J, BAI D, et al. YOLO-tea:a tea disease detection model improved by YOLOv5[J]. Forests,2023,14(2):415.
[22]張友為,王鑫鑫,范曉飛. 基于深度學習的玉米和番茄病蟲害檢測技術(shù)研究進展[J]. 江蘇農(nóng)業(yè)科學,2024,52(10):10-20.
[23]吳子煒,夏 芳,陸林峰,等. 基于改進YOLOv5的水稻主要害蟲識別方法[J]. 江蘇農(nóng)業(yè)科學,2023,51(21):218-224.
[24]路 陽,劉婉婷,林立媛,等. CNN與BiLSTM相結(jié)合的水稻病害識別新方法[J]. 江蘇農(nóng)業(yè)科學,2023,51(20):211-217.
[25]WU X P, ZHAN C, LAI Y K, et al. Ip102:a large-scale benchmark dataset for insect pest recognition[C]//IEEE/CVF. 2019 IEEE/CVF conference on computer vision and pattern recognition. Long Beach,CA:IEEE,2019.
[26]HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//IEEE/CVF. 2018 IEEE conference on computer vision and pattern recognition. Salt Lake City,UT:IEEE,2018.
[27]HOU Q B, ZHOU D Q, FENG J S. Coordinate attention for efficient mobile network design[C]//IEEE/CVF. 2021 IEEE/CVF conference on computer vision and pattern recognition. Nashville,TN:IEEE,2021.
[28]TAN M X, PANG R M, LE Q V. Efficientdet:Scalable and efficient object detection[C]//IEEE/CVF. 2020 IEEE/CVF conference on computer vision and pattern recognition. Seattle,WA:IEEE,2020.
[29]CHEN F X, ZHANG L X, KANG S Y, et al. Soft-NMS-enabled YOLOv5 with SIOU for small water surface floater detection in UAV-captured images[J]. Sustainability,2023,15(14):10751.
(責任編輯:成紓寒)