收稿日期:2024-10-30
基金項(xiàng)目:云南省重大科技專項(xiàng)(202302AE090020);云南省農(nóng)業(yè)基礎(chǔ)研究聯(lián)合專項(xiàng)(202401BD070001-069);云南省作物生產(chǎn)與智慧農(nóng)業(yè)重點(diǎn)實(shí)驗(yàn)室開放課題
作者簡介:施 杰(1981-),男,云南昆明人,博士,副教授,碩士研究生導(dǎo)師,主要從事智慧農(nóng)業(yè)、智能農(nóng)業(yè)裝備研究。(E-mail)km_shijie@126.com
通訊作者:楊琳琳,(E-mail)29545343@qq.com
摘要: 為實(shí)現(xiàn)玉米病蟲害的原位準(zhǔn)確檢測與識別,本研究設(shè)計(jì)了一套基于邊緣計(jì)算的玉米病蟲害智能檢測系統(tǒng)。該系統(tǒng)基于YOLOv8模型并進(jìn)行改進(jìn),具體改進(jìn)方法包括:采用高效視覺網(wǎng)絡(luò)(EfficientViT)作為主干網(wǎng)絡(luò),以降低計(jì)算量;在特征融合網(wǎng)絡(luò)中引入幻影卷積(GhostConv),進(jìn)一步減輕計(jì)算負(fù)擔(dān);在C2f模塊中引入空間通道重建卷積(SCConv),以增強(qiáng)特征提取性能;將損失函數(shù)替換為具有動(dòng)態(tài)非單調(diào)聚焦機(jī)制的損失函數(shù)(WIoU),以提高模型的識別精度。同時(shí),本研究設(shè)計(jì)了基于邊緣計(jì)算的病蟲害檢測系統(tǒng)上位機(jī)、下位機(jī)架構(gòu),并將該輕量化模型部署到Jetson orin nano邊緣計(jì)算設(shè)備上。系統(tǒng)采用Pyside6開發(fā)系統(tǒng)可視化界面,除具備識別與訓(xùn)練功能外,還集成了基于大模型技術(shù)的AI專家?guī)?,可以?shí)現(xiàn)對病蟲害的智能化診斷。通過自建的玉米病蟲害數(shù)據(jù)集對改進(jìn)模型YOLOv8-EGCW進(jìn)行檢驗(yàn)。結(jié)果表明,與原始模型YOLOv8m相比,改進(jìn)模型YOLOv8-EGCW的精確度、召回率和平均精度均值分別提升了0.4個(gè)百分點(diǎn)、1.6個(gè)百分點(diǎn)和1.2個(gè)百分點(diǎn),參數(shù)量和模型大小大幅減少,單張圖像檢測時(shí)間縮短。建立的玉米病蟲害檢測系統(tǒng)測試結(jié)果顯示,準(zhǔn)確率達(dá)到93.4%,檢測速度達(dá)1 s 25幀。表明該系統(tǒng)能夠滿足邊緣計(jì)算環(huán)境下玉米病蟲害原位檢測的需求。
關(guān)鍵字: 玉米;病蟲害檢測系統(tǒng);YOLOv8模型;輕量化改進(jìn);邊緣計(jì)算
中圖分類號: S435.13"" 文獻(xiàn)標(biāo)識碼: A"" 文章編號: 1000-4440(2025)02-0313-10
Maize pest and disease detection system based on lightweight improved YOLOv8 model and edge computing
SHI Jie1,2, XIONG Kaixiang1, LI Zhi1, CHEN Lichang1, TANG Xiuying1, YANG Linlin1,2
(1.Faculty of Mechanical and Electrical Engineering, Yunnan Agricultural University, Kunming 650201, China;2.The Key Laboratory for Crop Production and Smart Agriculture of Yunnan Province, Kunming 650201, China)
Abstract: In order to achieve in-situ accurate detection and identification of maize pests and diseases, this study designed an intelligent detection system for maize pests and diseases based on edge computing. The system was improved based on the YOLOv8 model with specific improvement methods, including adopting the Efficient Vision Transformer (EfficientViT) as the backbone network to reduce the computational load, introducing Ghost Convolution (GhostConv) into the feature fusion network to further reduce the computational burden, introducing Spatial-Channel Convolution (SCConv) into the C2f module to enhance the feature extraction performance, and replacing the loss function with the Wise Intersection over Union (WIoU) loss function that had a dynamic non-monotonic focusing mechanism to improve the recognition accuracy of the model. At the same time, this study designed the upper and lower computer architectures of the pest and disease detection system based on edge computing and deployed this lightweight model to the Jetson Orin Nano edge computing device. The system used Pyside6 to develop a visual interface. In addition to the recognition and training functions, it also integrated an AI expert library based on large-model technology, which could realize intelligent diagnosis of pests and diseases. The improved model YOLOv8-EGCW was tested using a self-built maize pest and disease dataset. The results showed that compared with the original YOLOv8m model, the precision, recall rate, and mean average precision of the improved model YOLOv8-EGCW increased by 0.4 percentage points, 1.6 percentage points, and 1.2 percentage points, respectively. The number of parameters and the model size were greatly reduced, and the detection time for a single image was shortened. The test results of the established corn pest and disease detection system indicated that the accuracy rate reached 93.4% and the detection speed reached 25 frames per second. These results indicated that the system could meet the requirements of in-situ detection of maize pests and diseases in the edge computing environment.
Key words: corn;pest and disease detection system;YOLOv8 model;lightweight improved model;edge computing
2023年,中國玉米總產(chǎn)量達(dá)到2.888 4×108t[1],玉米不僅是主要糧食作物,也是重要的工業(yè)原料和飼料來源。然而,玉米在生長過程中易遭受病蟲害侵襲,病蟲害嚴(yán)重影響其產(chǎn)量和品質(zhì)。因此,開發(fā)一套玉米病蟲害檢測系統(tǒng)對于保障糧食安全、提高糧食產(chǎn)量具有重要意義。
傳統(tǒng)病蟲害檢測主要依靠人工判斷和圖像處理技術(shù),如Dong等[2]提取形態(tài)學(xué)、顏色和紋理特征,結(jié)合最近鄰距離方法識別黃瓜葉片病害,識別準(zhǔn)確率超過96%;戴寧[3]利用基于K均值聚類的圖像分割技術(shù)提取蟲害形狀特征,識別準(zhǔn)確率達(dá)到95.7%;Jothiaruna等[4]提出了一種基于高級綜合顏色特征(ACCF)和區(qū)域生長方法的病害斑點(diǎn)分割算法,在處理非均勻光照和復(fù)雜背景條件下的葉片圖像時(shí),分割準(zhǔn)確率可達(dá)87%;蔣龍泉等[5]通過融合葉片圖像的顏色、紋理等特征,并利用支持向量機(jī)(SVM)對特征進(jìn)行分類,識別準(zhǔn)確率超過90%。盡管圖像處理能夠較為準(zhǔn)確地識別出病蟲害,但其泛化能力弱,特征提取能力有限,難以滿足實(shí)際生產(chǎn)需求。
隨著深度學(xué)習(xí)技術(shù)的發(fā)展,其強(qiáng)大的特征提取能力有效解決了傳統(tǒng)技術(shù)在特征選擇上的局限性。Wang等[6]提出了一種基于聚合深度殘差網(wǎng)絡(luò)的玉米病害檢測方法,通過調(diào)整卷積核規(guī)模提高檢測精度,在實(shí)際檢測中準(zhǔn)確率達(dá)到90.22%;陳啟昇等[7]設(shè)計(jì)了基于ResNet模型的植物病蟲害智能檢測系統(tǒng),該系統(tǒng)采用服務(wù)器模式運(yùn)行,通過web端采集圖像,由服務(wù)器端完成分析處理;Bi等[8]提出了一種基于MobileNet的玉米葉片病害檢測模型,該模型采用了高效通道注意力模塊(EAC),同時(shí)引入擴(kuò)張卷積,識別精度可達(dá)98.2%;徐會(huì)杰等[9]基于YOLOv3模型,將輸出特征圖像與下采樣特征圖像拼接,并利用多尺度檢測層對玉米病蟲害進(jìn)行檢測和識別;李頎[10]開發(fā)了一種基于RFBNet模型的桃樹病蟲害檢測系統(tǒng),并將訓(xùn)練后的系統(tǒng)部署至Android移動(dòng)設(shè)備上進(jìn)行檢測。在病蟲害識別中,深度學(xué)習(xí)可以自動(dòng)提取特征,即使在復(fù)雜環(huán)境下也能表現(xiàn)出較強(qiáng)的魯棒性,但其計(jì)算量較大,對硬件資源要求較高。
隨著邊緣計(jì)算技術(shù)的發(fā)展,將病蟲害檢測模型部署到邊緣計(jì)算設(shè)備上,能夠更加便捷高效地識別病蟲害。如Chen等[11]在Nvidia Jetson TX2上部署了基于YOLOv3-tiny的果園蟲害識別模型,通過無人機(jī)進(jìn)行蟲害識別并上傳位置信息,用于記錄果樹生長狀況;劉忠等[12]在Nvidia Jetson Xavier NX上部署了基于改進(jìn)YOLOv8的荷葉病蟲害檢測模型,其推理速度達(dá)到1 s 27幀。將計(jì)算和數(shù)據(jù)處理從中央服務(wù)器轉(zhuǎn)移到邊緣設(shè)備上,不僅提高了響應(yīng)速度和效率,還降低了傳輸成本和能耗,更符合實(shí)際生產(chǎn)需求。針對目前玉米病蟲害檢測模型參數(shù)量大、配套系統(tǒng)不夠完善、邊緣計(jì)算應(yīng)用不足等問題,本研究擬改進(jìn)YOLOv8模型,并結(jié)合邊緣計(jì)算技術(shù)構(gòu)建一種玉米病蟲害檢測系統(tǒng),旨在實(shí)現(xiàn)對玉米病蟲害的原位高效檢測。
1 材料與方法
1.1 YOLOv8模型的改進(jìn)策略
YOLOv8是一種單階段目標(biāo)檢測模型,作為YOLO系列模型的主流版本,被廣泛應(yīng)用于農(nóng)業(yè)目標(biāo)檢測中。該模型主要由主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)3部分組成,其核心思想是將輸入圖像劃分為多個(gè)網(wǎng)格,并在每個(gè)網(wǎng)格中預(yù)測物體的邊界框和類別信息。YOLOv8采用了先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu),能夠在短時(shí)間內(nèi)處理大規(guī)模圖像數(shù)據(jù),但其對硬件性能的要求較高。為使YOLOv8能夠流暢地部署在邊緣計(jì)算設(shè)備上,本研究對YOLOv8模型進(jìn)行了輕量化改進(jìn),具體改進(jìn)方法包括:使用更高效視覺網(wǎng)絡(luò)(EfficientViT)[13]替換原主干網(wǎng)絡(luò);將頸部網(wǎng)絡(luò)的標(biāo)準(zhǔn)卷積替換為輕量化的幻影卷積[14];在跨階段特征融合模塊(C2f)中融合空間通道重建卷積(SCConv)[15]以增強(qiáng)檢測效果;引入具有動(dòng)態(tài)非單調(diào)聚焦機(jī)制的損失函數(shù)(WIOU)[16]以優(yōu)化邊界框回歸精度。將改進(jìn)后的模型命名為YOLOv8-EGCW,其整體結(jié)構(gòu)如圖1所示。
1.1.1 主干網(wǎng)絡(luò)的改進(jìn) YOLOv8中的主干網(wǎng)絡(luò)通過深層網(wǎng)絡(luò)結(jié)構(gòu)提升了圖像特征提取能力,但也增加了計(jì)算復(fù)雜性,延長了模型的訓(xùn)練和推理時(shí)間。為了解決這一問題,本研究將YOLOv8的主干網(wǎng)絡(luò)替換為輕量級的EfficientViT網(wǎng)絡(luò),以加快訓(xùn)練和推理速度。EfficientViT采用多尺度線性注意力機(jī)制取代了傳統(tǒng)的Softmax注意力機(jī)制,同時(shí)引入深度可分離卷積(Depthwise separable convolution,DSConv),顯著減少了模型的參數(shù)量和計(jì)算復(fù)雜度。
圖2為EfficientViT網(wǎng)絡(luò)結(jié)構(gòu),首先通過多尺度線性注意力模塊從輸入信息中提取多尺度全局特征,并將不同尺度的特征進(jìn)行融合。為了增強(qiáng)局部特征的提取能力,引入移動(dòng)翻轉(zhuǎn)瓶頸卷積(Mobile inverted bottleneck convolution,MBConv)。MBConv基于DSConv對輸入通道進(jìn)行擴(kuò)寬和縮放,實(shí)現(xiàn)了對局部特征的高效提取。EfficientViT實(shí)現(xiàn)了全局與局部特征的高效提取以及輕量化設(shè)計(jì),在邊緣計(jì)算設(shè)備等資源受限的平臺上表現(xiàn)出了卓越的性能。
1.1.2 幻影卷積的引入 在頸部網(wǎng)絡(luò)中,采用GhostConv替換原有的標(biāo)準(zhǔn)卷積,以實(shí)現(xiàn)對頸部網(wǎng)絡(luò)的輕量化處理。GhostConv的核心思想是通過少量卷積核提取輸入圖像的特征,再對提取的特征圖像進(jìn)行簡單的線性變化,最終通過特征拼接生成新的特征圖像。該方法顯著減少了對非關(guān)鍵特征的計(jì)算量,在降低計(jì)算量的同時(shí)還能夠有效保持模型的性能,從而提升整體效率?;糜熬矸e計(jì)算公式如下:
Y′=Xf′(1)
yi,j=φi,j(y′i)(2)
式中,Y′為原始特征值;X為輸入特征圖像;f′為卷積核;yi,j為第i個(gè)原始特征圖像生成的第j個(gè)特征圖像;φi,j為第i個(gè)原始特征圖像生成的第j個(gè)恒等隱射;y′i為第i個(gè)通道特征圖像。
1.1.3 C2f模塊的改進(jìn) 在頸部網(wǎng)絡(luò)設(shè)計(jì)中,將空間和通道重構(gòu)卷積(SCConv)與跨階段特征融合模塊(C2f)融合成為C2f-SCConv模塊。相較于傳統(tǒng)的C2f模塊,C2f-SCConv模塊具有更強(qiáng)的特征提取能能力。SCConv通過自矯正操作,自適應(yīng)地調(diào)節(jié)特征空間與通道之間的相關(guān)性,使網(wǎng)絡(luò)能夠捕捉到更豐富的空間和通道信息,從而生成更具判別力的特征圖像。SCConv的內(nèi)部操作為:將輸入特征X通過空間重構(gòu)單元(Spatial reconstruction unit,SRU)進(jìn)行重構(gòu),得到空間細(xì)化特征Xw;然后利用通道重構(gòu)單元(Channel reconstruction unit,CRU)對空間細(xì)化特征Xw進(jìn)一步處理,得到通道細(xì)化特征Y,最后輸出特征圖像。通過SRU和CRU,SCConv可以降低特征的空間和通道計(jì)算量,提高特征的傳遞效率,同時(shí)增強(qiáng)模型對復(fù)雜數(shù)據(jù)結(jié)構(gòu)的識別精度,使其能夠靈活處理不同輸入特征。雖然C2f-SCConv模塊增加了空間重構(gòu)單元與通道重構(gòu)單元,但其計(jì)算復(fù)雜度較低,適合部署在計(jì)算資源有限的邊緣計(jì)算設(shè)備上。
1.1.4 邊框損失函數(shù)的優(yōu)化 在目標(biāo)檢測任務(wù)中,通常使用交并比損失函數(shù)(IoU)來衡量預(yù)測框與真實(shí)框的重疊程度。然而,IoU在處理不同尺度和長寬比的目標(biāo)時(shí)存在一定局限性,尤其是在預(yù)測框與真實(shí)框不重疊的情況下,難以準(zhǔn)確描述框與框之間的距離關(guān)系。具有動(dòng)態(tài)非單調(diào)聚焦機(jī)制的損失函數(shù)(WIoU)作為一種新型損失函數(shù),在計(jì)算過程中引入了中心點(diǎn)距離懲罰項(xiàng),即通過計(jì)算預(yù)測框和真實(shí)框中心點(diǎn)之間的歐氏距離來優(yōu)化損失函數(shù)。當(dāng)預(yù)測框與真實(shí)框不重疊時(shí),該懲罰項(xiàng)可以準(zhǔn)確描述兩者之間的相對位置,從而提升對非重疊框的優(yōu)化效果。同時(shí),WIoU通過動(dòng)態(tài)聚焦機(jī)制提升了模型的泛化能力,該機(jī)制考慮到訓(xùn)練數(shù)據(jù)中可能存在低質(zhì)量標(biāo)注,通過適當(dāng)降低對這些樣本的懲罰權(quán)重,減少其對模型訓(xùn)練的干擾,從而顯著提升模型的泛化性能,計(jì)算公式如下:
LWIoU=r×RWIoU×LIoU(3)
其中RWIoU=exp(x-xgt)2+(y-ygt)2(W2g+H2g)(4)
LIoU=1-IoU(5)
β=L*IoUL—IoU(6)
r=βδα(β-δ)(7)
式中,r為聚焦調(diào)整系數(shù);α和δ為超參數(shù);β為離群度;Wg和Hg分別為最小封閉框的寬度和高度;x、y為預(yù)測框的寬度和高度;xgt、ygt為真實(shí)框的寬度和高度;IoU為預(yù)測框與真實(shí)框的交并比;L*IoU為不參與反向傳播的普通框損失值;L—IoU為增量的滑動(dòng)平均值。
WIoU能夠顯著提升目標(biāo)定位的準(zhǔn)確性。在玉米病蟲害檢測任務(wù)中,由于拍攝角度的差異,病蟲害特征在大小和形態(tài)上會(huì)發(fā)生明顯變化。引入WIoU能夠有效增強(qiáng)模型對多尺度特征的檢測能力,使其更精確地定位病蟲害區(qū)域并優(yōu)化邊界框的回歸精度,從而進(jìn)一步提升模型的魯棒性和檢測性能。
1.2 模型訓(xùn)練平臺構(gòu)建
1.2.1 試驗(yàn)數(shù)據(jù)集 如圖3所示,玉米的生長環(huán)境復(fù)雜多樣,為確保病蟲害檢測模型檢測結(jié)果的準(zhǔn)確性,本研究綜合了多種數(shù)據(jù)來源構(gòu)建試驗(yàn)數(shù)據(jù)集,包括玉米病蟲害的公開數(shù)據(jù)、實(shí)地拍攝數(shù)據(jù)和網(wǎng)絡(luò)收集數(shù)據(jù)等。由于數(shù)據(jù)集來源廣泛,圖片的格式和分辨率存在較大差異。為保證試驗(yàn)的嚴(yán)謹(jǐn)性與規(guī)范性,對圖片進(jìn)行篩選,剔除重復(fù)和無用的圖片,并對數(shù)據(jù)集進(jìn)行了歸一化處理。
使用LabelImg軟件對數(shù)據(jù)集中的圖片進(jìn)行數(shù)據(jù)標(biāo)注,標(biāo)注信息包括銹病、黏蟲、斑病和灰飛虱。標(biāo)注結(jié)果以VOC格式的XML文件保存,并進(jìn)一步轉(zhuǎn)換為YOLOv8所需的YOLO格式TXT文件。每個(gè)標(biāo)注文件中包含病蟲害的類別信息及其在圖像中的位置信息。如圖4所示,針對采集到的圖像質(zhì)量參差不齊的問題,對標(biāo)注好的圖像進(jìn)行了數(shù)據(jù)增強(qiáng)處理,具體包括變暗、鏡像、添加高斯噪聲等。數(shù)據(jù)增強(qiáng)不僅有效擴(kuò)充了數(shù)據(jù)集的規(guī)模,還顯著提升了模型的泛化能力。最后,將數(shù)據(jù)集按照8∶2的數(shù)量比例劃分為訓(xùn)練集和驗(yàn)證集。
1.2.2 訓(xùn)練環(huán)境與訓(xùn)練參數(shù) 硬件配置包括Intel(R) I5 10400CPU處理器,NVIDIA GeForce GTX1060顯卡(6 G顯存),操作系統(tǒng)為Window10,軟件環(huán)境為Python 3.10.13,Torch 2.1.2,CUDA 12.3。根據(jù)文獻(xiàn)[17]與試驗(yàn)測試,設(shè)置訓(xùn)練超參數(shù)(Batch size)為16、初始化學(xué)習(xí)率為0.01、迭代次數(shù)為100次,并使用GPU進(jìn)行訓(xùn)練。
為評價(jià)輕量化改進(jìn)模型YOLOv8-EGCW的檢測速度、準(zhǔn)確性和魯棒性,利用相同數(shù)據(jù)集分別對YOLOv8-EGCW、YOLOv8、YOLOv5、SSD和Faster-RCNN模型進(jìn)行對比。選取平均精度均值(mAP)、精確度(P)、召回率(R)、參數(shù)量、模型大小與檢測速度作為評價(jià)指標(biāo)對模型進(jìn)行性能評估。計(jì)算公式如下:
P=TPTP+FP×100%(8)
R=TPTP+FN×100%(9)
mAP=TP∑KK=1AP(K)K(10)
式中,TP為檢測正確的樣本數(shù);FP為檢測錯(cuò)誤的樣本數(shù);FN為檢測遺漏的樣本數(shù);K為檢測類別數(shù);AP為平均精度。
2 結(jié)果與分析
2.1 各模塊對比
為驗(yàn)證各模塊對模型性能的有效性,以原始模型YOLOv8m作為基線模型,引入改進(jìn)模塊,并通過消融試驗(yàn)評估各模塊的貢獻(xiàn)。采用精確度、召回率、平均精度均值、模型大小作為評價(jià)指標(biāo),結(jié)果如表1和圖5所示。消融試驗(yàn)結(jié)果表明,將YOLOv8原始主干網(wǎng)絡(luò)替換為EfficientViT后,模型的總體精度略有下降,但模型大小減少了36.8%,輕量化效果顯著。在此基礎(chǔ)上,在頸部網(wǎng)絡(luò)中將普通卷積替換為幻影卷積(GhostConv),進(jìn)一步減小了模型體積。在頸部網(wǎng)絡(luò)中加入C2f-SCConv模塊后,模型P值和mAP值分別提高了0.1個(gè)百分點(diǎn)和0.2個(gè)百分點(diǎn)。WIoU 通過引入動(dòng)態(tài)聚焦機(jī)制和中心點(diǎn)距離懲罰,優(yōu)化了邊界框回歸的準(zhǔn)確性,模型mAP值和R值分別提高了0.3個(gè)百分點(diǎn)和0.7個(gè)百分點(diǎn)。綜上,通過引入EfficientViT、GhostConv、C2f-SCConv和WIoU損失函數(shù),在實(shí)現(xiàn)輕量化的同時(shí),顯著提升了模型精確度(P值)、召回率(R值)等多項(xiàng)性能指標(biāo)。
2.2 模型改進(jìn)前后性能對比
模型檢測過程主要包括預(yù)處理、推理和后處理3個(gè)階段。其中,推理階段是最耗時(shí)的部分,推理速度主要受模型參數(shù)量、模型大小和設(shè)備計(jì)算能力的限制。通過輕量化改進(jìn),模型的計(jì)算量和體積顯著降低。如表2所示,相較于原始模型,改進(jìn)后的YOLOv8-EGCW模型檢測時(shí)間縮短了28.8 ms,檢測單張圖片僅耗時(shí)35.7 ms。這一優(yōu)化提高了模型的檢測效率。
在目標(biāo)檢測中,置信度是衡量模型預(yù)測結(jié)果可靠程度的重要指標(biāo)。置信度的數(shù)值越接近1,表明模型的預(yù)測結(jié)果越可靠。如圖6所示,改進(jìn)后的YOLOv8-EGCW模型對檢測目標(biāo)的置信度顯著高于原始模型。YOLOv8-EGCW模型在檢測精度、置信度和檢測速度上的全面提升,能夠更好地滿足實(shí)際應(yīng)用中對高精度和高可靠性檢測的需求。
2.3 不同模型的性能對比
在相同訓(xùn)練參數(shù)下,對YOLOv8-EGCW、YOLOv8、YOLOv5、SSD[18]和Faster-RCNN[19]進(jìn)行對比。試驗(yàn)結(jié)果如圖7所示,YOLOv8-EGCW模型的平均精度均值(mAP)、召回率(R)和精確度(P)均高于其他模型。與精度較低的SSD模型相比,YOLOv8-EGCW模型的P值提高14.2個(gè)百分點(diǎn),mAP值提高35.3個(gè)百分點(diǎn)。YOLOv8-EGCW模型大小僅為Faster-RCNN的6.2%。盡管YOLOv8-EGCW的模型大小和參數(shù)量大幅減少,但其平均精度均值、召回率和精確度等關(guān)鍵性能指標(biāo)仍表現(xiàn)較好,充分證明了改進(jìn)方法的有效性。
2.4 基于邊緣計(jì)算的玉米病蟲害檢測系統(tǒng)設(shè)計(jì)
2.4.1 基于邊緣計(jì)算的下位機(jī)設(shè)計(jì)
2.4.1.1 邊緣計(jì)算技術(shù)架構(gòu) 邊緣計(jì)算作為云計(jì)算或服務(wù)器端的延伸和補(bǔ)充,具有輕量化、性能強(qiáng)、體積小的特點(diǎn),在玉米病蟲害原位檢測中發(fā)揮重要作用。一方面,邊緣計(jì)算能夠直接對采集到的數(shù)據(jù)進(jìn)行本地檢測和處理,不僅分擔(dān)了服務(wù)器的計(jì)算負(fù)載,還顯著提升了原位檢測的實(shí)時(shí)性。另一方面,邊緣計(jì)算節(jié)點(diǎn)可以將監(jiān)測數(shù)據(jù)存儲(chǔ)在本地,再通過通信模塊上傳至服務(wù)器,便于對檢測數(shù)據(jù)進(jìn)行統(tǒng)一管理和集中分析。這種分布式的檢測模式能夠有效降低網(wǎng)絡(luò)延遲,提升資源利用效率。如圖8所示,以英偉達(dá)Jetson orin nano作為核心設(shè)備構(gòu)建邊緣計(jì)算節(jié)點(diǎn),該節(jié)點(diǎn)能夠?qū)τ衩撞∠x害信息進(jìn)行采集,并部署深度學(xué)習(xí)模型對數(shù)據(jù)進(jìn)行處理和保存,最后通過通信模塊上傳結(jié)果。
2.4.1.2 下位機(jī)設(shè)計(jì) 如圖9所示,下位機(jī)系統(tǒng)由圖像獲取模塊和主控模塊組成。其中圖像獲取模塊通過多種圖像采集設(shè)備獲取玉米不同部位和不同角度的病蟲害圖像數(shù)據(jù),以確保數(shù)據(jù)的多樣性和全面性。主控模塊包括開發(fā)板、電源模塊、控制模塊、顯示屏和通信模塊,主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)、檢測分析和結(jié)果輸出等功能。采集到的圖像數(shù)據(jù)首先在本地進(jìn)行存儲(chǔ),隨后通過主控模塊進(jìn)行實(shí)時(shí)檢測和分析。檢測結(jié)果可通過顯示屏直接輸出,還可以利用通信模塊將數(shù)據(jù)上傳至服務(wù)器,實(shí)現(xiàn)數(shù)據(jù)的遠(yuǎn)程管理和監(jiān)控。
采集模塊通過采集程序調(diào)用攝像頭模塊獲取玉米病蟲害圖像,無線攝像頭模塊采用奧比中光公司的Orbbec攝像頭,無線數(shù)據(jù)傳輸模塊為搭載了OpenWrt系統(tǒng)的TP-LINK微型路由器;有線攝像頭模塊采用S-YUE公司的AF16V1型號RGB相機(jī)。系統(tǒng)的核心組件為Jetson orin nano開發(fā)板,該開發(fā)板搭載Linux操作系統(tǒng),配備6核ARM架構(gòu)CPU和具有1 024個(gè)CUDA核心安培架構(gòu)GPU,具備強(qiáng)大的并行計(jì)算能力,能夠部署至深度學(xué)習(xí)模型并執(zhí)行推理任務(wù)。
2.4.2 基于邊緣計(jì)算的上位機(jī)設(shè)計(jì) 圖10為系統(tǒng)上位機(jī)的工作流程示意圖。系統(tǒng)上位機(jī)在獲取病蟲害圖像數(shù)據(jù)后,首先對圖像進(jìn)行預(yù)處理,隨后進(jìn)行識別檢測,最終輸出并保存檢測結(jié)果。上位機(jī)界面基于Python語言開發(fā),結(jié)合了Pytorch、OpenCV和PySide6等數(shù)據(jù)庫。其中,Pytorch數(shù)據(jù)庫用于深度學(xué)習(xí)模型的訓(xùn)練與推理,OpenCV數(shù)據(jù)庫用于讀取傳感器信息和圖像預(yù)處理,PySide6數(shù)據(jù)庫用于構(gòu)建可視化功能界面。
套接字(Socket)通信流程如圖11所示。系統(tǒng)完成檢測后,檢測結(jié)果被保存至指定的TXT文件中。為便于對檢測信息進(jìn)行集中管理,系統(tǒng)采用基于Socket的通信機(jī)制,將邊緣設(shè)備中保存的檢測結(jié)果傳輸至服務(wù)器端。通過在相同IP地址下使用不同的端口號,實(shí)現(xiàn)數(shù)據(jù)傳輸?shù)募用芎透綦x,從而增強(qiáng)了通信過程的安全性。Socket通信的建立遵循服務(wù)器監(jiān)聽、客戶端請求和連接確認(rèn)3個(gè)關(guān)鍵步驟,確保了通信過程的穩(wěn)定性、數(shù)據(jù)傳輸?shù)挠行蛐约靶畔⒌耐暾浴?/p>
將改進(jìn)后的模型YOLOv8-EGCW部署在邊緣計(jì)算裝置上,依托Jetson orin nano的推理性能,實(shí)現(xiàn)對玉米病蟲害的快速檢測。為充分發(fā)揮邊緣計(jì)算設(shè)備的性能,采用TensorRT對模型進(jìn)行加速部署。由于模型依賴于大型深度學(xué)習(xí)框架,檢測過程中涉及大量對不同網(wǎng)絡(luò)層函數(shù)的調(diào)用,增加了計(jì)算負(fù)擔(dān)。通過TensorRT優(yōu)化模型結(jié)構(gòu),可以有效減少調(diào)用操作,從而提升推理速度。TensorRT加速機(jī)制在于將檢測網(wǎng)絡(luò)中的不同層進(jìn)行融合,形成更寬的復(fù)合層。例如,將卷積層、歸一化層和激活層整合為一個(gè)CBR(Conv+BN+ReLU)層,從而減少網(wǎng)絡(luò)的深度和寬度,減少內(nèi)部函數(shù)的調(diào)用次數(shù)。這種優(yōu)化設(shè)計(jì)不僅簡化了計(jì)算流程,還顯著提升了檢測速度。邊緣端模型部署流程如下:首先,將基于PyTorch框架訓(xùn)練完成的模型文件轉(zhuǎn)換為ONNX格式;然后使用TensorRT對病蟲害檢測模型進(jìn)行分析和映射;通過Builder創(chuàng)建模型張量,加載模型并進(jìn)行填充和分析,確定輸出張量;生成模型引擎文件并執(zhí)行序列化操作;通過反序列化操作生成最終的推理引擎文件,并在程序中調(diào)用該文件進(jìn)行推理,從而實(shí)現(xiàn)病蟲害檢測模型的高效部署。
系統(tǒng)軟件基于Pyside6數(shù)據(jù)庫開發(fā),并針對Linux系統(tǒng)進(jìn)行適應(yīng)性優(yōu)化。如圖12所示,軟件主要功能包括模型檢測、模型訓(xùn)練、大模型問詢等。在模型檢測功能中,系統(tǒng)通過相機(jī)模塊采集圖像,并利用模型檢測病蟲害信息,檢測結(jié)果以TXT文件形式保存,同時(shí)通過Socket通信模塊上傳至服務(wù)器進(jìn)行后續(xù)分析。模型訓(xùn)練支持對YOLOv8-EGCW模型進(jìn)行再訓(xùn)練,以進(jìn)一步提升模型的魯棒性和適應(yīng)性。AI專家系統(tǒng)功能基于百度ERNIE 4.0大語言模型(LLM),能夠?qū)z測結(jié)果進(jìn)行智能化解讀并提供決策支持,幫助用戶高效應(yīng)對病蟲害問題。
2.4.3 系統(tǒng)性能測試結(jié)果 在系統(tǒng)性能測試中,隨機(jī)選取200幅病害圖像進(jìn)行測試,測試結(jié)果如表3所示,系統(tǒng)共檢測到病蟲害目標(biāo)248個(gè),而通過人工標(biāo)注方法確定的測試集病蟲害總數(shù)為265個(gè),計(jì)算得到檢測精度為93.4%。此外,系統(tǒng)對圖像的識別速度為1 s 25幀。結(jié)果表明,該系統(tǒng)具有較高的檢測精度和識別速度,能夠滿足實(shí)際應(yīng)用需求。
3 討論與結(jié)論
本研究提出了一種基于YOLOv8輕量化改進(jìn)模型和邊緣計(jì)算的玉米病蟲害檢測系統(tǒng)。首先,在模型輕量化改進(jìn)方面,采用EfficientViT替換原始主干網(wǎng)絡(luò),并引入幻影卷積,有效降低了模型計(jì)算復(fù)雜度,同時(shí)保持了優(yōu)異的特征提取能力。試驗(yàn)結(jié)果表明,改進(jìn)后的YOLOv8-EGCW模型的精確率、召回率和平均精度均值均高于原始YOLOv8模型,且模型參數(shù)量大幅減少,顯著降低了模型對硬件資源的需求。特別是在邊緣計(jì)算環(huán)境下,改進(jìn)后的模型功耗更低,充分體現(xiàn)了輕量化模型在邊緣計(jì)算設(shè)備中的應(yīng)用潛力。此外,相較于單一檢測模型,本模型實(shí)現(xiàn)了病害與蟲害的同時(shí)檢測,具有更強(qiáng)的泛化能力和實(shí)用價(jià)值。
其次,本研究將YOLOv8-EGCW模型部署至Jetson orin nano邊緣設(shè)備,并利用TensorRT進(jìn)行加速。試驗(yàn)結(jié)果表明,系統(tǒng)檢測速達(dá)到1 s 25幀,而原始系統(tǒng)檢測速度僅為1 s 12幀。邊緣計(jì)算的應(yīng)用不僅有效分擔(dān)了云計(jì)算的負(fù)載,還實(shí)現(xiàn)了田間環(huán)境的原位檢測,顯著降低了網(wǎng)絡(luò)延遲,增強(qiáng)了檢測系統(tǒng)的實(shí)時(shí)性。最后,本研究還集成了基于百度ERNIE 4.0大語言模型的AI專家系統(tǒng),旨在為病蟲害防治提供智能化決策支持。這一集成提高了系統(tǒng)的多應(yīng)用場景適應(yīng)性和智能化水平。
然而,本研究也存在一定的局限性。首先,數(shù)據(jù)集制作過程依賴于人工標(biāo)注,這不僅增加了整體工作量,而且在處理大規(guī)模數(shù)據(jù)時(shí),可能因疲勞或疏忽而導(dǎo)致數(shù)據(jù)準(zhǔn)確性下降,從而影響整體檢測性能。未來的研究將重點(diǎn)關(guān)注以下幾個(gè)方面:構(gòu)建基于無監(jiān)督學(xué)習(xí)的檢測模型,通過自動(dòng)學(xué)習(xí)圖像特征以降低數(shù)據(jù)標(biāo)注成本;引入多光譜等傳感器技術(shù),實(shí)現(xiàn)多源數(shù)據(jù)融合檢測,從而提升復(fù)雜背景下的識別能力;設(shè)計(jì)智能移動(dòng)底盤并結(jié)合太陽能發(fā)電技術(shù),實(shí)現(xiàn)全天候無人自動(dòng)化檢測。通過這些改進(jìn),系統(tǒng)將更好地滿足智能農(nóng)業(yè)發(fā)展的實(shí)際需求,為農(nóng)業(yè)病蟲害防治提供更高效的技術(shù)支持。
參考文獻(xiàn):
[1] 劉石磊. 2023年我國玉米市場運(yùn)行情況與2024年行情展望[J]. 糧食與飼料工業(yè),2024(2):1-3.
[2] DONG P X, WANG X D. Recognition of greenhouse cucumber disease based on image processing technology[J]. Open Journal of Applied Sciences,2013,3(1):27-31.
[3] 戴 寧. 圖像處理在玉米蟲害識別系統(tǒng)中的應(yīng)用研究[J]. 牡丹江大學(xué)學(xué)報(bào),2019,28(2):104-107.
[4] JOTHIARUNA N, SUNDAR K J A, KARTHIKEYAN B, et al. A segmentation method for disease spot images incorporating chrominance in Comprehensive Color Feature and Region Growing[J]. Computers and Electronics in Agriculture,2019,165:104934.
[5] 蔣龍泉,魯 帥,馮 瑞,等. 基于多特征融合和SVM分類器的植物病蟲害檢測方法[J]. 計(jì)算機(jī)應(yīng)用與軟件,2014,31(12):186-190.
[6] WANG J X, YU H Y, SUI Y Y, et al. Research on identification of corn disease occurrence degree based on improved ResNeXt network[J]. International Journal of Pattern Recognition and Artificial Intelligence,2022,36 (2):1-15.
[7] 陳啟昇,謝 浩,張緯東,等. 基于深度學(xué)習(xí)的植物病蟲害智能檢測系統(tǒng)研究[J]. 農(nóng)村經(jīng)濟(jì)與科技,2021,32(18):50-52.
[8] BI C G, XU S Z, NAN H, et al. Identification method of corn leaf disease based on improved Mobilenetv3 Model[J]. Agronomy,2023,13:300.
[9] 徐會(huì)杰,黃儀龍,劉 曼. 基于改進(jìn)YOLOv3模型的玉米葉片病蟲害檢測與識別研究[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào),2022,45(6):1276-1285.
[10]李 頎. 桃樹病害和害蟲圖像檢測系統(tǒng)的研究與實(shí)現(xiàn)[D]. 泰安:山東農(nóng)業(yè)大學(xué),2022.
[11]CHEN C J, HUANG Y Y, LI Y S, et al. Identification of fruit tree pests with deep learning on embedded drone to achieve accurate pesticide spraying[J]. IEEE Access,2021,9:21986-21997.
[12]劉 忠,盧安舸,崔 浩,等. 基于改進(jìn)YOLOv8的輕量化荷葉病蟲害檢測模型[J]. 農(nóng)業(yè)工程學(xué)報(bào),2024,40(19):168-176.
[13] LIU X Y, PENG H W, ZHEN N X, et al. Efficientvit: Memory efficient vision transformer with cascaded group attention[C]//IEEE. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Jersey:IEEE Computer Society,2023.
[14]HAN K,WANG Y H,TIAN Q, et al. Ghostnet:more features from cheap operations[C]//IEEE. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. New Jersey:IEEE Computer Society,2020.
[15]LI J F, WEN Y, HE L H. Scconv:spatial and channel reconstruction convolution for feature redundancy[C]//IEEE. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Jersey:IEEE Computer Society,2023.
[16]TONG Z J, CHEN Y H, XU Z W, et al. Wise-IoU:bounding box regression loss with dynamic focusing mechanism[EB/OL]. (2023-04-08)[2024-07-21]. https://doi.org/10.48550/arXiv.2301.10051.
[17]李 茂,肖洋軼,宗望遠(yuǎn),等. 基于改進(jìn)YOLOv8模型的輕量化板栗果實(shí)識別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2024,40(1):201-209.
[18] LIU W, ANGUELOV D, ERHAN D, et al. SSD:single shot multibox detector[C]//ECCV. 14th European Conference on Computer Vision. Berlin: Springer,2016.
[19]REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,39(6):1137-1149.
(責(zé)任編輯:成紓寒)