doi:10.15889/j.issn.1002-1302.2024.20.020
摘要:針對3~5葉期玉米田間伴生雜草目標尺度小、玉米葉片遮擋嚴重、田間自然環(huán)境復(fù)雜等導(dǎo)致檢測精度不高的問題,提出了一種基于改進YOLO v8n的玉米田間雜草檢測算法。首先下載涵蓋了黑麥草、芥菜、甘菊、藜麥等常見伴生雜草和玉米幼苗的圖像,對圖像進行翻轉(zhuǎn)等數(shù)據(jù)增強方式增加樣本多樣性,提升模型識別和泛化能力。其次在YOLO v8n網(wǎng)絡(luò)基礎(chǔ)上,重新構(gòu)建了輕量級跨尺度特征融合網(wǎng)絡(luò),增強模型多尺度特征融合能力,并輸出一個針對小目標雜草的預(yù)測層,提升網(wǎng)絡(luò)的檢測精度。最后,在4個目標檢測頭前嵌入高效多尺度注意力機制EMA,使得檢測頭更加專注于目標區(qū)域。試驗結(jié)果表明,本模型的平均精度均值提升了2.4百分點、雜草的平均精度提升了5.1百分點,模型內(nèi)存用量和參數(shù)量分別減小了22.6%和26.0%;本模型與SSD-MobileNet v2、Efficientdet-D0及YOLO系列目標檢測模型相比,平均精度均值至少提升了1.8百分點、識別雜草的平均精度至少提升了4.6百分點,并且模型內(nèi)存用量和參數(shù)量都處在較低水平。本研究提出的玉米田間雜草檢測模型在降低了模型內(nèi)存用量和參數(shù)量的同時提高了檢測精度,可為精準除草設(shè)備提供技術(shù)支持。
關(guān)鍵詞:玉米田;雜草;目標檢測;YOLO v8n;EMA注意力機制
中圖分類號:S126;TP391.41" 文獻標志碼:A
文章編號:1002-1302(2024)20-0165-08
收稿日期:2024-03-25
基金項目:國家自然科學基金(編號:62203285);陜西省自然科學基礎(chǔ)研究計劃(編號:2022JQ-181);西安市科技計劃(編號:23NYGG0070)。
作者簡介:亢" 潔(1973—),女,陜西渭南人,博士,副教授,碩士生導(dǎo)師,主要從事機器視覺、智慧農(nóng)業(yè)方面的研究。E-mail:kangjie@sust.edu.cn。
玉米是我國主要農(nóng)作物之一,隨著農(nóng)業(yè)生產(chǎn)的不斷發(fā)展,對玉米田間雜草進行有效控制成為保障玉米產(chǎn)量和質(zhì)量的一項緊迫任務(wù)。雜草以其迅猛的生長速度和玉米幼苗競爭養(yǎng)分、水分,對玉米幼苗生長造成了威脅。目前,玉米田間雜草的清除主要是以大面積噴灑除草劑為主,這種噴灑方式不區(qū)分作物與雜草,不但造成大量除草劑的浪費,而且還污染水源以及土壤,影響玉米幼苗生長。為了減少農(nóng)藥浪費、保護自然環(huán)境、保障作物生長,基于雜草檢測的精準噴灑研究十分必要[1-5]。
在精準噴灑的過程中,對于玉米幼苗以及雜草進行準確、快速檢測與識別是實現(xiàn)精準噴灑的關(guān)鍵。傳統(tǒng)雜草自動識別方法依賴手工設(shè)計特征,如形狀和紋理,再使用支持向量機或神經(jīng)網(wǎng)絡(luò)等機器學習模型分類。Deng等通過提取雜草圖像的顏色、形狀和紋理特征,并對其進行歸一化處理以解決稻田中雜草單一特征識別精度低的問題;Bakhshipour等利用圖像濾波提取顏色和區(qū)域特征,然后對場景中每個目標進行標記,提出一種基于區(qū)域的分類方法,包括敏感度、特異性、正預(yù)測值和負預(yù)測值;Wu等通過圖像處理計算紋理、形狀、顏色等特征來識別作物或雜草。盡管傳統(tǒng)雜草自動識別方法在某些情況下表現(xiàn)不錯,但存在以下限制:特征設(shè)計復(fù)雜、通用性差、難以適應(yīng)新雜草種類和環(huán)境以及識別準確度有限,特別是在需要高準確度的田間噴灑作業(yè)中[6-9]。
隨著近年來深度學習方法不斷發(fā)展,深度學習算法被廣泛應(yīng)用,具有強大的特征學習能力,可以通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)有效提取雜草的判別特征,避免了傳統(tǒng)特征提取方法的弊端。Potena等提出基于RGB+NIR圖像的多步視覺系統(tǒng),使用2種不同的CNN架構(gòu)對農(nóng)作物和雜草進行分類。孫俊等在AlexNet模型的基礎(chǔ)上,構(gòu)建了一種空洞卷積與全局池化相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)模型,對不同種類的作物幼苗與雜草具有良好的檢測性能。李彧等提出了一種基于全卷積神經(jīng)網(wǎng)絡(luò)的玉米田間雜草識別算法,主要通過數(shù)據(jù)增強的方法擴增數(shù)據(jù)集,提升模型的檢測性能。溫德圣等針對不同光照條件下雜草識別特征信息容易缺失的問題,提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的雜草識別方法,通過在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建Inceptionv3分類器,根據(jù)比對待檢測物體與標準對照物之間的差異性,給出識別結(jié)果??簼嵉忍岢隽艘环N多尺度融合模塊和特征增強的雜草檢測模型,利用不同的擴張卷積來增大感受野,強化嵌入層的特征,提高模型識別性能[10-15]。
上述研究在檢測效果方面已經(jīng)取得了一定的成果,但仍有一些不足:未準確地關(guān)注到玉米除草的最佳時期——玉米的3~5葉期。在這個階段,雜草的生長速度通常會超過玉米,因此及時施藥可以有效地抑制雜草的生長,同時對玉米的影響也最小。與此同時,在玉米3~5葉期田間雜草的目標尺度較小,容易受到玉米葉片的遮擋以及復(fù)雜的田地環(huán)境的影響,這給提高檢測算法的精度帶來了極大困難。為了解決上述問題,本研究在標準YOLO v8n算法基礎(chǔ)上提出一種重新構(gòu)建特征融合網(wǎng)絡(luò)并嵌入注意力機制的玉米田間雜草檢測網(wǎng)絡(luò)。在包含小目標雜草、復(fù)雜的田地環(huán)境、相互遮擋等情況下的玉米田間數(shù)據(jù)集中進行驗證,并與其他檢測算法做對比,驗證了本研究方法的有效性。
1" 基于改進YOLO v8n的玉米田間雜草檢測模型
YOLO v8n網(wǎng)絡(luò)由4部分組成:輸入端、骨干網(wǎng)絡(luò)、頸部、檢測頭部。在輸入端,圖像經(jīng)歷了鑲嵌數(shù)據(jù)增強、自適應(yīng)錨點計算和自適應(yīng)灰度填充等預(yù)處理步驟。骨干網(wǎng)絡(luò)由CBS模塊、C2f模塊和SPPF模塊組成。CBS模塊的主要結(jié)構(gòu)包含一個普通的2D卷積、批量歸一化和SiLU激活函數(shù)。C2f模塊由CBS模塊、瓶頸模塊和通道融合模塊Concat組成。頸部層由路徑聚合網(wǎng)絡(luò)(PANet)組成,采用自底向上和自頂向下的結(jié)構(gòu)對特征圖進行特征融合。檢測頭部則采用了解耦頭部結(jié)構(gòu),使用2個獨立的分支分別負責對象分類和預(yù)測邊界框回歸。
YOLO v8n考慮了對象的多尺度性質(zhì),使用3個尺度檢測層來適應(yīng)不同尺度的對象。但是在頸部直接對特征圖進行拼接,未能充分考慮目標信息在特征圖之間的關(guān)系,尤其是對于小目標雜草而言。小目標雜草具有較低的分辨率,而簡單的特征拼接無法有效地捕捉到這些目標的細微特征,從而導(dǎo)致檢測性能下降。
為了解決上述問題,本研究提出了一種基于改進YOLO v8n的玉米田地雜草檢測模型,結(jié)構(gòu)如圖1所示。檢測模型整體由4部分組成:主干網(wǎng)絡(luò)、輕量級跨尺度特征融合網(wǎng)絡(luò)(LCFN)、注意力機制層以及檢測頭。
主干網(wǎng)絡(luò):由CBS模塊、C2f模塊和SPPF模塊組成,用于提取多尺度特征圖,將主干網(wǎng)絡(luò)后4個階段的特征圖輸出到輕量級跨尺度特征融合網(wǎng)絡(luò)。
輕量級跨尺度特征融合網(wǎng)絡(luò)(LCFN):首先通過卷積對輸入的4個特征圖的通道數(shù)進行調(diào)整,以減少網(wǎng)絡(luò)參數(shù)并實現(xiàn)信息的跨通道整合和交互。然后通過自底向上和自頂而下的網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)特征融合,得到4個輸出特征圖。
注意力機制層:由4個標準的高效多尺度注意力(EMA)模塊組成,連接到輕量級跨尺度特征融合網(wǎng)絡(luò)的4個輸出特征圖后面,幫助網(wǎng)絡(luò)更加關(guān)注重點區(qū)域和特征中的細節(jié)。
檢測頭:經(jīng)過注意力機制層處理的特征圖在4個檢測頭進行檢測。
1.1" 輕量級跨尺度特征融合網(wǎng)絡(luò)LCFN和小目標預(yù)測層
3~5葉期玉米田間的雜草尺寸較小。淺層特征圖有更高的空間分辨率,能夠更好地捕獲圖像的細節(jié)信息,特別是小目標和細微的目標特征,因此特征融合網(wǎng)絡(luò)LCFN增加了淺層特征圖PIn2的輸入;1×1卷積用于調(diào)整主干網(wǎng)絡(luò)輸入特征圖的通道數(shù),實現(xiàn)跨通道的信息交互、降低計算復(fù)雜度并提高模型的表達能力;YOLO v8n原始網(wǎng)絡(luò)采用了Concat操作直接對2個特征圖按通道進行拼接,但沒有充分關(guān)注特征圖中目標信息之間的關(guān)系。通過應(yīng)用通道注意力和空間注意力對通道信息和空間位置進行加權(quán),再用元素級乘法實現(xiàn)特征融合,結(jié)構(gòu)如圖2所示。
LCFN輸入的特征圖PIn2=[160×160×128]、PIn3=[80×80×256]、PIn4=[40×40×512]和PIn5=[20×20×1 024],經(jīng)過一個輸出通道數(shù)為256、卷積核大小為1×1的卷積后得到了PIn21、PIn31、PIn41、PIn51。
淺層特征PIn2具有較高的空間分辨率,能夠捕獲到圖像的細節(jié)信息。但是其通道數(shù)通常較少,表示的語義信息較少。通過增加深度,可以在保持空間分辨率的同時,增加淺層特征的語義信息;中層特征PIn3經(jīng)過1×1卷積后雖然通道數(shù)并沒有改變,但是1×1卷積可以看作是在通道維度上的全連接層,使PIn3實現(xiàn)特征圖各個通道之間的信息交互;深層特征PIn4和PIn5具有較低的空間分辨率,但是深度
較大,包含了豐富的語義信息。然而,過大的深度可能會導(dǎo)致計算復(fù)雜度過高,而且不利于特征的可視化和理解。通過減少深度,可以在保持豐富語義信息的同時,降低計算復(fù)雜度,提高模型的效率。
經(jīng)過卷積后得到的特征圖PIn21、PIn31、PIn41、PIn51,在LCFN當中進行特征融合,圖2中藍色圈表示的是自底向上的特征融合;綠色圈表示的是由頂而下的特征融合。自底向上的特征融合以PIn41和PIn51的融合為例,PIn51經(jīng)過上采樣后得到和PIn41具有相同尺寸的PIn511。對PIn41和PIn511應(yīng)用空間注意力和通道注意力后得到PIn411和PIn512,使得特征圖PIn411和PIn512可以集成局部空間信息和全局通道信息,公式如式(1)所示:
Q=c[s(PIn)]。(1)
式中:Q表示經(jīng)過空間注意力和通道注意力后輸出的特征圖,c和s分別表示通道注意力和空間注意力的權(quán)重。
PIn411和PIn512經(jīng)過1×1卷積后用元素級乘法合并得到連接后的特征圖PIn42。相比于Concat操作直接拼接特征圖,元素級乘法融合2個相同尺寸的特征圖并沒有增加特征圖的通道數(shù)。
將自底向上的特征融合中的上采樣替換成CBS模塊并在輸出后連接1個C2f模塊得到由頂而下的特征融合過程。特征融合過程中CBS和C2f模塊的輸出通道數(shù)都是256。
由頂而下的特征融合過程中得到了4個輸出特征圖,分別是POut2=[160×160×256]、POut3=[80×80×256]、POut4=[40×40×256]和POut5[20×20×256],其中POut2是增加的小目標預(yù)測輸出,相對比原有的3個預(yù)測層,增加的POut2預(yù)測層增加了一定的參數(shù)量和占內(nèi)存空間,但其對小目標雜草的檢測性能有一定程度提升。
1.2" 高效多尺度注意力EMA
在3~5葉期的玉米田地中,由于雜草尺寸較小且容易受到環(huán)境干擾的影響,對于細節(jié)特征的提取要求較為嚴格。在這種情況下,合理地運用注意力機制可以為模型提供更加精細的定位和關(guān)注能力。通過注意力機制,模型可以將關(guān)注焦點集中在目標區(qū)域,使模型能夠更準確地識別和定位小尺寸的雜草。
EMA機制是由Ouyang等于2023年提出的,EMA的核心思想是激勵和調(diào)制機制。激勵機制通過計算輸入數(shù)據(jù)的內(nèi)積和參數(shù)來生成相似性矩陣。相似矩陣中的每個元素都表示輸入數(shù)據(jù)的一部分與參數(shù)之間的相似性,相似度越高,表示該部分更重要。調(diào)制機構(gòu)根據(jù)激勵機構(gòu)計算出的相似度矩陣調(diào)整每個部分的權(quán)重。EMA機制結(jié)構(gòu)如圖3所示[16]。
EMA機制有3個分支,首先將一個輸入特征圖X∈RC×H×W在通道方向上劃分為G個子特征,即 X=[X0,X1,…,XG-1]X∈RC×H×W。在分支1上將劃分的G個子特征圖與其他分支信息進行融合;分支2采用二維平均池化對特征圖從高度和寬度2個方向進行全局平均池化,公式如式(2)所示:
Zc=1H×W∑Hj∑WiXc(i,j)。(2)
式中:H和W表示特征圖的高度和寬度;Xc表示不同通道的特征張量。
分支3使用3×3卷積操作對特征圖進行處理,有效地捕獲跨維度信息并與其他分支建立不同維度間的聯(lián)系。
EMA的3個分支整合了通道注意力和空間注意力的優(yōu)點,同時捕獲全局通道依賴性和局部空間特征,在通道和空間維度之間獲取更加全面的特征。這使得它在小目標、模糊目標識別任務(wù)上具有更強大的應(yīng)對能力。
將EMA機制嵌入到目標檢測網(wǎng)絡(luò)的設(shè)計如圖1所示,在4個目標檢測頭前嵌入EMA注意力機制,
經(jīng)EMA處理的特征圖直接由檢測頭得到檢測結(jié)果,避免對EMA中目標信息權(quán)重的影響。EMA機制將部分通道重塑為批量維度,避免了通道降維的情況,從而保留了每個通道的信息并降低了計算成本。所以嵌入4個注意力模塊對于網(wǎng)絡(luò)并沒有增加較多的參數(shù)量以及占內(nèi)存大小。
EMA機制動態(tài)地調(diào)整了特征圖中目標信息的權(quán)重,從而減少與模型無關(guān)信息的干擾,使得檢測頭更加專注于目標區(qū)域。最終,小尺度目標的特征更平衡地進入檢測頭中,從而提高模型對較小的雜草的檢測精度。
2" 試驗結(jié)果與分析
2.1" 試驗設(shè)計
為了保障試驗條件的一致性,本研究所有試驗操作平臺均使用Ubuntu 20.04操作系統(tǒng)。在深度學習框架方面,采用了PyTorch 2.0.1版本。試驗所用CPU為 Intel Xeon Platinum 8160T@2.10 GHz。同時,為了進行試驗的深度學習計算,顯卡(GPU)為NVIDIA Tesla V100-16GB,其顯存容量為 16 GB。編程語言為Python。
試驗參數(shù)的設(shè)定如下:初始學習率為0.001,采用隨機梯度下降法(SGD)來更新網(wǎng)絡(luò)參數(shù),學習動量為0.935,權(quán)重衰減率為0.000 5。
本試驗周期為2023年10月至2024年1月,試驗地點為陜西科技大學(西安校區(qū))電氣與控制工程學院實驗樓2B216實驗室。
2.2" 圖像來源及處理
2.2.1" 圖像來源" 本研究使用來自于文獻[17]所提供的ACRE-Crop-Weed數(shù)據(jù)集。該數(shù)據(jù)集共500張圖像,涵蓋了黑麥草、芥菜、甘菊、藜麥等雜草和玉米幼苗,這些圖像的分辨率為2 046×1 080。部分圖像樣本如圖4所示,從圖4可以看出圖像具有以下特點:玉米伴生雜草較小、玉米葉片遮擋雜草、自然光線下玉米和雜草陰影等復(fù)雜背景。雜草受多種干擾因素影響,與實際應(yīng)用的環(huán)境符合。
2.2.2" 圖像特征增強" 為增加試驗數(shù)據(jù)集的多樣性,采用了圖像數(shù)據(jù)增強技術(shù),以擴展數(shù)據(jù)規(guī)模、減少雜草識別模型對特定圖像屬性的依賴,減輕模型過擬合風險,提高模型的穩(wěn)定性。對500張圖像以8 ∶1 ∶1的比例劃分為訓(xùn)練集、驗證集、測試集。然后通過應(yīng)用常見的數(shù)據(jù)增強方法,如水平、垂直和鏡像翻轉(zhuǎn),提高數(shù)據(jù)多樣性。通過以上數(shù)據(jù)增強方法,數(shù)據(jù)集規(guī)模擴展至2 000張圖像。這一系列操作旨在確保數(shù)據(jù)集的多樣性和模型的魯棒性。
2.2.3" 數(shù)據(jù)標注" 采用圖像可視化標注工具LabelImg對數(shù)據(jù)集中的圖像進行標注,以便識別玉米和雜草目標,并使用最小外接矩形框來確定它們的位置。標注結(jié)果以標準的XML格式呈現(xiàn),其中包括圖像的路徑、尺寸(寬度和高度)、通道數(shù),以及有關(guān)玉米和雜草目標的標注框信息??偣泊嬖?種不同的標簽類別:其中,玉米標簽的數(shù)量為52 272個,雜草標簽的數(shù)量為309 504個。
2.3" 試驗結(jié)果與分析
2.3.1" 評價指標" 本研究采用平均精度(AP)、平均精度均值(mAP)、模型內(nèi)存用量和參數(shù)量對檢測模型的檢測效果進行評估,平均精度由召回率(R)與準確率(P)決定,是單個類別檢測性能結(jié)果的直觀標準。通過對準確率與召回率曲線進行積分計算得到曲線與坐標軸構(gòu)成的面積即為平均精度,模型檢測效果越好,平均精度越高。在得到多個單一類別平均精度后,對其求平均值后得到平均精度均值。
2.3.2" 消融試驗對比" 為了驗證基于改進YOLO v8n的玉米田間雜草檢測模型的有效性,將本研究模型(YOLO v8n+LCFN+P2+EMA)與標準YOLO v8n、YOLO v8n結(jié)合輕量級跨尺度特征融合網(wǎng)絡(luò)(YOLO v8n+LCFN)以及YOLO v8n結(jié)合輕量級跨尺度特征融合網(wǎng)絡(luò)并添加小目標預(yù)測層(YOLO v8n+LCFN+P2)進行消融試驗。表1和圖5展示了不同改進方法對網(wǎng)絡(luò)識別性能的影響。
從表1和圖5可知,LCFN作為特征融合網(wǎng)絡(luò)時模型的平均精度均值增長了0.4百分點,同時模型的內(nèi)存用量減小了32.3%、參數(shù)量減少了34.7%。這主要歸結(jié)于LCFN網(wǎng)絡(luò)在特征融合時使用了空間注意力和通道注意力對特征圖的特征進行加權(quán),最
后使用元素級乘法的方式進行特征拼接,拼接后的特征圖通道數(shù)小于Concat操作,并且CBS模塊和C2f模塊的輸出通道數(shù)都是256,減少了模型的內(nèi)存用量大小和參數(shù)量。
當采用在LCFN的基礎(chǔ)上通過輸入淺層特征圖PIn2以及添加小目標預(yù)測層,模型的內(nèi)存用量和參數(shù)量雖然有一定上升,但是平均精度均值增長了1.1百分點,這主要歸結(jié)于小目標預(yù)測層具有更多小目標細節(jié)信息。
將EMA模塊嵌入到檢測頭前,雖然模型占內(nèi)存有了一定增加,但是雜草的平均精度增長了2百分點,平均精度均值增長了0.9百分點。最終,改進后玉米田間雜草檢測模型的平均精度均值相較于YOLO v8n提高了2.4百分點,模型內(nèi)存用量由 6.2 MB 減小到4.8 MB,減小了22.6%;模型參數(shù)量由3.00 M下降到2.22 M,減小了26%。
由以上分析可知,本研究提出的基于 YOLO v8n玉米田地雜草檢測模型在內(nèi)存用量和參數(shù)量都減小的情況下精度提升。
2.3.3" 引入不同注意力機制的檢測結(jié)果對比
為了進一步驗證EMA注意力機制的有效性,采用相同的訓(xùn)練集和測試集,將EMA注意力與其他常見注意力機制進行對比,將本研究模型的注意力機制分別替換為CBAM注意力模塊、SimAM注意力模塊、CA注意力模塊、SE注意力模塊以及CPCA注意力模塊[18-23]進行對比,對比試驗結(jié)果如表2所示。
由表2可知,當引入EMA注意力時模型的平均精度均值和雜草的平均精度最高并且參數(shù)量最少。所以本研究模型將EMA引入到注意力機制層。
2.3.4" 不同檢測模型性能對比分析
為了驗證改進雜草識別網(wǎng)絡(luò)在識別性能方面的優(yōu)勢,更全面地評估此模型的性能,將本研究模型與SSD-MobileNet v2、Efficientdet-D0、YOLO v5n、YOLO v8n
及Ultralytics-YOLO v6檢測模型對比。均在同一搭建好的試驗平臺進行訓(xùn)練,并采用相同的訓(xùn)練集和測試集[24-25]。
由表3可知,本研究模型在數(shù)據(jù)集上的平均精度均值達到79.0%,在6個目標檢測模型中最高,證明了本研究方法的有效性。
本研究模型的平均精度均值分別比 SSD-MobileNet v2、Efficientdet-D0、YOLO v5n、YOLO v8n、Ultralytics-YOLO v6高了30.5、22.8、11.1、2.4、1.8百分點;本研究模型的內(nèi)存用量除大于Efficientdet-D0外,分別比 SSD-MobileNet v2、YOLO v5n、YOLO v8n、Ultralytics-YOLO v6減小了65.7%、9.4%、22.6%、38.5%;本研究模型的參數(shù)量除大于YOLO v5n外,分別比 SSD-MobileNet v2、Efficientdet-D0、YOLO v8n、Ultralytics-YOLO v6減小了 39.7%、42.0%、26.0%、47.5%。
為直觀地展示本研究模型對玉米田間雜草的檢測效果,將本研究模型與SSD-MobileNet v2、Efficientdet-D0、YOLO v5n、YOLO v8n和Ultralytics-YOLO v6在測試集中的檢測結(jié)果進行對比分析。在陽光斜向照射(第1組)和玉米葉片遮擋(第2組)2種情況下的檢測結(jié)果如圖6所示,所有的檢出目標都用邊框標記其位置,并顯示該目標的所屬類別和置信度值。
從圖6可以看出,SSD-MobileNet v2和Efficientdet-D0模型在2組圖片中相比其他模型存在較多的漏檢,SSD-MobileNet v2在第1組中存在一個對于玉米幼苗的錯檢(第1組中有2株玉米幼苗,而SSD-MobileNet v2檢測出3株),2個模型的檢測置信度都比較低。
YOLO v5n在2組圖片中的檢測置信度都較高,但是在第2組中存在漏檢(對比本研究模型可看出紅色檢測框中間有3株雜草沒有檢測到)。
YOLO v8n和Ultralytics-YOLO v6在2張圖片都有著不錯的檢測效果,但是整體置信度仍低于本研究算法。以第2組中紅色檢測框左側(cè)雜草為例,在YOLO v8n、Ultralytics-YOLO v6和本研究模型中,本研究模型的置信度基本最高。
綜上所述,相比于其他模型,本研究提出的基于改進YOLO v8n的玉米田間雜草檢測模型的檢測結(jié)果更符合實際要求,預(yù)測結(jié)果置信度值高,具有良好的泛化能力和魯棒性。
3" 結(jié)論
本研究針對3~5葉期玉米田間雜草具有目標尺寸小,容易受玉米葉片遮擋以及復(fù)雜田間環(huán)境影響的特點,重構(gòu)了YOLO v8n的特征融合網(wǎng)絡(luò),減小了模型的內(nèi)存用量和參數(shù)量,增加了一個小目標預(yù)測層來增強對小目標雜草的檢測能力。
為了增強玉米田間雜草檢測網(wǎng)絡(luò)的檢測精度,在每個檢測頭前嵌入了EMA注意力機制,增加的預(yù)測層一定程度上改善了網(wǎng)絡(luò)對于小目標雜草的檢測能力,而注意力模塊動態(tài)地調(diào)整了特征圖中目標信息權(quán)重,從而減少與模型無關(guān)信息的干擾,使得檢測頭更加專注于目標區(qū)域。改進后模型對雜草的平均精度增加了5.1百分點,內(nèi)存用量和參數(shù)量分別減小了22.6%和26.0%。
為了驗證本研究玉米田間雜草檢測網(wǎng)絡(luò)的有效性,在同一數(shù)據(jù)集上與其他目標檢測模型進行對比試驗。試驗結(jié)果表明,本研究改進的雜草檢測模型的平均精度均值分別比SSD-MobileNet v2、Efficientdet-D0、YOLO v5n、YOLO v8n、Ultralytics-YOLO v6高了30.5、22.8、11.1、2.4、1.8百分點,并且參數(shù)量和模型占內(nèi)存空間也處于較低水平。
參考文獻:
[1]劉莫塵,高甜甜,馬宗旭,等. 基于MSRCR-YOLO v4-tiny的田間玉米雜草檢測模型[J].農(nóng)業(yè)機械學報,2022,53(2):246-255,335.
[2]王鵬飛. 基于深度學習的玉米田間雜草識別技術(shù)及應(yīng)用[D].泰安:山東農(nóng)業(yè)大學,2019:75-81.
[3]Wang A,Zhang W,Wei X. A review on weed detection using ground-based machine vision and image processing techniques[J]. Computers and electronics in agriculture,2019,158:226-240.
[4]Liu B,Bruch R. Weed detection for selective spraying:a review[J]. Current Robotics Reports,2020,1(1):19-26.
[5]姜紅花,張傳銀,張" 昭,等. 基于Mask R-CNN的玉米田間雜草檢測方法[J].農(nóng)業(yè)機械學報,2020,51(6):220-228,247.
[6]Radoglou-Grammatikis P,Sarigiannidis P,Lagkas T,et al. A compilation of UAV applications for precision agriculture[J]. Computer Networks,2020,172:107148.
[7]Deng X W,Qi L,Ma X,et al. Recognition of weeds at seedling stage in paddy fields using multi-feature fusion and deep belief networks[J]. Transactions of the Chinese Society of Agricultural Engineering,2018,34(14):165-172.
[8]Bakhshipour A,Jafari A. Evaluation of support vector machine and artificial neural networks in weed detection using shape features[J]. Computers and Electronics in Agriculture,2018,145:153-160.
[9]Wu Z,Chen Y,Zhao B,et al. Review of weed detection methods based on computer vision[J]. Sensors,2021,21(11):3647.
[10]Hasan A S M M,Sohel F,Diepeveen D,et al. A survey of deep learning techniques for weed detection from images[J]. Computers and Electronics in Agriculture,2021,184:106067.
[11]Potena C,Nardi D,Pretto A. Fast and accurate crop and weed identification with summarized train sets for precision agriculture[C]//Intelligent Autonomous Systems 14:Proceedings of the 14th International Conference IAS-14 14. Springer International Publishing,2017:105-121.
[12]孫" 俊,譚文軍,武小紅,等. 多通道深度可分離卷積模型實時識別復(fù)雜背景下甜菜與雜草[J]. 農(nóng)業(yè)工程學報,2019,35(12):184-190.
[13]李" 彧,余心杰,郭俊先. 基于全卷積神經(jīng)網(wǎng)絡(luò)方法的玉米田間雜草識別[J]. 江蘇農(nóng)業(yè)科學,2022,50(6):93-100.
[14]溫德圣,許" 燕,周建平,等. 自然光照影響下基于深度卷積神經(jīng)網(wǎng)絡(luò)和顏色遷移的雜草識別方法[J]. 中國科技論文,2020,15(3):287-292.
[15]亢" 潔,劉" 港,郭國法. 基于多尺度融合模塊和特征增強的雜草檢測方法[J]. 農(nóng)業(yè)機械學報,2022,53(4):254-260.
[16]Ouyang D,He S,Zhang G,et al. Efficient multi-scale attention module with cross-spatial learning[C]//ICASSP 2023-2023 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP). IEEE,2023:1-5.
[17]Bertoglio R,F(xiàn)ontana G,Matteucci M,et al. On the design of the agri-food competition for robot evaluation (acre)[C]//2021 IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC). IEEE,2021:161-166.
[18]Woo S,Park J,Lee J Y,et al. Cbam:Convolutional block attention module[C]//Proceedings of the European conference on computer vision (ECCV). 2018:3-19.
[19]Yang L,Zhang R Y,Li L,et al. Simam:A simple,parameter-free attention module for convolutional neural networks[C]//International conference on machine learning. PMLR,2021:11863-11874.
[20]Hou Q,Zhou D,F(xiàn)eng J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021:13713-13722.
[21]Hu J,Shen L,Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018:7132-7141.
[22]Huang H,Chen Z,Zou Y,et al. Channel prior convolutional attention for medical image segmentation[J]. arXiv preprint arXiv:2306.05196,2023.
[23]鮑" 浩,張" 艷. 基于注意力機制與改進殘差模塊的豆葉病害識別[J]. 江蘇農(nóng)業(yè)科學,2023,51(16):187-194.
[24]Cheng C. Real-time mask detection based on SSD-MobileNetv2[C]//2022 IEEE 5th International Conference on Automation,Electronics and Electrical Engineering (AUTEEE). IEEE,2022:761-767.
[25]Tan M,Pang R,Le Q V. Efficientdet:Scalable and efficient object detection[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020:10781-10790.