doi:10.15889/j.issn.1002-1302.2024.20.028
摘要:針對(duì)現(xiàn)有作物病害葉片檢測(cè)模型的性能過度依賴大量帶標(biāo)注數(shù)據(jù)集以及預(yù)訓(xùn)練模型的泛化性不強(qiáng)等問題,提出一種基于特征重組網(wǎng)絡(luò)的小樣本農(nóng)作物病害葉片檢測(cè)方法。首先,采用支持分支和查詢分支的雙分支網(wǎng)絡(luò)結(jié)構(gòu),將支持圖像和查詢圖像映射到深度特征空間,并在支持分支中采用特征增強(qiáng)網(wǎng)絡(luò)緩解映射特征與原始標(biāo)注不對(duì)齊的問題。其次,借助全局平均池化策略生成初始原型,利用該原型反向指導(dǎo)原始支持圖像中病害葉片的識(shí)別,并根據(jù)初始識(shí)別結(jié)果對(duì)原型進(jìn)行優(yōu)化。再次,通過比對(duì)識(shí)別區(qū)域與原始標(biāo)注之間的特征差異,構(gòu)造輔助原型與主域原型。最后,融合原始原型、輔助原型和主域原型,構(gòu)造多原型集,并利用度量方法計(jì)算原型集與查詢特征間的關(guān)聯(lián),根據(jù)關(guān)聯(lián)值給出預(yù)測(cè)標(biāo)簽。在自建的橘子、番茄和蘋果等病害葉片數(shù)據(jù)集上進(jìn)行測(cè)試,所提出方法分別獲得了97.18%的精準(zhǔn)率、97.31%的召回率、96.90%的F1分?jǐn)?shù)和84.71%的FB-IoU,優(yōu)于主流的目標(biāo)檢測(cè)方法。
關(guān)鍵詞:作物病害葉片檢測(cè);特征重組;全局平均池化;特征增強(qiáng);原型集
中圖分類號(hào):TP391.41;S126" 文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1002-1302(2024)20-0236-08
收稿日期:2024-06-30
基金項(xiàng)目:國(guó)家自然科學(xué)基金(編號(hào):62002330)。
作者簡(jiǎn)介:黨婉譽(yù)(1991—),女,河南駐馬店人,碩士,講師,主要從事農(nóng)業(yè)、林業(yè)、計(jì)算機(jī)應(yīng)用技術(shù)等研究。E-mail:wydan1991@163.com。
農(nóng)作物葉片的健康對(duì)于農(nóng)作物的產(chǎn)量和品質(zhì)至關(guān)重要,葉片不健康不僅會(huì)降低作物的產(chǎn)量和品質(zhì),還可能導(dǎo)致整個(gè)農(nóng)田的作物歉收,給農(nóng)業(yè)生產(chǎn)帶來嚴(yán)重的經(jīng)濟(jì)損失。隨著全球氣候變暖,農(nóng)作物在生長(zhǎng)過程中,經(jīng)常受到各種病害的威脅,其中葉片病害尤為常見且破壞性極大[1-3]。因此,及時(shí)準(zhǔn)確地檢測(cè)出農(nóng)作物病害葉片,有助于及時(shí)診斷農(nóng)作物病害,對(duì)于防控病害、保障農(nóng)業(yè)生產(chǎn)具有重要的意義。
傳統(tǒng)的農(nóng)作物葉片病害檢測(cè)主要依賴農(nóng)業(yè)專家和農(nóng)民的經(jīng)驗(yàn),通過觀察葉片的外觀癥狀來判斷病害類型[4-5]。然而,該類方法需要大量的人力和時(shí)間,效率較低;其次,由于個(gè)體經(jīng)驗(yàn)和知識(shí)水平的差異,人工檢測(cè)的準(zhǔn)確性往往難以保障,此外一些病害在早期階段癥狀不明顯,人工檢測(cè)難以及時(shí)發(fā)現(xiàn)[6]。近年來,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,常利用深度學(xué)習(xí)相關(guān)算法緩解傳統(tǒng)農(nóng)作物病害葉片檢測(cè)性能不佳的問題。如左昊軒等基于YOLO v5s開發(fā)了一種黃化曲葉病的檢測(cè)方法,并在主干網(wǎng)絡(luò)中引入多層注意力機(jī)制來增強(qiáng)模型對(duì)于病害區(qū)域的定位能力[7]。陶兆勝等在YOLO v5s主干網(wǎng)絡(luò)中引入了一種通道和空間注意力機(jī)制,以此增強(qiáng)模型對(duì)病害區(qū)域的定位能力,同時(shí)抑制了無關(guān)噪聲背景信息的干擾,在番茄病害葉片數(shù)據(jù)集上進(jìn)行了測(cè)試,試驗(yàn)結(jié)果也驗(yàn)證了所設(shè)計(jì)方法的優(yōu)越性[8]。惠巧娟等考慮到現(xiàn)有深度學(xué)習(xí)模型對(duì)有限標(biāo)注的玉米葉片病害數(shù)據(jù)信息利用不充分的問題,提出了一種多尺度特征度量的玉米病害葉片檢測(cè)方法,利用卷積神經(jīng)網(wǎng)絡(luò)和Swin Transformer網(wǎng)絡(luò)分別獲取了輸入葉片的全局和局部特征,以此構(gòu)造了多尺度特征集[9]。類似地,劉敏等在傳統(tǒng)全局特征的基礎(chǔ)上,引入了局部編碼特征,并借助注意力機(jī)制融合了局部和全局特征,在開源的蘋果病害葉片數(shù)據(jù)集上進(jìn)行了測(cè)試,試驗(yàn)結(jié)果也驗(yàn)證了所設(shè)計(jì)方法可以顯著提升病害區(qū)域的定位性能[10]。
雖然上述基于深度學(xué)習(xí)的作物病害葉片檢測(cè)方法在開源數(shù)據(jù)集和自建數(shù)據(jù)集上均取得了較好的效果,但該類方法的檢測(cè)性能過度依賴訓(xùn)練數(shù)據(jù)集和對(duì)應(yīng)的標(biāo)注信息。隨著小樣本學(xué)習(xí)在目標(biāo)檢測(cè)、語義分割等領(lǐng)域的應(yīng)用,研究者嘗試?yán)眯颖緦W(xué)習(xí)來緩解模型性能過度依賴訓(xùn)練數(shù)據(jù)集的問題。如邢鵬康等提出了一種基于小樣本學(xué)習(xí)的馬鈴薯葉片病害檢測(cè)方法,通過在支持分支中采用動(dòng)態(tài)卷積來增強(qiáng)模型對(duì)病害區(qū)域的捕獲能力,其次在特征提取階段引入卷積塊注意力,有效增強(qiáng)了特征的語義表達(dá)能力[11]。類似地,黃煒等在支持分支中采用多尺度融合策略來增強(qiáng)模型對(duì)蘋果病害區(qū)域的定位能力,其次借助蘋果病害葉片的文本標(biāo)注構(gòu)造了一種新的對(duì)比學(xué)習(xí)方法,在Plant Village數(shù)據(jù)集上進(jìn)行了測(cè)試,結(jié)果也驗(yàn)證了所設(shè)計(jì)方法的優(yōu)越性[12]。
上述基于小樣本學(xué)習(xí)的作物病害葉片檢測(cè)模型主要通過挖掘支持分支的語義信息來指導(dǎo)查詢圖片中病害區(qū)域的定位,然而并非所有的支持信息對(duì)查詢分支均有用,不恰當(dāng)?shù)厥褂弥С址种畔⒎炊斐煽臻g中語義分布離散或語義歧義的問題。針對(duì)上述問題,提出一種基于特征重組網(wǎng)絡(luò)的小樣本農(nóng)作物病害葉片檢測(cè)方法,首先利用支持分支學(xué)習(xí)到的匹配規(guī)則指導(dǎo)查詢圖片中病害區(qū)域的定位;其次,利用查詢圖片的初始預(yù)測(cè)結(jié)果反向構(gòu)造指導(dǎo)信息,實(shí)現(xiàn)原始支持圖片中病害區(qū)域的定位,為查詢分支定制自適應(yīng)的原型集。
1" 作物病害葉片檢測(cè)模型
1.1" 雙分支網(wǎng)絡(luò)結(jié)構(gòu)定義
基于雙分支網(wǎng)絡(luò)結(jié)構(gòu)的小樣本病害葉片檢測(cè)模型旨在利用少量標(biāo)注的支持圖片以及對(duì)應(yīng)的支持掩碼,來指導(dǎo)與之同類的查詢圖片中病害區(qū)域的分類。其中支持分支的輸入為支持圖片和對(duì)應(yīng)的支持掩碼,查詢分支的輸入為待測(cè)試的病害葉片,并且支持分支和查詢分支共享相同的語義類[13]。
當(dāng)前主流的小樣本病害葉片檢測(cè)模型采用元學(xué)習(xí)訓(xùn)練范式,即將總?cè)蝿?wù)劃分為多個(gè)子任務(wù),在每個(gè)子任務(wù)中進(jìn)行訓(xùn)練與優(yōu)化[14]。本文模型仍然采用該訓(xùn)練方式,即將訓(xùn)練集劃分為Base集和Novel集,其中Base集用于訓(xùn)練,Novel集用于測(cè)試,并且Base集中語義類和Novel集中的語義類不相交。具體地,在Base集中包含多個(gè)支持集S={(xk,yk)Kk=1},式中:x表示支持圖片;y表示對(duì)應(yīng)的支持標(biāo)注;k表示支持樣本數(shù)。類似地,查詢集可表示為Q={(xq,yq)},式中:xq表示查詢圖片;yq表示真實(shí)的查詢標(biāo)簽,并且查詢標(biāo)簽僅用于訓(xùn)練階段。最后,通過計(jì)算預(yù)測(cè)xq對(duì)應(yīng)的標(biāo)簽yq和真實(shí)標(biāo)簽yq之間的交叉熵?fù)p失,來優(yōu)化模型參數(shù)。
1.2" 模型結(jié)構(gòu)
基于特征重組網(wǎng)絡(luò)的小樣本農(nóng)作物病害葉片檢測(cè)模型主要包括特征提取、原型生成、原型修訂以及病害檢測(cè)4個(gè)部分。其中,在特征提取階段,考慮到映射特征和原始圖片尺度不對(duì)齊導(dǎo)致的信息丟失問題,設(shè)計(jì)了一種特征增強(qiáng)網(wǎng)絡(luò)來補(bǔ)充丟失信息。原型生成階段主要在支持特征集上采用掩碼平均池化,生成初始原型集。原型修訂是利用初始原型集反向建立原始支持圖片中病害區(qū)域?qū)?yīng)標(biāo)簽的預(yù)測(cè),并根據(jù)初始預(yù)測(cè)結(jié)果對(duì)原始原型進(jìn)行優(yōu)化。病害檢測(cè)階段利用度量算法計(jì)算原型集和查詢特征集之間的關(guān)聯(lián),并根據(jù)關(guān)聯(lián)值給出最終的預(yù)測(cè)結(jié)果。具體模型結(jié)構(gòu)如圖1所示。
1.3" 特征提取
現(xiàn)有的病害葉片檢測(cè)方法主要借助預(yù)訓(xùn)練的主干網(wǎng)絡(luò),如Vgg或ResNet等將輸入的支持圖片映射到深度特征空間,然后建立真實(shí)標(biāo)簽與映射特征之間的對(duì)應(yīng)關(guān)系[15-16]。然而,經(jīng)過主干網(wǎng)絡(luò)下采樣后的特征僅保留了整張圖片的主體信息,忽略了邊緣、紋理等細(xì)節(jié)信息[17]。其次,下采樣后的特征尺度與原始支持圖片之間并非一一對(duì)應(yīng)關(guān)系,這極易造成特征空間中語義分布離散、混亂等問題。
針對(duì)邊緣信息容易忽略以及語義分布離散的問題,在支持分支中設(shè)計(jì)了一種特征增強(qiáng)網(wǎng)絡(luò),主要在特征映射之前進(jìn)行目標(biāo)前景和背景的分離,并利用分離特征強(qiáng)化原始映射的目標(biāo)前景特征和背景特征。這樣做的優(yōu)勢(shì)在于:一方面可以有效補(bǔ)償因主干網(wǎng)絡(luò)下采樣導(dǎo)致目標(biāo)細(xì)節(jié)信息丟失的問題,另一方面促進(jìn)了特征與對(duì)應(yīng)圖片間的對(duì)齊。所提出的特征增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。
假設(shè)支持圖片和對(duì)應(yīng)的支持標(biāo)簽為(xs,ys),首先利用支持標(biāo)簽將原始支持圖片分離為目標(biāo)前景圖片fs和背景圖片bs;其次將fs、bs和原始支持圖片xs送入至主干網(wǎng)絡(luò)中,生成對(duì)應(yīng)的支持輔助前景特征Ff′、支持輔助背景特征Fb′和支持混合特征Ffb。具體計(jì)算如公式(1)和公式(2)所示。
fs=xsys
bs=xs-fs;(1)
Fs=cnn(fs,bs,xs)。(2)
式中:表示點(diǎn)乘運(yùn)算;cnn(·)表示主干網(wǎng)絡(luò);Fs包含F(xiàn)f′、Fb′和Ffb。其次,利用支持圖片對(duì)應(yīng)的真實(shí)標(biāo)簽將支持混合特征Ffb分離為支持前景特征和支持背景特征,具體計(jì)算如公式(3)所示。
Ff=γ(ys,F(xiàn)fb)Ffb
Fb=Ffb-Ff。(3)
式中:Ff和Fb分別表示支持前景特征和支持背景特征;γ(ys,F(xiàn)fb)表示將ys的大小下采樣至與Ffb相同的維度。最后,將支持輔助前景特征Ff′和支持前景特征Ff以及支持輔助背景特征Fb′和支持背景特征Fb進(jìn)行拼接,來補(bǔ)充因下采樣操作導(dǎo)致的語義丟失。具體增強(qiáng)的目標(biāo)前景特征和背景特征可表示為公式(4)。
Frf=FfFf′
Frb=FbFb′。(4)
式中:Frf和Frb分別表示融合后的支持前景特征和背景特征。
1.4" 原型生成
原型是將特征經(jīng)過全局平均池化壓縮后的抽象特征表示[18]。此處,將融合后的支持前景特征Frf和支持背景特征Frb送入至全局平均池化模塊中,生成目標(biāo)前景和背景初始原型集,原型集可表示為公式(5)和公式(6)。
Pf=GAP[Frf,γ(ys,F(xiàn)rf)]=∑hwi=1Frf(i)γ[ys(i),F(xiàn)rf]∑hwi=1γ[ys(i),F(xiàn)rf];(5)
Pb=GAP[Frb,γ(ys,F(xiàn)rb)]=∑hwi=1Frb(i)γ[ys(i),F(xiàn)rb]∑hwi=1γ[ys(i),F(xiàn)rb]。(6)
式中:Pf和Pb分別表示目標(biāo)前景原型和背景原型;GAP(·)表示全局平均池化;i表示空間位置;γ(ys,F(xiàn)rf) 表示將支持掩碼的大小下采樣至和Frf相同;h和w分別表示特征圖的長(zhǎng)和寬。
利用生成的目標(biāo)前景原型和背景原型構(gòu)造支持分支的初始原型集,即Pin={Pf,Pb}。然后,借助度量函數(shù)計(jì)算原型集和查詢特征之間的關(guān)聯(lián),根據(jù)關(guān)聯(lián)值定位查詢圖片中病害區(qū)域及對(duì)應(yīng)的標(biāo)簽。具體計(jì)算如公式(7)所示。
yqprein=convs[concat(Fq,Pin)]。(7)
式中:yqprein表示查詢分支的初始預(yù)測(cè)標(biāo)簽;convs由大小為3×3和1×1的卷積層組成;concat(·)用于特征間的關(guān)聯(lián)性計(jì)算。
1.5" 原型修訂
不同的支持圖像指導(dǎo)查詢圖片中病害區(qū)域的定位和預(yù)測(cè)能力不同,并且支持圖像中不同區(qū)域的貢獻(xiàn)程度也不相同。其次,傳統(tǒng)方法僅從支持分支中挖掘原型,忽略了查詢圖像自身信息的重要性。因此,本文利用預(yù)測(cè)的初始查詢標(biāo)簽和對(duì)應(yīng)的查詢特征構(gòu)造新的原型集,反向指導(dǎo)原始支持圖片中病害區(qū)域的定位和病害類型分類,為查詢分支構(gòu)造自適應(yīng)的原型集。自適應(yīng)原型集生成流程如圖3所示。
首先,將初始預(yù)測(cè)標(biāo)簽與查詢特征送入全局平均池化模塊中,生成查詢圖片病害區(qū)域?qū)?yīng)的偽原型Ppse。然后,利用生成的偽原型反向定位原始支持圖片中的病害區(qū)域,具體計(jì)算如公式(8)所示。
yqprein=convs[concat(Ffb,Ppse)]。(8)
式中:yqprein表示原始支持圖片對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽。接下來,借助原始支持圖片對(duì)應(yīng)的真實(shí)標(biāo)簽將支持原型劃分為主域原型集和輔助原型集,其中主域原型集表示真實(shí)預(yù)測(cè)的病害區(qū)域,輔助原型集為真實(shí)標(biāo)簽與預(yù)測(cè)標(biāo)簽之間的差值。具體計(jì)算如公式(9)所示。
Pmains=τ[ys=1]τ[yspre=1]
Pauxs=τ[ys=1]τ[yspre≠1]。(9)
式中:Pmains和Pauxs分別表示主域原型集和輔助原型集;τ[ys=1]表示真值函數(shù);ys表示真實(shí)圖片對(duì)應(yīng)的支持標(biāo)簽。
最后,將主域原型集Pmains和輔助原型集Pauxs添加到初始原型集Pin={Pf,Pb}中,來增強(qiáng)初始原型集的魯棒性和泛化性,即更新后的原型集可表示為Pr={Pf,Pb,Pmains,Pauxs} 。
1.6" 病害檢測(cè)
利用更新后的原型集Pr={Pf,Pb,Pmains,Pauxs}來指導(dǎo)查詢分支中輸入圖片病害區(qū)域的定位與病害類型的分類。具體計(jì)算如公式(10)所示。
yqpre=convs[concat(Fq,Pr)]。(10)
式中:yqpre表示查詢圖片對(duì)應(yīng)病害區(qū)域的定位與分類結(jié)果;此處convs表示大小為1×1的卷積;concat(·)用于特征間的關(guān)聯(lián)性計(jì)算。最后,通過計(jì)算預(yù)測(cè)結(jié)果與真實(shí)標(biāo)注之間的損失,端到端優(yōu)化網(wǎng)絡(luò)模型。
2" 試驗(yàn)
2.1" 試驗(yàn)數(shù)據(jù)集
本試驗(yàn)所有數(shù)據(jù)來源于網(wǎng)絡(luò)圖片和真實(shí)場(chǎng)景拍攝圖片,其中真實(shí)場(chǎng)景圖片拍攝于河南省駐馬店市泌陽(yáng)縣的農(nóng)業(yè)基地,主要包括橘子、番茄和蘋果3類病害葉片圖像,拍攝時(shí)間主要集中在8月下旬。網(wǎng)絡(luò)圖片主要利用網(wǎng)絡(luò)爬蟲技術(shù)獲得,實(shí)際拍攝圖片工具采用佳能EOS R10,圖片大小統(tǒng)一壓縮為512像素×512像素。數(shù)據(jù)集總共包括5 388張圖片,并按照8 ∶2的比例劃分為Base集和Novel集。具體試驗(yàn)數(shù)據(jù)如表1所示。
2.2" 試驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)
模型在Windows平臺(tái)上開發(fā),采用Python編程語言,Pytorch深度學(xué)習(xí)框架,編輯器采用Pycharm,搭載GeForce RTX 3090 Ti 24 GB顯卡。模型訓(xùn)練初始學(xué)習(xí)率設(shè)定為0.002 5,迭代次數(shù)設(shè)定為160次,選擇Adam優(yōu)化器。
為了驗(yàn)證所設(shè)計(jì)模型的優(yōu)越性,選擇當(dāng)前主流的評(píng)價(jià)指標(biāo):精準(zhǔn)率(precision,P)、召回率(recall,R)和F1分?jǐn)?shù),具體計(jì)算如公式(11)所示[19]。此外,為了評(píng)估模型對(duì)病害區(qū)域的定位能力,選擇前景背景交并比FB-IoU(Intersection over Union)[20]。
P=TPTP+FP
R=TPTP+FN
F1分?jǐn)?shù)=2×P×RP+R。(11)
式中:TP為模型正確預(yù)測(cè)的樣本總數(shù);FP為模型誤報(bào)的樣本總數(shù);FN為模型漏報(bào)的樣本總數(shù)。
2.3" 結(jié)果與分析
2.3.1" 不同方法的整體檢測(cè)結(jié)果對(duì)比
為了驗(yàn)證所設(shè)計(jì)方法的整體識(shí)別性能,選擇當(dāng)前經(jīng)典的目標(biāo)檢測(cè)算法,并在精準(zhǔn)率、召回率、F1分?jǐn)?shù)和FB-IoU指標(biāo)上進(jìn)行對(duì)比,對(duì)比方法包括YOLO v5、Faster R-CNN、Inception v4、MobileNet v3、DenseNet。對(duì)比結(jié)果如表2所示。由表中可以看出,在橘子病害葉片檢測(cè)任務(wù)上,所提出方法在精準(zhǔn)率、召回率、F1分?jǐn)?shù)和FB-IoU指標(biāo)上分別獲得了98.42%、98.09%、97.54%和86.37%的得分。在番茄病害葉片檢測(cè)任務(wù)上,所提出方法在精準(zhǔn)率、召回率、F1分?jǐn)?shù)和 FB-IoU 指標(biāo)上分別獲得了98.51%、98.11%、97.18%和86.15%的得分。在蘋果病害葉片檢測(cè)任務(wù)上,所提出方法在精準(zhǔn)率、召回率、F1分?jǐn)?shù)和FB-IoU指標(biāo)上分別獲得了98.42%、98.06%、97.12%和86.13%的得分。以上結(jié)果驗(yàn)證了所提出方法的優(yōu)越性,綜合性能優(yōu)于先前的目標(biāo)檢測(cè)算法。
此外,為了直觀展示本研究方法在具體任務(wù)上的檢測(cè)效果,圖4展示了本研究方法和當(dāng)前經(jīng)典的目標(biāo)檢測(cè)方法在3種病害葉片上的檢測(cè)結(jié)果。值得注意的是,圖中選擇置信度最大的2個(gè)檢測(cè)框作為最終的檢測(cè)結(jié)果??梢钥闯?,本研究方法可以更全面地識(shí)別出病害區(qū)域,有效降低了漏報(bào)。
2.3.2" 不同場(chǎng)景下的測(cè)試結(jié)果對(duì)比
為了測(cè)試本研究方法在不同場(chǎng)景下的測(cè)試效果,根據(jù)圖片中病害區(qū)域的占比將測(cè)試集劃分為簡(jiǎn)單樣本和復(fù)雜樣本。其中,在簡(jiǎn)單樣本中,目標(biāo)前景占據(jù)整張圖片的比例較大,在復(fù)雜樣本中,目標(biāo)背景占據(jù)整張圖片的比例較大。具體測(cè)試結(jié)果如表3和表4所示。從表中可以看出,在簡(jiǎn)單樣本集中,相比所有對(duì)比方法,本研究方法的優(yōu)勢(shì)不明顯,并且在精準(zhǔn)率、指標(biāo)上差距更小。然而,在復(fù)雜場(chǎng)景數(shù)據(jù)中,所提出方法的優(yōu)勢(shì)較為明顯,在所有指標(biāo)下,相比所有對(duì)比方法均提升了約2.0百分點(diǎn),提升效果顯著。究其原因是復(fù)雜場(chǎng)景下,目標(biāo)作物占整張圖片的比例較小,經(jīng)過主干網(wǎng)絡(luò)下采樣后,小目標(biāo)區(qū)域的信息極易丟失,這也是傳統(tǒng)方法在復(fù)雜場(chǎng)景下取得效果不佳的主要原因;然而,本研究方法采用了特征增強(qiáng)網(wǎng)絡(luò),在主干網(wǎng)絡(luò)提取特征的基礎(chǔ)上,引入了原始特征集,有效緩解了小目標(biāo)特征丟失的問題。
為了直觀展示本研究模型在簡(jiǎn)單場(chǎng)景和復(fù)雜場(chǎng)景下,橘子、蘋果、番茄以及之外的背景原型的可區(qū)分性,利用t-SNE將高維特征進(jìn)行二維可視化,如圖5所示。由圖中可以看出,本研究方法在簡(jiǎn)單場(chǎng)景下區(qū)分性較好,能夠有效區(qū)分3種病害作物以及之外的背景區(qū)域。然而,在復(fù)雜背景中,所提出方法的區(qū)分性仍有待進(jìn)一步提升, 筆者所在課題組
認(rèn)為這是合理的,主要原因是背景區(qū)域占整張圖片的比例較大,經(jīng)過多倍率下采樣后模型極易丟失占據(jù)比例小的病害區(qū)域或?qū)⑵洚?dāng)作背景處理。
2.4" 消融結(jié)果與分析
基于特征重組網(wǎng)絡(luò)的小樣本農(nóng)作物病害葉片檢測(cè)模型主要?jiǎng)?chuàng)新點(diǎn)包括特征增強(qiáng)和原型修訂2個(gè)模塊,為了驗(yàn)證不同模塊對(duì)模型整體檢測(cè)性能的影響,設(shè)計(jì)了以下4組消融試驗(yàn),具體試驗(yàn)結(jié)果如表5所示。
方法1的技術(shù)流程可描述為在特征提取階段,不添加任何特征增強(qiáng)策略,僅將主干網(wǎng)絡(luò)的輸出特征作為下游任務(wù)的特征表示;其次,初始原型集指導(dǎo)的查詢特征標(biāo)簽作為最終的預(yù)測(cè)結(jié)果。
方法2的技術(shù)流程可描述為在特征提取階段采用本研究設(shè)計(jì)的特征增強(qiáng)策略;其次,初始原型集指導(dǎo)的查詢特征標(biāo)簽作為最終的預(yù)測(cè)結(jié)果。
方法3的技術(shù)流程可描述為在特征提取階段,不添加任何特征增強(qiáng)策略,僅將主干網(wǎng)絡(luò)的輸出特征作為下游任務(wù)的特征表示;然后再查詢圖片中病害區(qū)域定位與病害類型分類階段,采用本研究設(shè)計(jì)的原型修訂方法。
方法4的技術(shù)流程可描述為在特征提取階段和原型修訂階段,同時(shí)采用本研究設(shè)計(jì)的增強(qiáng)策略。
從表5中可以看出,方法1提出的基線模型雖然可以實(shí)現(xiàn)部分病害區(qū)域的定位與病害類型的預(yù)測(cè),但預(yù)測(cè)精度和模型的定位能力難以滿足實(shí)際應(yīng)用。其次,僅單一使用本研究設(shè)計(jì)的特征增強(qiáng)或原型修訂模塊可以顯著提升模型的預(yù)測(cè)性能,但綜合性能最佳的產(chǎn)生是同時(shí)使用特征增強(qiáng)和原型修訂模塊,并且使用原型修訂模塊可以顯著提升模型對(duì)病害區(qū)域的定位能力。
為了直觀展示不同模塊的效果,圖6提供了不同變體模型對(duì)相同病害區(qū)域的定位結(jié)果。由圖中可以看出,同時(shí)使用特征增強(qiáng)和原型修訂可以有效增強(qiáng)模型對(duì)病害區(qū)域的定位精度。
3" 結(jié)論
本研究提出了一種基于特征重組網(wǎng)絡(luò)的小樣本農(nóng)作物病害葉片檢測(cè)新方法, 主要緩解了傳統(tǒng)病害葉片檢測(cè)方法的性能過度依賴標(biāo)注數(shù)據(jù)的問題,以及特征提取階段丟失小目標(biāo)信息,造成復(fù)雜場(chǎng)景下病害葉片檢測(cè)性能不佳的問題。在番茄、蘋果和橘子3類病害葉片數(shù)據(jù)集上進(jìn)行了測(cè)試,試驗(yàn)結(jié)果也驗(yàn)證了所設(shè)計(jì)方法的優(yōu)越性,結(jié)果與相關(guān)結(jié)論如下。
(1)所提出方法在簡(jiǎn)單場(chǎng)景和復(fù)雜場(chǎng)景下分別獲得了97.85%、94.36%的精準(zhǔn)率,97.94%、94.25%的召回率,97.90%、95.01%的F1分?jǐn)?shù),以及87.28%、80.68%的FB-IoU;此外,在綜合數(shù)據(jù)集上獲得了97.18%的精準(zhǔn)率、97.31%的召回率、96.90%的F1分?jǐn)?shù)和84.71%的FB-IoU。
(2)在傳統(tǒng)主干網(wǎng)絡(luò)提取特征的基礎(chǔ)上,引入事先分離的目標(biāo)前景和背景特征,可以顯著提升復(fù)雜場(chǎng)景下小目標(biāo)作物病害葉片的檢測(cè)性能。
(3)利用初始預(yù)測(cè)的查詢標(biāo)簽建立反向指導(dǎo)的原型,有助于提升原型集的魯棒性和泛化性,同時(shí)還可以增強(qiáng)模型的可解釋性。
參考文獻(xiàn):
[1]陳" 聰,于" 嘯,宮" 琪. 基于改進(jìn)殘差網(wǎng)絡(luò)的蘋果葉片病害識(shí)別研究[J]. 河南農(nóng)業(yè)科學(xué),2023,52(4):152-161.
[2]Chen J D,Wang W H,Zhang D F,et al. Attention embedded lightweight network for maize disease recognition[J]. Plant Pathology,2021,70(3):630-642.
[3]王煥鑫,沈志豪,劉 "泉,等. 基于改進(jìn)MobileNet v2模型的農(nóng)作物葉片病害識(shí)別研究[J]. 河南農(nóng)業(yè)科學(xué),2023,52(4):143-151.
[4]馬" 麗,周巧黎,趙麗亞,等. 基于深度學(xué)習(xí)的番茄葉片病害分類識(shí)別研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2023,44(7):187-193,206.
[5]羅東升,周子敬,王志偉,等. 改進(jìn)ACGAN數(shù)據(jù)增強(qiáng)的番茄葉片病害識(shí)別[J]. 太原理工大學(xué)學(xué)報(bào),2023,54(5):861-868.
[6]Ahila Priyadharshini R,Arivazhagan S,Arun M,et al. Maize leaf disease classification using deep convolutional neural networks[J]. Neural Computing and Applications,2019,31(12):8887-8895.
[7]左昊軒,黃祺成,楊佳昊,等. 基于改進(jìn)YOLO v5s的作物黃化曲葉病檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2023,54(增刊1):230-238.
[8]陶兆勝,石鑫宇,王" 勇,等. 基于改進(jìn)YOLO v5s的番茄葉片病害檢測(cè)方法[J]. 沈陽(yáng)農(nóng)業(yè)大學(xué)學(xué)報(bào),2023,54(6):712-721.
[9]惠巧娟,孫" 婕. 基于多尺度特征度量元學(xué)習(xí)的玉米葉片病害識(shí)別模型研究[J]. 江蘇農(nóng)業(yè)科學(xué),2023,51(9):199-206.
[10]劉" 敏,周" 麗. 基于多尺度特征融合網(wǎng)絡(luò)的蘋果病害葉片檢測(cè)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2023,44(8):184-190.
[11]邢鵬康,李久朋. 基于小樣本學(xué)習(xí)的馬鈴薯葉片病害檢測(cè)[J]. 江蘇農(nóng)業(yè)科學(xué),2023,51(15):203-210.
[12]黃" 煒,王娟娟,殷學(xué)麗. 基于特征分離的小樣本蘋果病害葉片檢測(cè)[J]. 江蘇農(nóng)業(yè)科學(xué),2023,51(23):195-202.
[13]李" 軍,李志偉,李艷紅. 基于多原型指導(dǎo)的小樣本水稻害蟲識(shí)別與分類[J]. 江蘇農(nóng)業(yè)科學(xué),2023,51(20):193-200.
[14]Jia J F,F(xiàn)eng X,Yu H Q. Few-shot classification via efficient meta-learning with hybrid optimization[J]. Engineering Applications of Artificial Intelligence,2024,127:107296.
[15]馮" 曉,李丹丹,王文君,等. 基于輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的小麥葉部病害圖像識(shí)別[J]." 河南農(nóng)業(yè)科學(xué),2021,50(4):174-180.
[16]Islam M M,Adil M A A,Talukder M A,et al. DeepCrop:deep learning-based crop disease prediction with web application[J]. Journal of Agriculture and Food Research,2023,14:100764.
[17]Yang L,Yu X Y,Zhang S P,et al. GoogLeNet based on residual network and attention mechanism identification of rice leaf diseases[J]. Computers and Electronics in Agriculture,2023,204:107543.
[18]孫開偉,劉" 虎,冉" 雪,等. 基于多尺度原型分層匹配的小樣本分割方法[J]. 計(jì)算機(jī)科學(xué),2023,50(增刊1):220300275.
[19]王林柏,張" 博,姚競(jìng)發(fā),等. 基于卷積神經(jīng)網(wǎng)絡(luò)馬鈴薯葉片病害識(shí)別和病斑檢測(cè)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2021,42(11):122-129.
[20]Uskaner Hepsagˇ P. Efficient plant disease identification using few-shot learning:a transfer learning approach[J]. Multimedia Tools and Applications,2024,83(20):58293-58308.