中圖分類(lèi)號(hào):S436.612:S126 文獻(xiàn)標(biāo)識(shí)號(hào):A 文章編號(hào):1001-4942(2025)06-0138-11
AbstractThe accurate grading of pear leaf diseases is of great significance to effective disease control and improvement of pear fruit yield and quality. Based on pear black spot disease,brown spot disease,gray spot disease and healthy leaves,this study proposed a lightweight image segmentation model for pear leaf diseases called MECB-DeepLabV3+. Firstly,the transfer learning method was used to compare and analyze the U-Net,PSPNet and DeepLabV3+ networks,and the DeepLabV3+ with the best comprehensive performance was selected as the basic network model.Secondly,to addressthe issues of large parameter size and high computational complexity in DeepLabV3+,MobileNetV3 was chosen as the backbone network to achieve model lightweighting.Finally,to overcome the shortcomings of DeepLabV3+ in recognizing fine lesions and boundary segmentation,efficient chanel attention (ECA),coordinate attention(CA),and bottleneck attention module (BAM) were introduced. Additionally,the Ranger21 optimizer and a composite loss function were used to optimize model training.The experimental results showed that the mean intersection over union and mean pixel accuracy of the proposed model reached 91.22% and 95.01% ,respectively,representing an improvement of 2.91 and 2.14 percentage points compared to the basic network. The parameter size of the proposed model was only 4.221 M. By using the proportion of disease spot area for disease grading,the overall average accuracy reached 95.02% ,enabling effective disease grading,which could provide the scientific reference for controlling pear leaf diseases.
KeywordsPear leaf diseases ; Disease grading; Deep learning; Semantic segmentation; Transfer learning
梨樹(shù)是我國(guó)重要的經(jīng)濟(jì)果樹(shù)之一,栽培歷史悠久,河北、新疆、河南、遼寧、安徽和等省份廣泛種植。作為梨生產(chǎn)大國(guó),2021年我國(guó)的梨產(chǎn)量達(dá)到1887.59萬(wàn)t,出口量達(dá)到51萬(wàn) t[1] 。然而,受氣候變化、生長(zhǎng)環(huán)境和人為管理等多重因素的影響,梨樹(shù)葉片病害頻發(fā),對(duì)果實(shí)產(chǎn)量和質(zhì)量造成嚴(yán)重影響。實(shí)現(xiàn)病害的自動(dòng)、高效且準(zhǔn)確分級(jí)對(duì)于梨樹(shù)葉片病害的早期發(fā)現(xiàn)與防治至關(guān)重要,有助于提升果實(shí)產(chǎn)量和質(zhì)量,減少農(nóng)藥使用,提高果農(nóng)收人,推動(dòng)梨樹(shù)產(chǎn)業(yè)健康持續(xù)發(fā)展
基于深度學(xué)習(xí)的語(yǔ)義分割技術(shù)能夠?qū)崿F(xiàn)像素級(jí)別的精細(xì)分類(lèi),從而準(zhǔn)確分割出梨樹(shù)葉片上的病斑區(qū)域和健康區(qū)域,繼而通過(guò)計(jì)算病斑區(qū)域占整個(gè)葉片面積的比例量化病害的嚴(yán)重程度,再結(jié)合預(yù)定義的分級(jí)表,可以實(shí)現(xiàn)病害的精準(zhǔn)分級(jí)。劉永波等2提出了一種玉米葉部病害程度分級(jí)方法,通過(guò)將葉片和病斑分開(kāi)標(biāo)注,分別采用兩個(gè) 模型對(duì)葉部病害圖像進(jìn)行分割,成功分割出整個(gè)葉片和病斑,取得了較高的準(zhǔn)確率和較快的分級(jí)速度。Divyanth等[3]針對(duì)玉米病害識(shí)別與嚴(yán)重程度估計(jì)問(wèn)題,提出了一種兩階段語(yǔ)義分割方法(第一階段從復(fù)雜背景中提取出葉片,第二階段從提取的葉片中提取出病斑),分別使用U-Net和DeepLab V3+ 進(jìn)行訓(xùn)練,實(shí)驗(yàn)結(jié)果表明該兩階段集成模型效果更好。然而,這種分開(kāi)標(biāo)注和訓(xùn)練的方式增加了標(biāo)注和模型的復(fù)雜度,因此部分研究者嘗試采用一次性標(biāo)注的方法和單一模型進(jìn)行識(shí)別。李凱雨等[4]提出一種基于改進(jìn)U-Net模型的黃瓜葉片病害嚴(yán)重程度評(píng)價(jià)方法,該方法通過(guò)一次性完成標(biāo)注并使用單一模型,在實(shí)驗(yàn)中取得較好的分割性能。鄧朝等[5]采用PlantVil-lage公共數(shù)據(jù)集對(duì)馬鈴薯葉片晚疫病進(jìn)行量化評(píng)價(jià),使用MaskR-CNN算法一次性標(biāo)注并識(shí)別分割,同樣取得較高的精度。然而上述模型參數(shù)量較大、計(jì)算較為復(fù)雜,難以在資源受限環(huán)境中或需要快速響應(yīng)的系統(tǒng)上部署。Cai等[為了水稻病害的準(zhǔn)確分割,提出一種輕量化的Deeplab ?V3+ 網(wǎng)絡(luò)方法,通過(guò)替換骨干網(wǎng)絡(luò)為MobileNetV2,在保持分割精度的同時(shí),大大減少了模型中執(zhí)行的計(jì)算量,提高了計(jì)算速度。
目前基于深度學(xué)習(xí)的病害研究主要集中在病害的分類(lèi)識(shí)別上,病害分級(jí)研究較少,且大多研究中使用的模型存在參數(shù)量較大、計(jì)算復(fù)雜度較高以及對(duì)細(xì)小病斑識(shí)別和邊界分割不足等問(wèn)題。針對(duì)以上問(wèn)題,本研究采用MobileNetV3作為骨干網(wǎng)絡(luò),引入高效通道注意力、坐標(biāo)注意力和瓶頸注意力模塊,并使用Ranger21優(yōu)化器和復(fù)合損失函數(shù)優(yōu)化模型訓(xùn)練,構(gòu)建了一種輕量級(jí)梨樹(shù)葉片病害圖像分割模型MECB-DeepLab V3+ 。該模型能在提升精度的同時(shí),顯著減少對(duì)計(jì)算資源的需求,同時(shí)利用模型的分割結(jié)果和分級(jí)表,實(shí)現(xiàn)病害的有效分級(jí)。這對(duì)病害早期防治、果實(shí)品質(zhì)提升、農(nóng)藥減量和農(nóng)民增收具有重要意義。
數(shù)據(jù)集及模型構(gòu)建
1.1 數(shù)據(jù)集構(gòu)建
1.1.1數(shù)據(jù)采集 葉片采集自省果樹(shù)研究所天平湖試驗(yàn)示范基地梨示范園,于2023年6月至8月間在不同時(shí)間段內(nèi)少量多次進(jìn)行采集。葉片圖像采集時(shí)以白色A4紙為背景,使用華為P30手機(jī)拍攝,所獲得的圖像以 3456×4608 分辨率、JPG格式及24位色深保存。共采集圖像4285張,包括黑斑病葉片圖像1073張、褐斑病葉片圖像1088張、灰斑病葉片圖像1049張、健康葉片圖像1075張。各類(lèi)圖像示例見(jiàn)圖1。
1.1.2數(shù)據(jù)預(yù)處理 為提高模型訓(xùn)練效率,統(tǒng)一將圖像尺寸調(diào)整為 960×1280 像素。使用La-belMe 和 Segment AnythingModel(SAM)[7]相結(jié)合的方法進(jìn)行數(shù)據(jù)標(biāo)注。為了解決病斑的標(biāo)注覆蓋丟失問(wèn)題,對(duì)生成的JSON文件的鍵值順序進(jìn)行調(diào)整,確保健康葉分類(lèi)始終位于首位。標(biāo)注方法和生成的標(biāo)簽結(jié)果如圖2所示。
按照 7:2:1 的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。為了增加數(shù)據(jù)的多樣性和提高模型的泛化能力,在模型訓(xùn)練過(guò)程中采用在線數(shù)據(jù)增強(qiáng)技術(shù)。以灰斑病為例,具體數(shù)據(jù)增強(qiáng)效果如圖3所示。
1.2 模型性能評(píng)價(jià)指標(biāo)
本研究主要利用像素精度(Pixel Accuracy,PA)平均像素精度(MeanPixelAccuracy,MPA)以及平均交并比(Mean Intersection over Union,MIoU)對(duì)模型性能進(jìn)行評(píng)價(jià)。其中,PA是最基本的評(píng)價(jià)指標(biāo),用于衡量正確分類(lèi)的像素?cái)?shù)占總像素?cái)?shù)的比例;在圖像分割任務(wù)中,MPA是一種對(duì)每個(gè)類(lèi)別的像素分類(lèi)準(zhǔn)確性進(jìn)行細(xì)致評(píng)估的指標(biāo);MIoU是圖像分割領(lǐng)域中一種重要的性能評(píng)估指標(biāo),用于衡量模型在各類(lèi)別上的分割效果,通過(guò)計(jì)算每個(gè)類(lèi)別真實(shí)標(biāo)注區(qū)域與模型預(yù)測(cè)區(qū)域之間交集與并集的比值來(lái)實(shí)現(xiàn)評(píng)估。假設(shè)有 k+1 個(gè)類(lèi)別(包括背景), 代表真實(shí)類(lèi)別為i的像素被預(yù)測(cè)為類(lèi)別j的數(shù)量,
代表真實(shí)類(lèi)別為i的像素被正確預(yù)測(cè)為類(lèi)別i的數(shù)量, pji 代表真實(shí)類(lèi)別為j的像素被預(yù)測(cè)為類(lèi)別i的數(shù)量,則PA、MPA、MIoU的計(jì)算公式如下:
1.3 基礎(chǔ)模型的選取及其輕量化
本研究選用 U-Net[8] (以VGG為骨干網(wǎng)絡(luò))、PSPNet[9(以ResNet50為骨干網(wǎng)絡(luò))DeepLabV3+1°(以Xception為骨干網(wǎng)絡(luò))三種語(yǔ)義分割網(wǎng)絡(luò),基于遷移學(xué)習(xí)方法分別構(gòu)建模型,使用相同數(shù)據(jù)集在相同的環(huán)境下進(jìn)行試驗(yàn),通過(guò)評(píng)估它們?cè)诶鏄?shù)葉片病害圖像分割任務(wù)上的性能,篩選出基礎(chǔ)模型1.3.1試驗(yàn)環(huán)境與參數(shù)配置試驗(yàn)環(huán)境配置如表1所示。參數(shù)配置:本試驗(yàn)輸入網(wǎng)絡(luò)中圖像的批次大小設(shè)置為16,初始學(xué)習(xí)率為0.01,采用余弦退火作為學(xué)習(xí)率調(diào)度策略,優(yōu)化器使用SGD,動(dòng)量設(shè)置為0.9,使用交叉熵?fù)p失函數(shù),訓(xùn)練輪次(Epoch)為1000,每5個(gè)Epoch保存一次權(quán)值,分類(lèi)數(shù)為5。
1.3.2遷移學(xué)習(xí)前后效果對(duì)比遷移學(xué)習(xí)的主要目標(biāo)是將源域(本研究選擇PASCALVOC數(shù)據(jù)集)經(jīng)充分訓(xùn)練學(xué)習(xí)到的知識(shí)遷移到目標(biāo)域,然后基于目標(biāo)任務(wù)進(jìn)行微調(diào),以實(shí)現(xiàn)更優(yōu)的性能。本研究以DeepLab ??3+ 網(wǎng)絡(luò)為例,對(duì)比了使用遷移學(xué)習(xí)前后的MIoU曲線的變化,如圖4所示。可知,DeepLab V3+ 在未使用遷移學(xué)習(xí)的情況下,模型訓(xùn)練過(guò)程中損失值波動(dòng)大,收斂緩慢;而使用遷移學(xué)習(xí)后,模型很快收斂,且MIoU有一定的提升。因此,本研究后續(xù)實(shí)驗(yàn)均使用遷移學(xué)習(xí)方法。
1.3.3 基礎(chǔ)模型篩選 本研究對(duì)比了 U-Net 、PSPNet和DeepLab V3+ 三種模型的整體性能,結(jié)果(表2)顯示,DeepLabV3 + 的MIoU和MPA最高,參數(shù)量和計(jì)算量中等,因此選擇DeepLab V3+ 作為基礎(chǔ)網(wǎng)絡(luò)模型
DeepLabV3+在2018年發(fā)布,其整體架構(gòu)融合了編碼器-解碼器思想以及多尺度上下文信息提取的策略,從而在復(fù)雜場(chǎng)景下實(shí)現(xiàn)了高精度的像素級(jí)分類(lèi)。在編碼器部分,它主要由深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)骨干網(wǎng)絡(luò)和空洞空間金字塔池化(ASPP)模塊組成。DCNN負(fù)責(zé)從輸人圖像中提取特征,通常采用預(yù)訓(xùn)練的Xception模型。AS-PP 模塊則進(jìn)一步處理DCNN的輸出,包含四個(gè)具有不同空洞率的卷積分支和一個(gè)全局平均池化分支,用于捕捉多尺度的上下文信息。解碼器則通過(guò)上采樣和特征融合,融合高層次的語(yǔ)義信息和低層次的細(xì)節(jié)信息。最終,通過(guò)上采樣得到每個(gè)像素的類(lèi)別預(yù)測(cè)結(jié)果。其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。
1.3.4 模型輕量化 DeepLab ??3+ 的原始 Xcep-tion骨干網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜,需要較多的計(jì)算資源和存儲(chǔ)資源,難以在資源受限環(huán)境中或需要快速響應(yīng)的系統(tǒng)上部署。因此,本研究選用Mobile-NetV3[11] 作為其骨干網(wǎng)絡(luò),并使用識(shí)別精度更高的Large版本。MobileNetV3由多個(gè)block堆疊而成,block具體結(jié)構(gòu)如圖6所示。
在僅改變骨干網(wǎng)絡(luò)的情況下,對(duì)DeepLab V3+ 模型性能進(jìn)行對(duì)比試驗(yàn),結(jié)果(表3)顯示,替換骨干網(wǎng)絡(luò)為MobileNetV3后,DeepLab V3+ 模型的參數(shù)量下降了 89.71% ,計(jì)算量下降了 70.61% ,而MIoU和MPA小幅提升。這說(shuō)明MobileNetV3能在維持模型較高分割性能的同時(shí)大幅降低計(jì)算量和參數(shù)量,是一種輕量高效的網(wǎng)絡(luò)。因此,選用MobileNetV3作為DeepLab V3+ 模型的骨干網(wǎng)絡(luò)進(jìn)行后續(xù)實(shí)驗(yàn)。
梨樹(shù)葉片病斑邊緣復(fù)雜且細(xì)小,為了提高對(duì)細(xì)小病斑的特征提取和邊緣處理能力,本研究以上述篩選出的輕量化DeepLabV3+模型為基礎(chǔ)模型,通過(guò)一系列改進(jìn),構(gòu)建了MECB-DeepLabV3+梨樹(shù)葉片病害分割模型,其網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。具體改進(jìn)措施如下。
1.4.1 使用Ranger21優(yōu)化器進(jìn)一步優(yōu)化 Deep-Lab V3+ 模型性能Ranger21[12]是2021年推出的一種新型優(yōu)化器,它結(jié)合了Adam的核心思想與多種先進(jìn)優(yōu)化策略。Ranger21繼承了Adam自適應(yīng)學(xué)習(xí)率的特性,并通過(guò)融人自適應(yīng)梯度裁剪[13]、梯度中心化[14]和正負(fù)動(dòng)量[15]等技術(shù)來(lái)增強(qiáng)穩(wěn)定性和優(yōu)化效率。此外,Ranger21還整合了范數(shù)正則化損失[16]、穩(wěn)定的權(quán)重衰減[17]、線性學(xué)習(xí)率預(yù)熱[18]以及探索-利用學(xué)習(xí)率調(diào)度策略[19]等技術(shù),以進(jìn)一步提升模型性能和訓(xùn)練速度。相較于其他優(yōu)化器,Ranger21能夠顯著提高模型準(zhǔn)確性、加快訓(xùn)練速度,并生成更平滑的訓(xùn)練曲線[20] C
1.4.2 改用復(fù)合損失函數(shù)緩解數(shù)據(jù)類(lèi)別不均衡問(wèn)題 交叉熵(CrossEntropy,CE)損失函數(shù)是分類(lèi)問(wèn)題中常用的損失函數(shù)之一。對(duì)于多分類(lèi)問(wèn)題,其公式如式(4)所示:
其中, ΔN 是樣本的總數(shù);C是類(lèi)別的總數(shù); yij 表示第i個(gè)樣本是否屬于第j類(lèi),是一個(gè)指示變量(也稱(chēng)為獨(dú)熱編碼),如果第i個(gè)樣本屬于第j類(lèi),則yij=1,否則yij=0;pij是模型預(yù)測(cè)的第i個(gè)樣本屬于第j類(lèi)的概率。
盡管CE損失函數(shù)在分類(lèi)任務(wù)中表現(xiàn)良好,但由于它對(duì)所有類(lèi)別賦予相同的權(quán)重,在類(lèi)別不均衡的情況下可能效果不佳。而在梨葉病害數(shù)據(jù)集中,病斑像素遠(yuǎn)少于背景和健康葉像素,存在明顯的類(lèi)別不平衡問(wèn)題。為此,本研究引人Dice損失函數(shù)作為輔助。Dice損失函數(shù)主要用于圖像分割任務(wù),并特別關(guān)注前景區(qū)域的準(zhǔn)確分割。其公式如式(5)所示:
其中, pi 為模型對(duì)i的預(yù)測(cè)值; ti 為對(duì)應(yīng)的真實(shí)標(biāo)簽; ε 為很小的常數(shù),防止分母為0。
為了充分利用CE和Dice損失函數(shù)在分類(lèi)和分割任務(wù)中的優(yōu)勢(shì),本研究使用復(fù)合損失函數(shù)該函數(shù)結(jié)合了兩者的優(yōu)點(diǎn),既關(guān)注整體分類(lèi)準(zhǔn)確性又特別關(guān)注占比較少的病害類(lèi)別的識(shí)別[21],從而有助于緩解類(lèi)別不均衡問(wèn)題并提高模型穩(wěn)定性。復(fù)合損失函數(shù)公式如式(6)所示:
Lloss=LcE+LDice
1.4.3引入高效通道注意力模塊替換骨干網(wǎng)絡(luò)中的SE模塊,以增強(qiáng)通道信息表達(dá)能力在Mo-bileNetV3的原始設(shè)計(jì)中,SE模塊被用以增強(qiáng)模型的特征表達(dá)能力。然而,SE模塊的復(fù)雜性和計(jì)算開(kāi)銷(xiāo)相對(duì)較高,因此本研究將其替換為高效通道注意力(EfficientChannel Attention,ECA)模塊,以提高模型的通道信息表達(dá)能力,進(jìn)而增強(qiáng)模型對(duì)病害區(qū)域特征的敏感度。ECA模塊結(jié)構(gòu)如圖8所示。
ECA模塊是一種輕量級(jí)且高效的通道注意力機(jī)制,通過(guò)捕捉通道間的依賴(lài)關(guān)系來(lái)提升模型的特征表示能力[22]。該模塊首先利用全局平均池化將特征圖的空間信息壓縮,生成通道描述符。隨后采用一維卷積(其核大小根據(jù)通道數(shù)自適應(yīng)確定)處理這些通道描述符,以捕獲不同范圍的通道間依賴(lài)關(guān)系。應(yīng)用Sigmoid激活函數(shù)對(duì)輸出進(jìn)行歸一化處理,得到一組能夠準(zhǔn)確反映通道重要性的權(quán)重系數(shù)。最后,這些權(quán)重通過(guò)簡(jiǎn)單的標(biāo)量乘法應(yīng)用于原始特征圖的對(duì)應(yīng)通道上,實(shí)現(xiàn)特征重標(biāo)定。
1.4.4在解碼器中引入坐標(biāo)注意力模塊,以提升位置信息提取能力 病斑的紋理、形狀特征往往較為復(fù)雜,為了更好地捕獲葉片的位置信息和細(xì)微特征變化,本研究在DeepLab ?V3+ 的解碼器部分引人坐標(biāo)注意力(CoordinateAttention,CA)機(jī) 塊結(jié)構(gòu)如圖9所示。制[23],以提高模型的位置信息提取能力。CA模
該模塊首先通過(guò)全局平均池化沿特征圖的高度和寬度兩個(gè)方向捕捉全局上下文信息,接著經(jīng)過(guò)一個(gè)特征變換模塊(包含卷積、歸一化和激活函數(shù))對(duì)這些特征進(jìn)行整合和優(yōu)化;隨后,優(yōu)化特征被分解為兩部分,分別生成高度和寬度的注意力權(quán)重,通過(guò)卷積層和Sigmoid激活函數(shù)處理,形成高度和寬度注意力圖。最終,這些注意力圖與原始特征相乘,實(shí)現(xiàn)特征重加權(quán)。
1.4.5在ASPP模塊中融入瓶頸注意力模塊,以提升空間感知能力在DeepLab ,V3+ 中,ASPP 模塊是一個(gè)用于捕獲多尺度上下文信息的關(guān)鍵組件。然而,ASPP模塊使用多種空洞率的空洞卷積,會(huì)造成部分空間連續(xù)性信息丟失,從而使得圖像中的細(xì)小病斑和邊界難以被識(shí)別。為了改進(jìn)這一問(wèn)題,本研究選擇在ASPP模塊五個(gè)分支中的ReLU激活函數(shù)后均添加瓶頸注意力模塊(Bottle-neckAttentionModule,BAM),增強(qiáng)模型對(duì)空間信息的關(guān)注度,從而能夠捕捉到更精細(xì)的病斑邊緣信息。
BAM是一種高效且輕量級(jí)的注意力機(jī)制,它通過(guò)結(jié)合通道注意力和空間注意力來(lái)增強(qiáng)特征表示,能夠增強(qiáng)網(wǎng)絡(luò)對(duì)特征通道和空間信息的敏感性,從而提升網(wǎng)絡(luò)的特征表示能力和性能[24]。在通道注意力方面,BAM通過(guò)計(jì)算不同通道的權(quán)重來(lái)強(qiáng)調(diào)關(guān)鍵特征的重要性。在空間注意力方面,該模塊通過(guò)為特征圖中不同空間位置分配相應(yīng)的權(quán)重來(lái)突出顯著的空間特征。BAM的網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。
2 結(jié)果與分析
2.1 試驗(yàn)環(huán)境調(diào)整
在上述實(shí)驗(yàn)基礎(chǔ)上,基于遷移學(xué)習(xí)的有效性,將Epoch優(yōu)化調(diào)整為200,其他試驗(yàn)環(huán)境均與1.3.1保持一致。
2.2 Ranger21優(yōu)化器的使用效果分析
為明確使用Ranger21優(yōu)化器對(duì)模型性能的提升效果,選用SGD優(yōu)化器與其進(jìn)行對(duì)比實(shí)驗(yàn),在用MobileNetV3作為骨干網(wǎng)絡(luò)的DeepLab V3+ 網(wǎng)絡(luò)上進(jìn)行訓(xùn)練,其訓(xùn)練過(guò)程中的損失曲線變化情況如圖11所示??梢?jiàn),與SGD優(yōu)化器相比,Ranger21優(yōu)化器在模型訓(xùn)練過(guò)程中表現(xiàn)出更快的收斂速度和更低的損失值。因此,本研究選用Ranger21優(yōu)化器進(jìn)行后續(xù)的模型訓(xùn)練。
2.3 復(fù)合損失函數(shù)的使用效果分析
本研究使用的梨樹(shù)葉片病害數(shù)據(jù)集標(biāo)注的各分類(lèi)像素點(diǎn)數(shù)量如表4所示,可以看出,數(shù)據(jù)集存在明顯的類(lèi)別不均衡問(wèn)題,背景和健康葉的像素?cái)?shù)占據(jù)了絕大多數(shù),而褐斑病、黑斑病和灰斑病的像素?cái)?shù)相對(duì)較少。這種類(lèi)別不均衡可能會(huì)導(dǎo)致模型在訓(xùn)練過(guò)程中過(guò)于關(guān)注占比較多的類(lèi)別,而忽視對(duì)占比較少病害類(lèi)別的識(shí)別,因此本研究使用復(fù)合損失函數(shù)來(lái)解決這一問(wèn)題。使用Ranger21優(yōu)化器訓(xùn)練后的模型作為基礎(chǔ)模型,在僅改變損失函數(shù)的情況下進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果(表5)顯示,與使用CE損失函數(shù)的模型相比,使用復(fù)合損失函數(shù)訓(xùn)練的模型MIoU和MPA分別提升了0.56、0.40個(gè)百分點(diǎn),證明了復(fù)合損失函數(shù)在處理數(shù)據(jù)集不均衡時(shí)的有效性。
2.4 引入不同注意力模塊的消融實(shí)驗(yàn)
將使用上述復(fù)合損失函數(shù)訓(xùn)練后的網(wǎng)絡(luò)模型作為基準(zhǔn)模型,稱(chēng)為A,將引入ECA模塊、CA模塊、BAM分別稱(chēng)為 B,C,D ,消融實(shí)驗(yàn)結(jié)果(表6)顯示,引入各模塊均在不同程度上提升了模型的性能。使用ECA模塊替換MobileNetV3中的SE模塊后 (A+B) ,與A相比,參數(shù)量略有下降,MI-oU、MPA分別提高0.35、0.31個(gè)百分點(diǎn),體現(xiàn)了ECA模塊的高效性。進(jìn)一步在解碼器中添加CA模塊后 ( A+B+C) ,與 A+B 相比,參數(shù)量不變,計(jì)算量略增,與A相當(dāng),性能有所提升,MIoU、MPA分別提高0.42、0.31個(gè)百分點(diǎn)。而在 A+B 基礎(chǔ)上再在ASPP模塊中融入BAM后 (A+B+D), ,模型性能提升明顯,與 A+B 相比MIoU、MPA分別提高0.95、0.99個(gè)百分點(diǎn),參數(shù)量和計(jì)算量變化較小。最終,將所有模塊組合后( A+B+C+D ),模型性能最優(yōu),MIoU達(dá)到 91.22% ,MPA達(dá)到 95.01% ,明顯優(yōu)于其他模型,因此選此模型作為梨樹(shù)葉片病害分級(jí)使用的模型,命名為MECB-DeepLab V3+ 。
2.5 模型改進(jìn)前后的性能對(duì)比
通過(guò)與原始DeepLab V3+ 進(jìn)行對(duì)比,結(jié)果(表7)顯示,本研究提出的MECB-DeepLab ?V3+ 模型MIoU提升2.91個(gè)百分點(diǎn),MPA提升2.14個(gè)百分點(diǎn),參數(shù)量減少 92.28% ,計(jì)算量減少 70.56% ,平均每張圖像的分割時(shí)間降低 57.14% 。可見(jiàn),改進(jìn)后的模型在提高性能的同時(shí)大幅降低了參數(shù)量和計(jì)算量,提高了分割速度。
為了更細(xì)致地分析模型性能,對(duì)比分析了模型改進(jìn)前后對(duì)不同類(lèi)別梨樹(shù)葉片的分類(lèi)性能指標(biāo),結(jié)果(表8)顯示,相比于原始DeepLabV3+,MECB-DeepLab ?V3+ 模型在灰斑病上的IoU和PA上分別提高4.51、3.67個(gè)百分點(diǎn),在黑斑病上分別提高6.09、3.72個(gè)百分點(diǎn),在褐斑病上分別提高3.59、3.01個(gè)百分點(diǎn),在健康葉上分別提升0.36、0.28個(gè)百分點(diǎn)。
模型改進(jìn)前后對(duì)梨樹(shù)葉片病斑分割的可視化結(jié)果如圖12所示,可以看出,MECB-DeepLabV3+能夠更精準(zhǔn)地分割出更多小病斑,病斑邊緣更加清晰,分割的病斑更加完整。
2.6 MECB-DeepLab ??3+ 模型對(duì)梨樹(shù)葉片病害的分級(jí)效果驗(yàn)證
目前針對(duì)梨樹(shù)葉片病害的分級(jí)還沒(méi)有統(tǒng)一的標(biāo)準(zhǔn),本研究參考曹玉芬等[25]提供的標(biāo)準(zhǔn),按照病斑占整個(gè)葉片的像素比例進(jìn)行病害等級(jí)劃分,具體劃分標(biāo)準(zhǔn)如表9所示
使用測(cè)試集中321張梨樹(shù)葉片病害圖像驗(yàn)證MECB-DeepLabV3+模型對(duì)梨樹(shù)葉片病害的分級(jí)效果。將模型預(yù)測(cè)的病害分級(jí)結(jié)果與人工標(biāo)注的病害分級(jí)結(jié)果進(jìn)行比較,結(jié)果(表10)顯示,MECB-DeepLab ??3+ 模型對(duì)各級(jí)梨樹(shù)葉片病害的分類(lèi)準(zhǔn)確率均較高,整體平均分級(jí)準(zhǔn)確率達(dá)到 95.02% ,表明本研究提出的模型在梨樹(shù)葉片病害分級(jí)任務(wù)上具有較高精度,可以為實(shí)際生產(chǎn)中梨樹(shù)葉片病害分級(jí)提供指導(dǎo)。
3 結(jié)論
本研究針對(duì)DeepLab V3+ 參數(shù)量較大、計(jì)算復(fù)雜度較高以及在細(xì)小病斑識(shí)別和邊界分割上的不足,構(gòu)建了輕量級(jí)MECB-DeepLab ??3+ 梨樹(shù)葉片病害圖像分割模型。首先,使用輕量級(jí)網(wǎng)絡(luò)MobileNetV3作為骨干網(wǎng)絡(luò),實(shí)現(xiàn)模型輕量化,再將其中的SE模塊替換為ECA模塊,以提升模型的通道信息表達(dá)能力;隨后,在解碼器中引人CA模塊,以提升模型的位置信息提取能力;最后,在ASPP模塊中融入BAM,以提升模型的空間感知能力。此外,為了進(jìn)一步優(yōu)化模型性能,選用Ranger21優(yōu)化器和復(fù)合損失函數(shù)進(jìn)行模型訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,MECB-DeepLab V3+ 的 MIoU和MPA分別達(dá)到 91.22% 和 95.01% ,與原始 DeepLab?3+ 網(wǎng)絡(luò)相比,分別提升2.91、2.14個(gè)百分點(diǎn),參數(shù)量減少 92.28% ,計(jì)算量減少 70.56% ,平均每張圖像分割時(shí)間由 56ms 降至 24ms ;病害分級(jí)整體平均準(zhǔn)確率達(dá)到 95.02% ,實(shí)現(xiàn)了病害的準(zhǔn)確分級(jí)。后續(xù)將補(bǔ)充復(fù)雜背景下的數(shù)據(jù)集,并增加病害種類(lèi),以實(shí)現(xiàn)梨樹(shù)葉片病害的全面評(píng)估。
參考文獻(xiàn):
[1]沙雨晨,耿獻(xiàn)輝.我國(guó)梨生產(chǎn)布局演變預(yù)測(cè)分析[J].中國(guó)果樹(shù),2023(9):79-85.
on corn tield imagery L J」. Smart Agrcultural Technology, 2023,3:100108.
[4]李凱雨,朱昕怡,馬浚誠(chéng),等.基于混合擴(kuò)張卷積和注意力 的黃瓜病害嚴(yán)重度估算方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2023,54 (2) :231-239.
[5]鄧朝,紀(jì)苗苗,任永泰.基于 Mask R-CNN 的馬鈴薯葉片晚 疫病量化評(píng)價(jià)[J].揚(yáng)州大學(xué)學(xué)報(bào)(農(nóng)業(yè)與生命科學(xué)版), 2022,43(1) :135-142.
[6]Cai M D,Yi X M,Wang G Y,et al. Image segmentation method for sweetgum leaf spots based on an improved DeeplabV3 + network[J]. Forests,2022,13(12) :2095.
[7]Kirillov A,Mintun E,Ravi N,et al. Segment anything[C]// 2023 IEEE/CVF International Conference on Computer Vision (ICCV),Paris,F(xiàn)rance. IEEE,2023:3992-4003.
[8]Ronneberger O,F(xiàn)ischer P,Brox T. U-Net: convolutional networks for biomedical image segmentation [C]//Navab N, Hornegger J,Wells W,et al. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science,vol 9351. Cham.: Springer,2015:234-241.
[9]Zhao H S,Shi JP,Qi X J,et al. Pyramid scene parsing network [C]//Proceedings of 2017 IEEE Conference Computer Vision and Pattern Recognition (CVPR). IEEE,2017:6230-6239.
[10] Chen L C,Zhu Y,Papandreou G,et al. Encoder-decoder with atrous separable convolution for semantic image segmentation [C]//Ferrari V,Hebert M,Sminchisescu C,et al. Computer Vision-ECCV 2018. ECCV 2018.Lecture Notes in Computer Science,vol 11211. Cham:Springer,2018:833-851.
[11]Howard A,Sandler M,ChenB,et al. Searching for MobileNetV3 [C]//2019 IEEE/CVF International Conference on Computer Vision(ICCV),Seoul,Korea(South).IEEE,2019:1314- 1324.
[12]Wright L,Demeure N. Ranger21: a synergistic deep learning optimizer[J/OL].arXiv:2106.13731[cs.LG].2021.https://doi.org/10.48550/arXiv.2106.13731.
[13]Brock A,De S,Smith S L,et al.High-performance large-scale image recognition without normalization[J/OL]. arXiv:2102. 0617[cs.CV],2021. https://doi.org/10.48550/arXiv.2102. 06171.
[14]Yong H W,Huang JQ,Hua X S,et al. Gradient centralization : a new optimization technique for deep neural networks[C]// Vedaldi A,Bischof H,Brox T,et al.Computer Vission-ECCV2020.ECCV 2020. Lecture Notes in Computer Science,vol 12346. Cham.:Springer,2020:635-652.
[15] Xie Z K,Yuan L,Zhu Z X,et al. Positive-negative momentum: manipulating stochastic gradient noise to improve generalization [J/OL].arXiv: 2103.17182[cs.LG],2021. https://doi.org/ 10.48550/arXiv.2103.17182.
[16]Georgiou T,Schmitt S,B?ck T,et al. Norm Loss:an efficient yet effective regularization method for deep neural networks [C].2020 25th International Conference on Pattern Recognition(ICPR),Milan,Italy.IEEE,2021:8812-8818.
[17]Xie ZK,Xu ZQ,Zhang JZ,et al.On the overlooked pitfalls of weight decay and how to mitigate them:a gradient-norm perspective[J/OL].arXiv:2011.11152[cs.LG],2020.https:// doi.org/10.48550/arXiv.2011.11152.
[18]Ma J,Yarats D. On the adequacy of untuned warmup for adaptiveoptimization[J/OL].arXiv:1910.04209[cs.LG],2021. https://doi.org/10.48550/arXiv.1910.04209.
[19]IyerN,ThejasV,KwatraN,etal.Wide-minimadensityhypothesis and the explore-exploit learning rate schedule[J/OL]. arXiv:2003.03977[cs.LG],2020. https://doi.org/10.48550/ arXiv.2003.03977.
[20]常禧龍,梁琨,李文濤.深度學(xué)習(xí)優(yōu)化器進(jìn)展綜述[J].計(jì)算 機(jī)工程與應(yīng)用,2024,60(7):1-12.
[21]顧文娟,魏金,陰艷超,等.基于改進(jìn)DeepLabv3 + 的番茄圖 像多類(lèi)別分割方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2023,54(12):261- 271.
[22]Wang QL,Wu BG,Zhu PF,et al. ECA-Net:efficient channel attention for deep convolutional neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),Seattle,WA,USA.IEEE,2020:11531- 11539.
[23]Hou QB,ZhouDQ,F(xiàn)eng JS.Coordinate attention for efficient mobile network design[C]//2021 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition(CVPR),Nashville, TN,USA.IEEE,2021:13708-13717.
[24]ParkJ,WooS,LeeJY,etal.BAM:bottleneckattentionmodule[J/OL]. arXiv: 1807.06514[cs.CV],2018. https://doi. org/10.48550/arXiv.1807.06514.
[25]曹玉芬,劉鳳之,胡紅菊,等.梨種質(zhì)資源描述規(guī)范和數(shù)據(jù) 標(biāo)準(zhǔn)[M].北京:中國(guó)農(nóng)業(yè)出版社,2006:85.