基于語義分割的復(fù)雜背景下黃瓜葉部病害嚴(yán)重程度分級研究

杜鵬飛　黃媛　高欣娜　武猛　杜亞茹　楊英茹

摘要：為滿足實際種植環(huán)境下對病害葉片精準(zhǔn)用藥的需求，以設(shè)施環(huán)境復(fù)雜背景圖像為研究對象，提出基于語義分割的復(fù)雜背景下黃瓜葉部病害分級方法。首先，使用Labelme標(biāo)注軟件對圖像葉片和病斑進行標(biāo)注，并對部分病害葉片進行圖像增強以豐富數(shù)據(jù)集；然后，改進U-Net網(wǎng)絡(luò)結(jié)構(gòu)并構(gòu)建基于深度學(xué)習(xí)的復(fù)雜背景下黃瓜葉片病害分割兩階段架構(gòu)，對復(fù)雜背景下的黃瓜葉片、病斑進行分割；最后，提出黃瓜霜霉病、炭疽病病害嚴(yán)重程度分級模型D-MUNet，對病害等級進行劃分。改進后的U-Net模型像素精度、平均交并比和Dice系數(shù)分別為90.48%、92.46%、0.645 7，較原始模型提升2.36%、2.34%和0.023 8。黃瓜霜霉病、炭疽病病害分級準(zhǔn)確率分別達到92.11%和89.17%。基于語義分割的復(fù)雜背景下黃瓜葉部病害嚴(yán)重程度分級方法，能夠?qū)S瓜病害實現(xiàn)有效地分割、分級，為病害的精準(zhǔn)防治提供技術(shù)支撐。

關(guān)鍵詞：黃瓜病害；復(fù)雜背景；語義分割；兩階段框架；病害嚴(yán)重程度分級

中圖分類號：TP391.4： S436.421文獻標(biāo)識碼：A文章編號：20955553 （2023） 11013810

Research on cucumber leaf disease severity classification in complex background

based on semantic segmentation

Du Pengfei Huang Yuan Gao Xinna Wu Meng Du Yaru Yang Yingru

（1. Shijiazhuang Academy of Agricultural and Forestry Sciences， Shijiazhuang， 050041， China；

2. Shijiazhuang Agricultural Informational Engineering Technology Innovation Center， Shijiazhuang， 050041， China；

3. Hebei Urban Agricultural Technology Innovation Center， Shijiazhuang， 050041， China）

Abstract：In order to meet the demand for precise medication of diseased leaves in the actual planting environment， a complex background image of facility environment was taken as the research object， and a classification method of cucumber leaf disease under complex background based on semantic segmentation was proposed. First， Labelme labeling software was used to label the image leaves and disease spots， and image enhancement was performed on some diseased leaves to enrich the dataset; then， the U-Net network structure was improved and a deep learning-based cucumber leaf disease segmentation under complex background was constructed. A two-stage architecture is used to segment cucumber leaves and disease spots under complex backgrounds. Finally， the disease severity classification model D-MUNet of cucumber downy mildew and anthracnose is proposed to classify the disease levels. The pixel accuracy， average intersection ratio and Dice coefficient of the improved U-Net model are 90.48%， 92.46%， and 0.645 7， respectively， which are 2.36%， 2.34%， and 0.023 8 higher than the original model. The classification accuracy of cucumber downy mildew and anthracnose reaches 92.11% and 89.17%， respectively. The classification method of cucumber leaf disease severity based on semantic segmentation can achieve effective segmentation and classification of cucumber disease， and provide technical support for accurate disease prevention and control.

Keywords：cucumber disease; complex background; semantic segmentation; two-stage framework; disease severity classification

0引言

黃瓜廣泛種植于全世界各地，并且種植面積和產(chǎn)量呈現(xiàn)穩(wěn)步增長態(tài)勢。但是病害始終是威脅黃瓜產(chǎn)量的重要因素之一，如不及時防治將會導(dǎo)致黃瓜大規(guī)模降質(zhì)減產(chǎn)，使種植者遭受重大損失。快速、準(zhǔn)確地對病害進行分割并判斷病害嚴(yán)重程度對于病害的及時防治和指導(dǎo)用藥量至關(guān)重要［12］，對綠色農(nóng)業(yè)、精準(zhǔn)農(nóng)業(yè)的實現(xiàn)同樣具有重要意義。Sammany等［34］使用GA遺傳算法對神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)進行優(yōu)化處理，之后使用粗糙集屬性約簡對輸入特征向量進行優(yōu)化，將冗余屬性剔除，提高分類的精度與速度。Sabrol等［5］對番茄5種病害的顏色、形狀和紋理特征進行提取，并使用分類樹的方法對病害進行分類，準(zhǔn)確率達到了97.3%。近些年來，計算機視覺和深度學(xué)習(xí)的發(fā)展促進了病害自動識別技術(shù)的實現(xiàn)，Mohanty等［6］使用AlexNet和GoogleNet對PlantVillage中14類植物的25種病害共54 306幅病害圖像進行分類，最終取得了99.18%的準(zhǔn)確率。Zhang等［7］使用EfficientNet對復(fù)雜背景下的黃瓜霜霉病、白粉病以及健康葉片進行分類，分類準(zhǔn)確率達到97%。Li等［8］針對番茄和茄子的4種病害，使用SE-Inception結(jié)構(gòu)和多尺度特征提取模塊對病害進行分類，準(zhǔn)確率達到98.29%。Too等［9］使用DenseNet模型對PlantVillage中簡單背景下14類植物的38種不同類別病害進行分類，取得了99.75%的準(zhǔn)確率。

隨著U-Net等語義分割網(wǎng)絡(luò)的出現(xiàn)，基于深度學(xué)習(xí)的圖像分割方法逐漸成為一個新的發(fā)展方向。U-Net作為較早的語義分割網(wǎng)絡(luò)，早在醫(yī)學(xué)領(lǐng)域應(yīng)用較為成熟。Zhang等［10］將U-Net網(wǎng)絡(luò)中的原始卷積替換為可變形卷積，并對不同大小的鐮狀細(xì)胞進行分割，提升了網(wǎng)絡(luò)的魯棒性，取得了較好的分割效果。Yang等［11］提出一種基于深度學(xué)習(xí)的CT圖像分割算法，通過改進U-Net模型并加入注意力機制提高了分割精度，Dice系數(shù)達到0.959 4。近些年，U-Net等語義分割網(wǎng)絡(luò)逐漸與農(nóng)業(yè)相結(jié)合。Ngugi等［12］通過對編碼器階段進行改進，提出基于多尺度特征提取的U-Net模型，對復(fù)雜背景下的番茄葉片取得了良好的分割效果。Lin等［13］在原始U-Net網(wǎng)絡(luò)的基礎(chǔ)上，在各卷積層后增加了批量歸一化層，對50張復(fù)雜背景下的小樣本黃瓜白粉病數(shù)據(jù)集取得了96.08%的平均像素分割準(zhǔn)確率，該方法有效地提升了網(wǎng)絡(luò)的泛化能力，防止了過擬合問題的發(fā)生。張善文等［14］提出一種基于多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜葉片病害分割方法，通過使用遷移學(xué)習(xí)方法加快訓(xùn)練速度，提高了模型的分割精度。任守綱等［15］等構(gòu)建了一種基于反卷積引導(dǎo)的DGVGGNet網(wǎng)絡(luò)，在對植物葉片病斑的分割問題上取得了較好的效果。圖像分割方法不僅可以做到對病害進行高效、準(zhǔn)確的分割，還是病害嚴(yán)重程度分級的關(guān)鍵前提。在病害等級劃分方面，Liang等［16］提出改進后的PD2SE-Net，并應(yīng)用于植物的物種識別、病害分類和病害嚴(yán)重程度的估計，用較低的計算成本獲得了較好的性能。鄭志雄等［17］提出一種基于高光譜成像技術(shù)的稻瘟病病害分級方法，使用原始圖像和掩模圖像對背景信息進行去除，得到單葉片高光譜圖像再進行進一步分割。劉寶洋［18］以VGG-16網(wǎng)絡(luò)模型為基礎(chǔ)構(gòu)建一個改進的深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過使用遷移學(xué)習(xí)和帶有參數(shù)的ReLU激活函數(shù)構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu)，分級準(zhǔn)確率達到了87.2%。Wspanialy等［19］使用PlantVillage中9種番茄病害的圖像，利用改進的U-Net模型來估計疾病的嚴(yán)重程度，并取得了較好的效果。

由于圖像背景復(fù)雜、葉片之間存在遮擋等問題，導(dǎo)致對葉片及病斑分割效果較差。本文在前人的基礎(chǔ)上，以復(fù)雜背景彩色圖像為例，使用卷積神經(jīng)網(wǎng)絡(luò)對葉片及病斑進行特征提取，設(shè)計基于深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的葉片、病斑分割以及黃瓜病害嚴(yán)重程度分級模型，針對實際種植環(huán)境中植株背景復(fù)雜難以分割以及精準(zhǔn)防治問題做進一步研究。

1材料與方法

1.1數(shù)據(jù)采集和預(yù)處理

本文所用數(shù)據(jù)集均為復(fù)雜環(huán)境下的黃瓜圖像，圖像數(shù)據(jù)主要來源于石家莊市藁城區(qū)貫莊農(nóng)昌種植服務(wù)專業(yè)合作社的自采數(shù)據(jù)集，為了滿足真實應(yīng)用中不同光照對拍攝效果的影響，因此選擇不同的時間段進行圖像采集，采集時間為2021年2月15—17日的上午（8：00—10：00）、中午（12：00—14：00）、下午（12：00—16：00）三個時間段。采集的圖像如圖1所示，數(shù)據(jù)類型包括黃瓜健康葉片、黃瓜炭疽病、黃瓜霜霉病，采集地點為設(shè)施溫室。為了使深度學(xué)習(xí)模型正常運行，在盡量避免影響模型分割準(zhǔn)確率的前提下，將所采集的2054張圖像重新調(diào)整尺寸為512像素×512像素，并使用Labelme軟件進行圖像標(biāo)注，生成對應(yīng)的Mask圖，將人工標(biāo)記的圖像作為衡量分割準(zhǔn)確率的標(biāo)準(zhǔn)，標(biāo)注圖像如圖2所示。第一階段將2054張圖像按照8∶2的比例劃分為訓(xùn)練集和測試集，其中訓(xùn)練集1643張，測試集411張。第二階段訓(xùn)練集共600張，其中包括300張原始圖像和300張數(shù)據(jù)增強后的圖像，測試集共150張圖像。

深度學(xué)習(xí)要求有足夠的數(shù)據(jù)集去完成訓(xùn)練，數(shù)據(jù)集過少往往會導(dǎo)致欠擬合現(xiàn)象的發(fā)生，最終導(dǎo)致模型訓(xùn)練和測試效果都很差。由于黃瓜病害數(shù)據(jù)集較少，因此為了提升模型的分割準(zhǔn)確率，本文在第二階段對原始300張黃瓜霜霉病、炭疽病數(shù)據(jù)集進行了圖像增強，即隨機選擇0.5～1.5倍數(shù)的值對原始圖像進行亮度增強，這樣做既可以滿足模型訓(xùn)練對數(shù)據(jù)集的要求，還可以模擬不同光照強度對訓(xùn)練產(chǎn)生的影響。通過圖像增強的方法，即增加了訓(xùn)練樣本的多樣性，又提高了模型的魯棒性及泛化能力。數(shù)據(jù)集圖像增強如圖3所示。

1.2試驗方法及分割模型

本文通過對葉片面積和病斑面積分別計算以達到劃分病害等級的目的，但由于葉片生長于自然環(huán)境中，拍攝時背景較為復(fù)雜，直接對病斑進行分割往往會將背景中的一些相似特征一同分割，對最終的病害等級劃分準(zhǔn)確率造成一定的影響，因此首先需要對復(fù)雜背景下的葉片進行分割提取，獲得簡單背景下的葉片，再進一步對目標(biāo)葉片的病斑區(qū)域進行分割。本文從兩階段分割的角度上出發(fā)，第一階段為葉片分割，所對應(yīng)的分割目標(biāo)為葉片和復(fù)雜背景；第二階段為病斑分割，所對應(yīng)的分割目標(biāo)為病斑和葉片。通過試驗驗證發(fā)現(xiàn)，兩階段分割模型的分割精度較一階段模型更高。

1.2.1DeepLabV3+網(wǎng)絡(luò)

DeepLab系列是融合了深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）和概率圖模型（DenseCRFs）的算法，研究人員反復(fù)試驗發(fā)現(xiàn)：DCNNs在語義分割時精確度較低，原因在于高級特征具有平移不變性。針對下采樣或者池化后分辨率降低的現(xiàn)象，DeepLab采用了空洞卷積算法擴張感受野，以獲取更多的語義信息。

DeepLabV3［20］首先使用FCN實現(xiàn)圖像分割，之后引入了幾個并行不同速率的空洞卷積［21］，從而獲取更多尺度的圖像特征信息，通過空洞空間金字塔池化（ASPP）［22］結(jié)構(gòu)挖掘獲取更多的語義特征信息以提高分割準(zhǔn)確率。而DeepLabV3+則在原有DeepLabV3的基礎(chǔ)之上使用解碼器模塊對待提取目標(biāo)邊界進行恢復(fù)；其次通過改變空洞卷積的采樣率來改變輸出的特征圖分辨率，在不損失信息的情況下，加大感受野，并且在解碼器模塊中加入了深度可分離卷積［23］，使模型整體具有更高的效率以及更少的參數(shù)量。同時，為了消除模型對于細(xì)小特征的影響，例如葉片邊緣信息處理效果不佳，DeepLabV3+模型使用了ASPP模塊，該模塊在頂部特征映射圖中加入了不同采樣率的空洞卷積，既可以增大深度網(wǎng)絡(luò)中的感受野，又可以有效地降低模型的計算參數(shù)量，保證較高的分辨率，為一些較為細(xì)小點的特征提取提供了基礎(chǔ)。同時，DeepLabV3+在ASPP中添加了Batch Normalization層，用于加速網(wǎng)絡(luò)收斂、防止出現(xiàn)梯度爆炸或梯度消失以及過擬合現(xiàn)象的出現(xiàn)。

1.2.2U-Net網(wǎng)絡(luò)

U-Net［24］是基于FCN［25］的一種語義分割網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)與FCN網(wǎng)絡(luò)結(jié)構(gòu)相似。網(wǎng)絡(luò)的輸入為512×512的單通道或三通道圖像，網(wǎng)絡(luò)整體分為編碼—解碼架構(gòu)，也可分為收縮路徑和擴展路徑。收縮路徑每一部分由兩個3×3的卷積組成，用來進行特征提取，擴展路徑中的每一步都包括特征圖的上采樣過程，與來自收縮路徑的特征圖相匹配融合，并且U-Net在解碼器階段的結(jié)構(gòu)能充分結(jié)合淺層較為簡單的特征，所以即使對于小樣本也不容易過擬合。U-Net網(wǎng)絡(luò)中較淺的高分辨率層用來解決像素定位的問題，較深的層用來解決像素分類的問題。雖然U-Net可以對像素進行精確分割，但是對于每個以像素為中心的區(qū)域都需要進行一次檢測，并且由于一些中心區(qū)域重疊，造成了冗余的操作，因此會導(dǎo)致運行速度慢、效率低等問題。

1.2.3多尺度U-Net結(jié)構(gòu)

黃瓜霜霉病、炭疽病的病斑具有形狀不同、大小不同的特點，因此本文提出了多尺度U-Net模型，在原始U-Net模型下采樣階段中引入了多尺度卷積模塊，加強模型的非線性表達能力，通過使用不同大小的卷積核對特征圖進行卷積操作，得到新的大小不同的特征圖，豐富了圖像特征，從全局的視角對圖像中感興趣的特征信息進行編碼解碼，進而提高圖像的分割性能。具體改進方法如下，通過借鑒Inception結(jié)構(gòu)的特點，把特征圖輸入到不同大小的并行卷積核進行卷積操作，并且在下采樣階段特征圖尺寸為128×128時將Inception結(jié)構(gòu)中的3×3、5×5、7×7卷積核分別改變?yōu)?×3和3×1，1×5和5×1以及1×7和7×1，以滿足不同形狀病斑的分割需求，同時增強網(wǎng)絡(luò)的非線性表達能力。多尺度模塊如圖4所示。

1.2.4DeepLabV3+與U-Net兩階段分割模型

由于網(wǎng)絡(luò)結(jié)構(gòu)存在差異，模型的特征提取能力會受到影響，不同語義分割網(wǎng)絡(luò)模型所適用的目標(biāo)也有所不同，分割準(zhǔn)確率也會有影響。因此本文根據(jù)兩階段所提取的目標(biāo)特征不同，首先對多種語義分割網(wǎng)絡(luò)進行對比試驗，選擇在各階段所適用的最好模型，結(jié)合實際環(huán)境中實時性的要求，通過調(diào)整模型網(wǎng)絡(luò)結(jié)構(gòu)以及更改特征提取網(wǎng)絡(luò)從而達到提升分割準(zhǔn)確率以及縮短分割時間的目的。

原始DeepLabV3模型以ResNet［26］為主要特征提取網(wǎng)絡(luò)，在最后一個ResNet模塊中使用了空洞卷積以及在特征學(xué)習(xí)階段增加了一個新的殘差模塊，該殘差塊的頂部使用了空洞空間金字塔，用來對任意尺度的區(qū)域進行分類。DeepLabV3+以Xception［27］作為主要特征提取網(wǎng)絡(luò)，使用深度可分離卷積分別對每個通道的空間進行單獨卷積，這樣的優(yōu)點是在保證性能不變的同時，大幅減少計算量，并且，通過在DCNN模塊中引出分支進行解碼與上采樣操作。此種方法與其他語義分割網(wǎng)絡(luò)相比來說，對待分割目標(biāo)的邊緣信息分割效果更加準(zhǔn)確。空洞卷積的定義如式（1）所示。

在第一階段中，由于黃瓜圖像所包含的背景干擾信息較多，例如泥土和其他與待分割葉片顏色相近的其他葉片，所以僅僅依靠提取顏色特征很難達到預(yù)期的分割效果，但是利用DeepLabV3+能夠有效地挖掘不同復(fù)雜背景下的黃瓜葉片淺層和深層特征信息，在ASPP模塊中通過更改膨脹率來精確地控制輸出的特征分辨率，有效地提高了分割準(zhǔn)確率，網(wǎng)絡(luò)后層可以通過逐漸恢復(fù)空間信息捕捉到物體的邊緣，相比于其他的語義分割網(wǎng)絡(luò)，其對葉片邊緣的分割更加細(xì)膩。

在第二階段中，由于病斑形狀各異以及訓(xùn)練樣本數(shù)量較少的原因，因此選用U-Net作為該階段的模型，在U-Net中通過concatenate操作對不同尺寸的特征圖上下采樣對應(yīng)融合。網(wǎng)絡(luò)的高層由于輸入圖像尺寸較大，下采樣倍數(shù)小，特征圖具備更加細(xì)致的圖特征，底層下采樣倍數(shù)大，信息經(jīng)過大量濃縮，空間損失大，但有助于目標(biāo)區(qū)域判斷，因此會保留圖像中的細(xì)節(jié)信息，如病斑形狀、顏色等。

1.3模型評價指標(biāo)

1.3.1像素準(zhǔn)確率

像素準(zhǔn)確率是將模型分割得到的結(jié)果與人工標(biāo)記的標(biāo)準(zhǔn)分割葉片進行逐像素對比，計算得到PA。

1.3.2平均像素精度

1.3.3Dice系數(shù)

1.3.4平均交并比

1.4黃瓜霜霉病、炭疽病嚴(yán)重程度分級

單葉片病害等級的劃分往往是通過對病斑區(qū)域占葉片面積的比例進行劃分的，由于待分割葉片處于復(fù)雜的背景，背景中混有泥土、雜草等干擾因素存在，導(dǎo)致目標(biāo)葉片或病斑易與其他同類元素混淆，從而導(dǎo)致過分割或欠分割，一階段的網(wǎng)絡(luò)很難做到同時準(zhǔn)確的分割出葉片和病斑，因此首先需要獲取簡單背景下的葉片，才能夠保證病害分級的準(zhǔn)確率。

本文采用了兩階段分割網(wǎng)絡(luò)進行黃瓜病害等級的劃分，具體步驟如下：第一階段以黃瓜的葉片和復(fù)雜背景為目標(biāo)，使用測試得到的Mask圖將葉片從復(fù)雜背景中提取出來，得到簡單背景下的葉片。第二階段以病斑和葉片為目標(biāo)，將測試得到的Mask圖對第一階段所提取的簡單背景下的葉片進行提取，從而得到病斑區(qū)域。最后分別計算病斑區(qū)域和葉片區(qū)域的面積，以二者的比值作為劃分黃瓜病害等級的依據(jù)。計算公式如式（6）所示。

2試驗結(jié)果分析

2.1分割效果及分析

本文所采用的訓(xùn)練及測試硬件設(shè)備配置如下：Intel（R） Core（TM） i7-10700K CPU@3.80 GHz 3.79 GHz，128 G內(nèi)存，顯卡為NVIDIA GeForce RTX 3080 10G顯存，操作系統(tǒng)為Windows 10專業(yè)版，CUDA版本11.1，Python版本為3.7，Pytorch版本為1.7.0。為避免超參數(shù)對試驗結(jié)果產(chǎn)生影響，本文將各網(wǎng)絡(luò)模型超參數(shù)進行統(tǒng)一設(shè)置，經(jīng)過多次試驗，最終選定學(xué)習(xí)率為10-4、迭代次數(shù)為100、批處理大小為4、優(yōu)化器采用Adam。

為驗證D-MUNet網(wǎng)絡(luò)模型對復(fù)雜背景下的黃瓜病害具有較好的分割和分級效果，此試驗分別在第一、二階段使用DeepLabV3+（Xception）、DeepLabV3+（MobileNet）、U-Net、U-net（MobileNet）、SegNet［28］、SegNet（MobileNet）、SegNet（ResNet50）、PSPNet［29］（MobileNet）、PSPNet（ResNet50）進行試驗。模型默認(rèn)將訓(xùn)練效果最好的文件保存為最終的權(quán)重文件以用來進行測試，最終得到測試集分割結(jié)果。最終通過對比PA、MPA、Dice系數(shù)、MIoU以及模型參數(shù)量幾個指標(biāo)來綜合評定模型。第一階段各分割模型對比結(jié)果如表1所示。

從圖8可以看出，在同一試驗環(huán)境下相較于其他模型，DeepLabV3+（Xception）在復(fù)雜背景中能夠較為完整準(zhǔn)確地對葉片進行分割，且分割輪廓較為清晰平滑，受環(huán)境干擾較小。而其他8種模型由于各自特征提取網(wǎng)絡(luò)結(jié)構(gòu)的不同，均會將圖像背景中的土壤或者除目標(biāo)葉片以外的葉片一同分割，不僅導(dǎo)致了葉片分割準(zhǔn)確率的降低，還會影響最終病害分級的準(zhǔn)確率，最終的分割效果均不理想。

在第二階段中，由于所采集黃瓜病害數(shù)據(jù)集數(shù)量較少，因此選用U-Net作為第二階段的分割網(wǎng)絡(luò)，原因是神經(jīng)網(wǎng)絡(luò)的每一層所提取的特征都相當(dāng)于對輸入數(shù)據(jù)的一個非線性變換，但隨著網(wǎng)絡(luò)深度的增加，非線性變換的復(fù)雜度也逐漸增加，與其他網(wǎng)絡(luò)相比，U-Net在編碼器和解碼器階段對各層不同尺寸的特征圖進行融合，所以對于小樣本數(shù)據(jù)有著較好地分割效果。以DeepLabV3+（Xception）為第一階段分割模型，對復(fù)雜背景下的葉片進行分割，得到簡單背景下的葉片，然后使用U-Net網(wǎng)絡(luò)對病斑進行提取。針對黃瓜病斑具有大小不一的特點，提出多尺度U-Net模型（Multiscale-U-Net），以便獲得更好地分割效果。如表2所示，兩模型結(jié)果存在一定差異。本文所提出的Multiscale-U-Net模型在PA、MPA、Dice系數(shù)、MIoU四個評價指標(biāo)上都明顯高于原始U-Net模型，并分別提高了2.36%、3.46%、0.0238和2.34%，沒有因為改進結(jié)構(gòu)而造成模型參數(shù)量和分割時間大幅改變。

由圖9、圖10可知，兩模型的準(zhǔn)確率一直趨于上升水平，并且在訓(xùn)練的前10輪中上升幅度很大，最終準(zhǔn)確率均達到了99.5%以上。損失值同樣在前10個輪次中有著較大的下降幅度，之后逐漸趨于平穩(wěn)。對比兩個模型，本文所提出的Multiscale-U-Net較原始U-Net有更好的魯棒性和分割效果。

第二階段分割結(jié)果對比如圖11所示。

通過與人工標(biāo)注圖像對比，不論是原始的U-Net模型還是本文所提出的Multiscale-U-Net模型都可以將葉片上的絕大多數(shù)病斑進行有效的分割。但是在一些較小的病斑或者顏色較深病斑的分割效果上，多尺度U-Net模型的分割精確度明顯高于原始U-Net模型。

綜上所述，通過對準(zhǔn)確率曲線、Loss曲線以及第一、二階段不同語義分割網(wǎng)絡(luò)或改進后的模型分割效果圖分析可知DeepLabV3+（Xception）和Multiscale-U-Net有著較好的魯棒性且分割效果最為優(yōu)秀。

2.2不同階段模型分割效果對比

本文旨在對復(fù)雜背景下的黃瓜病害葉片進行準(zhǔn)確分級，因此獲得簡單背景下完整葉片非常關(guān)鍵。為達到這一目的，提出了兩階段的病害分割模型。為驗證該方法相較于直接從復(fù)雜背景下對病斑進行提取的優(yōu)越性，采用Multiscale-U-Net分別對復(fù)雜背景下和簡單背景下的病斑分割，如圖12所示。

從圖12可以看出，使用一階段模型直接對復(fù)雜背景下的病斑進行分割，分割結(jié)果往往不如兩階段模型效果好。歸結(jié)其原因，是由于復(fù)雜背景中含有與目標(biāo)葉片病斑顏色相近的同類元素存在，使用一階段分割無法將這些干擾因素去除，導(dǎo)致分割效果較差，因此本文采用兩階段模型進行病害嚴(yán)重程度分級的研究。

2.3病害分級標(biāo)準(zhǔn)及結(jié)果

針對黃瓜霜霉病嚴(yán)重度分級還沒有統(tǒng)一的標(biāo)準(zhǔn)，查閱資料并結(jié)合植保專家的建議，將黃瓜霜霉病和炭疽病病害嚴(yán)重程度劃分為L0到L5，根據(jù)病害等級不同將葉片劃分為抗病葉片和感病葉片兩類，如表3所示。

當(dāng)P值為0時，病害等級為L0，則認(rèn)為黃瓜葉片為健康葉片，此時植株的抗病能力強；當(dāng)病害等級為L1時，植株輕微染病，但對植株自身的生長無較大影響，抗病能力較強；當(dāng)病害等級為L2時，植株染病面積增大，光合作用效果輕微下降，生成養(yǎng)分略微減少，此時植株抗病能力下降，表現(xiàn)性狀為感?。划?dāng)病害等級為L3、L4時，光合作用效果下降明顯，生成養(yǎng)分減少，表現(xiàn)性狀為感病；病害等級為L5時，葉片面積的一半以上被病斑占據(jù)，葉片基本無法進行光合作用，且通過藥物治療無法治愈。

本文以黃瓜霜霉病、炭疽病圖像各75張作為測試數(shù)據(jù)集，將模型預(yù)測葉片的病害嚴(yán)重程度與人工標(biāo)注葉片的嚴(yán)重程度進行比較，計算出模型對于病害等級

劃分的準(zhǔn)確率。試驗結(jié)果如表4和表5所示。使用D-MUNet模型對黃瓜病害圖像進行分割，經(jīng)過公式計算可得病害嚴(yán)重程度。其中霜霉病等級劃分準(zhǔn)確率分別是93.33%、92.31%、89.47%、93.75%和91.67%，平均準(zhǔn)確率為92.11%；炭疽病等級劃分準(zhǔn)確率分別是92.31%、88.24%、88.24%、93.75%和83.33%，平均準(zhǔn)確率為89.17%。

綜上所述，本文所提出的D-MUNet在對黃瓜病害的劃分上取得了較高的準(zhǔn)確率，可以為實際種植中黃瓜病害等級的劃分提供理論依據(jù)，對黃瓜病害的精準(zhǔn)防治以及實現(xiàn)綠色農(nóng)業(yè)具有重要意義。

從圖13中可以看出，圖像背景環(huán)境復(fù)雜度、光照強度的不同，會對模型的分割結(jié)果造成一定影響。

從圖13（a）、圖13（b）中可以看出，由于背景中存在與目標(biāo)葉片顏色相似且重疊的葉片，所以模型在第一階段的分割中，錯誤地將背景葉片過分割，預(yù)測的葉片面積大于實際葉片面積，導(dǎo)致病斑面積與葉片面積之比小于真實值，造成病害等級預(yù)測錯誤；對比圖13（d）、圖13（e）、圖13（f），可見圖像明暗程度也會對模型分割造成影響，當(dāng)過亮或過暗時，模型可能會將背景中與病斑特征相似的元素一同分割出來，導(dǎo)致病斑面積大于真實值，最終造成病害等級預(yù)測錯誤。

此外，如圖14所示，由于植株自身健康程度、生長環(huán)境的不同，在成長過程中往往會伴有葉片穿孔、卷曲以及遮擋的情況發(fā)生，這也直接導(dǎo)致了模型無法完整地對葉片和病斑進行分割，導(dǎo)致了分級準(zhǔn)確率的下降。

3結(jié)論

1） 本文提出了基于復(fù)雜背景下的黃瓜葉部病害兩階段分割方法。首先對復(fù)雜背景下的葉片進行分割得到相對完整的葉片，其次在此基礎(chǔ)上對病斑進行分割。相較于一階段模型直接對病斑進行分割的效果，本文方法具有更高的準(zhǔn)確率。

2） 充分利用DeepLabV3+、U-Net模型各自的優(yōu)點，并將U-Net網(wǎng)絡(luò)與多尺度模塊相結(jié)合，提出Multiscale-U-Net模型，使得模型在面對較小目標(biāo)時仍具備較好的分割效果，對病斑的分割效果有明顯提升，像素準(zhǔn)確率、平均交并比和Dice系數(shù)分別為90.48%、92.46%和0.645 7，較原始模型分別提升了2.36%、2.34%和0.0238。

3） 針對單葉片病害嚴(yán)重程度分級問題，提出復(fù)雜背景下黃瓜葉片病害嚴(yán)重程度分級模型D-MUNet，經(jīng)試驗驗證，霜霉病平均分級準(zhǔn)確率為92.11%；炭疽病平均分級準(zhǔn)確率為89.17%。為實現(xiàn)黃瓜病害嚴(yán)重程度精準(zhǔn)分級和精準(zhǔn)施藥提供了技術(shù)支撐。

參考文獻

［1］Ampatzidis Y， Bellis L D， Luvisi A. iPathology： Robotic applications and management of plants and plant diseases ［J］. Sustainability， 2017， 9（6）： 1010-1023.

［2］Cruz A C， Luvisi A， Bellis L D， et al. X-FIDO： An effective application for detecting olive quick decline syndrome with deep learning and data fusion ［J］. Frontiers in Plant Science， 2017（8）.

［3］Sammany M， Zagloul K. Support vector machine versus an optimized neural networks fro diagnosing plant diseases ［C］. Proceeding of Second International Computer Engineering Conference， 2006： 26-28.

［4］Sammany M， Medhat T. Dimensionality reduction using rough set approach for two neural networks-based applications ［C］. International Conference on Rough Sets and Intelligent Systems Paradigms. Springer， Berlin， Heidelberg， 2007： 639-647.

［5］Sabrol H， Satish K. Tomato plant disease classification in digital images using classification tree ［C］. 2016 International Conference on Communication and Signal Processing （ICCSP）， IEEE， 2016.

［6］Mohanty S P， Hughes D P， Salathé M. Using deep learning for image-based plant disease detection ［J］. Frontiers in Plant Science， 2016（7）： 1-10.

［7］Zhang P， Yang L， Li D. EfficientNet-B4-Ranger： A novel method for greenhouse cucumber disease recognition under natural complex environment ［J］. Computers and Electronics in Agriculture， 2020， 176.

［8］Li Z， Yang Y， Li Y， et al. A solanaceae disease recognition model based on SE-Inception ［J］. Computers and Electronics in Agriculture， 2020， 178.

［9］Too E C， Yujian L， Njuki S， et al. A comparative study of fine-tuning deep learning models for plant disease identification ［J］. Computers and Electronics in Agriculture， 2019， 161.

［10］Zhang M， Li X， Xu M， et al. Image segmentation and classification for sickle cell disease using deformable U-Net ［J］. arXiv， 2017.

［11］Yang J， Qiu K. An improved segmentation algorithm of CT image based on U-Net network and attention mechanism ［J］. Multimedia Tools and Applications， 2021， 81（25）： 1-24.

［12］Ngugi L C， Abelwahab M， Abo-Zahhad M. Tomato leaf segmentation algorithms for mobile phone applications using deep learning ［J］. Computers and Electronics in Agriculture， 2020， 178： 105788.

［13］Lin K， Gong L， Huang Y， et al. Deep learning-based segmentation and quantification of cucumber powdery mildew using convolutional neural network ［J］. Frontiers in Plant Science， 2019（10）： 155.

［14］張善文， 王振， 王祖良. 多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜病害葉片圖像分割方法［J］. 農(nóng)業(yè)工程學(xué)報， 2020， 36（16）： 149-157.Zhang Shanwen， Wang Zhen， Wang Zuliang. Method for image segmentation of cucumber disease leaves based on multi-scale fusion convolutional neural networks ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 149-157.

［15］任守綱， 賈馥瑋， 顧興健， 等. 反卷積引導(dǎo)的番茄葉部病害識別及病斑分割模型［J］. 農(nóng)業(yè)工程學(xué)報， 2020， 36（12）： 186-195.Ren Shougang， Jia Fuwei， Gu Xingjian， et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution-guiding ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 186-195.

［16］Liang Q， Xiang S， Hu Y， et al. PD2SE-Net： Computer-assisted plant disease diagnosis and severity estimation network ［J］. Computers and Electronics in Agriculture， 2019， 157： 518-529.

［17］鄭志雄， 齊龍， 馬旭， 等. 基于高光譜成像技術(shù)的水稻葉瘟病病害程度分級方法［J］. 農(nóng)業(yè)工程學(xué)報， 2013， 29（19）： 138-144.Zheng Zhixiong， Qi Long， Ma Xu， et al. Grading method of rice leaf blast using hyperspectral imaging technology ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（19）： 138-144.

［18］劉寶洋. 基于機器視覺的黃瓜葉部病害程度檢測系統(tǒng)研究［D］. 西安： 西京學(xué)院， 2020.Liu Baoyang. Research on the detection system of cucumber leaf diseases based on machine vision ［J］. Xian： Xijing University， 2020.

［19］Wspanialy P， Moussa M. A detection and severity estimation system for generic diseases of tomato greenhouse plants ［J］. Computers and Electronics in Agriculture， 2020， 178.

［20］Chen L C， Zhu Y， Papandreou G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation ［J］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 801-818.

［21］Yu F， Koltun V. Multi-Scalecontext aggregation by dilated convolutions ［C］. ICLR. 2016.

［22］Chen L C， Papandreou G， Kokkinos I， et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs ［J］. Computer Science， 2014（4）： 357-361.

［23］Howard A G， Zhu M， Chen B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications ［J］. arXiv， 2017.

［24］Onneberger O， Fischer P， Brox T. U-Net： Convolutional networks for biomedical image segmentation ［J］. Springer International Publishing， 2015.

［25］Long J， Shelhamer E， Darrell T. Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 39（4）： 640-651.

［26］He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［J］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016， 770-778.

［27］Chollet F. Xception： Deep learning with depthwise separable convolutions ［J］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017， 1251-1258.

［28］Badrinarayanan V， Kendall A， Cipolla R. Segnet： A deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.

［29］Zhao H， Shi J， Qi X， et al. Pyramid scene parsing network ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2881-2890.