基于U-net和可見(jiàn)光譜圖像的黃瓜褐斑病分割

王翔宇,李海生,呂麗君,韓丹楓,王梓強(qiáng)

1.長(zhǎng)治學(xué)院電子信息與物理系，山西 長(zhǎng)治 046011 2.承德石油高等專(zhuān)科學(xué)校工業(yè)技術(shù)中心，河北 承德 067000

引 言

黃瓜褐斑病，又稱靶斑病(Target leaf spot)，是黃瓜主要的真菌性葉斑病之一[1]。該病由多主棒孢霉(Corynesporacassiicola)侵染引起，發(fā)病初期在葉面出現(xiàn)黃色小斑點(diǎn)，中期擴(kuò)大為圓形或不規(guī)則形狀的褐色病斑，后期病斑面積擴(kuò)大且顏色呈灰褐色，發(fā)病率一般為20%～40%，嚴(yán)重時(shí)達(dá)60%～70%，導(dǎo)致落葉率提高，造成黃瓜大面積減產(chǎn)，給農(nóng)戶帶來(lái)巨大的經(jīng)濟(jì)損失[2-4]。植物病斑的準(zhǔn)確分割為后續(xù)的病害識(shí)別與診斷提供了有效依據(jù)，具有重要意義。

目前的病斑分割方法主要包括數(shù)字圖像處理和深度學(xué)習(xí)兩種方法[5]。數(shù)字圖像處理方法眾多，已經(jīng)發(fā)展成熟。白雪冰等[6]利用小波降噪和分水嶺算法提取目標(biāo)葉片，然后利用Otsu算法完成了黃瓜白粉病病斑分割。有研究結(jié)合可見(jiàn)光譜圖像的ExR，H和b*三種顏色特征，利用CVCF方法和形態(tài)學(xué)操作，獲得了黃瓜霜霉病斑的分割結(jié)果。有報(bào)道結(jié)合黃瓜葉片F(xiàn)TIR光譜和聚類(lèi)分析，完成了褐斑病的檢測(cè)。深度學(xué)習(xí)方法是一種新興的機(jī)器學(xué)習(xí)算法，近幾年才逐步應(yīng)用于實(shí)踐中[7-9]。深度學(xué)習(xí)能夠自動(dòng)提取圖像特征，已經(jīng)在圖像識(shí)別[10-11]、故障診斷[12-13]、遙感[14]、醫(yī)學(xué)[15]等領(lǐng)域得到應(yīng)用。任守綱等[5]利用反卷積引導(dǎo)的VGG網(wǎng)絡(luò)完成了番茄葉部病斑分割，模型分割準(zhǔn)確率達(dá)94.66%。楊森等[16]利用Faster R卷積神經(jīng)網(wǎng)絡(luò)完成了馬鈴薯早疫病、晚疫病、炭疽病的識(shí)別，在特定光照條件下的平均識(shí)別準(zhǔn)確率達(dá)90.83%。薛勇等[17]利用GoogLeNet深度遷移模型完成了蘋(píng)果缺陷檢測(cè)，為蘋(píng)果自動(dòng)分級(jí)提供了方法。

利用數(shù)字圖像處理方法完成目標(biāo)分割需要人為提取大量的特征集，當(dāng)手動(dòng)為一個(gè)復(fù)雜任務(wù)設(shè)計(jì)特征集時(shí)需要耗費(fèi)大量的時(shí)間和精力，而且這些特征的確定還需要依賴一定的經(jīng)驗(yàn)，且具有一定的不確定性，如果特征集選取不當(dāng)，會(huì)導(dǎo)致圖像分割結(jié)果準(zhǔn)確度差[18]。而深度學(xué)習(xí)，不需要人為確定特征集，機(jī)器可以通過(guò)自我學(xué)習(xí)來(lái)實(shí)現(xiàn)像素級(jí)的特征提取并完成語(yǔ)義分割，對(duì)于同等復(fù)雜度的任務(wù)，其提取特征集的效率更高，且不依賴人為經(jīng)驗(yàn)，可以節(jié)約大量人力和時(shí)間[19-21]。

黃瓜常見(jiàn)病害中，霜霉病、白粉病研究最為多見(jiàn)，而褐斑病研究較少。本研究以黃瓜褐斑病可見(jiàn)光譜圖像為研究對(duì)象，利用U-net深度學(xué)習(xí)網(wǎng)絡(luò)提取病斑像素特征，完成病斑的語(yǔ)義分割，為黃瓜褐斑病的識(shí)別與診斷提供了有效方法。

1 實(shí)驗(yàn)部分

1.1 數(shù)據(jù)采集

研究所使用的黃瓜褐斑病圖像由天津市植物保護(hù)研究所提供，采集設(shè)備為Canon PowerShot G15，拍攝參數(shù)光圈值F3.2，曝光時(shí)間1/800 s，ISO-1600，焦距6 mm，關(guān)閉閃光燈。圖像分辨率為2 816×1 880像素，位深度24 bit，色彩標(biāo)準(zhǔn)為sRGB，3通道。所需圖像在實(shí)驗(yàn)室條件下完成拍攝，為了更加全面地獲取褐斑病病斑特征，圖像采取完整葉面和局部葉面相結(jié)合、葉正面和葉背面相結(jié)合的方法進(jìn)行拍攝。拍攝圖像共計(jì)40幅，其中包括全葉圖像28幅(葉正面14幅，葉背面14幅)和葉片局部圖像12幅(葉正面7幅，葉背面5幅)。部分圖像如圖1所示。

圖1 黃瓜褐斑病圖像Fig.1 Image of cucumber target leaf spot

1.2 圖像樣本制備

利用U-net完成圖像語(yǔ)義分割，需要預(yù)先進(jìn)行深度學(xué)習(xí)樣本標(biāo)記。本研究采用Matlab的Image Labeler工具進(jìn)行樣本標(biāo)記。為便于計(jì)算機(jī)進(jìn)行深度學(xué)習(xí)訓(xùn)練，需對(duì)40幅黃瓜褐斑病原始圖像進(jìn)行預(yù)處理。首先在原始圖像中截取病斑較為突出的區(qū)域作為目標(biāo)區(qū)域，由于目標(biāo)區(qū)域分辨率較大會(huì)嚴(yán)重影響機(jī)器學(xué)習(xí)速率，因此目標(biāo)區(qū)域的分辨率選定為200×200像素以提高學(xué)習(xí)速率，共在40幅原始圖像中截取到135個(gè)像素區(qū)域，將這些區(qū)域另存為JPEG格式的圖像。然后對(duì)截取到的135個(gè)圖像進(jìn)行圖像像素標(biāo)注，給定兩個(gè)標(biāo)簽集合Helth_area和Affected_area。其中，Health_area代表健康葉片區(qū)域，用藍(lán)色進(jìn)行標(biāo)注；Affected_area代表褐斑病區(qū)域，用紫色進(jìn)行標(biāo)注。標(biāo)注后導(dǎo)出圖像樣本，部分樣本如圖2所示。

圖2 黃瓜褐斑病圖像訓(xùn)練樣本標(biāo)注Fig.2 The sample labeling of cucumber target leaf spot

1.3 U-net網(wǎng)絡(luò)

U-net由Ronneberger等于2015在MICCAI上提出，是深度學(xué)習(xí)網(wǎng)絡(luò)的一種，U-net網(wǎng)絡(luò)是對(duì)FCN網(wǎng)絡(luò)的改進(jìn)。與FCN網(wǎng)絡(luò)相比，U-net網(wǎng)絡(luò)加入了跳層連接(Skip connection)，使得分割結(jié)果可以保留更多的局部細(xì)節(jié)。U-net網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3所示。

圖3 U-net網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 U-net architecture diagram

U-net網(wǎng)絡(luò)的工作流程主要包括下采樣和上采樣兩部分，如圖3所示，左側(cè)為下采樣過(guò)程，右側(cè)為上采樣過(guò)程。U-net網(wǎng)絡(luò)通過(guò)最大池化(Max-pooling)來(lái)增大感受視野，提取圖像最明顯的特征，即完成下采樣；通過(guò)上卷積(Up-convolution)來(lái)使圖像進(jìn)行由小分辨率到大分辨率的映射以恢復(fù)圖像尺寸，即完成上采樣。整個(gè)網(wǎng)絡(luò)利用卷積(Convolution)和線性整流函數(shù)(ReLU)來(lái)完成輸入圖像(Input image)的采樣，并輸出特征圖(Output feature map)。其中，卷積主要完成圖像局部特征的提取，線性整流函數(shù)主要完成相關(guān)特征的保留，并去掉不相關(guān)特征。U-net網(wǎng)絡(luò)中引入跳層連接(Skip connection)，可以把較淺的卷積層特征引過(guò)來(lái)，使得網(wǎng)絡(luò)在每一級(jí)的上采樣過(guò)程中，將編碼器對(duì)應(yīng)位置的特征圖在通道上進(jìn)行融合，從而保證了最后恢復(fù)出來(lái)的圖像融合了更多的底層特征和不同規(guī)模的特征，使分割圖像保留更多細(xì)節(jié)信息，提高了分割精度。

2 結(jié)果與討論

2.1 網(wǎng)絡(luò)構(gòu)建

構(gòu)建的U-net網(wǎng)絡(luò)如圖4所示。該U-net網(wǎng)絡(luò)總共包含46層和48個(gè)連接。輸入層為200×200像素的3通道可見(jiàn)光譜圖像。該網(wǎng)絡(luò)通過(guò)池化操作完成下采樣，池化操作分為平均池化(Mean-pooling)和最大池化(Max-pooling)兩種，平均池化即對(duì)鄰域內(nèi)特征點(diǎn)求平均，最大池化即對(duì)鄰域內(nèi)特征點(diǎn)取最大。在葉片中，由于病斑區(qū)域的像素特征與健康區(qū)域的像素特征區(qū)別較大，為了更加顯著地提取病斑特征，采用最大池化來(lái)保留病斑區(qū)域的紋理特征。下采樣過(guò)程中，每一級(jí)之間包括Conv-1和Conv-2兩個(gè)卷積層以及ReLU-1和ReLU-2兩個(gè)線性整流層，通過(guò)卷積層來(lái)提取葉片病斑的高層次特征，通過(guò)線性整流層來(lái)增加各層之間的非線性關(guān)系并緩解過(guò)擬合發(fā)生。上采樣通過(guò)深度連接(depth concatenation)操作完成，上采樣過(guò)程中，每一級(jí)包括Conv-1和Conv-2兩個(gè)卷積層，ReLU-1和ReLU-2兩個(gè)線性整流層，以及一個(gè)Up Conv層和一個(gè)Up ReLU層。同一級(jí)的上采樣和下采樣使用跳層連接來(lái)完成復(fù)制和剪裁(Copy&Crop)操作，將深層和淺層的特征進(jìn)行融合，使葉片病斑的分割圖像更加精細(xì)，從而獲得更加準(zhǔn)確的分割結(jié)果。

圖4 本研究中使用的U-net網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 U-net architecture in this research

2.2 模型訓(xùn)練

利用所構(gòu)建的U-net網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到訓(xùn)練模型，U-net模型具有小樣本學(xué)習(xí)的優(yōu)勢(shì)，能夠利用更少的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)更快速、更有效地分割。訓(xùn)練和測(cè)試使用的樣本為1.2節(jié)中所述的135個(gè)樣本，樣本圖像大小為200×200像素，3通道。隨機(jī)選取其中96個(gè)作為訓(xùn)練樣本，用于模型訓(xùn)練，剩余的39個(gè)作為測(cè)試樣本，用于模型測(cè)試。模型訓(xùn)練所使用的GPU型號(hào)為Nvidia GeForce GTX 1070，顯存8 GB，內(nèi)存帶寬256.26 GB·s-1，CUDA核心1 920個(gè)，基礎(chǔ)頻率1 506 MHz，算力6.1。

為避免產(chǎn)生過(guò)學(xué)習(xí)的情況，設(shè)置最大訓(xùn)練周期(max epochs)為10輪，小批量規(guī)模(mini-batch size)為4，則96個(gè)樣本每輪迭代為24次，共計(jì)迭代240次。設(shè)置L2正則化系數(shù)為0.000 1，初始學(xué)習(xí)率(initial learning rate)為0.05，動(dòng)量參數(shù)(momentum)為0.9，梯度閾值(gradient threshold)為0.05。設(shè)定好以上參數(shù)后，利用U-net網(wǎng)絡(luò)完成訓(xùn)練，模型的訓(xùn)練時(shí)間、準(zhǔn)確度與損失如表1所示。

表1 U-net模型訓(xùn)練時(shí)間、準(zhǔn)確度與損失Table 1 Training time, accuracy and loss of U-net

由表1結(jié)果知，模型訓(xùn)練時(shí)間較短，僅需48 s就可以完成240次迭代，且訓(xùn)練完成后，模型的小批量準(zhǔn)確度可達(dá)98.23%，小批量損失為0.042 5，模型準(zhǔn)確度較高，可以用于黃瓜褐斑病的病斑分割。

2.3 分割結(jié)果評(píng)價(jià)

語(yǔ)義分割的評(píng)價(jià)指標(biāo)主要包括執(zhí)行時(shí)間、內(nèi)存占用和準(zhǔn)確率三個(gè)指標(biāo)。為更客觀地反映出分割模型的效率和泛化能力，本研究共重復(fù)進(jìn)行10次訓(xùn)練來(lái)統(tǒng)計(jì)模型的運(yùn)行結(jié)果。分割模型的執(zhí)行時(shí)間和內(nèi)存占用情況如表2所示。

表2 分割模型的執(zhí)行時(shí)間和內(nèi)存占用Table 2 Execution time and memory footprint of the segmentation model

由表2知，分割模型的執(zhí)行時(shí)間為46～48 s，平均執(zhí)行時(shí)間為46.4 s，內(nèi)存占用為6 631～6 704 MB，平均內(nèi)存占用為6 665.8 MB。模型的執(zhí)行時(shí)間較短，占用內(nèi)存較少，執(zhí)行效率較高。

除了執(zhí)行時(shí)間和內(nèi)存占用兩個(gè)評(píng)價(jià)指標(biāo)外，本研究還利用4種語(yǔ)義分割準(zhǔn)確率評(píng)價(jià)指標(biāo)進(jìn)行了分割模型的評(píng)價(jià)。這4種準(zhǔn)確率評(píng)價(jià)指標(biāo)分別為PA(pixel accuracy，像素準(zhǔn)確率)、MPA(mean pixel accuracy，平均像素準(zhǔn)確率)、MIoU(mean intersection over union，平均交并比)和FWIoU(frequency weighted intersection over union，頻率加權(quán)交并比)。

PA為像素準(zhǔn)確率，即分類(lèi)正確的像素點(diǎn)數(shù)量和所有像素點(diǎn)數(shù)量的比值，見(jiàn)式(1)

(1)

MPA為平均像素準(zhǔn)確率，即每一類(lèi)分類(lèi)正確的像素點(diǎn)數(shù)量和該類(lèi)的所有像素點(diǎn)數(shù)量的比值的均值，見(jiàn)式(2)

(2)

MIoU為平均交并比，即每一類(lèi)的IoU的均值，見(jiàn)式(3)

(3)

FWIoU為頻率加權(quán)交并比，即根據(jù)每一類(lèi)出現(xiàn)的頻率對(duì)各個(gè)類(lèi)的IoU進(jìn)行加權(quán)求和，見(jiàn)式(4)

(4)

式(1)—式(4)中，pii表示本屬于i類(lèi)且預(yù)測(cè)為i類(lèi)的像素點(diǎn)總數(shù)；pij表示本屬于i類(lèi)卻預(yù)測(cè)為j類(lèi)的像素點(diǎn)總數(shù)；pji表示本屬于j類(lèi)卻預(yù)測(cè)為i類(lèi)的像素點(diǎn)總數(shù)。

本研究重復(fù)進(jìn)行10次訓(xùn)練，得到的模型準(zhǔn)確率統(tǒng)計(jì)結(jié)果如表3所示。

表3 分割模型的準(zhǔn)確率評(píng)價(jià)Table 3 Accuracy of the segmentation model

由表3知，經(jīng)過(guò)10次重復(fù)訓(xùn)練，模型的像素準(zhǔn)確率PA為96.23%～97.98%，平均像素準(zhǔn)確率MPA為97.28%～97.87%，平均交并比MIoU為86.10%～91.59%，頻率加權(quán)交并比FWIoU為93.33%～96.19%，可知模型的穩(wěn)定性較好、泛化能力較強(qiáng)。

通過(guò)綜合比較10次訓(xùn)練結(jié)果，第6次的訓(xùn)練結(jié)果準(zhǔn)確率更高，因此將第6次訓(xùn)練的U-net網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行存儲(chǔ)，以備后續(xù)直接調(diào)用。利用訓(xùn)練好的模型進(jìn)行黃瓜褐斑病圖像分割，結(jié)果如圖5所示。

圖5 黃瓜褐斑病分割結(jié)果(a)：原始圖像；(b)：病斑分割圖像Fig.5 Segmentation results of cucumber target leaf spot(a)：Original images；(b)：Segmentation images of target leaf spot

根據(jù)黃瓜褐斑病的分割結(jié)果，可以得知本研究構(gòu)建的基于U-net的病斑分割模型對(duì)于黃瓜褐斑病的分割具有較好的效果。無(wú)論是褐斑病早期發(fā)生時(shí)的面積較小的圓形黃色病斑斑點(diǎn)，還是晚期感病面積擴(kuò)大后的不規(guī)則形狀的褐色病斑，該模型均能實(shí)現(xiàn)準(zhǔn)確分割，因此該分割模型可以適用于黃瓜褐斑病發(fā)生初期以及中后期，且均能起到良好的分割效果。

3 結(jié) 論

利用U-net深度學(xué)習(xí)網(wǎng)絡(luò)，并結(jié)合黃瓜葉片可見(jiàn)光譜圖像，完成了黃瓜褐斑病的像素特征提取與病斑分割，為黃瓜褐斑病的識(shí)別與診斷提供了依據(jù)。構(gòu)建U-net網(wǎng)絡(luò)，對(duì)標(biāo)定好的黃瓜褐斑病圖像樣本進(jìn)行學(xué)習(xí)訓(xùn)練，得到分割模型，然后利用測(cè)試樣本對(duì)模型測(cè)試。本研究經(jīng)過(guò)10次重復(fù)訓(xùn)練和測(cè)試并綜合分析，基于U-net和可見(jiàn)光譜圖像的黃瓜褐斑病分割模型執(zhí)行時(shí)間較短，平均46.4 s，內(nèi)存占用較少，平均6 665.8 MB，總體執(zhí)行效率較高；模型準(zhǔn)確率PA為96.23%～97.98%，MPA為97.28%～97.87%，MIoU為86.10%～91.59%，F(xiàn)WIoU為93.33%～96.19%，結(jié)果表明，模型具有較好的穩(wěn)定性和較強(qiáng)的泛化能力。本研究通過(guò)較少的訓(xùn)練樣本，獲得了準(zhǔn)確率較高的分割模型，為小樣本機(jī)器學(xué)習(xí)算法提供了參考，同時(shí)為蔬菜病害識(shí)別提供了方法依據(jù)。