基于深度學(xué)習(xí)的青菜病害區(qū)域圖像語義分割與定位

金倫 錢萊

摘要 對青菜病害區(qū)域進行識別并將其與正常作物區(qū)分隔能夠起到保護青菜的作用，及時對相關(guān)災(zāi)害區(qū)域進行處理，能夠防止災(zāi)害的進一步蔓延。提出了一種基于深度學(xué)習(xí)的青菜災(zāi)害區(qū)域圖像語義分割的方法，通過fine-tune FCN以像素級精度分割出圖像中作物災(zāi)害區(qū)進行識別，并借助地面安置的圖像定位標(biāo)記判斷出災(zāi)害在地面上的準(zhǔn)確位置。由于目前暫無無人機拍攝的公開青菜病害圖像數(shù)據(jù)集，通過專業(yè)無人機采集的方式自建青菜病害區(qū)域圖像數(shù)據(jù)集以滿足檢測需要。結(jié)果表明，在自建數(shù)據(jù)集下fine-tune FCN的mIoU為53.2%，對4種病害類型與健康情況的識別像素精度PA為85.2%，定位精確率為96.8%，能基本滿足病害區(qū)域檢測定位需求。同時，對比了文章中提出的網(wǎng)絡(luò)架構(gòu)與SDS，RCNN與FCN在性能上的區(qū)別，驗證了該網(wǎng)絡(luò)在病害區(qū)域的細(xì)粒度檢測上擁有更好的魯棒性。

關(guān)鍵詞 青菜;圖像語義分割; 深度學(xué)習(xí); 病害; 定位

中圖分類號 S126 ?文獻(xiàn)標(biāo)識碼 A

文章編號 0517-6611（2020）18-0235-04

Abstract Identifying Brassica chinensis disease areas and separating them from normal plant areas can play a role in protecting B.chinensis， and timely processing of related disaster areas can prevent further spread of the disaster. We proposed a method for semantic segmentation of B. chinensis disaster area images based on deep learning. The finetune FCN was used to segment the plant disaster area in the image with pixellevel accuracy for identification， and it was determined by the image positioning marks placed on the ground. As there was currently no public B. chinensis image data set taken by drones， a professional drone was used to collect selfbuilt B. chinensis image data set to meet the detection needs. The results showed that in the selfbuilt data set， the mIoU of finetune FCN was 53.2%， the pixel accuracy PA for identifying four types of diseases and health conditions was 85.2%， and the positioning accuracy was 96.8%， which could basically meet the detection and positioning of disease areas demand. Meanwhile， we compared the performance of the network architecture that we proposed with SDS， RCNN and FCN， and verified that it had better robustness in finegrained detection of diseased areas.

Key words Brassica chinensis;Image semantic segmentation;Deep learning;Disease;Localization

青菜作為一種營養(yǎng)豐富的農(nóng)作物，能夠提供多種人類生命活動所需的維生素與礦物質(zhì)，在農(nóng)業(yè)的發(fā)展過程中起到了重要的作用。作為一種草本植物，青菜在生產(chǎn)過程中容易受到不同種類病蟲害的影響[1]。當(dāng)前研究的青菜病害識別方法主要是對植株本身進行識別，從而進行植株病害的判斷，在實際的農(nóng)業(yè)生產(chǎn)過程中，用于識別病害的攝像頭難以大量架設(shè)在農(nóng)田中，且固定架設(shè)在植物生長區(qū)域的光學(xué)鏡片容易受到昆蟲以及雨雪天氣等情況影響，導(dǎo)致破損或形變。

圖像語義分割是指根據(jù)一定的相似性準(zhǔn)則將圖像劃分成不同區(qū)域的過程，是計算機視覺、圖像處理等領(lǐng)域的基礎(chǔ)性問題之一[2]。近年來，深度學(xué)習(xí)方法大大推動了計算機視覺領(lǐng)域的發(fā)展，其中研究人員提出的FCN[3]在VOC2011數(shù)據(jù)上取得了90.3%的像素精度。筆者提出了一種基于FCN的對青菜種植區(qū)域航拍圖像進行語義分割，從而檢測出病變區(qū)域的方法，并在原網(wǎng)絡(luò)的基礎(chǔ)上進行fine-tune，改善網(wǎng)絡(luò)效果;借助無人機航拍獲取青菜種植區(qū)域的俯視圖并進行語義分割，判斷出病變區(qū)域的類別及其在圖像中的相對位置;最后使用OCR[4]對病變區(qū)域圖像進行掃描，通過對地面各個固定位置事先安置好的不同字符標(biāo)記進行識別并判斷災(zāi)害區(qū)域所在位置的具體定位，判斷出災(zāi)害區(qū)在農(nóng)田中的區(qū)域范圍。

1 研究方法

1.1 圖像獲取

由于目前暫無通過旋翼無人機航拍獲取的公開青菜病害圖像數(shù)據(jù)集，該研究采用了自建數(shù)據(jù)集進行學(xué)習(xí)的方式[5]。通過專業(yè)四旋翼無人機在浙江金華東陽地區(qū)黃田畈農(nóng)田進行相關(guān)的作物圖像采集[6]，如圖1A所示;并在地面放置了字符標(biāo)記，如圖1B所示。圖像采集工作均通過四旋翼無人機在距離作物2 ～3 m的高度進行，通過保證地面圖像清晰度以更好地實現(xiàn)病害的識別與定位。最終在航拍圖片中篩選出600幅作為訓(xùn)練與測試的基本數(shù)據(jù)，其中包含了昆蟲啃食、軟腐病霜霉病和病毒病[7-10]的圖像分別為412、237、234和103張，分割后像素RGB值分別為（255，192，203）、（255，0，255）、（75，0，130）和（255，215，0）。圖像分辨率為1 920×1 080，篩選準(zhǔn)則為圖像中陰影區(qū)域較少[11]且圖像中存在較明顯的病害區(qū)域。為了擴充數(shù)據(jù)集，采用旋轉(zhuǎn)翻轉(zhuǎn)等方式將數(shù)據(jù)集圖像泛化為3 660張，同時為了避免字符標(biāo)記對病害識別訓(xùn)練的影響，訓(xùn)練集中圖像均為無字符標(biāo)記農(nóng)田圖像。

1.2 圖像語義分割

1.2.1 圖像預(yù)處理。為了使病變區(qū)域的色彩變化更加明顯、色彩區(qū)域之間存在更加明顯的梯度變化，圖像語義分割前按照圖2通過直方圖均衡化對圖像進行處理，提高圖像對比度并增強了圖像細(xì)節(jié)，使得不同區(qū)域之間的色彩分割更加明顯[12]。

從圖2可以看出，在直方圖均衡化處理過后，圖像的對比度有所提升，病變區(qū)域與正常青菜區(qū)域間的色彩變化更明顯。

1.2.2 構(gòu)建網(wǎng)絡(luò)。

該研究使用了FCN作為圖像語義分割的基本網(wǎng)絡(luò)結(jié)構(gòu)，并在原網(wǎng)絡(luò)基礎(chǔ)上進行fine-tune使之更好地適應(yīng)該數(shù)據(jù)集。修改后的網(wǎng)絡(luò)通過將每個預(yù)測模塊輸出緯度中的最后一維調(diào)整為7，分別對應(yīng)著普通路面背景、泥土背景、綠色作物區(qū)以及4種不同的青菜病害分割區(qū)。FCN實現(xiàn)了對作物區(qū)域像素級的分類，不同于傳統(tǒng)的檢測模型，不需要使用Bounding-Box[13]來進行一個矩形區(qū)域的分割，對于無規(guī)則形狀的病害區(qū)域具有更好的檢測效果。

網(wǎng)絡(luò)采用全卷積層加池化層的方式，將CNN中的全連接層替換成卷積層。網(wǎng)絡(luò)的前5層保留CNN的結(jié)構(gòu)，其中第7層采用了大小為（4 096，1，1）的卷積，為了使得在學(xué)習(xí)過程中能夠提取更多的細(xì)節(jié)特征，在第2組卷積池化網(wǎng)絡(luò)后又添加了2層卷積層，網(wǎng)絡(luò)在最后1層使用了大小為（7，1，1）的卷積，分別對應(yīng)著背景和作物區(qū)的6種識別結(jié)果，網(wǎng)絡(luò)最終通過反卷積組合輸出1張已經(jīng)完成標(biāo)記的圖，其中fine-tune FCN的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

同時，單層的輸出結(jié)果會導(dǎo)致冗余過少和結(jié)果太過粗糙，為了優(yōu)化語義分割結(jié)果，在網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)計了Skip Architecture[14-15]，對不同池化層的結(jié)果上采樣，最終優(yōu)化輸出，分別得到fine-tune FCN-32s與fine-tune FCN-16s為中間結(jié)果。圖4分別給出了Ground truth與通過不同池化層向上反卷積后疊加最終得到的fine-tune FCN-8s、fine-tune FCN-16s、fine-tune FCN-32s的效果，最終輸出效果為fine-tune FCN-8s顯示效果。

1.2.3 損失函數(shù)與訓(xùn)練。在損失函數(shù)的設(shè)計上，采用MSE作為網(wǎng)絡(luò)訓(xùn)練用的損失函數(shù)，每個像素點通過softmax輸出維度為7的結(jié)果，將1張圖片上的所有像素點分類誤差的平方累加，求得最終損失函數(shù)為

loss（W*）=Nc=1Mr=17i=1（softmax（predictc，r，i）-GrandTruthc，r，i）2（1）

在訓(xùn)練過程中，采用SGD[16]為優(yōu)化器進行損失函數(shù)的下降，設(shè)置訓(xùn)練過程中的Batch Size為20，同時對比了FCN-32s第一輪迭代期間，初始學(xué)習(xí)率分別為10-5，10-6下的損失函數(shù)下降效果，結(jié)果如圖5。

最終選擇了10-5為訓(xùn)練的初始學(xué)習(xí)率，并采用了5-2的衰減率，以指數(shù)衰減的方式提高損失函數(shù)收斂精度，同時將泛化后的數(shù)據(jù)集進行劃分，以7∶3的比例劃分訓(xùn)練集和測試集，其中訓(xùn)練集圖像為2 563張，測試集中為1 097張。

在參數(shù)初始化的過程中，選擇了直接遷移FCN作者訓(xùn)練的前5層參數(shù)以提取圖像特征，并對其他層進行了歸零初始化。在訓(xùn)練過程中發(fā)現(xiàn)，隨機初始化并不能取得很好的收斂效果，同時在分類網(wǎng)絡(luò)部分訓(xùn)練中采用了0.5的dropout以防止過擬合。

1.3 病害區(qū)域定位 為了確定病變區(qū)域的位置，首先需要確定標(biāo)記所在位置，如果直接使用Adaboost來進行目標(biāo)檢測從而來確定目標(biāo)的相對位置，則需要提高無人機高度，以保證地面定位目標(biāo)在無人機視場角范圍內(nèi)，通過多個地面定位目標(biāo)來判斷當(dāng)前病變區(qū)域所在位置。這種做法不但在地面定位目標(biāo)安裝的時候會有很高的精度要求，同時也拉高了無人機攝像頭的拍攝高度，對作物區(qū)域進行視覺檢測的時候會因為距離過遠(yuǎn)導(dǎo)致過多的圖像細(xì)節(jié)遺漏。

為此，采取了一種基于OCR的病變區(qū)域定位方式。該研究使用的專業(yè)無人機航拍攝像頭視場角為長邊120°，為了適應(yīng)更加普遍的情況，設(shè)該攝像頭的視場角為θ，無人機距離地面高度為H±δ，為了使病變區(qū)域在單個目標(biāo)標(biāo)記范圍內(nèi)且目標(biāo)標(biāo)記區(qū)域不重合，在地面安置2個標(biāo)記的時候，需要使得2個標(biāo)記的距離D略大于目標(biāo)方形區(qū)域范圍（圖6），以實現(xiàn)在同一時刻場景中只存在1個定位目標(biāo)。設(shè)在地面上標(biāo)記的第i個定位目標(biāo)為ai，屬于標(biāo)記集合A，當(dāng)攝像頭范圍內(nèi)出現(xiàn)被OCR識別后屬于集合A的光學(xué)字符，且該區(qū)域圖像經(jīng)語義分割后病害像素點個數(shù)大于0后，判定該標(biāo)記對應(yīng)的位置區(qū)間為病害區(qū)域。關(guān)系如下：

2 結(jié)果與分析

2.1 網(wǎng)絡(luò)效果驗證

為了對比調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)后的fine-tune FCN的效果，更好地評價算法的魯棒性，同時對比了FCN、SDS、R-CNN與fine-tune FCN在自建數(shù)據(jù)集下的分割效果。為了保證對比結(jié)果的有效性，采用了PASCAL VOC計算機視覺競賽數(shù)據(jù)集下4種進行語義分割和場景解析評估的常用指標(biāo)來進行模型的評價，分別為像素精度（PA）、均像素精度（MA）、均交并比（MIoU）和頻權(quán)交并比（FWIoU）[17]，試驗結(jié)果表1所示。

2.2 定位結(jié)果準(zhǔn)確度驗證

該研究的定位方式屬于區(qū)域定位，以命中率為定位結(jié)果準(zhǔn)確度的評價指標(biāo)，以通過圖像語義分割與OCR字符判斷計算得到的病害所在標(biāo)記區(qū)域是否為該病害真實所在標(biāo)記區(qū)域，從而獲取相應(yīng)評價關(guān)系（表2）。

由于在實際生產(chǎn)中，僅憑借判斷預(yù)測出的病害標(biāo)記區(qū)域是否與真實標(biāo)記區(qū)域一致，難以對治理進行協(xié)助，無法完全作為一個病害預(yù)測系統(tǒng)的評價標(biāo)準(zhǔn)，因此采用定位準(zhǔn)確率（Accuracy）和定位精確率（Precision）作為命中率的評價標(biāo)準(zhǔn)，并同時對比了FCN、SDS和R-CNN在相同工作下的效果，結(jié)果如表3所示。

3 結(jié)論

該研究提出了一種基于深度學(xué)習(xí)進行青菜病害區(qū)域圖像語義分割與定位的方法，能夠通過fine-tune FCN對青菜農(nóng)田圖像進行圖像語義分割，將病害區(qū)域從圖像中分離出來，通過識別地面固定距離安放的標(biāo)記來進行區(qū)域識別，能夠?qū)崿F(xiàn)對病害區(qū)域的定位。同時，為了提高FCN在病害區(qū)域識別過程中的精確度，對FCN網(wǎng)絡(luò)進行了fine-tune，在第3層池化層前加入了2層3×3×256的卷積層，并將最后1層卷積核修改為1×1×7，從而更好地進行了抽象特征的提取。算法最終在通過專業(yè)無人機采集的自建數(shù)據(jù)集上進行驗證，并與SDS、FCN、R-CNN進行對比，在自建數(shù)據(jù)集下fine-tune FCN的mIoU為53.2%，對4種病害類型與健康情況的識別像素精度PA為85.2%，最終成功定位正確率為96.8%，因此具有更好效果。綜上所述，fine-tune FCN在青菜病害區(qū)域圖像語義分割上有較好的性能，結(jié)合地面標(biāo)記識別能夠有效實現(xiàn)青菜病害區(qū)域的識別與定位，協(xié)助農(nóng)業(yè)生產(chǎn)以保證青菜的正常生長。

參考文獻(xiàn)

[1] 郭萍.小青菜病蟲害防治[J].北京農(nóng)業(yè)，2012（6）：104.

[2] 姜楓， 顧慶， 郝慧珍， 等.基于內(nèi)容的圖像分割方法綜述[J].軟件學(xué)報，2017，28（1）：160-183.

[3] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，39（4）：640-651.

[4] CHAUDHURI B B，PAL U.A complete printed Bangla OCR system[J].Pattern recognition，1998，31（5）：531-549.

[5] 秦豐， 劉東霞， 孫炳達(dá)，等.基于深度學(xué)習(xí)和支持向量機的 4 種苜蓿葉部病害圖像識別[J].中國農(nóng)業(yè)大學(xué)學(xué)報，2017，22（7）：123-133.

[6] SUN M X，YANG W C，HIGASHIYAMA T.Special issue on plant reproduction research in Asia[J].Plant reproduction，2018，31（1）：1-2.

[7] 郝變青，馬利平，朱九生，等.山西、河北蔬菜生產(chǎn)質(zhì)量安全調(diào)查[J].山西農(nóng)業(yè)科學(xué)，2013，41（10）：1116-1118.

[8] 史嬋， 陳薇蘭， 王靜，等.三份重要水稻資源的稻瘟病抗性鑒定及不同評價指標(biāo)間的相關(guān)性分析[J].植物保護學(xué)報，2014，41（4）：390-395.

[9] 宋凱， 孫曉艷， 紀(jì)建偉.基于支持向量機的玉米葉部病害識別[J].農(nóng)業(yè)工程學(xué)報，2007，23（1）：155-157.

[10] 田世平， 范青.控制果蔬采后病害的生物學(xué)技術(shù)[J].植物學(xué)通報，2000，17（3）：211-217.

[11] 張軍國， 韓歡慶， 胡春鶴， 等.基于無人機多光譜圖像的云南松蟲害區(qū)域識別方法[J].農(nóng)業(yè)機械學(xué)報，2018，49（5）：249-255.

[12] 王彥翔， 張艷， 楊成婭，等.基于深度學(xué)習(xí)的農(nóng)作物病害圖像識別技術(shù)進展[J].浙江農(nóng)業(yè)學(xué)報，2019，31（4）：669-676.

[13] RUSSELL B C，TORRALBA A，MURPHY K P，et al.LabelMe：A database and webbased tool for image annotation[J].International journal of computer vision，2008，77（1/2/3）：157-173.

[14] HARIHARAN B，ARBELEZ P，GIRSHICK R，et al.Simultaneous detection and segmentation[J].Lecture notes in computerence，2014，8695：297-312.

[15] LECUN Y，BENGIO Y.Convolutional networks for images， speech， and time series[M]//ARBIB M A.The handbook of brain theory and neural networks.Cambridge：MIT Press，1995：255-258.

[16] BOTTOU L.Largescale machine learning with stochastic gradient descent[C]//LECHEVALLIER Y，SAPORTA G.Proceedings of COMPSTAT'2010.Heidelberg：PhysicaVerlag HD，2010：177-186.

[17] GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014IEEE conference on computer vision and pattern recognition.Ohio，USA：IEEE，2014：580-587.