基于深度學(xué)習(xí)的馬鈴薯病害智能識(shí)別

陳從平，鈕嘉煒，丁 坤，姜金濤

(1. 常州大學(xué)機(jī)械與軌道交通學(xué)院，江蘇 常州 213164；2. 內(nèi)蒙古智誠(chéng)物聯(lián)股份有限公司，內(nèi)蒙古 烏蘭察布 012000)

1 引言

馬鈴薯生長(zhǎng)過(guò)程中出現(xiàn)的各種病害嚴(yán)重影響了馬鈴薯的產(chǎn)量和品質(zhì)，在大面積、無(wú)人化種植的情況下，需要通過(guò)信息化、自動(dòng)化的手段來(lái)識(shí)別馬鈴薯生長(zhǎng)過(guò)程中的病害，以提高馬鈴薯病害診斷的實(shí)時(shí)性與準(zhǔn)確性。

機(jī)器視覺是目前用于監(jiān)測(cè)作物生長(zhǎng)期病害有效的技術(shù)手段之一，其原理主要是通過(guò)識(shí)別作物葉片病斑特征來(lái)對(duì)其進(jìn)行病害診斷。在使用傳統(tǒng)機(jī)器學(xué)習(xí)方法識(shí)別作物病害方面，范振軍等[1]根據(jù)SIFT(Oriented FAST and Rotated BRIEF)[2]和ORB(Scale Invariant Feature Transform)[3]關(guān)鍵特征點(diǎn)提取病害的ROI區(qū)域，基于支持向量機(jī)(SVM)分類器融合紋理和顏色特征實(shí)現(xiàn)馬鈴薯病害識(shí)別。趙建敏等[4]使用最大類間方差法(OTSU)分割出馬鈴薯葉片中的病斑，再提取病斑顏色、形狀和紋理特征使用SVM分類器完成馬鈴薯病害識(shí)別。Mohammadpoor等[5]使用模糊C均值算法突出顯示每片葡萄葉的患病區(qū)域，最后使用SVM判斷葡萄葉片是否患病。在使用深度學(xué)習(xí)方法識(shí)別作物病害方面，胡志偉等[6]基于注意力卷積塊和殘差卷積塊提出注意力殘差網(wǎng)絡(luò)ARNet(Attention residual network)，采用44295張圖片訓(xùn)練模型，實(shí)現(xiàn)番茄病害的識(shí)別。Bin Liu等[7]采集和擴(kuò)充了107366幅葡萄葉圖像，搭建密集的Inception卷積神經(jīng)網(wǎng)絡(luò)(DICNN)模型，能有效地識(shí)別葡萄葉病害。Wan jie等[8]提出了一種基于CNN的稻瘟病診斷系統(tǒng)，該模型在5808張患病圖像的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，在識(shí)別準(zhǔn)確度方面實(shí)現(xiàn)了令人滿意的性能。

然而，雖然上述研究方法都能夠在一定程度上有效地識(shí)別相應(yīng)的病害，但均是以人工采摘出的獨(dú)立葉片圖像作為樣本，忽略了作物生長(zhǎng)環(huán)境中背景圖像的干擾信息，而實(shí)際監(jiān)測(cè)應(yīng)該在真實(shí)的種植環(huán)境中進(jìn)行，需要在復(fù)雜的背景下分割出葉片及葉片上的病斑圖像，這給該技術(shù)的實(shí)際應(yīng)用帶來(lái)了極大的挑戰(zhàn)。

本文以機(jī)器視覺在線監(jiān)測(cè)馬鈴薯在真實(shí)的生長(zhǎng)環(huán)境下的病害為研究對(duì)象，著重解決馬鈴薯葉片、病斑分割、病斑特征提取、病害類型診斷等關(guān)鍵技術(shù)問題。首先采用深度學(xué)習(xí)方法從復(fù)雜背景中分割出馬鈴薯葉片，經(jīng)自適應(yīng)增強(qiáng)后將葉片補(bǔ)圖轉(zhuǎn)換到HSV顏色空間，通過(guò)對(duì)補(bǔ)圖的H分量像素值重新賦值實(shí)現(xiàn)病斑提取；最后構(gòu)建一維卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)馬鈴薯病害的識(shí)別。

2 復(fù)雜背景下馬鈴薯葉片分割

由于實(shí)際場(chǎng)景中的馬鈴薯葉片處于復(fù)雜背景下，需要提取豐富的語(yǔ)義信息才能將葉片與背景準(zhǔn)確分割。深度學(xué)習(xí)具有強(qiáng)大的語(yǔ)義提取功能，其中基于深度學(xué)習(xí)的DeepLabv3+網(wǎng)絡(luò)采用了空間金字塔池化模塊，能夠在多尺度下獲取馬鈴薯葉片圖像的語(yǔ)義特征信息，提高了分割的準(zhǔn)確率[9]，因此本文選擇DeepLabv3+網(wǎng)絡(luò)完成復(fù)雜背景下馬鈴薯葉片的分割。

2.1 數(shù)據(jù)集制作

在實(shí)際場(chǎng)景中拍攝600幅含病斑的馬鈴薯葉片圖像，然后通過(guò)旋轉(zhuǎn)、平移、亮度調(diào)整等操作將圖像數(shù)量擴(kuò)充至2000幅，其中1700幅圖像用于訓(xùn)練馬鈴薯葉片分割模型，300幅圖像用于訓(xùn)練和測(cè)試馬鈴薯病害識(shí)別模型，最后將圖像調(diào)整為224×224分辨率，部分樣本如圖1所示。

圖1 馬鈴薯葉片圖像

2.2 語(yǔ)義分割模型

DeepLabv3+結(jié)構(gòu)如圖2所示，首先圖像在Encoder部分經(jīng)過(guò)Xception的特征提取模塊提取特征圖像，再將特征圖像通過(guò)空間金字塔池化模塊(ASPP)實(shí)現(xiàn)多尺度特征提取，最后使用1×1的卷積完成通道的壓縮。在Decoder模塊中，先將Encoder模塊得到的特征信息通過(guò)4倍的上采樣操作，后與Xception提取的特征信息經(jīng)過(guò)1×1的卷積降維后進(jìn)行拼接，再通過(guò)3×3的卷積進(jìn)行特征融合，最后采用4倍上采樣。對(duì)搭建的DeepLabv3+網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并用訓(xùn)練好的網(wǎng)絡(luò)對(duì)馬鈴薯葉片進(jìn)行分割，部分結(jié)果如圖3所示，可見獲得了良好的分割效果。

圖2 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)

圖3 葉片分割

3 病斑提取

馬鈴薯病害類型主要由葉片病斑特征來(lái)體現(xiàn)，因而在診斷之前，還需要將病斑從葉片中分割。為提高病斑分割時(shí)邊緣的準(zhǔn)確性，首先對(duì)葉片圖像進(jìn)行增強(qiáng)，再求其補(bǔ)圖，進(jìn)一步轉(zhuǎn)換到HSV顏色空間下，最后根據(jù)H分量對(duì)其上的病斑進(jìn)行提取。

3.1 自適應(yīng)對(duì)比度增強(qiáng)

由于已分割出來(lái)的葉片圖像為RGB彩色圖像，如果純粹的分別對(duì)R、G、B三通道分量圖像增強(qiáng)，并直接對(duì)增強(qiáng)后的三通道分量圖像合并則會(huì)引起圖像色相的變化，其圖像顏色會(huì)發(fā)生改變，因此為解決增強(qiáng)后圖像色相發(fā)生變化，首先將葉片圖像由RGB顏色空間轉(zhuǎn)換成HIS顏色空間，而H和S通道分別表示色調(diào)和飽和度不需要對(duì)其增強(qiáng)，所以只需對(duì)I(亮度)通道分量圖像進(jìn)行對(duì)比度增強(qiáng)。

設(shè)I(i，j)為(2n+1)×(2n+1)像素大小的窗口中心點(diǎn)的像素值，則點(diǎn)(i，j)的2n+1鄰域內(nèi)像素平均值m(i，j)和標(biāo)準(zhǔn)方差σ分別為

(1)

(2)

其中n為非負(fù)整數(shù)，k和l表示為在(2n+1)×(2n+1)像素大小的窗口內(nèi)的坐標(biāo)值。

9月，秋高氣爽,碩果累累。清風(fēng)送來(lái)涼爽，天空一片蔚藍(lán)。我和夫人應(yīng)中國(guó)兵器淮海集團(tuán)的盛情邀請(qǐng)，前往山西長(zhǎng)治，參加他們建廠80周年暨軍民融合論壇等一系列活動(dòng)。

令μ為I分量圖像的全局像素平均值，β為[0，1]區(qū)間的參數(shù)值，則對(duì)I(i，j)增強(qiáng)后的像素值G(i，j)可表示為

(3)

對(duì)增強(qiáng)后的I通道分量圖像與H、S通道分量圖像重新合并，再轉(zhuǎn)換合并后的圖像顏色空間，由HIS顏色空間轉(zhuǎn)換為RGB顏色空間，完成葉片圖像的對(duì)比度增強(qiáng)。

設(shè)對(duì)比度增強(qiáng)后圖像為Q，因?yàn)閳D像Q是R、G、B三通道圖像，則其任意通道的互補(bǔ)像素值C(i，j)可表示為

C(i，j)=255-Q(i，j)

(4)

圖像Q經(jīng)過(guò)式(4)分別求出其R、G、B三通道分量圖像的互補(bǔ)圖像，對(duì)求出的各個(gè)分量的互補(bǔ)圖像合并，最終得到圖像Q的補(bǔ)圖。

3.2 病斑分割

對(duì)自適應(yīng)對(duì)比度增強(qiáng)后的葉片圖像求出的補(bǔ)圖進(jìn)一步的利用顏色空間轉(zhuǎn)換，轉(zhuǎn)換到HSV顏色空間下，然后提取H分量，按式(5)對(duì)H分量重新賦值，進(jìn)而獲得病斑圖像，并經(jīng)形態(tài)學(xué)操作去除病斑周圍可能存在的部分噪點(diǎn)，提取出完整的病斑，其過(guò)程和結(jié)果如圖4所示。

(5)

其中H(i，j)表示對(duì)某像素點(diǎn)H分量的賦值，H.mean()表示H分量的平均像素值。

圖4 病斑提取過(guò)程

4 病斑特征提取

馬鈴薯病害主要為早疫病和晚疫病，其病斑具有豐富的紋理、顏色和形狀特征，其中，在紋理方面，早疫病會(huì)出現(xiàn)同心輪紋，而晚疫病沒有類似的輪紋狀紋理，因而該類特征易于用模型來(lái)量化描述；在顏色和形狀方面，這兩種病害的病斑均近似為褐色，且都近似于圓形，這兩類特征難以用模型來(lái)完備地定義和提取。由于紋理特征屬于人工定義的特征，不能夠完整的描述病斑圖像的表征信息，且人工定義的特征在特征學(xué)習(xí)和識(shí)別方面有一定的局限性，而深度學(xué)習(xí)網(wǎng)絡(luò)模型提取的特征信息是人工無(wú)法定義的更深層次的抽象特征，因此采用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)一步提取病斑特征。常用于提取特征的深度學(xué)習(xí)網(wǎng)絡(luò)主要有VGG16[10]，ResNet[11]，AlexNet[12]等，其中VGG16在圖像分類和檢測(cè)方面都具有良好的效果并且結(jié)構(gòu)簡(jiǎn)潔，所以采用VGG16網(wǎng)絡(luò)提取病斑特征，并和紋理特征進(jìn)行融合。

紋理特征提取方面，通過(guò)計(jì)算病斑灰度游程矩陣參數(shù)來(lái)反映圖像中紋理的粗細(xì)、均勻程度和變化情況[13-14]，常用的灰度游程矩陣參數(shù)有11個(gè)，即短游程優(yōu)勢(shì)、長(zhǎng)游程優(yōu)勢(shì)、灰度不均勻性、長(zhǎng)游程不均勻性、游程百分比、低灰度級(jí)游程優(yōu)勢(shì)、高灰度級(jí)游程優(yōu)勢(shì)、短游程低灰度級(jí)優(yōu)勢(shì)、短游程高灰度級(jí)優(yōu)勢(shì)、長(zhǎng)游程低灰度級(jí)優(yōu)勢(shì)和長(zhǎng)游程高灰度級(jí)優(yōu)勢(shì)，各個(gè)參數(shù)的含義見表1所示。

采用VGG16網(wǎng)絡(luò)實(shí)現(xiàn)特征提取，其結(jié)構(gòu)如圖5所示。將VGG16提取出特征向量記為N，并且和特征向量M拼接融合構(gòu)成一維特征向量，記為X，X=[M，N]。

圖5 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

5 病害識(shí)別

由于最終融合出的特征向量X屬于一維向量，因此搭建一維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行病害識(shí)別。一維卷積神經(jīng)網(wǎng)絡(luò)雖然只有一個(gè)維度，但仍具備和CNN同樣的優(yōu)點(diǎn)，同時(shí)因?yàn)橐痪S卷積神經(jīng)網(wǎng)絡(luò)處理的是一維向量，在卷積的過(guò)程中不會(huì)產(chǎn)生太多的參數(shù)，所以大大減少了計(jì)算量[15-16]。搭建如圖6所示的一維卷積神經(jīng)網(wǎng)絡(luò)。

圖6 一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

以交叉熵作為損失函數(shù)對(duì)馬鈴薯健康葉、早疫病和晚疫病進(jìn)行分類實(shí)驗(yàn)，每種類型選用70個(gè)樣本進(jìn)行訓(xùn)練，采用隨機(jī)梯度下降方法訓(xùn)練模型，學(xué)習(xí)率設(shè)置為0.001，epoch設(shè)置為80，計(jì)算每輪epoch的損失并繪制如圖7的損失曲線。

圖7 損失曲線圖

由圖7可知，當(dāng)模型訓(xùn)練到65個(gè)epoch時(shí)，損失值趨于穩(wěn)定，表明模型已經(jīng)收斂。

訓(xùn)練完成的模型通過(guò)計(jì)算準(zhǔn)確率P、召回率R和F1的值來(lái)評(píng)價(jià)性能，其計(jì)算公式分別如下：

(6)

(7)

(8)

其中，F(xiàn)P、TP、FN和TN分別表示假陽(yáng)性、真陽(yáng)性、假陰性和真陰性。使用90幅測(cè)試樣本輸入模型測(cè)試，獲得的混淆矩陣見表2所示，并且通過(guò)混淆矩陣計(jì)算出每種類型的準(zhǔn)確率、召回率以及F1值分別見表3所示。

表2 混淆矩陣

表3 準(zhǔn)確率、召回率和F1值

可見在90幅測(cè)試樣本中，健康葉、早疫病和晚疫病都具有較好的識(shí)別準(zhǔn)確率、召回率和F1值，在馬鈴薯病害識(shí)別方面達(dá)到較高的準(zhǔn)確率，表明本文方法能準(zhǔn)確有效地識(shí)別復(fù)雜背景下的馬鈴薯病害。

6 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的馬鈴薯葉片病害智能識(shí)別的方法，面對(duì)復(fù)雜的背景通過(guò)語(yǔ)義分割網(wǎng)絡(luò)Deeplab V3+分割出馬鈴薯葉片，接著使用自適應(yīng)對(duì)比度增強(qiáng)方法增強(qiáng)病斑與葉片間的對(duì)比度并求出補(bǔ)圖，然后對(duì)補(bǔ)圖進(jìn)行HSV的顏色空間轉(zhuǎn)換，將H分量的像素值重新賦值實(shí)現(xiàn)病斑的提取。在識(shí)別方面，融合病班圖像的紋理特征和采用VGG16網(wǎng)絡(luò)獲得的特征，利用搭建的一維卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)病害的識(shí)別，在準(zhǔn)確率、召回率和F1值上都具有較好的效果。因此本文方法能夠在復(fù)雜背景下準(zhǔn)確的識(shí)別馬鈴薯病害。在后續(xù)的研究中，可以在葉片分割、特征提取等方面進(jìn)一步優(yōu)化處理，提高識(shí)別準(zhǔn)確率。