一種基于深度學(xué)習(xí)的分割植物病害葉片方法

傅悅，李興春

（五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020）

隨著我國(guó)農(nóng)作物種植數(shù)量和產(chǎn)量不斷突破新高，僅憑人力和工人經(jīng)驗(yàn)來(lái)診斷植物是否患病是一項(xiàng)極耗時(shí)間和勞力的工作，如何準(zhǔn)確高效地識(shí)別并分割農(nóng)作物葉片病害成為亟待解決的問(wèn)題.近年來(lái)，深度學(xué)習(xí)技術(shù)逐漸成熟，圖像神經(jīng)網(wǎng)絡(luò)模型利用多個(gè)大小不同的卷積核對(duì)輸入圖像進(jìn)行卷積操作來(lái)提取圖像特征信息[1-2]，可以有效完成圖像分類任務(wù)，如VGG[2]和ResNet[3]等模型.同時(shí)，具有圖像語(yǔ)義分割的神經(jīng)網(wǎng)絡(luò)模型也得到了迅速發(fā)展，如FCN[4]和Unet[5]網(wǎng)絡(luò).然而，神經(jīng)網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率越來(lái)越高的同時(shí)也變得越來(lái)越臃腫，占用大量?jī)?nèi)存且運(yùn)算時(shí)間較長(zhǎng).為了克服這些弊端，輕量級(jí)網(wǎng)絡(luò)SqueezeNet[6]、MobileNet[7]等先后出現(xiàn).上述模型在一定程度上滿足了圖像處理的要求，但是仍存在通道與通道之間的特征提取效果不佳等問(wèn)題[8].

為了改善和提高現(xiàn)有網(wǎng)絡(luò)模型的性能，本文提出了一種基于深度學(xué)習(xí)技術(shù)的分割植物葉片病害的方法，通過(guò)優(yōu)化卷積效率[9]，以滿足現(xiàn)實(shí)植物病害的診斷的工作需求.

1 深度過(guò)參數(shù)化卷積

傳統(tǒng)卷積層是神經(jīng)網(wǎng)絡(luò)的基本組成部分，其中卷積核是一個(gè)移動(dòng)的矩形窗口，通過(guò)在目標(biāo)圖片上滑動(dòng)并進(jìn)行對(duì)應(yīng)位置上的相乘相加操作最終得到圖片的語(yǔ)義特征信息.在卷積神經(jīng)網(wǎng)絡(luò)（CNN）中常用的方式是通過(guò)堆疊多個(gè)大小不同的卷積核來(lái)獲取更深層次的信息.通常而言，通過(guò)在網(wǎng)絡(luò)中添加線性層和非線性層來(lái)增加網(wǎng)絡(luò)深度可以提高網(wǎng)絡(luò)的表達(dá)能力，提升網(wǎng)絡(luò)性能.但是使用更深層次的網(wǎng)絡(luò)結(jié)構(gòu)往往會(huì)增加神經(jīng)節(jié)點(diǎn)的計(jì)算量.為了讓傳統(tǒng)卷積層獲取更多的信息，本文通過(guò)在一個(gè)傳統(tǒng)卷積層中添加額外的深度卷積操作來(lái)增加卷積層的學(xué)習(xí)參數(shù)，其中每個(gè)輸入通道都用不同的二維核進(jìn)行卷積.兩個(gè)卷積的組合構(gòu)成了一種過(guò)參數(shù)化，稱為over-parameterized 卷積層.過(guò)參數(shù)化的一個(gè)明顯優(yōu)勢(shì)就是過(guò)參數(shù)化使用的多層復(fù)合線性操作在訓(xùn)練階段之后可以折疊為緊湊的單層形式.在推理階段時(shí)，DO-Conv 可以轉(zhuǎn)化為傳統(tǒng)的卷積操作即僅使用單層計(jì)算，因此整體網(wǎng)絡(luò)并不會(huì)增加多余的計(jì)算量.此外，DO-Conv 不僅可以提升融合模型的性能，還可以加快CNN 的訓(xùn)練速度.

深度過(guò)參數(shù)化卷積的操作步驟如圖1所示.其中M和N為輸入向量的空間維度，Cin為輸入向量的通道數(shù)，Cout為輸出的通道數(shù)，dmul為深度卷積的深度乘數(shù)，符號(hào)°代表深度卷積，符號(hào)*代表普通卷積.首先，輸入特征圖P和深度卷積核進(jìn)項(xiàng)深度卷積操作，生成卷積后的中間變量P′=D°P.其次，對(duì)中間變量P′進(jìn)行常規(guī)卷積運(yùn)算（常規(guī)卷積內(nèi)核W作用于P′），生成最終結(jié)果O=W*P′.因此，深度過(guò)參數(shù)化卷積的輸出公式可表示為：O=W* (D°P).

圖1 深度過(guò)參數(shù)化卷積的操作步驟

2 基于DO-Conv 改進(jìn)的U-net 網(wǎng)絡(luò)

2.1 U-net 網(wǎng)絡(luò)及添加注意力

為了獲取足夠大的感受野，從而更多地獲取語(yǔ)義上下文信息[10]，理想狀態(tài)下在CNN 前向傳播過(guò)程中逐漸下采樣，得到下采樣后的底層語(yǔ)義信息上的特征位置和全圖組織之間的關(guān)系.然而，對(duì)于形狀變化大的小物體，很難降低假陽(yáng)性的預(yù)測(cè).為了提高模型識(shí)別的準(zhǔn)確性，給網(wǎng)絡(luò)添加注意力結(jié)構(gòu)是一個(gè)行之有效的方法.通過(guò)整合注意門(AGs)在一個(gè)標(biāo)準(zhǔn)U-net 模型中實(shí)現(xiàn)，結(jié)構(gòu)如圖2 所示.注意力機(jī)制是通過(guò)在編碼器和解碼器之間增加一個(gè)跳躍連接和一個(gè)注意門來(lái)實(shí)現(xiàn)的，它可以選擇性地調(diào)節(jié)通過(guò)跳躍連接的信息流.注意門是一個(gè)學(xué)習(xí)計(jì)算空間注意圖的卷積層，它表示特征圖中不同空間位置的重要性.然后將注意力圖與跳過(guò)連接的特征圖相乘，有效地允許模型專注于分割任務(wù)中最相關(guān)的顯著特征[11].此外，AGs 在正向傳播和反向傳播過(guò)程中過(guò)濾神經(jīng)元的激活值.來(lái)自背景區(qū)域的梯度在后向傳播時(shí)向下加權(quán).這使得較淺層次的模型參數(shù)可以根據(jù)與給定任務(wù)相關(guān)的空間區(qū)域進(jìn)行更新.從而讓模型關(guān)注重點(diǎn)區(qū)域，忽略次要的和不相關(guān)的信息.

圖2 注意力結(jié)構(gòu)圖

2.2 基于DO-Conv 改進(jìn)的特征提取模塊

針對(duì)CNN 卷積層數(shù)增加導(dǎo)致計(jì)算量增大的情況，本文設(shè)計(jì)了一種基于DO-Conv 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)引入DO-Conv 替換傳統(tǒng)的卷積，可以在不增加網(wǎng)絡(luò)層數(shù)的情況下提升網(wǎng)絡(luò)的特征提取能力.就網(wǎng)絡(luò)卷積過(guò)程而言，整個(gè)卷積網(wǎng)絡(luò)由多個(gè) DO-Conv 層及最大池化層構(gòu)成.此外，Batch Normalization 和Relu 函數(shù)被用來(lái)加速訓(xùn)練過(guò)程，提高網(wǎng)絡(luò)的泛化能力.該網(wǎng)絡(luò)通過(guò)對(duì)樣本進(jìn)行卷積、池化操作進(jìn)行特征提取.DO-Conv 層是整體網(wǎng)絡(luò)中的特征提取層，卷積操作之后傳遞給激活函數(shù)，得到的結(jié)果是一組特征圖.

2.3 DO-Unet

本文網(wǎng)絡(luò)結(jié)構(gòu)以Attention Unet 網(wǎng)絡(luò)模型作為基礎(chǔ)網(wǎng)絡(luò)框架[12]，引入DO-Conv 層替換傳統(tǒng)的卷積，整體網(wǎng)絡(luò)框架如圖3 所示，該模型由編碼器和解碼器兩個(gè)主要部分組成.編碼器由一系列卷積層和池化層組成，這些層逐漸降低輸入圖像的空間分辨率，同時(shí)增加特征通道的數(shù)量.解碼器由一系列反卷積層和上采樣層組成，這些層逐漸增加特征映射的空間分辨率，同時(shí)減少特征通道的數(shù)量.具體流程為：1）將輸入的圖像統(tǒng)一為225 ×225的彩色三通道圖像；2）將輸入的圖像進(jìn)行深度過(guò)參數(shù)卷積進(jìn)行信息提取，把提取到的信息經(jīng)過(guò)最大池化層過(guò)濾，從而保留重點(diǎn)信息，并對(duì)運(yùn)算結(jié)果單獨(dú)保存；3）把經(jīng)過(guò)注意力計(jì)算的特征圖的結(jié)果與之前保存的結(jié)果進(jìn)行拼接；4）通過(guò)上采樣將圖像還原為原始大??；5）進(jìn)行逐像素點(diǎn)判斷，輸出最終結(jié)果.

圖3 基于Do-Conv的整體網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集

本次實(shí)驗(yàn)數(shù)據(jù)來(lái)自AI Challenger①https://challenger.ai/competition/pdr2018，共有18 159 張農(nóng)作物葉片圖像，圖像分辨率均為225 ×225，訓(xùn)練集16 346 張，驗(yàn)證集1 813 張.其中農(nóng)作物病害葉片9 種（靶斑病，斑枯病，紅蜘蛛病，花葉病，黃化曲葉病，菌斑病，霉菌病，晚疫病，早疫?。┖徒】等~片1 種，合計(jì)10 個(gè)分類.

確定分割目標(biāo)區(qū)域的標(biāo)簽所使用的第三方工具為labelme，使用鎖套工具對(duì)葉片病害區(qū)域進(jìn)行標(biāo)注，最后將工具生成的json 文件統(tǒng)一轉(zhuǎn)化為png 格式，最終效果如表1 所示.

表1 植物葉片和標(biāo)簽

3.2 實(shí)驗(yàn)設(shè)置

本文使用python 編程語(yǔ)言，利用深度學(xué)習(xí)框架pytorch 搭建神經(jīng)網(wǎng)絡(luò)，軟硬件配置如下：Intel Core i7-10700k，NVIDIA 3060ti 顯卡，16 Gb 內(nèi)存，ubuntu18.04LTS 系統(tǒng)，pycharm2021.1.網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率為1e-5，模型的batch size 為128，模型使用調(diào)參隨機(jī)梯度下降優(yōu)化器進(jìn)行優(yōu)化.

3.3 評(píng)價(jià)指標(biāo)

均交并比（mIoU）計(jì)算公式如下：

式中，i為真實(shí)值，j為預(yù)測(cè)值，pij表示將i預(yù)測(cè)為j的像素個(gè)數(shù).分子即為交集，分母即為并集.

Pixel Accuracy（PA）即像素準(zhǔn)確率.PA 等于預(yù)測(cè)正確像素個(gè)數(shù)除以總預(yù)測(cè)像素個(gè)數(shù).公式為：

3.4 實(shí)驗(yàn)結(jié)果

為了更直觀地表現(xiàn)DO-Conv 卷積層對(duì)網(wǎng)絡(luò)模型分割準(zhǔn)確率的優(yōu)化效果，本文使用了五類模型在相同葉片病害數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示.

表2 各個(gè)模型性能比較

由表2 可知，經(jīng)過(guò)DO-Conv 卷積層改進(jìn)后的網(wǎng)絡(luò)模型在驗(yàn)證集上的mIoU 指標(biāo)為0.704（原始U-net 網(wǎng)絡(luò)在驗(yàn)證集上的mIoU 指標(biāo)為0.659），同比增長(zhǎng)4.5%，模型性能上的提升，驗(yàn)證了DO-Conv卷積的有效性.神經(jīng)網(wǎng)絡(luò)實(shí)際分割效果如圖4 所示，第一行為驗(yàn)證集病害葉片原圖，第二行中白色陰影部分為被標(biāo)記出來(lái)的葉片病害的區(qū)域.

圖4 神經(jīng)網(wǎng)絡(luò)分割效果圖

如圖5 所示，在訓(xùn)練過(guò)程中使用DO-Conv 卷積層的網(wǎng)絡(luò)的準(zhǔn)確率上升速度更快，且明顯高于使用傳統(tǒng)卷積層Conv 的準(zhǔn)確率曲線，因此，使用DO-Conv層不僅可以提高葉片病害識(shí)別的準(zhǔn)確率，還可以加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.

圖5 模型測(cè)試準(zhǔn)確率與訓(xùn)練次數(shù)關(guān)系

4 結(jié)論

本文提出了一種基于DO-Conv 改進(jìn)的網(wǎng)絡(luò)模型，該方法改進(jìn)了傳統(tǒng)圖像分割模型，加強(qiáng)了高層和底層特征抽取的正確性，同時(shí)模型的運(yùn)算速度和準(zhǔn)確率均有所提高.將該方法應(yīng)用于采集到的已有的農(nóng)作物葉片病害數(shù)據(jù)集上，結(jié)果表明，該方法精確度可以達(dá)到92.16%，分割重合率可以達(dá)到70.4%.通過(guò)與以往深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行比較，該模型的性能得到了一定程度的提升，說(shuō)明了文中提出的算法是可行的，將該算法運(yùn)用到實(shí)際生活中可以提高農(nóng)作物葉片檢測(cè)和識(shí)別病害區(qū)域的效率和準(zhǔn)確率，對(duì)農(nóng)作物病蟲(chóng)害防治工作有一定積極作用.

實(shí)驗(yàn)有待提高之處有3 個(gè)方面：1）數(shù)據(jù)集植物葉片病害種類較少，且病害種類均為單一且典型性病害，葉片病害種類的增加勢(shì)必會(huì)帶來(lái)新的挑戰(zhàn)；2）數(shù)據(jù)集標(biāo)簽是人為標(biāo)注，其中難免會(huì)有誤差，從而造成精度損失；3）網(wǎng)絡(luò)模型仍有改進(jìn)的余地，分割效果有待進(jìn)一步提高.