基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的作物病害葉片分割

王 振，張善文，趙保平

1.西京學院 信息工程學院，西安 710123

2.寶雞市農(nóng)業(yè)科學研究院，陜西 寶雞 721000

1 引言

作物病害是影響作物產(chǎn)量與質(zhì)量的重要因素之一。由于大部分病害的癥狀主要表現(xiàn)在作物葉片上，所以通過觀察作物葉片特征可判斷病害發(fā)生和病害類型[1]。傳統(tǒng)的通過人工觀察方式判斷病害類型，存在主觀性、盲目性和效率低等問題[2]。近年來，隨著計算機視覺技術(shù)的不斷發(fā)展，使用自動化方式判斷作物病害成為一種趨勢，能夠有效解決人工判斷病害的缺點[3]。在基于病害葉片圖像的病害識別過程中，病斑區(qū)域的精準分割直接影響病害識別的準確率。

作物病害葉片圖像分割方法很多，病害葉片圖像可以分為基于傳統(tǒng)圖像分割的方法和基于深度學習的分割方法。傳統(tǒng)的作物病害圖像分割方法可分為4類：基于閾值的分割方法[4-5]、基于聚類的分割方法[6-8]、基于分類的分割方法[9-10]和基于圖論的分割方法[11-12]。第一類方法通過尋找關(guān)鍵閾值點進行作物病害葉片圖像分割，該方法適用于簡單背景下的病害葉片圖像分割。第二類方法根據(jù)圖像像素點的不同進行分類來完成病斑區(qū)域分割，但該方法在分割過程中需要進行多次迭代才能確定最優(yōu)聚類點，降低了分割方法的時效性。第三類方法利用多種圖像特征對分類器進行訓練，使用訓練后的分類器對像素點進行分類從而實現(xiàn)分割，由于在特征提取階段需要設(shè)定較為復雜的特征提取算法，所以這種方法的實用性較差。第四類方法將原始圖像映射為帶權(quán)無向圖，通過求解函數(shù)最優(yōu)解完成圖像分割，這種方法適用于背景簡單或像素相似度較低的條件。以上基于傳統(tǒng)的圖像分割方法只適用于背景較簡單的作物病害葉片圖像，當作物病斑區(qū)域與背景顏色相似或界限模糊時，使用傳統(tǒng)的圖像分割方法難以將兩者區(qū)分開，分割效果較差。

近年來得益于深度學習技術(shù)的發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對圖像進行語義分割成為一種趨勢[13]。許多學者嘗試將CNN用于解決作物病害葉片圖像分割問題。劉立波等[14]將Markov與CNN相結(jié)合完成對棉花病斑圖像分割，該方法利用CNN提取圖像深層語義特征，結(jié)合特征圖像素間的相對關(guān)系構(gòu)建條件隨機場能量函數(shù)并對其進行優(yōu)化訓練；段凌鳳等[15]利用水稻病害數(shù)據(jù)集訓練基于全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的水稻病害葉片圖像分割模型，完成了復雜背景下水稻病害葉片圖像的分割；趙兵等[16]將FCN與CRF相結(jié)合進行葡萄病害葉片分割。該方法在分割過程中將CRF作為概率圖描述圖像的細節(jié)信息，所以需要網(wǎng)絡(luò)模型的訓練時間較長。Xiong等[17]將超像素分割與CNN結(jié)合，實現(xiàn)了不同生長時期的大田稻穗分割，其缺點是在復雜背景下的分割效果較差。馬浚誠等[18]基于CNN設(shè)計了一種溫室黃瓜病害識別系統(tǒng)，該系統(tǒng)在預處理階段將復合顏色特征與CNN相結(jié)合，能夠?qū)崿F(xiàn)對不同病害的完整分割。楊晉丹等[19]基于Alex Net提出一種草莓葉部病害檢測方法，在草莓病害葉片圖像上的檢測中效果較好，但對于有遮擋的情況效果較差。Pound等[20]利用CNN對小麥根尖、穗尖以及穗基等不同部位進行分割，取得了較好的效果。由于CNN需要對原始圖像進行預處理操作，降低了該方法的普適性。以上基于深度學習的作物病害葉片圖像分割方法在不同種類作物病害葉片圖像分割問題上均得到較高的分割精度，但現(xiàn)有基于深度學習的分割方法只是針對單一的植物病害完成分割任務(wù)，不能解決多種植物病害的分割問題，降低了分割方法的實用性；而且部分方法的網(wǎng)絡(luò)模型結(jié)構(gòu)較為復雜，很難將其擴展為進一步的作物病害識別任務(wù)；許多方法所建立的網(wǎng)絡(luò)模型需要進行大量的模型參數(shù)訓練，難以滿足作物病害分割的實時性需求。因此本文針對作物葉部病害分割難題，提出一種基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的作物病害分割方法，并將其應(yīng)用于不同環(huán)境下的作物病害葉片圖像分割。

圖1 部分作物病害葉片圖像

2 材料與方法

2.1 圖像采集

實驗圖像采集于陜西省寶雞市大田試驗基地，采集時間為2018年4月—7月。為充分考慮自然光照對分割效果的影響，每日8：00、10：00、16：00和18：00時間段進行拍攝。主要作物病害葉片包括玉米大斑病、玉米圓斑病、小麥條銹病、小麥炭疽病、黃瓜靶斑病和黃瓜褐斑病，共拍攝900幅作物病害葉片圖像，每種病害葉片圖像150幅。采集設(shè)備為Cannon EOS650D數(shù)碼相機，無任何補充光源，拍攝時距離作物葉片約15～30 cm。為提高網(wǎng)絡(luò)模型的訓練效率，利用Photoshop將圖像統(tǒng)一裁剪為256×256像素大小。部分作物病害葉片圖像如圖1所示。

在裁剪后的作物病害葉片中隨機挑選650幅組成訓練集、125幅作為驗證集、125幅作為測試集。將訓練集圖像輸入分割網(wǎng)絡(luò)模型中，對模型的權(quán)重參數(shù)進行訓練；利用驗證集確定模型結(jié)構(gòu)，同時控制模型的復雜程度，對模型參數(shù)進行調(diào)優(yōu)；選用測試集圖像對模型的分割效果進行測試。

2.2 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的圖像分割方法

基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（CCNN）的作物病害葉片圖像分割方法的整體流程如圖2所示。由于作物病害葉片圖像中葉片的病害部分與正常區(qū)域的像素相似度較高，而且采集圖像包含大量的背景噪聲，為此將卷積層、全局池化層和SoftMax相結(jié)合，建立區(qū)域病斑定位網(wǎng)絡(luò)（RD-Net），對葉片中的病斑區(qū)域進行檢測，即對病斑區(qū)域進行定位，減少背景信息對分割效果的影響?；贓ncoder-Decoder模型架構(gòu)，建立區(qū)域病斑分割網(wǎng)絡(luò)（RS-Net），進行病害葉片圖像分割。在CCNN中，使用多尺度卷積核擴大原始卷積核的局部感受野，將RD-Net的輸出結(jié)果輸入到RS-Net，然后對定位的病斑區(qū)域進行分割?，F(xiàn)有的基于深度學習的分割方法多數(shù)使用端到端的分割模型，這種方法直接對圖像進行分割任務(wù)，無法定位圖像中所要分割的具體位置，這種方式降低了分割效率。在本研究中使用RD-Net與RS-Net相結(jié)合的方法，提高了網(wǎng)絡(luò)模型的分割精度，在經(jīng)過RD-Net對圖像中的病斑區(qū)域進行定位后，增強了CCNN網(wǎng)絡(luò)模型對病斑區(qū)域的視覺顯著性，加快了模型的分割速度。

圖2 基于CCNN的作物病害葉片分割模型

圖3 RD-Net網(wǎng)絡(luò)模型結(jié)構(gòu)

2.2.1 區(qū)域病斑檢測網(wǎng)絡(luò)模型（RD-Net）

RD-Net基于傳統(tǒng)CNN網(wǎng)絡(luò)構(gòu)建，其結(jié)構(gòu)主要包括卷積層、池化層以及全連接層。其結(jié)構(gòu)如圖3所示。在圖3中，前半部分是基于傳統(tǒng)VGG16網(wǎng)絡(luò)進行構(gòu)建，主要用來對輸入圖像進行深層特征提?。缓蟀氩糠謩t由一個n×n的滑動窗口、一個分類層（cls）和一個回歸層（reg）組成，用來產(chǎn)生區(qū)域檢測框以及相應(yīng)的類別和位置信息。

RD-Net網(wǎng)絡(luò)主要包括13個卷積層（Conv1～Conv13）、4個池化層以及1個全局池化層組成。將所有卷積核設(shè)置為3×3大小，卷積層的滑動步長設(shè)置為1；為保持與輸入圖像的維數(shù)一致，通過邊界擴充的方式將pad參數(shù)設(shè)置為1對卷積層邊緣進行補全。池化層（Pooling1～Pooling3）大小設(shè)置為3×3，并采用最大池化操作，池化窗口設(shè)置為2×2，滑動步長設(shè)置為2。由于傳統(tǒng)的VGG16網(wǎng)絡(luò)在末端采用全連接層，導致網(wǎng)絡(luò)模型需要進行大量的參數(shù)計算。為了減少模型的計算量，采用全局池化層代替全連接層。使用n×n的滑動窗口在卷積層前部分卷積層輸出的特征映射圖上進行卷積操作，將經(jīng)過滑動窗口得到的卷積層映射為一個特征向量，并將特征向量輸入到兩個同級的分類層和回歸層，分類層用于判別是否為葉片正常區(qū)域或病斑區(qū)域，利用回歸層對病斑區(qū)域的具體位置進行定位。在具體的病斑區(qū)域檢測過程中，將滑動窗口的中心點定義為錨點，窗口的每一次滑動都分別對應(yīng)三種尺度和三種長寬比，由此每一次滑動都會產(chǎn)生n=9個錨點，同樣產(chǎn)生相同數(shù)量大小的區(qū)域檢測框。將檢測后的病害葉片圖像與原始手工標注圖像做比較，通過使用兩個不同的損失函數(shù)計算檢測值與真實標注值之間的誤差。分別對類別損失和位置損失利用反向梯度傳播算法進行回傳，使用隨機梯度下降算法對每層網(wǎng)絡(luò)的權(quán)重參數(shù)進行修正，使得網(wǎng)絡(luò)的正確檢測率更高，實現(xiàn)對病斑區(qū)域的精準定位。在損失函數(shù)的計算過程中，將類別損失函數(shù)表示為：

式中，R(x)為正則化損失函數(shù)，即

式中，λ為權(quán)重系數(shù)，pi表示檢測區(qū)域?qū)儆诓『Φ母怕?，為真實標注類別，其中表示背景類，表示病斑區(qū)域，Ncls和Nreg為用于避免過擬合的正則項，i是檢測候選區(qū)域的索引值，ti為原始坐標框的位置參數(shù)為該候選區(qū)域的實際坐標。

2.2.2 區(qū)域分割網(wǎng)絡(luò)模型（RS-Net）

RS-Net結(jié)構(gòu)與SegNet[23]相似，主要由編碼網(wǎng)絡(luò)、解碼網(wǎng)絡(luò)和SoftMax分類器組成。其中編碼網(wǎng)絡(luò)是基于VGG16網(wǎng)絡(luò)結(jié)構(gòu)進行構(gòu)造，但由于作物病害葉片的細節(jié)特征較為復雜，所以使用傳統(tǒng)的卷積核難以提取復雜特征。為了提取病害葉片圖像的復雜病斑特征，需要通過增加卷積層數(shù)量或引入多個尺寸卷積核，但僅僅使用簡單的卷積層數(shù)堆疊會降低模型的非線性變化，使得每個卷積層提取的圖像特征相同。而引入多個尺寸卷積核只會大量的增加參數(shù)計算量，導致模型訓練時間增加，降低模型的效率。因此在編碼網(wǎng)絡(luò)中使用多尺度卷積核代替原始卷積核，通過在同一個卷積層引入不同尺度卷積核來獲取圖像的不同尺度特征，再將這些特征進行融合，得到原始圖像的多尺度特征圖。

SegNet網(wǎng)絡(luò)能夠得到精確的語義分割結(jié)果主要得益于其解碼網(wǎng)絡(luò)的設(shè)計，通過記錄編碼網(wǎng)絡(luò)的最大池化層索引，并利用索引因子在解碼網(wǎng)絡(luò)中直接進行上采樣，使得SegNet網(wǎng)絡(luò)模型相比于全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Neural network，F(xiàn)CN）具有更高的分割精度。使用與SegNet相同的解碼網(wǎng)絡(luò)，主要包括卷積層（Conv1～Conv14）和上采樣層（Upsampling_1～Upsampling_5），通過卷積層對編碼網(wǎng)絡(luò)獲取的多尺度特征圖進行深度特征提取，并利用上采樣層恢復圖像分辨率。作物病害葉片的分割相當于一個二分類問題，分割的目的主要是區(qū)分葉片正常部分與病斑部分，因此將解碼網(wǎng)絡(luò)卷積層Conv14通道數(shù)設(shè)為2，并在其后面增加一個像素級分類器SoftMax，將分類器的分類個數(shù)也設(shè)置為2。

在以上分析的基礎(chǔ)上，構(gòu)建病斑分割網(wǎng)絡(luò)RS-Net。其結(jié)構(gòu)如圖4所示，主要包括編碼網(wǎng)絡(luò)（Encoder Network）和解碼網(wǎng)絡(luò)（Decoder Network）兩個子網(wǎng)絡(luò)。其中編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)的卷積層數(shù)均為13，而且與池化索引對應(yīng)的卷積層大小相同，每個卷積層的滑動步長（stride）設(shè)為1，為使輸入與輸出圖像維度不變，將邊界擴充Pad參數(shù)設(shè)置為1。池化層（Pooling_1～Pooling_5）均采用最大池化（Max Pooling）操作，池化層大小設(shè)為2×2，滑動步長設(shè)為2。上采樣層（Upsampling_1～Upsampling_5）的采樣尺度（scale）設(shè)為2。

圖4 RS-Net網(wǎng)絡(luò)模型結(jié)構(gòu)

2.2.3 模型訓練

在CNN訓練過程中，需要利用大量的訓練樣本對網(wǎng)絡(luò)模型參數(shù)進行更新，提高網(wǎng)絡(luò)模型性能。使用構(gòu)造的訓練數(shù)據(jù)集圖像對級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（CCNN）進行訓練，從而得到分割精度高、運行速度快的網(wǎng)絡(luò)模型。但在訓練樣本數(shù)較少或訓練集內(nèi)容相似度較高的情況下，模型容易產(chǎn)生過擬合或分割效果差等問題。為提升網(wǎng)絡(luò)模型的訓練效率以及分割性能，CCNN采用遷移學習的方式對網(wǎng)絡(luò)進行訓練。利用遷移學習對模型參數(shù)進行初始化可以使模型提取特征具有級層特性，使用淺層網(wǎng)絡(luò)提取圖像的低層初級特征，使用深層網(wǎng)絡(luò)提取圖像的高層語義特征。其中低層特征主要包括顏色、邊緣等初級信息，使用不同數(shù)據(jù)集對網(wǎng)絡(luò)進行訓練所得到的低層特征較為相似。因此當數(shù)據(jù)集規(guī)模較小時，利用遷移學習的方式將在大規(guī)模數(shù)據(jù)集上得到的低層信息移植到所要訓練的網(wǎng)絡(luò)模型中，不僅解決模型的過擬合問題，而且減少了模型訓練時間[22]。

評定模型性能主要通過計算分割圖像與標注圖像之間的差異。通過計算標注圖像與分割圖像之間的交叉熵值來評定模型訓練的效果。交叉熵函數(shù)是神經(jīng)網(wǎng)絡(luò)中常用的模型性能評價指標，當交叉熵值越小，表明模型的訓練效果越好。在CCNN的訓練過程中，將標注圖像與分割圖像的每一個像素點進行計算交叉熵并取平均值，利用平均像素交叉熵損失函數(shù)評定CCNN的訓練效果。平均交叉熵損失函數(shù)如下：

式中，p(x)為標注圖像的像素分類向量，q(x)為分割圖像的像素分類向量，N為圖像包含的總像素個數(shù)，X表示輸入圖像的特征向量，x為輸入圖像每個像素的特征向量。

由式（5）得到像素間損失值后，利用反向傳播算法將損失值回傳到網(wǎng)絡(luò)模型的每一個卷積層中，對卷積層的權(quán)重參數(shù)進行更新，經(jīng)過多次循環(huán)迭代，直到輸出損失值穩(wěn)定時結(jié)束訓練。

3 實驗與結(jié)果

在作物病害葉片圖像數(shù)據(jù)集上驗證所提出的物理模型，并與已有的模型Hseg、FCN8s、SegNet、JointSeg和DeepLab分割算法進行性能對比。實驗軟件環(huán)境為Ubuntu 16.04 LTS，使用Matlab編程，硬件環(huán)境為Intel?core?i7-7550k cpu@3.60 GHz處理器，RAM為32 GB，GPU為GTX1080Ti的PC機上進行實驗。深度學習開發(fā)框架為Matconvent。

3.1 實驗參數(shù)設(shè)置及訓練過程分析

實驗過程采用批量訓練方式。將構(gòu)建后的訓練集、驗證集和測試集圖像以批次（Batch）的形式送入網(wǎng)絡(luò)模型中，訓練集中共包含650幅圖像，將每10幅圖像分為一個批次，完成模型的訓練共需要65個批次。為保障模型的訓練效率以及分割精度，使用訓練集圖像對模型進行700次遍歷（Epoch），模型的迭代次數(shù)設(shè)置為250 000次。使用梯度下降和反向傳播算法對模型的權(quán)重參數(shù)進行更新，將學習率設(shè)置為1×10?10。由于使用帶動量的梯度下降算法，為防止模型出現(xiàn)過擬合現(xiàn)象，設(shè)置動量因子為0.99。利用驗證集對模型權(quán)重參數(shù)進行局部修正。訓練集和驗證集的損失值和準確率變化曲線如圖5所示。

圖5 模型損失值和準確率變化曲線

從圖5中看出，隨著模型不斷增加迭代次數(shù)，訓練集和驗證集的損失值在不斷下降，但訓練集的變化波動范圍比較大，這是因為在模型參數(shù)的初始訓練階段需要進行大量的迭代訓練，當次數(shù)不斷增加時訓練集loss值趨于穩(wěn)定；驗證集的變換曲線波動較小，而且隨著迭代次數(shù)的增加，驗證集loss值也逐漸減小，當?shù)?00 000次時，loss值趨于穩(wěn)定，主要是因為驗證集優(yōu)化了模型參數(shù)提高了模型性能。準確率曲線總體趨于上升趨勢，隨著迭代次數(shù)的增加像素的分類準確率不斷提高，其中top-1準確率是將像素分為兩類的準確率，即葉片的正常區(qū)域和病斑區(qū)域被分為兩類的準確率；top-5準確率表示將像素分為多類的準確率，即對葉片的病斑區(qū)域和正常區(qū)域產(chǎn)生誤分的概率；從圖5中可以看出像素的分割準確率在持續(xù)上升，當模型的loss值基本收斂時，模型的top-1準確率達到最高，表明模型達到了較好的訓練效果。

3.2 可視化分析

卷積神經(jīng)網(wǎng)絡(luò)的訓練過程中，卷積層用于對輸入圖像進行特征提取，而且不同卷積核所提取的特征不同[23]。其中淺層卷積核主要提取圖像的初級特征，主要包括顏色和輪廓等；深層卷積核提取圖像更多的語義特征，包括紋理和細節(jié)特征。為更好地顯示不同卷積核所提取到的不同特征，將卷積核和特征圖進行可視化。圖6和圖7分別為不同卷積層的卷積核和得到的特征圖。從圖6可以看出，卷積核（Kernel1～Kernel3）顯示的信息較為粗糙，卷積核（Kernel4～Kernel5）顯示更多的細節(jié)特征。由圖7可以看出，卷積層（Conv1～Conv3）得到的特征圖主要為圖像輪廓特征，卷積層（Conv4～Conv5）得到的特征圖主要包含圖像的紋理特征。圖6和圖7的可視化結(jié)果充分體現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值共享技術(shù)，隨著卷積層數(shù)的不斷增加，模型獲取了輸入圖像更多的細節(jié)特征，同時說明模型訓練過程中不同卷積核能夠得到輸入圖像的不同特征，各卷積核分別關(guān)注圖像的不同部分，能夠充分學習各自關(guān)注部分的圖像顯著區(qū)域，為后續(xù)圖像的精準分割打下基礎(chǔ)。

圖6 Conv1～Conv5的卷積核

圖7 Conv1～Conv5的特征圖

圖8 不同分割方法的病斑分割效果

3.3 結(jié)果與分析

利用150幅自然場景的作物病害葉片圖像作為測試集對網(wǎng)絡(luò)模型分割效果進行測試。為了更客觀地評價病害葉片的分割效果，引入分割精確度P、召回率R以及平均F值作為評價指標，衡量分割結(jié)果與實際標注圖像之間的差異。其中分割精確度P是反應(yīng)病害葉片區(qū)域與真實病斑區(qū)域之間的相符程度；召回率F是正確分割的樣本數(shù)占總體樣本數(shù)的比例；平均F值則將分割精度P與召回率R結(jié)合起來綜合考慮，反映整體精度的評價指標。由于分割時間是評價模型實用性的關(guān)鍵技術(shù)指標，使用單幅圖像分割時間作為衡量分割速度的時間指標。分割精度P、召回率R以及綜合評價指標F值計算如下：

式中，TP為經(jīng)過分割網(wǎng)絡(luò)得到的分割結(jié)果與原始葉片病斑區(qū)域的重合部分；TN為分割出的葉片正常區(qū)域與原始葉片正常區(qū)域的重合部分；FP為分割結(jié)果中不屬于病斑區(qū)域的部分，F(xiàn)N為不屬于正常區(qū)域的部分。

不同分割方法得到的分割結(jié)果如圖8所示。從分割結(jié)果中可以看出Hseg分割方法將大部分正常區(qū)域誤分為病斑區(qū)域，無法完成葉片病害的分割任務(wù)；采用FCN8s網(wǎng)絡(luò)模型進行分割時效果好于Hseg，而且從分割結(jié)果中不難看出該方法能夠分割出病害的大致輪廓，但對細小病斑部分的分割效果較差；SegNet分割網(wǎng)絡(luò)使用與所提出的RS-Net相同的網(wǎng)絡(luò)結(jié)構(gòu)，能夠取得較好的分割效果，但該方法對于葉片的邊緣病斑區(qū)域分割效果較差，分割精度有待提升；JointSeg網(wǎng)絡(luò)模型對于邊緣區(qū)域的分割效果優(yōu)于SegNet，而且對病斑的細節(jié)部分能夠?qū)崿F(xiàn)完整分割，但分割結(jié)果受光照的影響較大，當分割光照較強的病斑區(qū)域時，出現(xiàn)了明顯的誤分割現(xiàn)象；DeepLab[24]網(wǎng)絡(luò)模型能夠完整分割出葉片中的病斑區(qū)域，而且對細小病斑區(qū)域的分割效果較好，但是當葉片中病斑出現(xiàn)粘連情況時，該方法不能將粘連病斑進行分割，產(chǎn)生較多的誤分割現(xiàn)象。而方法首先通過RD-Net模型對葉片病斑區(qū)域進行定位，確定了葉片中病斑區(qū)域的具體位置；然后利用基于編解碼網(wǎng)絡(luò)架構(gòu)的RS-Net模型對定位后的病斑區(qū)域進行分割，保證病斑區(qū)域分割的完整性；由于葉片中病害的邊緣部分難以分割，而且容易產(chǎn)生誤分割現(xiàn)象，因此利用形態(tài)學優(yōu)化層對分割后結(jié)果進行優(yōu)化，在保證病斑區(qū)域分割完整性的同時，增強了對細節(jié)部分的分割效果。

為量化不同分割方法的分割性能，分別對這些方法求取分割精確度P、召回率R、平均F值（F-measure）以及單幅圖像分割時間，如表1所示。

表1 不同方法分割作物葉片圖像的性能比較

從表1中看出，CCNN方法的分割精度P、召回率R以及F值最高，分別為80.21%、72.49%和88.72%。盡管DeepLab網(wǎng)絡(luò)模型與CCNN使用相同的分割網(wǎng)絡(luò)架構(gòu)，但CCNN在性能評價指標上分別高出1.3%、1.64%和2.37%，主要是由于CCNN在模型的第一階段構(gòu)建了區(qū)域定位網(wǎng)絡(luò)，對病害部分進行精確定位，大范圍減小了模型的誤分割現(xiàn)象。FCN8s使用反卷積過程恢復圖像分辨率優(yōu)化分割結(jié)果，但該方法的下采樣操作弱化了模型的特征提取能力，導致其對小面積病斑區(qū)域的分割能力較差，因此其分割性能指標較差。CCNN與傳統(tǒng)基于閾值分割方法的Hseg相比較，在分割性能上遠優(yōu)于Hseg分割算法，主要由于Hseg是通過設(shè)定固定閾值對圖像進行分割，所以分割結(jié)果較差。SegNet和JointSeg都是基于空洞卷積的分割模型，空洞卷積能夠擴大原始卷積核的局部感受野，但有些病斑區(qū)域在整體葉片中所占比例較小，所以這兩種分割方法在性能評價指標上均落后于CCNN。根據(jù)以上結(jié)果能夠判斷CCNN具有較好的分割效果，對病斑區(qū)域的分割結(jié)果最接近于真實值，能夠滿足自然狀態(tài)下對病害葉片圖像分割的高精度要求。但由于作物葉片圖像的病斑區(qū)域邊界較為復雜且所占面積較小，同時部分病斑區(qū)域與正常區(qū)域的相似度較高，導致正常區(qū)域邊界與病斑區(qū)域邊界難以區(qū)分，所以從表1中看出算法的分割性能評價指標值仍然較低。

在單幅圖像分割時間上，CCNN方法的分割時間小于其他分割算法。由于SegNet和JointSeg均是使用空洞卷積的方式對網(wǎng)絡(luò)模型進行構(gòu)造，所以網(wǎng)絡(luò)模型需要耗費大量的訓練時間，導致模型分割效率下降，對單幅圖像的分割時間較長，分別為0.85 s和0.64 s。Hseg方法不需要對模型進行訓練，但在分割后需要對每幅圖像進行形態(tài)學操作，所以需要耗費分割時間；FCN8s在分割時需要進行反卷積操作恢復圖像的分辨率，從而增加了單幅圖像分割時間；方法采取級聯(lián)的方式進行訓練，將區(qū)域定位網(wǎng)絡(luò)和區(qū)域分割網(wǎng)絡(luò)進行分階段訓練，而且使用了遷移學習的訓練方式，不僅減少網(wǎng)絡(luò)模型對硬件的需求，而且減少模型訓練時間。因此CCNN方法在單幅圖像分割時間為0.29 s，能夠滿足對病害葉片圖像病害葉片圖像分割實時性的需求。

為驗證所提出模型的魯棒性，分別使用不同分割算法在多種復雜背景下的作物病害葉片圖像上進行分割試驗，其中復雜背景主要包括待分割圖像中存在土壤背景、葉片遮擋、多個葉片、葉片殘缺、病害粘連、光照條件復雜等情況。針對每種復雜背景選取20幅圖像共120幅圖像進行魯棒性對比試驗，分割效果如圖9所示。表2為不同方法在不同復雜背景圖像的分割結(jié)果。

圖9 不同環(huán)境下作物病害葉片分割效果

表2 不同場景下分割方法性能對比

由圖9所示，在多種復雜背景下的分割結(jié)果中，CCNN網(wǎng)絡(luò)模型幾乎不受環(huán)境的影響，能夠有效地分割出作物葉片的病斑區(qū)域。在有土壤背景的分割過程中，SegNet分割方法將大面積的背景區(qū)域誤分為病斑區(qū)域，DeepLab方法分割效果較好，但對于小面積病斑區(qū)域分割精度不夠；當出現(xiàn)葉片遮擋情況時，幾種分割方法均出現(xiàn)誤分割現(xiàn)象，其中Hseg最為嚴重，無法對被遮擋部分的病斑進行分割；在多個葉片的分割環(huán)境下，幾種分割方法均出現(xiàn)分割不完整現(xiàn)象，未能將多個葉片中同時出現(xiàn)的病斑區(qū)域分割出來；在葉片殘缺的情況下，不同的分割方法均出現(xiàn)程度不一的誤分割現(xiàn)象，其中Deep-Lab分割方法將部分病斑區(qū)域誤分割為正常區(qū)域，而Hseg分割方法則將正常區(qū)域誤分為病斑區(qū)域；在病害粘連圖像中進行分割時，由于葉片中不同的病斑區(qū)域相似度較高，所以幾種分割方法都無法將粘連的病斑分割開來；對于復雜光照下的葉片分割問題，由于光照強度的增強，加大了分割的復雜度，導致幾種分割算法都將背景區(qū)域的病害部分誤分為病斑區(qū)域。CCNN分割模型能夠有效分割出不同場景下的葉片病斑區(qū)域，分割效果受自然條件影響較小，穩(wěn)定性較高，能夠滿足不同場景下的作物病害葉片分割任務(wù)。

從表2看出，CCNN網(wǎng)絡(luò)模型性能最佳，分割精度P的最大值與最小值之間的差值僅為0.81%，召回率R最大值與最小值之間的差異僅為1.07%，綜合評價指標F值最大與最小之間的差值僅為0.79%，表明CCNN對于不同場景下的分割結(jié)果相差極小，該方法具有較強的魯棒性。其他幾種分割算法在包含土壤背景的條件下分割精度較高，表明土壤背景對不同分割方法的結(jié)果影響不大；在葉片遮擋、多個葉片和葉片粘連的分割場景中，指標值出現(xiàn)不穩(wěn)定現(xiàn)象，但總體指標值波動范圍較小，說明分割方法能夠適應(yīng)稍微復雜的分割場景；當對處于病害粘連和光照復雜場景的葉片進行分割時，幾種分割算法指標值均出現(xiàn)下降現(xiàn)象，表明病害粘連和復雜光照對分割效果影響較大；在單幅圖像分割時間上，CCNN均低于其他分割方法，多個場景下的單幅圖像平均分割時間為0.24 s。

4 結(jié)語

針對傳統(tǒng)的作物病害葉片圖像分割難題，提出了一種級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（CCNN）的作物病害葉片分割方法。首先利用區(qū)域定位網(wǎng)絡(luò)（RD-Net）對葉片中的病害部分進行精確定位，減少背景干擾；再利用基于Encoder-Decoder結(jié)構(gòu)建立的區(qū)域分割網(wǎng)絡(luò)對定位后的病斑區(qū)域進行精確分割。為驗證算法的魯棒性，將CCNN分割模型與其他分割方法在不同場景下進行分割試驗，結(jié)果表明CCNN網(wǎng)絡(luò)模型能夠完成不同場景下的病害分割任務(wù)，而且所有評價指標均為最高。在分割時效性上，CCNN優(yōu)于其他分割方法，單幅圖像的分割時間僅為0.21 s，表明該方法能夠滿足對病害分割時效性的需求。實驗結(jié)果表明，本文提出的病害葉片分割方法的分割精度高、運行速度快，能夠完成對作物病害葉片分割的實時性要求。但該方法只能完成小范圍場景內(nèi)的分割任務(wù)，對于大范圍場景或者惡劣環(huán)境下病害葉片分割問題有待研究，而且通常在自然場景下單個葉片中會包含不同的病害類型，或者有些病害在葉片中所占比例極小，這些情況都會給病害精準分割帶來挑戰(zhàn)，以后進一步對本文所提出的方法進行優(yōu)化。