雙通道卷積神經(jīng)網(wǎng)絡(luò)在南瓜病害識別上的應(yīng)用

王昌龍，張遠(yuǎn)東，繆 宏，楊煜恒

1.揚(yáng)州大學(xué) 機(jī)械工程學(xué)院，江蘇 揚(yáng)州225127

2.東南大學(xué) 軟件學(xué)院，江蘇 蘇州215000

南瓜隸屬于葫蘆科南瓜屬，南瓜籽含有多糖，具有保健的功效。南瓜是喜溫短日照植物，耐寒性強(qiáng)，微酸性砂質(zhì)土壤尤為適宜南瓜的種植。據(jù)我國農(nóng)業(yè)部統(tǒng)計，我國南瓜種植面積為100萬公頃，果實(shí)產(chǎn)量高達(dá)4 000萬噸，占世界總產(chǎn)量的五分之二[1]。

南瓜病害防治工作的好壞是制約南瓜產(chǎn)量與品質(zhì)的重要因素，南瓜常見葉片病害包括葉斑病、白粉病、霜霉病等[2]，雖然這些病害都有對應(yīng)的防治措施，但若發(fā)現(xiàn)不及時，錯過了最佳防治階段造成病害大面積蔓延會給南瓜種植戶造成不可估量的損失，因而南瓜病害識別工作量大準(zhǔn)確率低的問題亟待解決。目前，南瓜病害的鑒別主要以人工為主，人工鑒別效率低下，成本昂貴，甚至由于經(jīng)驗不足會發(fā)生病害誤判事件，因此本文提出了使用機(jī)器視覺對南瓜葉片病害進(jìn)行診斷的方法。針對南瓜葉片病害的圖像識別研究較少的現(xiàn)狀，本文以其他農(nóng)作物葉片病害識別案例作為基礎(chǔ)展開了對南瓜葉片病害的研究。王艷玲等[3]將遷移學(xué)習(xí)應(yīng)用于AlexNet卷積神經(jīng)網(wǎng)絡(luò)對番茄葉片病害圖像進(jìn)行分類研究，與傳統(tǒng)方法相比縮短了訓(xùn)練時間并提高了準(zhǔn)確率。魏麗冉等[4]提出基于核函數(shù)支持向量機(jī)的多分類檢測方法，解決了病斑檢測單一的問題。劉立群等[5]提出一種基于改進(jìn)和聲搜索算法的玉米葉片病害圖像分割算法，提升了圖像閾值尋優(yōu)能力并有效分割玉米葉片的病斑。夏永泉等[6]利用EM算法提取小麥葉片，結(jié)合Tamura特征篩選目標(biāo)，小麥病害識別由隨機(jī)森林算法實(shí)現(xiàn)。朱林等[7]在HSV顏色空間中結(jié)合ISODATA聚類算法對病斑部分進(jìn)行分割，然后將葡萄葉片的組合特征向量輸入CNN訓(xùn)練器獲取葡萄葉片病害的診斷結(jié)果。譚峰等[8]使用拉曼光譜儀對正常水稻葉片及病葉進(jìn)行光譜分析，通過對二者光譜特征曲線的比對確認(rèn)水稻葉片的生長狀況。

雖然其他農(nóng)作物葉片病害識別已經(jīng)取得了豐富的成果，但大多數(shù)情況下只能應(yīng)用在特定場景下的特定作物種類，每種作物病害機(jī)理不盡相同，因此并不能直接照搬其他作物的識別算法。針對南瓜葉片病害特殊的紋理特征和田間種植模式。本文提出一種基于K-means聚類與LBP特征的南瓜葉片病害識別方法，進(jìn)行南瓜常見葉片病害的識別，為智能施藥機(jī)器人精準(zhǔn)施藥作業(yè)提供理論依據(jù)與技術(shù)支撐。

1 樣本圖像采集

圖像采集地點(diǎn)為揚(yáng)州大學(xué)農(nóng)學(xué)院南瓜試驗田，拍攝設(shè)備為大恒彩色工業(yè)相機(jī)，型號為MER-131-U3C，如圖1所示。本次實(shí)驗共采集2 100幅光照良好、葉片清晰的圖像作為訓(xùn)練集和測試集圖像庫。圖像中一般存在病斑、葉片及花朵3類物體，如圖2所示。

2 南瓜葉片病害識別方法

南瓜葉片病害識別方法如圖3所示，首先讀入圖像并進(jìn)行預(yù)處理操作，圖像預(yù)處理包括K-means聚類、形態(tài)學(xué)處理、采樣區(qū)標(biāo)定及LBP特征圖計算。圖像預(yù)處理后將生成病斑的灰度圖與LBP特征圖，由雙通道特征提取網(wǎng)絡(luò)（BC-FEN）對其特征進(jìn)行提取，然后經(jīng)過特征融合網(wǎng)絡(luò)對全局特征與細(xì)節(jié)特征進(jìn)行加權(quán)融合，最后由Softmax分類器完成南瓜葉片病害識別工作。

圖1 南瓜葉片拍攝環(huán)境

圖2 實(shí)驗所使用圖像示例

圖3 算法流程

2.1 K-means聚類

K-means聚類是一種無監(jiān)督學(xué)習(xí)方法，適合處理背景復(fù)雜的圖像[9-10]。對輸入圖像進(jìn)行聚類分割，聚類數(shù)為3，原圖像經(jīng)過K-means聚類分割后，按照特征將分為葉片、花朵及病斑三種成分，結(jié)果如圖4所示。

聚類時，選擇歐氏距離的平方作為數(shù)據(jù)樣本間的相似性度量，即：

式中，D為特征相似性尺度，xi為待聚類的數(shù)據(jù)樣本，xj為初始聚類中心。D值越小，樣本xi與xj越相似，差異越小。算法在每次迭代中，當(dāng)所有樣本都被分類后修改聚類中心，再進(jìn)入下次迭代，直到不存在能重新分配給不同類別的數(shù)據(jù)樣本，或聚類中心不再發(fā)生變化。

圖4 南瓜葉斑病聚類結(jié)果

2.2 形態(tài)學(xué)處理

聚類分割出的病斑圖像帶有噪聲，還需要對其進(jìn)一步處理，除去噪聲有利于提高病斑采樣區(qū)標(biāo)定的準(zhǔn)確度。

形態(tài)學(xué)處理前，病斑圖像需要進(jìn)行預(yù)處理操作，即通過二值化剔除非病斑成分，這是因為在極端環(huán)境下葉片與病斑特征相似度高會導(dǎo)致聚類時葉片混入到病斑中，圖4（d）中明顯看出病斑部分包含了正常葉片，由于葉片的顏色特征顯著，這里可以設(shè)定閾值將其二值濾除，在本次實(shí)驗中，閾值設(shè)定為0.75，可以獲得較好的除雜效果，純凈的病斑二值圖像如圖5（a）所示；病斑預(yù)處理后利用常規(guī)的腐蝕操作去除小面積噪聲和葉片重疊的粘連情況，形成相互獨(dú)立的區(qū)域，去噪后的結(jié)果如圖5（b）所示。

圖5 病斑形態(tài)學(xué)處理

2.3 采樣區(qū)標(biāo)定

將圖5（b）進(jìn)行負(fù)片處理結(jié)果如圖6（a）所示，以病斑部分為前景，白色為背景，再次采用K-means聚類劃定出多個病斑聚類區(qū)，每個聚類區(qū)為一個獨(dú)立區(qū)域，計算其形心作為采樣區(qū)的中心，采樣區(qū)形狀為正方形，邊長為96個像素單位，形心(xc,yc)計算方法如下：

式中，xi為各部分橫坐標(biāo)，yi為各部分縱坐標(biāo)，Ai為各部分像素數(shù)。

病斑聚類時，按照各自離聚類中心的距離，會出現(xiàn)多個聚類區(qū)，本次實(shí)驗按照橫坐標(biāo)軸正方向取聚類中心靠前的三個區(qū)域為當(dāng)前圖像的病斑采樣區(qū)，如圖6（b）所示。

圖6 葉斑病采樣區(qū)

南瓜白粉病與霜霉病對應(yīng)的聚類分割、形態(tài)學(xué)運(yùn)算及病斑采樣區(qū)標(biāo)定結(jié)果如表1所示，結(jié)果表明上述算法流程對于這兩種病害的病斑采樣區(qū)標(biāo)定同樣具有良好的適用性。

2.4 LBP特征圖計算

LBP可以應(yīng)用于圖像的紋理特征描述[11-16]。經(jīng)典LBP算子定義于3×3模板中，模板中心像素值為閾值，相鄰位置像素按“大1小0”的原則依次標(biāo)記，模板中心所處位置LBP紋理信息則由相鄰位置標(biāo)記組成的8位二進(jìn)制數(shù)碼表征。由于計算量為差值，整體光照強(qiáng)弱帶來的影響可以忽略，計算方法如下：

表1 其他葉部病害標(biāo)定

式中，p表示3×3窗口中除中心像素點(diǎn)外的第p個像素點(diǎn)，I(c)為模板中心灰度，I(p)為模板中心相鄰位置灰度，s(x)公式如下：

考慮到經(jīng)典LBP算子在紋理特征尺度上的局限性，本次實(shí)驗使用圓形LBP算子描述南瓜葉片的病斑紋理特征。

圓形LBP算子按照圓形半徑R的大小和圓形區(qū)域內(nèi)包含的采樣點(diǎn)個數(shù)P來定義，通過引入兩個變量完成對經(jīng)典LBP算子的改進(jìn)，計算方法如下：

圓形邊界上的點(diǎn)可能不是正好落在某個像素格子內(nèi)而是位于交界處，如圖7所示，非整數(shù)坐標(biāo)的像素值采用雙線性插值法進(jìn)行擬合運(yùn)算。

圖7 圓形LBP算子

考慮到圖像實(shí)時處理速度選用等價模式LBP。在南瓜葉片病斑LBP特征進(jìn)行統(tǒng)計時發(fā)現(xiàn)絕大多數(shù)LBP編碼發(fā)生“0”和“1”的跳變次數(shù)不超過2次，因此發(fā)生跳變次數(shù)超過2次的LBP編碼歸為一類，這樣既可以降低計算機(jī)工作量也不會丟失病斑紋理特征細(xì)節(jié)，等價模式LBP計算方法如公式（6）所示：

上一節(jié)中劃定的方形病斑采樣區(qū)，本次實(shí)驗采用32×32的像素鄰域網(wǎng)格作為采樣窗口，在采樣區(qū)內(nèi)使用的圓形LBP算子提取病斑紋理特征，圖8所示為采樣框?qū)θN南瓜病害提取LBP特征的結(jié)果，三種病害的病斑紋理特征顯著且耦合性低，這是LBP特征圖能夠用于提取細(xì)節(jié)特征并完成南瓜病害診斷的關(guān)鍵。

2.5 卷積神經(jīng)網(wǎng)絡(luò)分類

上述步驟完成了南瓜葉片病斑的聚類分割、形態(tài)學(xué)處理、采樣區(qū)標(biāo)定以及LBP特征圖計算。為了實(shí)現(xiàn)對三種病斑特征向量的學(xué)習(xí)和分類，本實(shí)驗擬搭建雙通道卷積神經(jīng)網(wǎng)絡(luò)，用于病斑特征向量的提取、加權(quán)融合及分類。

圖8 南瓜葉片病害LBP直方圖

2.5.1 雙通道特征提取網(wǎng)絡(luò)

本文借鑒DeepID[17]結(jié)構(gòu)搭建雙通道特征提取網(wǎng)絡(luò)應(yīng)用于采樣區(qū)病斑灰度圖像和LBP特征圖以獲取采樣區(qū)病斑的全局特征和細(xì)節(jié)特征。BC-FEN網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示，包含一層輸入層、三層卷積層、兩層下采樣層和一層全連接層。

圖9 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

通道1直接對病斑的灰度圖進(jìn)行卷尺操作獲取病斑的全局特征，而通道2負(fù)責(zé)從病斑LBP特征圖提取細(xì)節(jié)特征，雙通道特征提取網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)如表2所示。

表2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

2.5.2 特征融合網(wǎng)絡(luò)

本文采用加權(quán)融合的方式構(gòu)造特征融合網(wǎng)絡(luò)，通過設(shè)置加權(quán)系數(shù)α對全局特征和細(xì)節(jié)特征進(jìn)行加權(quán)求和得到雙通道特征：

其中，fw為融合后得到的特征，f1為病斑全局特征，f2為病斑細(xì)節(jié)特征，α的取值通過實(shí)驗驗證方式得到，融合特征經(jīng)由全連接層后使用Softmax進(jìn)行分類。

2.5.3 Softmax分類

本文使用Softmax分類器對南瓜葉片三種病害進(jìn)行分類，Softmax是一種用來應(yīng)對多分類問題的有監(jiān)督學(xué)習(xí)方法[18-21]，其基本原理是其中某一神經(jīng)元的指數(shù)與矩陣中所有神經(jīng)元指數(shù)和的比值，選取比值最大的結(jié)點(diǎn)作為分類結(jié)果。假設(shè)其輸入為K維向量x，則輸出向量y也是K維：

其中分母的作用是正則化，確保輸出向量的每個成分在[0，1]范圍內(nèi)。Softmax作為分類器，函數(shù)值可用K個神經(jīng)元表示。即對給定的輸入x，輸出分類y的概率為：

其中，P(y=K|x)表示輸入x為第k類的概率。

對于Softmax函數(shù)的求解，利用交叉熵計算網(wǎng)絡(luò)的損失函數(shù)，利用梯度下降算法進(jìn)行反向傳播更新網(wǎng)絡(luò)的權(quán)重和偏置，損失函數(shù)如下：

其中，zi為輸入樣本的真實(shí)值，yi為Softmax的輸出值。將交叉熵?fù)p失函數(shù)作為優(yōu)化目標(biāo)函數(shù)，采用隨機(jī)梯度下降算法作為優(yōu)化方法。

3 實(shí)驗結(jié)果分析

3.1 實(shí)驗環(huán)境及數(shù)據(jù)庫

本次實(shí)驗采集的2 100幅圖像，葉斑病、白粉病及霜霉病圖像各600幅，余下300幅為正常葉片圖像。訓(xùn)練集與測試集的比例為9∶1，即將數(shù)據(jù)集分為10份，其中9份用于訓(xùn)練，剩下的1份用于驗證。

軟件平臺為Matlab2017b，硬件平臺為超微4028GRTR深度學(xué)習(xí)服務(wù)器，配置主要性能參數(shù)如表3所示。

表3 服務(wù)器硬件配置信息

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置及收斂性

雙通道卷積神經(jīng)網(wǎng)絡(luò)的基本參數(shù)如表4所示，包含學(xué)習(xí)率、動量、Epoch及Dropout。初始學(xué)習(xí)率設(shè)置為0.01，利于網(wǎng)絡(luò)快速收斂，后續(xù)采用隨步數(shù)衰減方式對學(xué)習(xí)率進(jìn)行退火，Epoch數(shù)目設(shè)置為30，為了防止BC-CNN在訓(xùn)練過程發(fā)生過擬合問題，將Dropout設(shè)置為0.5。

表4 BC-CNN參數(shù)設(shè)置

訓(xùn)練過程每個Epoch對應(yīng)的損失（Loss）及預(yù)測準(zhǔn)確度（Accuracy）如圖10所示，當(dāng)?shù)?0個Epochs之后基本保持穩(wěn)定。

圖10 損失與準(zhǔn)確度變化曲線

特征融合網(wǎng)絡(luò)中權(quán)重α很大程度上影響算法精度，對于本文所使用的南瓜葉片病害數(shù)據(jù)集進(jìn)行10-折交叉驗證，α的步長取0.1，按照公式（7）的定義，當(dāng)α為0時表示僅用LBP特征圖進(jìn)行病害識別，當(dāng)α為1時表示僅用病斑灰度圖進(jìn)行病害識別。驗證結(jié)果如圖11所示，僅使用LBP特征圖的準(zhǔn)確率高于僅使用病斑灰度圖的情況；對于特征融合網(wǎng)絡(luò)，當(dāng)α取值為0.4時，算法分類準(zhǔn)確率最高，表明LBP特征圖對于識別南瓜葉片病害的貢獻(xiàn)大于病斑灰度圖，根據(jù)10-折交叉驗證結(jié)果，實(shí)驗中令α=0.4。

圖11 融合權(quán)重對算法精度的影響

3.3 算法有效性驗證

為了驗證雙通道算法性能優(yōu)于單通道的病害識別算法，分別測試了基于灰度圖和LBP特征圖的單通道病害識別方法并與雙通道的南瓜葉片病害識別結(jié)果進(jìn)行對比。本文采用三個指標(biāo)來描述三種方法對南瓜葉片病害的識別效果，分別為準(zhǔn)確率、真正率及真負(fù)率，定義如公式（11）所示：

式中，ACC為準(zhǔn)確率，TPR為真正率，TNR為真負(fù)率，TP為被模型預(yù)測為正的正樣本數(shù)，TN為被模型預(yù)測為負(fù)的負(fù)樣本數(shù)，F(xiàn)P為被模型預(yù)測為正的負(fù)樣本數(shù)，F(xiàn)N為被模型預(yù)測為負(fù)的正樣本數(shù)。

測試結(jié)果如圖12所示，雙通道方法在準(zhǔn)確率、真正率及真負(fù)率上均有出色表現(xiàn)。這得益于雙通道方法能夠在兩個通道提取特征，兼顧到病斑的全局特征和細(xì)節(jié)特征，克服了單一通道對特征提取不完全的弱點(diǎn)。從南瓜田病害監(jiān)測和農(nóng)藥噴灑作業(yè)層面來說，真正率是三個評價指標(biāo)的代表。真正率越高，說明從正樣本發(fā)現(xiàn)病害的概率越高，從而能夠及時對病害進(jìn)行防治，最大限度地減少病害防治不及時造成的損失，真負(fù)率在南瓜病害防治工作中也具有一定的影響，當(dāng)真負(fù)率特別低也就意味著無病害區(qū)域發(fā)生病害誤報的事件將會大幅提升，從而增加南瓜田病害防治工作的負(fù)擔(dān)，也會帶來農(nóng)藥成本上的提高，但從測試結(jié)果來說，無論是單通道還是雙通道卷積神經(jīng)網(wǎng)絡(luò)對病害識別的真負(fù)率都比較理想，處于可接受范圍。

4 結(jié)語

本文搭建了一個雙通道卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對南瓜葉片病害的識別，該網(wǎng)絡(luò)自動提取葉片的雙通道特征并加權(quán)融合，由于兼顧了病斑的全局特征與細(xì)節(jié)特征，因此南瓜病害識別效果顯著。實(shí)驗結(jié)果表明，本文提出的基于BC-CNN的南瓜葉片病害識別算法性能優(yōu)于CNN的南瓜葉片病害識別算法，可以應(yīng)用于南瓜田病害監(jiān)測與機(jī)器人施藥作業(yè)方面。目前，南瓜葉片病害不止文中提及的三種，如何通過特征提取和網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整從而識別更多的病害種類以及提高病害識別的準(zhǔn)確率和效率是課題后續(xù)研究方向。

圖12 單雙通道病害識別結(jié)果對比