基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型的廣西柑橘病蟲害識別方法研究

蘇 鴻，溫國泉，謝 瑋，韋 冪，王筱東

(1.數(shù)字廣西集團(tuán)有限公司，廣西 南寧 530028；2.廣西農(nóng)業(yè)科學(xué)院農(nóng)業(yè)科技信息研究所，廣西 南寧 530007；3.廣西財(cái)經(jīng)學(xué)院，廣西 南寧 530003；4.廣西慧云信息技術(shù)有限公司，廣西 南寧 530007)

【研究意義】廣西作為柑橘(Citrus)的原產(chǎn)地之一，具有天然的生產(chǎn)地域優(yōu)勢，柑、橘、橙和柚等柑橘品種種植面積均較大，其中2018年種植面積超過40萬hm2，產(chǎn)量近700萬t，在全國省(區(qū))中排名第一[1]，形成了產(chǎn)前產(chǎn)中產(chǎn)后的全產(chǎn)業(yè)鏈。廣西柑橘種植主要分布于桂北、桂中、桂南及桂西南的石灰?guī)r旱坡地區(qū)，季節(jié)性干旱及病蟲害制約著其產(chǎn)業(yè)規(guī)模的發(fā)展，尤其是黃龍病、紅蜘蛛和潰瘍病等的為害，導(dǎo)致柑橘生產(chǎn)成本居高不下，果品質(zhì)量下降，嚴(yán)重影響柑橘種植的經(jīng)濟(jì)效益[2]。雖然植物提取物作為一種新型植物源殺菌劑可為柑橘病蟲害的高效、綠色、環(huán)保防治提供無公害新選擇[3]，但柑橘病蟲害種類繁多，技術(shù)人員匱乏，難以全部準(zhǔn)確診斷，無法滿足防治需求。而采用攝像設(shè)備對柑橘枝葉和果實(shí)進(jìn)行監(jiān)控，通過機(jī)器學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行識別，實(shí)現(xiàn)病癥自動分類和預(yù)警，改變傳統(tǒng)病蟲害防治方式，可更好地滿足廣大果農(nóng)對柑橘病蟲害診斷與防治的需求。因此，研究基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)模型的廣西柑橘病蟲害識別方法，對提高柑橘重要病癥分類和病理檢測效率具有重要意義?！厩叭搜芯窟M(jìn)展】基于調(diào)制熒光檢測、高光譜成像技術(shù)的柑橘黃龍病傳統(tǒng)診斷方法過程復(fù)雜，需要儀器對生物樣本進(jìn)行檢測才能得出結(jié)果[4-5]，耗費(fèi)大量人力和時(shí)間，且對不同分類樹葉的識別準(zhǔn)確率浮動較大。卞云超等[6]基于MapReduce的新聚類算法對柑橘紅蜘蛛圖像進(jìn)行了單一目標(biāo)病害識別；而后雖開始興起用機(jī)器學(xué)習(xí)方法如支持向量機(jī)算法(SVM)和神經(jīng)網(wǎng)絡(luò)等開展識別研究，但僅以較初級的卷積神經(jīng)網(wǎng)絡(luò)(最高為8層)對潰瘍病進(jìn)行比較分析，識別效果有限[7]。國內(nèi)外圖像處理和機(jī)器學(xué)習(xí)算法在農(nóng)作物識別方面已有不少研究報(bào)道[4，8]，但多數(shù)是基于通過圖像物體特征向量抽取，采用反向傳播(BP)網(wǎng)絡(luò)、SVM分類和k均值聚類(k-mean)算法開展研究[9-11]。BP和k-mean算法的應(yīng)用效果一般，而SVM屬于二分類算法，是對多維度特征向量數(shù)據(jù)從高維度映射到低維度空間進(jìn)行分類，通過對超平面線性方程的參數(shù)進(jìn)行樣本訓(xùn)練而求得最優(yōu)分割超平面[12]。隨著近年來神經(jīng)網(wǎng)絡(luò)的興起，通過R-CNN來識別和分類物體獲得了更高的準(zhǔn)確率和精度[13]?！颈狙芯壳腥朦c(diǎn)】目前，針對基于R-CNN模型的柑橘病蟲害識別方法提高廣西柑橘重要病癥分類和病理檢測效率的研究鮮見報(bào)道。【擬解決的關(guān)鍵問題】采用多層神經(jīng)網(wǎng)絡(luò)對廣西不同種類柑橘病蟲害特征進(jìn)行識別，分析其準(zhǔn)確率和空間復(fù)雜度，為提高廣西柑橘重要病癥分類和病理檢測效率提供參考依據(jù)。

1 材料與方法

1.1 圖片預(yù)處理

對目標(biāo)進(jìn)行分類和識別的傳統(tǒng)做法是對圖片進(jìn)行預(yù)處理，例如轉(zhuǎn)化成灰度值圖片及進(jìn)行濾波等。本研究為了更好地識別圖片中植物的病癥，未對圖片進(jìn)行過多預(yù)處理，仍然保留圖片原來的像素顏色3通道，統(tǒng)一將圖片縮放至1000像素×1000像素，采樣圖像縮小后樹葉和柑橘果實(shí)的像素值一般在300×300～800×800，病癥的像素值(長×寬的像素矩陣)也盡量保持在合理范圍內(nèi)。

1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

由于果園里監(jiān)控?cái)z像機(jī)拍攝的照片會不同程度受到背景噪音影響，因此本研究在對病蟲害進(jìn)行分辨分類時(shí)，首先對照片中的物體進(jìn)行有效識別，以驗(yàn)證可視的病理特征是否在相應(yīng)的物體上。如果不是目標(biāo)物體(果實(shí)和葉片)，則將鑒別結(jié)果摒棄，以減少錯(cuò)誤識別率。而采用SVM方法每次只能對單個(gè)物體進(jìn)行識別和分類，無法將待識別目標(biāo)與背景有效區(qū)分開，其他的卷積網(wǎng)絡(luò)模型或分類神經(jīng)網(wǎng)絡(luò)模型如VGG(視覺幾何組網(wǎng)絡(luò))模型[14]在分類識別上的平均準(zhǔn)確率也不高，因此參考Ross等[15]的方法選擇R-CNN模型進(jìn)行柑橘病蟲害特征分類和識別。

1.2.1 R-CNN模型結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)選用R-CNN模型結(jié)構(gòu)，其中主干網(wǎng)絡(luò)采用殘差神經(jīng)網(wǎng)絡(luò)(ResNet)，在主干網(wǎng)絡(luò)輸出特征圖后經(jīng)過區(qū)域預(yù)測網(wǎng)絡(luò)(RPN)，再經(jīng)過全鏈接層網(wǎng)絡(luò)(FCN)得到輸出的預(yù)測、物體框選及分類結(jié)果[16-17]。本研究側(cè)重于檢測照片中果實(shí)和枝葉的病理特征，已將背景和其他物體過濾掉，不需要太多的神經(jīng)網(wǎng)絡(luò)深度層級，以減少空間復(fù)雜度，因此主干網(wǎng)選用了33層ResNet網(wǎng)絡(luò)結(jié)構(gòu)。

在ResNet主干網(wǎng)絡(luò)里，選用特征金字塔網(wǎng)絡(luò)(FPN)方法，將所有卷積層按先后順序分割成5塊向金字塔層級上面輸出的特征圖，然后與升維采樣(Upsample)中向下的金字塔鏈接，輸出每個(gè)層級不同尺度上特征值以預(yù)測物體。ResNet有2種卷積層(Block塊)，一種是恒等映射塊(Identity block)，輸入和輸出數(shù)據(jù)的維度一致，主要用來保證數(shù)據(jù)不會因?yàn)樘荻缺ǘд?，以增?qiáng)梯度的反向傳播；另一種是基本的卷積塊(Conv block)，主要用來調(diào)整特征圖的大小并增加深度。一個(gè)ResNet的Identity block包含3個(gè)卷積層，每個(gè)卷積層均使用3×3卷積核(Filter conv)掃描(圖1)，輸出向量維度和輸入向量維度一致，每個(gè)卷積層跟隨批量歸一化(BN)和激活函數(shù)(Relu)處理及一個(gè)跳躍連接(Shortcut)，通過殘差函數(shù)加上跳躍連接(Shortcut)路徑上的值來保證F(x)殘差函數(shù)能根據(jù)輸入輸出相同向量，以不斷調(diào)整Identity block里的權(quán)值學(xué)習(xí)和偏移量參數(shù)。

圖1 卷積層恒等映射塊的層級網(wǎng)絡(luò)Fig.1 Convolution layer identity mapping block

圖2 柑橘病蟲害識別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Neural network structure for citrus disease and pest identification

本研究的R-CNN模型主干網(wǎng)共有33層ResNet結(jié)構(gòu)卷積層(圖2)。其中，普通卷積層(Conv)采用3層，Identity block采用10個(gè)塊(每個(gè)Identity block 有3個(gè)相同輸出維度的卷積層)。在Identity block里的第1個(gè)Conv用來調(diào)整主干網(wǎng)初始輸入向量維度，其他Conv插在Identity block中的層級之間用于控制輸出向量維度。R-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)與普通的Fast R-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)一致，從主干輸出再以FCN全卷積網(wǎng)絡(luò)代替全鏈接層，以減少輸出的通道和參數(shù)，比一般的ResNet101和ResNet50網(wǎng)絡(luò)結(jié)構(gòu)少了很多層級，極大減少了計(jì)算復(fù)雜度。然后采用通用的9種比例錨選擇框(Anchor boxes)對主干網(wǎng)輸出的特征圖進(jìn)行RPN[18]。假設(shè)有k種(k為自定義數(shù)量，對應(yīng)不同長寬的錨選擇框，一般選擇k值為9，即9種錨選擇框，數(shù)值越大可檢測的精度越高)錨選擇框?qū)?yīng)每個(gè)輸出特征圖的像素，最后在主干網(wǎng)絡(luò)后面FCN對應(yīng)RPN里輸出的每個(gè)像素點(diǎn)，則有需要回歸的邊框包圍盒(使用邊框包圍盒的目的是進(jìn)行回歸預(yù)測分類計(jì)算)4k和2k個(gè)。

1.2.2 網(wǎng)絡(luò)訓(xùn)練損失函數(shù)計(jì)算 通過對目標(biāo)物體位置檢測，在RPN層后的FCN層使用歸一化指數(shù)函數(shù)(Softmax)(Pi)分類器篩選后，用交叉熵來表示分類的損失函數(shù)。物體位置檢測的損失函數(shù)可用L2算法來回歸并計(jì)算RPN的物體檢測候選框回歸損失函數(shù)。為防止梯度爆炸，同時(shí)設(shè)置較小的學(xué)習(xí)率(Learning rate)或使用Adam算法來控制學(xué)習(xí)率[19]，采用log函數(shù)來防止過快的梯度爆炸。

以網(wǎng)絡(luò)輸出預(yù)測值和物體真實(shí)值(Ground truth)進(jìn)行以上損失函數(shù)計(jì)算，通過大量樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后得到能精確預(yù)測目標(biāo)分類的網(wǎng)絡(luò)模型。

1.3 柑橘病蟲害特征識別率比較

1.3.1 主干網(wǎng)模型復(fù)雜度分析和預(yù)測平均準(zhǔn)確率比較 主干網(wǎng)選用33層ResNet網(wǎng)絡(luò)結(jié)構(gòu)，通過計(jì)算處理，分別與ResNet101、VGG-19及非主干網(wǎng)模型SVM等其他機(jī)器學(xué)習(xí)方法作比較，分析各模型的復(fù)雜度；進(jìn)一步計(jì)算分析各模型對柑橘黃龍病、紅蜘蛛感染和潰瘍病識別的預(yù)測準(zhǔn)確率。

1.3.2 柑橘病蟲害的R-CNN模型識別率比較 取分辨率在1280像素以上的柑橘果實(shí)和葉片樣本數(shù)據(jù)500張，分別采用R-CNN模型與線性SVM和VGG-19模型進(jìn)行訓(xùn)練和標(biāo)簽，進(jìn)行柑橘黃龍病、紅蜘蛛感染和潰瘍病的識別率比較，找出對廣西柑橘黃龍病、紅蜘蛛感染和潰瘍病行之有效的鑒別方法。

2 結(jié)果與分析

2.1 主干網(wǎng)模型的復(fù)雜度和預(yù)測平均準(zhǔn)確率

在以往的神經(jīng)網(wǎng)絡(luò)分類中，較大的樣本分布差異會影響類別分類，因此本研究主要對柑橘黃龍病、紅蜘蛛感染和潰瘍病進(jìn)行識別。本研究采用的ResNet類型網(wǎng)絡(luò)只有33層卷積，相比ResNet101少了2/3的卷積層計(jì)算量，預(yù)測的平均準(zhǔn)確率僅比其低3.10 %(絕對值，下同)，而比VGG-19模型的準(zhǔn)確度高8.60 %(表1)。ResNet101的神經(jīng)網(wǎng)絡(luò)層級雖然較多，但其耗費(fèi)的計(jì)算量也隨之增大，在相同計(jì)算處理能力下耗時(shí)更長，對長期監(jiān)控野外的設(shè)備是個(gè)不小的負(fù)擔(dān)；而33層的ResNet作為主干網(wǎng)絡(luò)，雖然識別準(zhǔn)確率降低3.10 %，但卷積層級計(jì)算量減少2/3；VGG-19模型對很多小型網(wǎng)絡(luò)有效，但是針對移動低功耗端設(shè)備的應(yīng)用，33層ResNet的卷積層結(jié)構(gòu)在柑橘病癥識別方面的準(zhǔn)確率更高。

表1 主干網(wǎng)和非主干網(wǎng)模型的復(fù)雜度和預(yù)測平均準(zhǔn)確率對比

2.2 柑橘黃龍病、紅蜘蛛感染和潰瘍病的R-CNN模型與線性SVM識別率比較

訓(xùn)練樣本數(shù)據(jù)有500張分辨率在1280像素以上的柑橘果實(shí)和葉片背景圖，每張圖片均能標(biāo)簽10個(gè)以上需預(yù)測和分類的物體(圖3)。其中80 %用于神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，20 %用于神經(jīng)網(wǎng)絡(luò)模型評估。本研究設(shè)計(jì)的模型在循環(huán)訓(xùn)練時(shí)對樣本隨機(jī)抽取訓(xùn)練樣本，盡量做到樣本分布能覆蓋所有情況(包括背景、光線和角度等)，以避免同一階段重復(fù)取樣導(dǎo)致模型輸出過擬合。為了驗(yàn)證神經(jīng)網(wǎng)絡(luò)模型的性能，本研究選取其中500個(gè)樣本對柑橘黃龍病、紅蜘蛛感染和潰瘍病進(jìn)行SVM分析，進(jìn)行100次樣本循環(huán)訓(xùn)練可得到93.10 %的平均準(zhǔn)確率(表1)，而使用R-CNN模型分析對黃龍病的識別平均準(zhǔn)確率達(dá)95.20 %(表1)。

用線性SVM分別對柑橘黃龍病、紅蜘蛛感染和潰瘍病進(jìn)行訓(xùn)練和識別，損失函數(shù)用平方鉸鏈損失(Square hinge loss)測試識別結(jié)果與R-CNN模型識別結(jié)果進(jìn)行比較，其正樣本率受試特征者(ROC)分別如圖4～圖6所示。從ROC圖可看出，R-CNN模型對黃龍病的識別真正率(識別準(zhǔn)確率)為95.30 %，高于對紅蜘蛛感染的識別準(zhǔn)確率(90.30 %)，低于對潰瘍病的識別準(zhǔn)確率(99.10 %)，但均相應(yīng)優(yōu)于SVM對黃龍病、紅蜘蛛感染和潰瘍病的識別準(zhǔn)確率(分別為93.20 %、88.20 %和95.20 %)?？梢姡跇颖疽恢潞蛿?shù)量下同的條件下，33層ResNet的R-CNN模型對柑橘樣本病癥的識別準(zhǔn)確率優(yōu)于SVM。

2.3 柑橘黃龍病、紅蜘蛛感染和潰瘍病的R-CNN模型與VGG-19模型識別率比較

在分類測試方面，以柑橘黃龍病、紅蜘蛛感染和潰瘍病病癥特征和背景的500個(gè)樣本圖片使用VGG-19模型和R-CNN模型的ResNet骨干網(wǎng)進(jìn)行訓(xùn)練和標(biāo)簽，結(jié)果(表2)表明，R-CNN模型對各類別病癥的識別率均高于VGG-19模型相應(yīng)病癥的識別率。

圖3 柑橘黃龍病、紅蜘蛛感染和潰瘍病的檢測Fig.3 Detection effect of citrus Huanglongbing，red spider mite infection and canker

圖4 R-CNN模型與線性SVM對柑橘黃龍病的識別檢測結(jié)果對比Fig.4 Comparison of R-CNN model and linear SVM for citrus Huanglongbing recognition and detection

圖5 R-CNN模型與線性SVM對柑橘紅蜘蛛感染的識別檢測結(jié)果對比Fig.5 Comparison of R-CNN model and linear SVM for citrus red spider mite infection recognition and detection

由表2可知，對R-CNN模型進(jìn)行訓(xùn)練后，對柑橘潰瘍病的平均識別準(zhǔn)確率達(dá)99.12 %，比VGG-19模型提高4.25 %；柑橘黃龍病的病理特征比較明顯，因而比較好區(qū)分，R-CNN模型對黃龍病的平均識別準(zhǔn)確率達(dá)95.31 %，比VGG-19模型提高2.55 %；對紅蜘蛛感染的預(yù)測，由于其葉片正面病理特征不明顯，在取樣時(shí)較難與正常的葉片區(qū)分，但其平均識別準(zhǔn)確率仍達(dá)90.23 %，且比VGG-19模型提高4.62 %。說明本研究的R-CNN模型在較少神經(jīng)元參數(shù)的情況下，可減少空間復(fù)雜度，對設(shè)備的利用成本較低，但能獲得較理想的柑橘葉片黃龍病、紅蜘蛛感染和潰瘍病識別效果，可實(shí)現(xiàn)在廣西柑橘果園大量部署和識別應(yīng)用。

圖6 R-CNN模型與線性SVM對柑橘潰瘍病的識別檢測結(jié)果對比Fig.6 Comparison of R-CNN model and linear SVM for citrus canker recognition and detection

表2 主干網(wǎng)分類預(yù)測柑橘黃龍病、紅蜘蛛感染和潰瘍病的平均準(zhǔn)確率和Top-1錯(cuò)誤率對比(n=500)

Table 2 Comparisons of backbone network predicted average accuracy for citrus Huanglongbing，red spider mite infection and canker and top-1 error

模型Model分類Classification平均準(zhǔn)確率(%)Average accuracy rateTop-1錯(cuò)誤率(%)Top-1 error rateVGG-19黃龍病92.769.12紅蜘蛛感染85.61潰瘍病 94.87R-CNN黃龍病 95.316.85紅蜘蛛感染90.23潰瘍病 99.12

3 討 論

本研究使用R-CNN模型、設(shè)計(jì)主干33層卷積網(wǎng)絡(luò)對柑橘病蟲害進(jìn)行識別分析，適宜南方柑橘果園環(huán)境和當(dāng)?shù)卦O(shè)備條件應(yīng)用。比起其他研究中使用簡單卷積和使用傳統(tǒng)的圖像處理(濾波和圖像預(yù)處理)，R-CNN模型能區(qū)分更多的柑橘葉片病理特征，且測試儀成本較低。與線性SVM相比，R-CNN模型對柑橘潰瘍病的平均識別準(zhǔn)確率達(dá)99.10 %，對柑橘黃龍病的平均識別準(zhǔn)確率達(dá)95.30 %，對柑橘紅蜘蛛感染的平均識別準(zhǔn)確率達(dá)90.30 %；在分類測試方面，分類效果也優(yōu)于VGG-19模型，對柑橘黃龍病的平均識別準(zhǔn)確率達(dá)95.31 %，對柑橘紅蜘蛛感染的平均識別準(zhǔn)確率達(dá)90.23 %，對柑橘潰瘍病的平均識別準(zhǔn)確率達(dá)99.12 %，分別提高4.25 %、4.62 %和2.55 %。因此，本研究使用基于33層ResNet為主干網(wǎng)絡(luò)的R-CNN模型雖然選用的卷積層網(wǎng)絡(luò)較少，但獲得較高的平均識別準(zhǔn)確率，是一種對柑橘黃龍病、紅蜘蛛感染和潰瘍病行之有效的鑒別方法，可在廣西柑橘果園大量部署應(yīng)用。

近年來，CNN模型在作物病害防治領(lǐng)域的應(yīng)用已逐漸興起。本研究中基于33層ResNet主干網(wǎng)的專用R-CNN模型對柑橘黃龍病、紅蜘蛛感染及潰瘍病的平均識別準(zhǔn)確率分別達(dá)95.31 %、90.23 %和99.12 %，而徐冬[20]采用CNN的特征學(xué)習(xí)方法對大豆病害特征進(jìn)行自動提取學(xué)習(xí)，并通過模型改進(jìn)，使識別準(zhǔn)確率迅速收斂至94.6 %，孫俊等[21]對傳統(tǒng)CNN模型進(jìn)行改進(jìn)得到8種模型，通過對14種不同植物的26類病害進(jìn)行識別訓(xùn)練篩選出最優(yōu)模型，其測試平均識別準(zhǔn)確率達(dá)99.56 %，表明基于CNN改進(jìn)模型的病害識別準(zhǔn)確率較理想，具有良好的應(yīng)用潛力。

本研究發(fā)現(xiàn)，受紅蜘蛛感染的葉片由于病理特征不明顯，因此識別準(zhǔn)確率相對較低，表明葉片病理特征是影響識別準(zhǔn)確率的重要因素，與邱靖等[22]對水稻病害紋理特征的研究結(jié)果相似。值得注意的是，影響識別準(zhǔn)確率的原因除圖像及網(wǎng)絡(luò)本身外還有樣本噪聲，因?yàn)樵趫D像監(jiān)督式學(xué)習(xí)中，設(shè)置的圖像樣本實(shí)際標(biāo)簽值與理論值相比不可能做到完全準(zhǔn)確，致使訓(xùn)練出現(xiàn)一定誤差。林中琦[23]研究認(rèn)為，高質(zhì)量、大數(shù)量、多類別的標(biāo)簽數(shù)據(jù)集對于CNN性能提升意義重大，因此，在進(jìn)一步的研究中還可將對抗性網(wǎng)絡(luò)模型或記憶類網(wǎng)絡(luò)模型融入進(jìn)行半監(jiān)督式訓(xùn)練，以提升對柑橘病理特征的平均識別準(zhǔn)確率，并擴(kuò)展到對柑橘其他病癥如鋅和錳等微量元素缺失特征的共同識別，以極大減少訓(xùn)練計(jì)算成本，提高柑橘生產(chǎn)的經(jīng)濟(jì)效益。

4 結(jié) 論

R-CNN模型識別是一種對柑橘黃龍病、紅蜘蛛感染和潰瘍病行之有效的鑒別方法，可在廣西柑橘果園大量部署和應(yīng)用。