改進(jìn)的Faster R-CNN用于蘋果葉部病害檢測

王遠(yuǎn)志，施子珍，張艷紅

（安慶師范大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 安慶 246133）

植物葉部病害一直制約著農(nóng)作物產(chǎn)量和質(zhì)量的提升，是限制農(nóng)業(yè)生產(chǎn)和發(fā)展的主要因素之一[1]。對植物病害進(jìn)行有效識別和防治能夠最大程度上減小病害對農(nóng)作物造成的經(jīng)濟(jì)損失，具有重要的理論和實(shí)際意義。目前，植物病害識別是模式識別和現(xiàn)代化農(nóng)業(yè)發(fā)展的重要研究領(lǐng)域[2]。早期的植物病害識別是通過人工從采集的病害圖片中提取病變區(qū)域，根據(jù)分割出的植物病斑，采用K均值聚類并結(jié)合人工神經(jīng)網(wǎng)絡(luò)（ANN）以及支持向量機(jī)（SVM）的方法進(jìn)行病害檢測[3-5]，但是植物病斑特征提取效果并不明顯。文獻(xiàn)[6-7]采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法識別各種類型的蘋果葉片病害，由于病害區(qū)域的顏色、形狀、紋理等特征信息繁雜，所以很難將特征區(qū)域成功分割，從而導(dǎo)致特征提取的效率及識別的準(zhǔn)確率低。2012年，AlexNet提出深度卷積神經(jīng)網(wǎng)絡(luò)（CNN），被廣泛應(yīng)用到圖像識別領(lǐng)域，且在其基礎(chǔ)上又提出VGG-16、GooLeNet、ResNet等[8-9]優(yōu)秀的特征網(wǎng)絡(luò)模型。魏宏彬等[10]以一些常見的蔬果為研究對象，提出一種改進(jìn)型YOLOV3算法，其目標(biāo)檢測平均精度達(dá)93.2%；閆建偉等[11]對刺梨的11類果實(shí)進(jìn)行目標(biāo)檢測，提出將Faster R-CNN網(wǎng)絡(luò)模型中的感興趣區(qū)域池化進(jìn)行改進(jìn)，檢測精度達(dá)83.74%；楊晉丹等[12]在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建了一種病害識別模型，對草莓的白粉病進(jìn)行目標(biāo)檢測，檢測率達(dá)98.61%，但該實(shí)驗(yàn)僅針對單一病害進(jìn)行識別，且實(shí)驗(yàn)環(huán)境不是自然環(huán)境。Geetharamani等[13]定義了大小為3×3的3層卷積的卷積核，將每層卷積后連接一個最大池化層，再通過兩個全連接層進(jìn)行特征融合，最后采用Softmax進(jìn)行特征分類，其分類精度達(dá)96.46%。Ferentinos等[14]以不同背景下的病害葉片作為實(shí)驗(yàn)對象，對比VGG16、GoogLeNet、AlexNet等網(wǎng)絡(luò)模型，實(shí)驗(yàn)結(jié)果表明VGG16網(wǎng)絡(luò)模型訓(xùn)練的效果最好。卷積神經(jīng)網(wǎng)絡(luò)具有優(yōu)秀的表征學(xué)習(xí)能力，被應(yīng)用于植物病害識別領(lǐng)域且取得了較好的效果，但對于復(fù)雜背景環(huán)境和病斑相似性引起的類內(nèi)、類間差距仍有進(jìn)一步研究的空間。本文基于Faster R-CNN模型實(shí)現(xiàn)對蘋果葉部病害區(qū)域的檢測識別，提出在HSV色彩空間下，利用Retinex理論算法對病害圖像進(jìn)行處理，采用具有快速有效識別效果的Faster R-CNN網(wǎng)絡(luò)模型對蘋果葉部病害數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)現(xiàn)對病斑的識別檢測。

1 相關(guān)工作

1.1 數(shù)據(jù)增強(qiáng)處理

實(shí)驗(yàn)采用公用數(shù)據(jù)集plantvillage中蘋果葉部的病害圖像，以發(fā)病概率較高的3種病害（雪松銹病、灰斑病、黑星?。┨O果葉片圖像為研究對象，建立圖像數(shù)據(jù)集。訓(xùn)練Faster-RCNN模型需要較多的訓(xùn)練樣本，樣本不足時(shí)模型容易發(fā)生過擬合，目標(biāo)檢測精度低。因此，本文采用Augmentor數(shù)據(jù)增強(qiáng)方法對730張?zhí)O果葉部圖像的訓(xùn)練樣本數(shù)據(jù)集進(jìn)行擴(kuò)充，采用旋轉(zhuǎn)、裁剪、彈性形變等處理方式，得到3 879張病害圖像數(shù)據(jù)集。將擴(kuò)充后的病害圖像數(shù)據(jù)集進(jìn)行分類，如表1所示。數(shù)據(jù)擴(kuò)充后，標(biāo)注病害圖像數(shù)據(jù)集，進(jìn)行病害數(shù)據(jù)模型的訓(xùn)練。采用Labelme圖像標(biāo)注工具對病害圖像的病斑區(qū)域用矩形框進(jìn)行目標(biāo)標(biāo)注，標(biāo)注時(shí)使矩形框盡量只包含一個病斑，且每張病害圖像至少包含一個標(biāo)注對象。

表1 圖像數(shù)據(jù)集種類和數(shù)量

1.2 HSV顏色空間

HSV顏色空間[15]的色度H包含圖像的顏色信息，飽和度S表示顏色接近光譜色的程度，明度V包含圖像的光照信息。圖像的彩色信息與亮度分量不相關(guān)，HSV顏色空間消除了H、S、V三個分量之間的相關(guān)性，使圖像亮度信息和彩色信息處理得更加簡單方便。在HSV顏色空間中，由于圖像的亮度分量及明度分量相對獨(dú)立，所以能更好地保持圖像色彩。將RGB圖像轉(zhuǎn)入HSV顏色空間后的效果如下頁圖1所示。

圖1 轉(zhuǎn)入HSV空間效果。

1.3 Retinex理論

Retinex算法[16]通過估算圖像中入射光強(qiáng)度、降低入射光對反射光的影響來達(dá)到圖像增強(qiáng)的目的。用Retinex算法對圖像進(jìn)行處理，能在動態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常等方面達(dá)到平衡，且對不同類型圖像進(jìn)行自適應(yīng)增強(qiáng)，從而更容易識別圖像特征。圖像經(jīng)過Retinex算法處理后的效果如下頁圖2所示。

圖2 Retinex算法增強(qiáng)后效果。

2 Faster R-CNN深度學(xué)習(xí)模型

傳統(tǒng)的機(jī)器學(xué)習(xí)方法使用滑動窗口進(jìn)行檢測，F(xiàn)aster R-CNN使用區(qū)域建議網(wǎng)絡(luò)（RPN）替代SS（Selective Search）方法[17]生成檢測框，極大地提升了檢測框的生成速度[18]。Faster R-CNN利用卷積神經(jīng)網(wǎng)絡(luò)提取輸入圖像的特征后，使用RPN產(chǎn)生建議框，使得建議框數(shù)目從原有的2 000個減少為300個，并通過分配置信水平識別圖像中的感興趣區(qū)域和輸出對應(yīng)的建議框，判斷該區(qū)域內(nèi)的目標(biāo)屬于物體或背景。RPN區(qū)域網(wǎng)絡(luò)結(jié)構(gòu)框架如圖3所示。

VGG16特征提取網(wǎng)絡(luò)由13個卷積層、13個激勵層、4個池化層組成，是一種適用于數(shù)據(jù)類別較多、數(shù)據(jù)集較大的網(wǎng)絡(luò)模型，在植物葉部病害領(lǐng)域得到了較好的識別效果[19-20]。R-CNN在提取特征網(wǎng)絡(luò)后，選取圖像中感興趣區(qū)域，并對目標(biāo)物體進(jìn)行坐標(biāo)信息的回歸修正，最終實(shí)現(xiàn)病害檢測。Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

實(shí)驗(yàn)的硬件為筆記本電腦，操作系統(tǒng)為MACOS 10.15.7，硬盤為256 GB，內(nèi)存為16 GB，CPU為1.4 GHz四核Intel Core i5。在Python語言下搭建TensorFlow深度學(xué)習(xí)框架。實(shí)驗(yàn)初始化參數(shù)如表2所示。

表2 Faster R-CNN訓(xùn)練參數(shù)值設(shè)置

實(shí)驗(yàn)采用平均精度（AP）及平均精度均值（MAP）作為各類病害檢測效果的評價(jià)指標(biāo)。平均檢測時(shí)間能有效評價(jià)訓(xùn)練模型的識別速度，可以作為訓(xùn)練模型實(shí)時(shí)性的評價(jià)標(biāo)準(zhǔn)。平均精度與精確度、召回率有關(guān)，精確度P和召回率R的計(jì)算公式分別為

其中，TP為被正確檢測為正樣本的數(shù)量，F(xiàn)P為被錯誤檢測為正樣本的數(shù)量，F(xiàn)N為被錯誤檢測為負(fù)樣本的數(shù)量。平均精度體現(xiàn)訓(xùn)練模型檢測目標(biāo)病害的檢測效果，其值越大，表明檢測效果越好，反之越差。

在HSV色彩空間下，采用Retinex理論和Faster R-CNN算法的蘋果葉部病害檢測算法步驟如下：（1）選取訓(xùn)練圖像作為訓(xùn)練樣本；（2）利用Augmentor擴(kuò)充訓(xùn)練圖像；（3）將訓(xùn)練的RGB圖像轉(zhuǎn)換成HSV圖像；（4）對處理后的圖像采用Retinex算法；（5）將病害的訓(xùn)練樣本輸入到Faster R-CNN網(wǎng)絡(luò)中來訓(xùn)練該網(wǎng)絡(luò)，將測試圖片輸入到訓(xùn)練好的Faster R-CNN模型中作檢測。

本實(shí)驗(yàn)將蘋果葉部病害圖像經(jīng)過HSV顏色空間轉(zhuǎn)換并進(jìn)行Retinex算法處理，處理后的圖像采用Faster R-CNN訓(xùn)練模型對蘋果葉部病害進(jìn)行目標(biāo)檢測，并與傳統(tǒng)的Faster R-CNN網(wǎng)絡(luò)模型進(jìn)行對比。利用平均精度作為實(shí)驗(yàn)中各類病害目標(biāo)檢測的評價(jià)指標(biāo)，并將平均精度均值作為整個訓(xùn)練模型性能的評價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如表3所示，本文方法相比于傳統(tǒng)的Faster R-CNN模型對蘋果葉部病害識別能力更優(yōu)秀，雪松銹病、灰斑病、黑星病的平均精度分別提高了4.03%、7.14%和13.77%，整體平均精度提升了8.32%。在檢測時(shí)間上，本文方法的檢測時(shí)間為0.201 s，保證了檢測的實(shí)時(shí)性。蘋果葉部的3種病害識別結(jié)果對比如圖5所示。對比傳統(tǒng)的Faster R-CNN模型，改進(jìn)的模型檢測病害區(qū)域的置信度、檢測精度更高，提高了目標(biāo)檢測的可信程度，能較好地進(jìn)行自動檢測。對于自然條件下，該識別模型對病害區(qū)域能夠有效檢測，且滿足蘋果葉部病害自動化識別檢測的要求。在檢測過程中，仍有少數(shù)病斑由于過小或狀態(tài)模糊不清而檢測不到，所以本文實(shí)驗(yàn)方法的檢測性能還有提升的空間。

表3 實(shí)驗(yàn)結(jié)果對比

圖5 識別結(jié)果對比。（a），（b），（c）分別為傳統(tǒng)Faster R-CNN模型對蘋果葉部雪松銹病、灰斑病、黑星病的識別效果；（d），（e），（f）分別為本文方法對蘋果葉部雪松銹病、灰斑病、黑星病的識別效果

4 結(jié)論

本文以蘋果葉部病害圖像為研究對象，針對自然環(huán)境條件下病害圖像存在的光照分布不均勻、對比度低、過亮及過暗區(qū)域細(xì)節(jié)丟失等問題，通過對病害圖像進(jìn)行HSV顏色空間轉(zhuǎn)換及Retinex算法處理，使之更適合自然環(huán)境下的自動檢測，再將處理后的圖像輸入Faster R-CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提升病害的檢測精度及置信度。相比于傳統(tǒng)的Faster R-CNN模型，本文方法對蘋果葉部的雪松銹病、灰斑病和黑星病的平均檢測精度均有提升，分別提高了4.03%、7.14%和13.77%，整體平均精度提升了8.32%；每幅圖像的平均檢測時(shí)間減少了42 ms，保證了實(shí)時(shí)性。該實(shí)驗(yàn)方法能夠適應(yīng)復(fù)雜的自然環(huán)境，為植物類病害目標(biāo)檢測提供了研究基礎(chǔ)，提高了植物葉部病害的識別防治，降低了植物葉部病害對農(nóng)作物造成的經(jīng)濟(jì)損失，具有重要的理論和實(shí)際意義。在下一步研究過程中，需要采集更多種類的植物葉部病害圖像，擴(kuò)大模型可檢測植物病害的范圍。