改進(jìn)RetinaNet的水稻冠層害蟲為害狀自動(dòng)檢測(cè)模型

姚 青，谷嘉樂，呂 軍，郭龍軍，唐 健，楊保軍，許渭根

改進(jìn)RetinaNet的水稻冠層害蟲為害狀自動(dòng)檢測(cè)模型

姚 青1，谷嘉樂1，呂 軍1，郭龍軍1，唐 健2※，楊保軍2，許渭根3

（1. 浙江理工大學(xué)信息學(xué)院，杭州 310018；2. 中國(guó)水稻研究所水稻生物學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，杭州 310006；3. 浙江省植保檢疫與農(nóng)藥管理總站，杭州 310020）

中國(guó)現(xiàn)行的水稻冠層害蟲為害狀田間調(diào)查方法需要測(cè)報(bào)人員下田目測(cè)為害狀發(fā)生情況，此種人工調(diào)查方法存在客觀性差、效率低與勞動(dòng)強(qiáng)度大等問題。近幾年，諸多學(xué)者開始利用深度學(xué)習(xí)方法來識(shí)別植物病蟲為害狀，但大多針對(duì)單株或單個(gè)葉片上病蟲害種類進(jìn)行識(shí)別研究。該研究采集了水稻冠層多叢植株上稻縱卷葉螟和二化螟為害狀圖像，提出一種改進(jìn)RetinaNet的水稻冠層害蟲為害狀自動(dòng)檢測(cè)模型。模型中采用ResNeXt101作為特征提取網(wǎng)絡(luò)，組歸一化（Group Normalization，GN）作為歸一化方法，改進(jìn)了特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）結(jié)構(gòu)。改進(jìn)后的RetinaNet模型對(duì)2種害蟲為害狀區(qū)域檢測(cè)的平均精度均值達(dá)到93.76%，為實(shí)現(xiàn)水稻害蟲為害狀智能監(jiān)測(cè)提供了理論依據(jù)和技術(shù)支持。

圖像處理；算法；自動(dòng)檢測(cè)；水稻冠層；為害狀圖像；稻縱卷葉螟；二化螟；RetinaNet模型

0 引 言

水稻是中國(guó)最主要的糧食作物之一。水稻病蟲害種類多、分布廣、危害大，每年對(duì)水稻產(chǎn)量造成巨大的經(jīng)濟(jì)損失[1]，因此準(zhǔn)確測(cè)報(bào)水稻病蟲害是制定合理防治措施、減少經(jīng)濟(jì)損失的前提。中國(guó)現(xiàn)行的水稻病蟲害測(cè)報(bào)方法大部分仍需要基層測(cè)報(bào)人員下田調(diào)查，并人工目測(cè)和診斷病蟲害的發(fā)生情況（包括病蟲害發(fā)生種類、數(shù)量和發(fā)生等級(jí)等），此種人工田間調(diào)查存在任務(wù)重、客觀性差、效率低與非實(shí)時(shí)性等問題。因此，亟需快速、便捷和智能的水稻病蟲害調(diào)查方法和工具。

隨著圖像處理和機(jī)器學(xué)習(xí)在多個(gè)領(lǐng)域的深入應(yīng)用，利用各種影像或圖像進(jìn)行農(nóng)作物病蟲害的實(shí)時(shí)監(jiān)測(cè)與智能診斷成為近些年的研究熱點(diǎn)。基于傳統(tǒng)圖像模式識(shí)別方法的農(nóng)業(yè)病蟲為害癥狀識(shí)別研究已有多篇文獻(xiàn)報(bào)道[2-6]。主要研究思路為通過背景分割獲得為害狀區(qū)域，然后提取這些區(qū)域的圖像特征，最后利用特征向量訓(xùn)練各種分類器來識(shí)別為害癥狀的種類。利用傳統(tǒng)模式識(shí)別方法識(shí)別農(nóng)業(yè)病蟲害在有限種類和有限測(cè)試集上一般均能獲得較高的準(zhǔn)確率。然而，自然環(huán)境下的農(nóng)作物病蟲害有著復(fù)雜的圖像背景和生物多樣性，傳統(tǒng)的模式識(shí)別方法魯棒性弱，泛化能力差，導(dǎo)致這些研究成果無(wú)法廣泛應(yīng)用于田間農(nóng)作物病蟲害測(cè)報(bào)。

近幾年，深度學(xué)習(xí)方法在目標(biāo)圖像識(shí)別和檢測(cè)任務(wù)中表現(xiàn)出色[7-9]。與傳統(tǒng)模式識(shí)別方法最大不同在于深度學(xué)習(xí)方法可以從圖像中自動(dòng)逐層提取特征，包含成千上萬(wàn)個(gè)參數(shù)。已有很多學(xué)者開始利用深度學(xué)習(xí)方法來識(shí)別病蟲為害狀[10-17]。針對(duì)多種植物的不同病害，Sladojevic等[10]、Mohanty等[11]和Ferentinos[12]利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）模型識(shí)別十幾種到五十幾種病害，均取得了較好的識(shí)別效果。Liu等[13]、Ashqar等[14]和Brahimi等[15]利用CNN模型識(shí)別一種植物葉片上的不同病害，取得較高的識(shí)別率。劉婷婷等[16]利用CNN識(shí)別水稻紋枯病，獲得97%的準(zhǔn)確率。Wang等[17]利用CNN對(duì)蘋果葉片病害的危害程度進(jìn)行了研究，獲得了90.4%的準(zhǔn)確率。利用深度學(xué)習(xí)方法不僅可以避免去背景和人工設(shè)計(jì)特征的環(huán)節(jié)，還可以通過訓(xùn)練大量樣本獲取較高魯棒性的識(shí)別模型。

在水稻病蟲害測(cè)報(bào)中，一般需要在一定范圍內(nèi)對(duì)多株或多叢水稻上的病蟲害進(jìn)行識(shí)別與診斷，上述僅對(duì)單株或單個(gè)葉片上的植物病蟲害種類識(shí)別方法，難以滿足水稻病蟲害的測(cè)報(bào)。本研究利用深度學(xué)習(xí)中目標(biāo)檢測(cè)方法研究水稻冠層稻縱卷葉螟和二化螟2種害蟲為害狀的自動(dòng)檢測(cè)模型，研究結(jié)果將為多株多叢水稻2種害蟲為害狀的智能調(diào)查和監(jiān)測(cè)提供數(shù)據(jù)支持。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集建立

利用數(shù)碼相機(jī)（Sony DSC-QX100，2 020萬(wàn)像素）采集水稻不同品種和不同生育期的水稻冠層稻縱卷葉螟（）和二化螟（）為害狀圖像（圖1），圖像大小為4 288×2 848像素，圖像數(shù)據(jù)集信息如表1所示。利用目標(biāo)標(biāo)注工具LabelImg對(duì)訓(xùn)練集進(jìn)行標(biāo)記，將圖中目標(biāo)標(biāo)注框的坐標(biāo)和標(biāo)簽信息寫入到XML文件中，建立PASCAL VOC[18]數(shù)據(jù)集格式。

圖1 水稻冠層2種害蟲為害狀圖像

表1 水稻冠層2種害蟲為害狀圖像數(shù)據(jù)集

1.2 圖像數(shù)據(jù)增強(qiáng)

為了提高目標(biāo)檢測(cè)模型的魯棒性和泛化能力，通過水平翻轉(zhuǎn)、增強(qiáng)對(duì)比度與添加高斯噪聲的方法對(duì)訓(xùn)練樣本集中的圖像進(jìn)行數(shù)據(jù)擴(kuò)充（圖2），訓(xùn)練樣本數(shù)量是原來的4倍。

注：圖2a～圖2c是稻縱卷葉螟為害狀增強(qiáng)圖像；圖2d～圖2f是二化螟為害狀增強(qiáng)圖像。

1.3 水稻冠層害蟲為害狀自動(dòng)檢測(cè)模型

1.3.1 改進(jìn)RetinaNet 的檢測(cè)模型網(wǎng)絡(luò)框架

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型主要分為2類，一類是基于區(qū)域提議（Region Proposal Network，RPN）的兩階段方法，第一階段通過區(qū)域提議的方法生成一系列候選區(qū)域，第二階段對(duì)候選區(qū)域提取特征進(jìn)行分類和位置回歸，經(jīng)典的模型包括R-CNN[19]、Fast R-CNN[20]、Faster R-CNN[21]等；另一類是基于回歸的單階段方法，不需要提取候選區(qū)域，直接提取輸入圖片特征，然后進(jìn)行分類和位置回歸，經(jīng)典的模型包括YOLO系列[22-24]、SSD[25]、RetinaNet[26]等。

RetinaNet是Lin等[26]于2017年提出的一種單階段的目標(biāo)檢測(cè)框架，由ResNet[27]、特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）[28]和2個(gè)全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[29]子網(wǎng)絡(luò)的組合。RetinaNet通過采用改進(jìn)交叉熵的焦點(diǎn)損失（focal loss）作為損失函數(shù)，解決了目標(biāo)檢測(cè)中正負(fù)樣本區(qū)域嚴(yán)重失衡而損失函數(shù)易被大量負(fù)樣本左右的問題。RetinaNet在小目標(biāo)檢測(cè)中表現(xiàn)良好。

由于水稻害蟲為害狀區(qū)域大小差異較大，在圖像中所占像素面積較小，導(dǎo)致對(duì)目標(biāo)區(qū)域的定位和識(shí)別具有較大難度。本研究選擇RetinaNet模型作為水稻冠層害蟲為害狀檢測(cè)網(wǎng)絡(luò)框架，在此基礎(chǔ)上進(jìn)行了改進(jìn)，將RetinaNet模型中ResNet特征提取網(wǎng)絡(luò)改為ResNeXt，改進(jìn)了FPN結(jié)構(gòu)，損失函數(shù)仍采用Focal loss，歸一化采用組歸一化（Group Normalization，GN）方法，網(wǎng)絡(luò)結(jié)構(gòu)見圖3所示。

注：C2～C5是ResNeXt特征提取網(wǎng)絡(luò)卷積層的輸出；P2～P7是特征金字塔網(wǎng)絡(luò)卷積層的輸出；3×3為卷積核的尺寸大??；18、36和256為卷積層的輸出通道數(shù)；×4代表卷積核大小為3×3，輸出通道數(shù)為256的卷積層重復(fù)了4次。

1.3.2 特征提取網(wǎng)絡(luò)

特征提取是目標(biāo)檢測(cè)的一個(gè)重要環(huán)節(jié)。不同的特征影響目標(biāo)檢測(cè)結(jié)果，特征數(shù)量影響檢測(cè)器的內(nèi)存、速度和性能。深度學(xué)習(xí)中的特征提取網(wǎng)絡(luò)可以自動(dòng)提取圖像中成千上萬(wàn)個(gè)的特征參數(shù)。比較常用的特征提取網(wǎng)絡(luò)包括AlexNet[30]、VGGNet[31]、GoogLeNet[32]等。

為了解決深度網(wǎng)絡(luò)訓(xùn)練時(shí)產(chǎn)生精度退化的問題，He等[27]提出深度殘差網(wǎng)絡(luò)，利用恒等映射的概念在多層網(wǎng)絡(luò)擬合殘差映射解決退化問題。ResNeXt[33]在深度殘差網(wǎng)絡(luò)的基礎(chǔ)上采用聚合相同的結(jié)構(gòu)，每個(gè)結(jié)構(gòu)都是通過conv1×1、conv3×3的卷積層堆積而成的，如圖4所示，輸入維度數(shù)為256的數(shù)據(jù)先通過conv1×1卷積層降低維度，減少了后續(xù)卷積的計(jì)算量，再通過32組平行堆疊的conv3×3卷積層來進(jìn)一步提取目標(biāo)特征，最后通過conv1×1卷積層升維，實(shí)現(xiàn)跳躍連接。與殘差網(wǎng)絡(luò)相比，ResNeXt網(wǎng)絡(luò)更加模塊化，超參數(shù)數(shù)量減少，便于模型的移植；同時(shí)，在相同參數(shù)量級(jí)的情況下，具有更高的模型準(zhǔn)確率。本研究選擇ResNeXt作為水稻冠層害蟲為害狀的特征提取網(wǎng)絡(luò)。

1.3.3 歸一化方法

為了加快模型收斂的速度和緩解深層網(wǎng)絡(luò)中梯度彌散的問題，輸入的數(shù)據(jù)在卷積計(jì)算之前，需要對(duì)不同量綱的數(shù)據(jù)進(jìn)行歸一化處理。深度學(xué)習(xí)方法中數(shù)據(jù)歸一化方法主要包括：批歸一化（Batch Normalization，BN）[34]、層歸一化（Layer Normalization，LN）[35]、實(shí)例歸一化（Instance Normalization，IN）[36]。

注：1×1和3×3為卷積核的尺寸大?。?28和256卷積層的輸出通道數(shù)；組 =32代表了32組平行堆疊的卷積層；“+”代表跳躍連接。

在ResNeXt 模型中，使用BN方法進(jìn)行數(shù)據(jù)預(yù)處理。由于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)BN層計(jì)算存在數(shù)據(jù)偏差問題，Wu等[37]提出組歸一化（Group Normalization，GN）方法，將通道分成許多組，在每個(gè)組內(nèi)分別計(jì)算均值和方差，解決了小批量歸一化導(dǎo)致計(jì)算存在偏差的問題。為了提高深層卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和收斂速度，本研究將ResNeXt 模型中的BN層改為GN層。

1.3.4 改進(jìn)的特征金字塔網(wǎng)絡(luò)（FPN）

RetinaNet檢測(cè)模型中采用FPN，對(duì)小目標(biāo)具有較好的檢測(cè)效果。由于水稻冠層害蟲為害狀區(qū)域大小和形狀差異較大，經(jīng)過測(cè)試仍存在一些目標(biāo)區(qū)域的漏檢。為了減少為害狀目標(biāo)區(qū)域的漏檢和誤檢，本研究對(duì)原有的FPN結(jié)構(gòu)上進(jìn)行改進(jìn)（圖3）。圖中C2～C5是ResNeXt特征提取網(wǎng)絡(luò)卷積層的輸出；P2～P7是特征金字塔網(wǎng)絡(luò)卷積層的輸出，其通道數(shù)均為256，其中P7通過3×3、步長(zhǎng)為2的卷積核與P6進(jìn)行卷積得到，P6通過3×3、步長(zhǎng)為2的卷積核對(duì)降維后的C5進(jìn)行卷積得到。P7上采樣與P6橫向連接后再進(jìn)行上采樣，得到的結(jié)果與C5橫向連接后得到P5。P4～P2分別由低分辨率、高語(yǔ)義信息的上一層特征上采樣后經(jīng)降維后的C4～C2橫向連接生成。

1.3.5 焦點(diǎn)損失函數(shù)

在水稻冠層害蟲為害狀圖像中，大部分區(qū)域是水稻背景，為害狀區(qū)域所占面積較小，在進(jìn)行為害狀目標(biāo)區(qū)域檢測(cè)時(shí)候，出現(xiàn)了背景負(fù)樣本和目標(biāo)區(qū)域正樣本極不平衡的問題。Lin等[26]在RetinaNet模型中提出的損失（Focal Loss，F(xiàn)L）函數(shù)，即尺度動(dòng)態(tài)可調(diào)的交叉熵?fù)p失函數(shù)FL(p)如式（1）所示，可以解決目標(biāo)檢測(cè)中正負(fù)樣本區(qū)域嚴(yán)重失衡的問題。

1.4 結(jié)果評(píng)價(jià)方法

為了評(píng)價(jià)本研究提出的水稻冠層害蟲為害狀檢測(cè)模型的有效性，選擇精確率-召回率曲線（Precision-Recall curve，PR）、平均精度（Average Precision，AP）和平均精度均值（mean Average Precision，mAP）作為評(píng)價(jià)指標(biāo)。

PR曲線中Precision rate和Recall rate如式（2）和式（3）所示

式中TP表示某個(gè)類別檢測(cè)正確的數(shù)量，F(xiàn)P表示檢測(cè)錯(cuò)誤的數(shù)量，F(xiàn)N表示沒有檢測(cè)到目標(biāo)數(shù)量。

AP是衡量某一類別檢測(cè)的平均精度值，利用精確率對(duì)召回率的積分，如式（4）所示

式中表示某一類別。

mAP是衡量所有類別AP的平均值，如式（5）所示

式中表示所有類別的集合。

1.5 不同模型的比較

為了驗(yàn)證本研究提出的模型對(duì)水稻冠層害蟲為害狀檢測(cè)的效果，在RetinaNet檢測(cè)網(wǎng)絡(luò)框架下，分別選擇了VGG16、ResNet101和ResNeXt101作為特征提取網(wǎng)絡(luò)，F(xiàn)PN網(wǎng)絡(luò)改進(jìn)前后、不同的歸一化方法和圖像數(shù)據(jù)增強(qiáng)前后等不同情況下共6個(gè)模型對(duì)水稻冠層2種害蟲為害狀進(jìn)行檢測(cè)，比較不同模型的檢測(cè)結(jié)果（表 2）。

表2 RetinaNet框架下6種模型對(duì)水稻冠層2種害蟲為害狀的檢測(cè)結(jié)果

2 結(jié)果與分析

2.1 模型運(yùn)行環(huán)境

所有模型是在CPU為Inter-i5-6500處理器，GPU為NVIDIA GTX 1080Ti 的臺(tái)式計(jì)算機(jī)，操作系統(tǒng)為Ubuntu16.04，PyTorch深度學(xué)習(xí)框架下進(jìn)行訓(xùn)練和測(cè)試。

2.2 不同模型PR曲線與分析

本研究提出的檢測(cè)模型與另外5種模型對(duì)測(cè)試集圖像中的稻縱卷葉螟和二化螟為害狀進(jìn)行測(cè)試，利用Python語(yǔ)言中的Matplotlib庫(kù)繪制PR曲線（圖5）。圖 5a是基于VGG16、ResNet101和ResNeXt101 3種特征提取網(wǎng)絡(luò)訓(xùn)練獲得的PR曲線，在相同的召回率情況下，基于ResNeXt101的模型獲得了更高的精確度。圖5b是基于FPN改進(jìn)后的模型獲得的PR曲線，從圖中可以看出FPN改進(jìn)后的模型整體性能得到了提升，漏檢率進(jìn)一步的降低。圖5c是基于BN和GN獲得的PR曲線，在相同的召回率情況下，基于GN的模型檢測(cè)得到精確度略有提升。圖5d顯示了數(shù)據(jù)增強(qiáng)后獲得的PR曲線，數(shù)據(jù)增強(qiáng)后訓(xùn)練得到的模型其精確度明顯提高很多。

圖5 6種不同模型的精確率-召回率曲線圖

2.3 不同模型平均精度（AP）和平均精度均值（mAP）與分析

6種模型對(duì)測(cè)試樣本檢測(cè)結(jié)果的AP和mAP值見表 2。其中，基于ResNeXt101的模型比基于VGG16的模型檢測(cè)2種害蟲為害狀mAP值提高了12.37%，比基于ResNet101的模型檢測(cè)2種害蟲為害狀mAP值提高了0.95%，表明ResNeXt101在提取特征方面，優(yōu)于VGG16和ResNet101特征提取網(wǎng)絡(luò)。FPN改進(jìn)后獲得的檢測(cè)模型在稻縱卷葉螟為害狀檢測(cè)結(jié)果比改進(jìn)前提高了4.93%，mAP提高了3.36%，表明改進(jìn)FPN獲得的模型更有利于檢測(cè)到為害狀區(qū)域（圖6）。將批歸一化BN替換為組歸一化GN后，獲得的模型檢測(cè)為害狀的AP和mAP值均有一定的提高。數(shù)據(jù)增強(qiáng)后獲得的檢測(cè)模型較數(shù)據(jù)增強(qiáng)前獲得的檢測(cè)模型，mAP提高了9.13%，表明數(shù)據(jù)增強(qiáng)對(duì)于模型的泛化能力有了明顯的提升。由此可見，本研究提出的ResNeXt101+改進(jìn)的FPN+GN+數(shù)據(jù)增強(qiáng)獲得的檢測(cè)模型對(duì)水稻冠層2種害蟲為害狀檢測(cè)效果好于另外5種模型（圖7）。

注：方框表示模型檢測(cè)到的害蟲為害狀區(qū)域；方框上的R-CM表示稻縱卷葉螟為害狀；數(shù)字表示識(shí)別為稻縱卷葉螟為害狀的概率。

在相同的環(huán)境下，改進(jìn)后的模型檢測(cè)一張圖像檢測(cè)平均需要0.56 s左右，可以滿足水稻冠層害蟲為害狀檢測(cè)任務(wù)。

注：方框表示模型檢測(cè)到的害蟲為害狀區(qū)域；方框上的R-CM表示稻縱卷葉螟為害狀，R-CS表示二化螟為害狀；數(shù)字表示不同區(qū)域識(shí)別為不同害蟲為害狀的概率。

3 結(jié)論

本研究提出了一種基于改進(jìn)RetinaNet的水稻冠層害蟲為害狀自動(dòng)檢測(cè)模型，可為植保無(wú)人機(jī)田間病蟲害巡檢和無(wú)人機(jī)精準(zhǔn)噴藥提供理論依據(jù)，為后續(xù)稻田病蟲害智能測(cè)報(bào)打下基礎(chǔ)。

1）采用深度學(xué)習(xí)中RetinaNet目標(biāo)檢測(cè)框架，選擇ResNeXt101作為特征提取網(wǎng)絡(luò)，改進(jìn)了特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network, FPN）結(jié)構(gòu)，選擇組歸一化（Group Normalization，GN）作為歸一化方法，提高了水稻冠層害蟲為害狀檢測(cè)模型的魯棒性和準(zhǔn)確性。

2）改進(jìn)的RetinaNet模型對(duì)稻縱卷葉螟和二化螟為害狀區(qū)域的檢測(cè)指標(biāo)平均精度均值（mean Average Precision , mAP）為93.76%，高于其他5種模型。本結(jié)果為稻縱卷葉螟和二化螟為害狀的田間調(diào)查與測(cè)報(bào)提供了可靠的數(shù)據(jù)。

[1] 王艷青. 近年來中國(guó)水稻病蟲害發(fā)生及趨勢(shì)分析[J]. 中國(guó)農(nóng)學(xué)通報(bào)，2006，22(2)：343-347. Wang Yanqing. Analysis on the occurrence and trend of rice pests and diseases in China in recent years[J]. Chinese Agricultural Science Bulletin, 2006, 22(2): 343-347. (in Chinese with English abstract)

[2] 鄭志雄，齊龍，馬旭，等. 基于高光譜成像技術(shù)的水稻葉瘟病病害程度分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(19)：138-144. Zheng Zhixiong, Qi Long, Ma Xu, et al. Classification method of rice leaf blast disease based on hyperspectral imaging technique[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(19): 138-144. (in Chinese with English abstract)

[3] 管澤鑫，唐健，楊保軍，等. 基于圖像的水稻病害識(shí)別方法研究[J]. 中國(guó)水稻科學(xué)，2010，24(5)：497-502. Guan Zexin, Tang Jian, Yang Baojun, et al. Image-based rice disease identification method[J]. Chinese Journal of Rice Science, 2010, 24(5): 497-502. (in Chinese with English abstract)

[4] 楊昕薇，譚峰. 基于貝葉斯分類器的水稻病害識(shí)別處理的研究[J]. 黑龍江八一農(nóng)墾大學(xué)學(xué)報(bào)，2012，24(3)：64-67. Yang Xinwei, Tan Feng. Research on rice disease recognition and processing based on Bayesian classifier[J]. Journal of Heilongjiang Bayi Agricultural University, 2012, 24(3): 64-67. (in Chinese with English abstract)

[5] 路陽(yáng)，邵慶，張楠，等. 水稻稻瘟病圖像識(shí)別預(yù)處理方法研究[J]. 黑龍江八一農(nóng)墾大學(xué)學(xué)報(bào)，2011，23(4)：64-67. Lu Yang, Shao Qing, Zhang Nan, et al. Study on pretreatment methods for rice blast disease image recognition[J]. Journal of Heilongjiang Bayi Agricultural University, 2011, 23(4): 64-67. (in Chinese with English abstract)

[6] 石鳳梅，趙開才，孟慶林，等. 基于支持向量機(jī)的水稻稻瘟病圖像分割研究[J]. 東北農(nóng)業(yè)大學(xué)學(xué)報(bào)，2013，44(2)：128-135. Shi Fengmei, Zhao Kaicai, Meng Qinglin, et al. Image segmentation of rice blast in rice based on support vector machine[J]. Journal of Northeast Agricultural University, 2013, 44(2): 128-135. (in Chinese with English abstract)

[7] Alotaibi A, Mahmood A. Deep face liveness detection based on nonlinear diffusion using convolution neural network[J]. Signal, Image and Video Processing, 2017, 11(4): 713-720.

[8] Bautista C M, Dy C A, Ma?alac M I, et al. Convolutional neural network for vehicle detection in low resolution traffic videos[C]//2016 IEEE Region 10 Symposium (TENSYMP). Bali, Indonesia, IEEE, 2016: 277-281.

[9] Tajbakhsh N, Shin J Y, Gurudu S R, et al. Convolutional neural networks for medical image analysis: Full training or fine tuning?[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1299-1312.

[10] Sladojevic S, Arsenovic M, Anderla A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016: 1-11, [2016-06-22], http://www.ncbi.nlm. nih.gov/pmc/articles/PMC4934169/pdf/CIN2016-3289801.pdf.

[11] Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection[EB/OL]. 2016, https://arxiv.org/abs/1604.03169.

[12] Ferentinos K P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[13] Liu Bin, Zhang Yun, He DongJian, et al. Identification of apple leaf diseases based on deep convolutional neural networks[J]. Symmetry, 2017, 10(1): 11-26.

[14] Ashqar B A M, Abu-Naser S S. Image-based tomato leaves diseases detection using deep learning[J]. International Journal of Engineering Research, 2019, 2(12): 10-16.

[15] Brahimi M, Boukhalfa K, Moussaoui A. Deep learning for tomato diseases: Classification and symptoms visualization[J]. Applied Artificial Intelligence, 2017, 31(4): 299-315.

[16] 劉婷婷，王婷，胡林. 基于卷積神經(jīng)網(wǎng)絡(luò)的水稻紋枯病圖像識(shí)別[J]. 中國(guó)水稻科學(xué)，2019，33(1)：90-94. Liu Tingting, Wang Ting, Hu Lin. Image recognition of rice sheath blight based on convolutional neural network[J]. Chinese Journal of Rice Science, 2019, 33(1): 90-94. (in Chinese with English abstract)

[17] Wang Guan, Sun Yu, Wang Jianxin. Automatic image-based plant disease severity estimation using deep learning[J]. Computational Intelligence and Neuroscience, 2017: 1-8, [2017-07-05], http://doi.org/10.1155/2017/2917536.

[18] Everingham M, Van Gool L, Williams C K I, et al. The pascal Visual Object Classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338.

[19] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 580-587.

[20] Girshick R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440-1448.

[21] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems, Montreal, Canada, 2015: 91-99.

[22] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 779-788.

[23] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 7263-7271.

[24] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. 2018, [2018-04-08], https://arxiv.org/abs/1804.02767.

[25] Liu Wei, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 21-37.

[26] Lin Tsungyi, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2980-2988.

[27] He Kaiming, Zhang Xianyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770-778.

[28] Lin Tsungyi, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2117-2125.

[29] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 3431-3440.

[30] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// Advances in Neural Information Processing Systems, Lake Tahoe, USA, 2012: 1097-1105.

[31] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014, [2014-09-04], https://arxiv.org/abs/1409.1556.

[32] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1-9.

[33] Xie Saining, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 1492-1500.

[34] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// International Conference on Machine Learning, Lille, France, 2015: 448-456.

[35] Ba J L, Kiros J R, Hinton G E. Layer normalization[EB/OL]. 2016, [2016-07-21], https://arxiv.org/abs/1607.06450.

[36] Ulyanov D, Vedaldi A, Lempitsky V. Instance normalization: The missing ingredient for fast stylization[EB/OL]. 2016, [2016-07-27], https://arxiv.org/abs/1607.08022.

[37] Wu Yuxin, He Kaiming. Group normalization[C]// Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 2018: 3-19.

Automatic detection model for pest damage symptoms on rice canopy based on improved RetinaNet

Yao Qing1, Gu Jiale1, Lyu Jun1, Guo Longjun1, Tang Jian2※, Yang Baojun2, Xu Weigen3

(1.,,310016,; 2.,311400,; 3.,,310020,)

In China, the current field survey methods of pest damage symptoms on rice canopy mainly rely on the forecasting technicians to estimate the sizes and numbers of damage symptoms by visual inspection for estimating the damage level of pests in paddy fields. The manual survey method is subjective, time-consuming, and labor-intensive. In this study, an improved RetinaNet model was proposed to automatically detect the damage symptom regions of two pests (and) on rice canopy. This model was composed of one ResNeXt network, an improved feature pyramid network, and two fully convolutional networks (one was class subnet and the other was regression subnet). In this model, ResNeXt101 and Group Normalization were used as the feature extraction network and the normalization method respectively. The feature pyramid network was improved for achieving a higher detection rate of pest damage symptoms. The focal loss function was adopted in this model. All images were divided into two image sets including a training set and a testing set. The training images were augmented by flipping horizontally, enhancing contrast, and adding Gaussian noise methods to prevent overfitting problems. The damage symptom regions in training images were manually labeled by a labeling tool named LabelImg. 6 RetinaNet models based on VGG16, ResNet101, ResNeXt101, data augmentation, improved feature pyramid network, and different normalization methods respectively were developed and trained on the training set. These models were tested on the same testing set. Precision-Recall curves, average precisions and mean average precisions of six models were calculated to evaluate the detection effects of pest damage symptoms on 6 RetinaNet models. All models were trained and tested under the deep learning framework PyTorch and the operating system Ubuntu16.04. The Precision-Recall curves showed that the improved RetinaNet model could achieve higher precision in the same recall rates than the other 5 models. The mean average precision of the model based on ResNeXt101 was 12.37% higher than the model based on VGG16 and 0.95% higher than the model based on ResNet101. It meant that the ResNeXt101 could effectively extract the features of pest damage symptoms on rice canopy than VGG16 and ResNet101. The average precision of the model based on improved feature pyramid network increased by 4.93% in the detection ofdamage symptoms and the mean average precision increased by 3.36% in the detection of 2 pestdamage symptoms. After data augmentation, the mean average precision of the improved model increased by 9.13%. It meant the data augmentation method could significantly improve the generalization ability of the model. The improved RetinaNet model based on ResNeXt101, improved feature pyramid network, group normalization and data augmentation achieved the average precision of 95.65% in the detection ofdamage symptoms and the average precision of 91.87% in the detection ofdamage symptoms. The mean average precision of the damage symptom detection of 2 pests reached 93.76%. These results showed that the improved RetinaNet model improved the detection accuracy and robustness of pest damage symptoms on rice canopy. It took an average time of 0.56 s to detect one image using the improved RetinaNet model, which could meet the realtime detection task of pest damage symptoms on rice canopy. The improved RetinaNet model and its results would provide the field survey data and forecasting of damage symptoms ofandon the rice canopy. It could be applied in precision spraying pesticides and pest damage symptom patrol by unmanned aerial vehicles. It would realize the intelligent forecasting and monitoring of rice pests, reduce manpower expense, and improve the efficiency and accuracy of the field survey of pest damage symptoms on rice canopy.

image processing; algorithms; automatic testing; rice canopy; damage symptom image;;; RetinaNet model

姚青，谷嘉樂，呂軍，等. 改進(jìn)RetinaNet的水稻冠層害蟲為害狀自動(dòng)檢測(cè)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(15)：182-188.doi：10.11975/j.issn.1002-6819.2020.15.023 http://www.tcsae.org

Yao Qing, Gu Jiale, Lyu Jun, et al. Automatic detection model for pest damage symptoms on rice canopy based on improved RetinaNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 182-188. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.15.023 http://www.tcsae.org

2019-12-13

2020-04-07

國(guó)家“863”計(jì)劃項(xiàng)目（2013AA102402）；浙江省公益性項(xiàng)目（LGN18C140007）；浙江省自然科學(xué)基金（Y20C140024）

姚青，博士，教授，主要研究方向?yàn)檗r(nóng)業(yè)病蟲害圖像處理與智能診斷。Email：q-yao@zstu.edu.cn

唐健，研究員，主要研究方向?yàn)檗r(nóng)業(yè)病蟲害智能測(cè)報(bào)技術(shù)。Email：tangjian@caas.cn

10.11975/j.issn.1002-6819.2020.15.023

TP391

A

1002-6819(2020)-15-0182-07