利用改進(jìn)Faster-RCNN識(shí)別小麥條銹病和黃矮病

毛 銳，張宇晨，王澤璽，高圣昌，祝 濤，王美麗，胡小平

利用改進(jìn)Faster-RCNN識(shí)別小麥條銹病和黃矮病

毛 銳1，張宇晨1，王澤璽1，高圣昌1，祝 濤1，王美麗1，胡小平2,3※

（1. 西北農(nóng)林科技大學(xué)信息工程學(xué)院，楊凌 712100；2. 西北農(nóng)林科技大學(xué)植物保護(hù)學(xué)院，楊凌 712100；3. 農(nóng)業(yè)農(nóng)村部黃土高原作物有害生物綜合治理重點(diǎn)實(shí)驗(yàn)室，楊凌 712100）

條銹病和黃矮病是嚴(yán)重威脅小麥生產(chǎn)的重大病害，病害的早期識(shí)別對(duì)病害防控具有重要意義。現(xiàn)有病害識(shí)別模型對(duì)相似表型癥狀識(shí)別困難，對(duì)早期病害的識(shí)別準(zhǔn)確度低。為此，該研究構(gòu)建了一種改進(jìn)的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Regions with CNN Features，F(xiàn)aster-RCNN）的病害識(shí)別方法。該方法采用卷積核拆解和下采樣延遲策略優(yōu)化了深度殘差網(wǎng)絡(luò)（Deep Residual Neural Network，ResNet-50），用優(yōu)化后的ResNet-50作為主干特征提取網(wǎng)絡(luò)以增強(qiáng)所提取特征的表達(dá)力，同時(shí)簡(jiǎn)化模型的參數(shù)；并采用ROI （Region of Interest）Align改進(jìn)ROI遲化層以降低特征量化誤差，提升識(shí)別的精度。在自建的涵蓋200余種不同發(fā)病時(shí)期、不同抗感性的小麥葉部圖像數(shù)據(jù)集上進(jìn)行試驗(yàn)，結(jié)果表明：改進(jìn)的Faster-RCNN識(shí)別方法比其他SSD （Single Shot Multi-Box Detector）、YOLO（You Only Look Once）和Faster-RCNN網(wǎng)絡(luò)模型的平均精度均值（mean Average Precision，mAP）分別提升了9.26個(gè)百分點(diǎn)、7.64個(gè)百分點(diǎn)和14.97個(gè)百分點(diǎn)。對(duì)小麥條銹病、黃矮病、健康小麥和其他黃化癥狀小麥識(shí)別的平均精度均值可達(dá)98.74%；對(duì)小麥條銹病和黃矮病輕、重癥識(shí)別的平均精度均值可達(dá)91.06%。同時(shí)，模型損失函數(shù)值降低更快，整體性能表現(xiàn)更優(yōu)。進(jìn)一步開(kāi)發(fā)小麥病害智能識(shí)別系統(tǒng)部署研究模型，使用微信小程序進(jìn)行田間小麥病害的識(shí)別。在最大并發(fā)100的條件下，小程序平均返回時(shí)延為5.02 s，識(shí)別返回成功率為97.85%，對(duì)兩種小麥病害及其細(xì)分輕重癥識(shí)別的平均準(zhǔn)確率為93.56%，能夠有效滿足實(shí)際應(yīng)用需求，可用于指導(dǎo)病害的科學(xué)防控。

模型；病害識(shí)別；Faster-RCNN；ResNet；分組卷積；數(shù)據(jù)增強(qiáng)

0 引 言

小麥?zhǔn)侵袊?guó)主要糧食之一，保障小麥安全生產(chǎn)是國(guó)家安全，社會(huì)穩(wěn)定和經(jīng)濟(jì)發(fā)展的重要基礎(chǔ)[1]。病蟲(chóng)害對(duì)小麥生產(chǎn)造成嚴(yán)重威脅，中國(guó)每年因病蟲(chóng)害造成的糧食損失約4000萬(wàn)噸[2]。小麥條銹病和黃矮病是中國(guó)冬麥區(qū)的常發(fā)流行性病害，造成小麥產(chǎn)量嚴(yán)重?fù)p失，大流行年份減產(chǎn)率高達(dá)50%以上[3]。小麥條銹病和黃矮病的主要癥狀表現(xiàn)為葉片黃化。然而，小麥細(xì)菌性條斑病、干旱、營(yíng)養(yǎng)元素虧缺等生物和非生物脅迫也容易導(dǎo)致小麥葉片褪綠黃化，其表型癥狀與小麥條銹病、黃矮病的表型癥狀相似。另外，小麥條銹病和黃矮病在發(fā)病早期黃化癥狀不明顯，感病葉片整體與健康葉片相似。這些相似的表型特征增加了人工識(shí)別病害的難度，亟須智能化的檢測(cè)方法準(zhǔn)確高效地識(shí)別病害，降低人為誤判，為小麥病害的精準(zhǔn)防控提供支持。

目前，基于機(jī)器學(xué)習(xí)的植物病蟲(chóng)害識(shí)別研究受到了廣泛的關(guān)注，一定程度上取代了傳統(tǒng)的田間人工踏查的病害識(shí)別方法[4-6]。傳統(tǒng)的機(jī)器學(xué)習(xí)算法，包括人工神經(jīng)網(wǎng)絡(luò)[7]、支持向量機(jī)[8]、隨機(jī)森林[9]等，主要通過(guò)手動(dòng)篩選合適的圖像特征進(jìn)行病害識(shí)別。Wang等[7]通過(guò)提取圖像顏色、形狀和紋理特征，在主成分分析特征降維后，分別使用反向傳播網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義神經(jīng)網(wǎng)絡(luò)和概率神經(jīng)網(wǎng)絡(luò)識(shí)別小麥條銹病、小麥葉銹病、葡萄霉霜病和葡萄白粉病，平均預(yù)測(cè)準(zhǔn)確率為97.15%。潘春華等[8]基于支持向量機(jī)與區(qū)域生長(zhǎng)結(jié)合算法，對(duì)煙粉虱等4種蔬菜害蟲(chóng)識(shí)別的平均準(zhǔn)確率達(dá)到95.8%。夏永泉等[9]采用高斯混合模型結(jié)合期望最大化算法對(duì)小麥葉片特征進(jìn)行提取，結(jié)合HSV（Hue, Saturation, Value）顏色直方圖和Tamura紋理特征，采用隨機(jī)森林方法識(shí)別小麥葉枯病等3種病害，整體識(shí)別準(zhǔn)確率可達(dá)95%。這些通過(guò)人工設(shè)計(jì)篩選特征的方法雖然在小樣本病害數(shù)據(jù)集上取得了較好的識(shí)別效果，但面對(duì)不同脅迫導(dǎo)致的病理表征相似度高，以及不同發(fā)病階段同一病害表征差異顯著等復(fù)雜識(shí)別挑戰(zhàn)時(shí)，很難有效地篩選合適特征進(jìn)行病害的準(zhǔn)確識(shí)別。

深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks，DCNN）能夠不受尺度限制地從輸入圖像中自動(dòng)提取相關(guān)特征，在圖像分類(lèi)識(shí)別領(lǐng)域的應(yīng)用成為近年來(lái)新的熱點(diǎn)[10-12]。其中，單次多框檢測(cè)器（Single Shot Multi-Box Detector，SSD）系列、區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with CNN feature，RCNN）系列、YOLO（You Only Look Once）系列網(wǎng)絡(luò)模型在植物病害分類(lèi)識(shí)別方面得到廣泛應(yīng)用[13-16]。Sun等[13]使用改進(jìn)的SSD網(wǎng)絡(luò)模型對(duì)5種常見(jiàn)的蘋(píng)果病害進(jìn)行移動(dòng)端識(shí)別，平均精度均值（mean Average Precision，mAP）為83.12%，且識(shí)別速度可達(dá)12.53幀/s。李天華等[14]使用基于YOLO v4的網(wǎng)絡(luò)模型進(jìn)行成熟期番茄的識(shí)別，在自建數(shù)據(jù)集上識(shí)別準(zhǔn)確率可達(dá)94.77%。王東方等[15]使用SE-ResNeXt-101（Squeeze-and-Excitation-ResNeXt-101）進(jìn)行農(nóng)作物病害檢測(cè)分類(lèi)，在AI Challenger 2018簡(jiǎn)單背景農(nóng)作物病害圖像數(shù)據(jù)集中平均識(shí)別準(zhǔn)確率達(dá)到98%，但在真實(shí)農(nóng)作物病害數(shù)據(jù)集上平均準(zhǔn)確率僅為47.37%。陳柯屹等[16]通過(guò)融合動(dòng)態(tài)區(qū)域卷積改進(jìn)快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster-RCNN）模型，對(duì)田間棉花頂芽識(shí)別mAP可達(dá)98.1%。在小麥病害圖像識(shí)別方面，鮑文霞等[17]利用深度語(yǔ)義分割網(wǎng)絡(luò)U-Net對(duì)大田小麥圖像進(jìn)行分割后，采用多路卷積神經(jīng)網(wǎng)絡(luò)對(duì)單株麥穗的小麥赤霉病識(shí)別精度達(dá)到100%，但模型對(duì)小麥赤霉病細(xì)分等級(jí)（輕度、中度和重度）識(shí)別是否同樣有效且準(zhǔn)確并未探索。Picon 等[18]基于改進(jìn)的深度殘差網(wǎng)絡(luò)（Deep Residual Neural Network，ResNet）對(duì)殼針孢斑枯病、黃斑葉枯病和銹病等3種歐洲小麥常見(jiàn)病害進(jìn)行識(shí)別，模型測(cè)試的mAP達(dá)到87%。以上研究的開(kāi)展，說(shuō)明深度學(xué)習(xí)方法能夠通過(guò)不斷優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)對(duì)復(fù)雜非線性高層特征的自主學(xué)習(xí)能力。相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)方法在特征自主學(xué)習(xí)和數(shù)據(jù)適應(yīng)性方面有顯著優(yōu)勢(shì)。但是這些方法大多采用中晚期病害的典型表型癥狀進(jìn)行識(shí)別，缺乏對(duì)早期病害，以及呈現(xiàn)相似表型癥狀的不同病害的識(shí)別。同時(shí)，基于回歸的目標(biāo)檢測(cè)方法SSD，YOLO雖具有較快的識(shí)別速度，但對(duì)小麥病害識(shí)別的準(zhǔn)確度不高。而基于區(qū)域推薦的目標(biāo)檢測(cè)方法Faster-RCNN雖然在識(shí)別準(zhǔn)確性上更具優(yōu)勢(shì)，但是存在計(jì)算復(fù)雜度高和識(shí)別速度慢等問(wèn)題，特別是它的主干特征提取網(wǎng)絡(luò)視覺(jué)幾何群網(wǎng)絡(luò)（Visual Geometry Group Network，VGG-16）模型結(jié)構(gòu)復(fù)雜，參數(shù)眾多，限制了模型的實(shí)際應(yīng)用。

針對(duì)這些問(wèn)題，本研究根據(jù)小麥條銹病和黃矮病智能識(shí)別的應(yīng)用需求，從提升主干特征提取網(wǎng)絡(luò)的細(xì)節(jié)特征表征能力，簡(jiǎn)化模型參數(shù)，降低特征量化誤差等角度，改進(jìn)了Faster-RCNN模型。進(jìn)一步開(kāi)發(fā)了小麥病害智能識(shí)別系統(tǒng)，實(shí)現(xiàn)了模型的部署和應(yīng)用，并通過(guò)微信小程序驗(yàn)證病害識(shí)別方法對(duì)田間小麥條銹病和黃矮病，病害早期癥狀和其他原因?qū)е碌南嗨瓢Y狀的準(zhǔn)確識(shí)別，以期為小麥病害科學(xué)防控提供了技術(shù)支持。

1 試驗(yàn)數(shù)據(jù)與處理

小麥葉部圖像采自陜西省武功縣試驗(yàn)基地。該基地種植有西農(nóng)979、小偃6號(hào)等200余小麥品種，所栽培品種對(duì)小麥黃矮病、條銹病表現(xiàn)從高抗到高感的各病害類(lèi)型。采集時(shí)間從3月上旬至5月上旬，即病害癥狀始顯期至發(fā)病后期。小麥黃矮病主要表現(xiàn)為旗葉倒V形黃化，小麥條銹病主要表現(xiàn)為銹黃色虛線狀病斑。采用尼康D5300相機(jī)和智能手機(jī)在自然光照下拍攝小麥葉片，分辨率為6 000×4 000像素，自然光照下拍攝小麥發(fā)病葉片，以jpg格式保存，尺寸壓縮比為10∶1。數(shù)據(jù)集中共包含條銹病，黃矮病，其他黃化癥和健康的小麥葉部圖像樣本4 193幅。兩種病害在發(fā)病初期，即當(dāng)黃化面積小于葉片總面積10%時(shí)，病害癥狀相似不易分辨。當(dāng)黃化面積大于10%時(shí)，小麥條銹病開(kāi)始出現(xiàn)明顯的橘黃色粉狀物，而小麥黃矮病從葉尖開(kāi)始呈現(xiàn)倒“V”型黃化病斑，二者癥狀較易區(qū)分。因此，本研究以病部面積占比葉片總面積的10%為標(biāo)準(zhǔn)，將小麥黃矮病和條銹病分別細(xì)分為輕癥和重癥兩個(gè)等級(jí)。為了能準(zhǔn)確地識(shí)別早期病害，數(shù)據(jù)集中包含了683幅小麥黃矮病輕癥和630幅小麥條銹病輕癥樣本。在植保專(zhuān)家的指導(dǎo)下完成了數(shù)據(jù)集的分類(lèi)和樣本標(biāo)注。數(shù)據(jù)集圖例如圖1所示。

圖1 數(shù)據(jù)集圖例

數(shù)據(jù)集使用可視圖像標(biāo)記工具labelImg軟件手動(dòng)標(biāo)記圖像中的小麥葉片目標(biāo)，并在標(biāo)記完成后生成xml 類(lèi)型的標(biāo)注文件。標(biāo)記規(guī)則統(tǒng)一，不會(huì)標(biāo)記接近邊緣的葉片，以及圖像中葉片暴露區(qū)域小于30%的目標(biāo)。本研究采用在線增強(qiáng)的方式，在訓(xùn)練過(guò)程中通過(guò)加深迭代次數(shù)，并在每次迭代中輸入不同增強(qiáng)方法來(lái)處理圖像，間接增加了訓(xùn)練數(shù)據(jù)量。試驗(yàn)使用的數(shù)據(jù)增強(qiáng)方式包括：隨機(jī)縮放、隨機(jī)旋轉(zhuǎn)、鏡像、高斯模糊4種。訓(xùn)練數(shù)據(jù)通過(guò)這4種方式，在每次循環(huán)中1∶4得出增強(qiáng)圖像。數(shù)據(jù)集按8∶1∶1劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。數(shù)據(jù)集中每類(lèi)樣本的信息如表1所示。

表1 小麥葉部病害數(shù)據(jù)集

2 改進(jìn)的Faster-RCNN識(shí)別模型

2.1 基礎(chǔ)網(wǎng)絡(luò)模型

Faster-RCNN算法[19]是RCNN算法系列具有代表性的目標(biāo)檢測(cè)算法，它的檢測(cè)任務(wù)分為兩個(gè)階段。第一階段，輸入圖像經(jīng)過(guò)特征提取網(wǎng)絡(luò)生成特征圖。RPN（Region Proposal Network）根據(jù)特征圖與錨點(diǎn)機(jī)制（Anchors mechanism）生成不同比例的3組9個(gè)候選區(qū)域，系統(tǒng)根據(jù)交并比（Intersection-over-Union，IoU）標(biāo)定候選區(qū)域類(lèi)別，得到區(qū)域建議和區(qū)域得分。第二階段，感興趣區(qū)域池化（Region of interest pooling，ROI pooling）模塊將區(qū)域建議映射到特征圖，并提取固定尺寸的區(qū)域建議特征，最后輸入全連接層，利用Softmax Loss和Smooth L1 Loss進(jìn)行分類(lèi)概率預(yù)測(cè)和邊界框回歸。

Faster-RCNN使用VGG-16進(jìn)行特征提取，通過(guò)增加網(wǎng)絡(luò)深度提升模型性能，但也會(huì)造成模型參數(shù)增多，計(jì)算復(fù)雜度增加的問(wèn)題。同時(shí)圖像經(jīng)過(guò)多次卷積和池化操作之后，小物體的特征會(huì)變得模糊且不易提取，性能不升反降，產(chǎn)生退化現(xiàn)象。

He等[20]提出的ResNet通過(guò)“shortcut connections” 方式構(gòu)造殘差模塊，以解決網(wǎng)絡(luò)退化的問(wèn)題。公式（1）定義一個(gè)殘差模塊學(xué)習(xí)的特征為()：

2.2 Faster-RCNN的改進(jìn)策略

鑒于小麥葉片細(xì)窄且病斑小的特點(diǎn)，如何更準(zhǔn)確地刻畫(huà)目標(biāo)邊界框和識(shí)別葉片病斑特征，進(jìn)而準(zhǔn)確識(shí)別病害類(lèi)別和嚴(yán)重程度是本文的研究重點(diǎn)。本文改進(jìn)的Faster-RCNN模型結(jié)構(gòu)如圖2所示，主要改進(jìn)包括：

1）使用改進(jìn)的ResNet作為主干特征提取網(wǎng)絡(luò)。ResNet網(wǎng)絡(luò)比基礎(chǔ)Faster-RCNN使用的VGG-16網(wǎng)絡(luò)特征提取能力更強(qiáng)，同時(shí)采用卷積核拆解和下采樣延遲進(jìn)一步改進(jìn)ResNet，增強(qiáng)識(shí)別速度，最小化模型參數(shù)，進(jìn)而對(duì)小麥葉片細(xì)小病斑表現(xiàn)出更優(yōu)的特征敏感性；

2）使用ROI Align優(yōu)化Faster-RCNN的ROI池化層（ROI Pooling）。相比基礎(chǔ)的ROI模塊，ROI Align的特征量化可以更準(zhǔn)確地刻畫(huà)目標(biāo)邊界框。

通過(guò)對(duì)ResNet-18、ResNet-50和ResNet-101這3種不同深度的網(wǎng)絡(luò)在數(shù)據(jù)集上進(jìn)行試驗(yàn)對(duì)比，圖2a主干特征提取網(wǎng)絡(luò)（Backbone）選用了性能最優(yōu)的ResNet-50的前4層卷積層。圖片輸入后先經(jīng)過(guò)Backbone中Grouping Convolution（2.2.1卷積核拆解）卷積，之后進(jìn)入3層Conv2卷積，4層Conv3卷積，最后經(jīng)過(guò)6層Conv4卷積后輸出特征圖。特征圖作為RPN與ROI Align的共享部分，RPN網(wǎng)絡(luò)將候選區(qū)域輸入ROI Align中，ROI Align依據(jù)特征圖對(duì)候選區(qū)域進(jìn)行篩選，篩選結(jié)果經(jīng)過(guò)3層Conv5卷積后再通過(guò)兩個(gè)全連接層，最后預(yù)測(cè)分類(lèi)概率和邊界框回歸。具體改進(jìn)策略如下：

2.2.1 卷積核拆解

卷積核拆解可以降低模型的參數(shù)量，提高模型的運(yùn)算速度，同時(shí)比大尺寸卷積有更多的非線性，具有更高的判別性。如圖2所示，ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)Conv1層7×7的大卷積核被拆解為3組3×3的小卷積核進(jìn)行分組卷積（Group Convolution）。對(duì)拆解前后的網(wǎng)絡(luò)計(jì)算參數(shù)量表明，改進(jìn)后Conv1層的總參數(shù)量為5 024，相比基礎(chǔ)的ResNet模型的9 472，參數(shù)量減少了47%（表2）。

表2 卷積核拆解參數(shù)量

注：3×3_表示Conv1層第個(gè)3×3卷積；表示下采樣步長(zhǎng)。

Note: 3×3_represents theth3×3 convolution of Conv1 layer;indicates the down sampling step.

2.2.2下采樣推遲

如圖2所示，ResNet-50網(wǎng)絡(luò)中左路徑會(huì)先采用1×1的卷積進(jìn)行通道收縮，并做步長(zhǎng)為2的下采樣，之后再3×3卷積。這種情況下，第一步1×1的卷積下采樣會(huì)造成約75%的信息損失，對(duì)細(xì)窄的小麥葉片的特征提取效果影響較大。為了提高ResNet-50的特征提取能力，對(duì)下采樣推遲至左路徑的3×3卷積時(shí)進(jìn)行。改進(jìn)后卷積核尺寸大于步長(zhǎng)，在卷積核移動(dòng)過(guò)程中會(huì)覆蓋所有圖像信息從而避免了圖像信息大量損失。同時(shí)，由于左路徑的第二個(gè)卷積核尺寸為3×3，所以保持輸出尺寸不變。如式（2）所示，最終輸出尺寸為輸入尺寸的1/2，與基礎(chǔ)模型的輸出尺寸保持一致。

式中IN表示輸入尺寸，OUT表示輸出尺寸，表示卷積核尺寸為3，表示邊緣填補(bǔ)大小為1，表示下采樣步長(zhǎng)為2。

注：Conv表示ResNet中第組卷積，本組中有次卷積；瓶頸層1與瓶頸層2都是ResNet-50中的基本殘差塊（Bottleneck）；瓶頸層1是卷積塊（Convolution block），其輸入輸出的通道數(shù)不同，用于改變網(wǎng)絡(luò)的維度；瓶頸層2是標(biāo)識(shí)塊（Identity block），其輸入輸出的通道數(shù)相同，用于增加網(wǎng)絡(luò)的深度；圖中卷積層用兩種顏色表示，其中深藍(lán)色是本研究改進(jìn)的卷積塊。

Note: Convrepresents thethlayer in ResNet, and there areconvolutions in this layer. Both the bottleneck layer 1 and the bottleneck layer 2 are the basis residual blocks in ResNet-50. The bottleneck layer 1 is a convolution block with different number of input and output channels to change the dimension of the network. The bottleneck layer 2 is an identity block, which has the same number of input and output channels to increase the depth of the network. In the figure, the convolution layer is represented by two colors, among which the dark blue color is the convolution block improved in this study.

圖2 改進(jìn)的Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)和策略

Fig.2 Architecture and strategies for improved Faster-RCNN

2.2.3 ROI Align改進(jìn)ROI Pooling

在基礎(chǔ)Faster-RCNN網(wǎng)絡(luò)中ROI Pooling存在兩次量化過(guò)程。第一次將候選框邊界量化為整數(shù)點(diǎn)坐標(biāo)值。第二次通過(guò)坐標(biāo)值在特征圖中池化，得到最終固定大小的特征圖。兩次量化后的候選框與初始位置產(chǎn)生一定偏差，影響了分割準(zhǔn)確度[21]。針對(duì)兩次量化帶來(lái)的偏差問(wèn)題，本文借鑒Mask R-CNN[22]的網(wǎng)絡(luò)設(shè)計(jì)思想，使用ROI Align改進(jìn)基礎(chǔ)網(wǎng)絡(luò)中的ROI Pooling。

ROI Align采用雙線性插值法[22]獲得浮點(diǎn)數(shù)坐標(biāo)像素點(diǎn)上的圖像值，從而將整個(gè)特征聚集過(guò)程轉(zhuǎn)化為一個(gè)連續(xù)的操作。如圖2所示，ROI Align將建議框區(qū)域分割成×個(gè)bin，分割所得的邊界點(diǎn)不做量化處理。將每個(gè)bin平均分割為4塊mini bin，它們的坐標(biāo)為mini bin的中心點(diǎn)，特征值由平均池化得到。然后，使用雙線性插值得到此bin的特征值，最終得到×個(gè)特征值，同樣滿足輸入固定的要求，但量化誤差大大減小。

2.2.4 模型連接

圖2a中主干特征提取網(wǎng)絡(luò)各卷積層級(jí)信息如表3所示。

表3 主干特征提取網(wǎng)絡(luò)各卷積層級(jí)信息

注：Convi表示圖2主干特征網(wǎng)絡(luò)中的第層卷積。

Note: Convi represents thethlayer in the backbone feature network of Fig.2.

2.3 遷移學(xué)習(xí)

基于模型的遷移學(xué)習(xí)可以構(gòu)建參數(shù)共享的模型，將已有模型中的參數(shù)在新的任務(wù)上復(fù)用[23-25]。由于試驗(yàn)采集的病害葉片數(shù)據(jù)量較小，直接訓(xùn)練模型，模型參數(shù)權(quán)值太過(guò)隨機(jī)，特征提取效果不明顯，網(wǎng)絡(luò)訓(xùn)練的結(jié)果不理想，訓(xùn)練速度慢。為了解決以上問(wèn)題，本文采用模型遷移的方法，在VOC-2007數(shù)據(jù)集上預(yù)訓(xùn)練模型，對(duì)改進(jìn)Faster-RCNN模型的網(wǎng)絡(luò)權(quán)值進(jìn)行初始化，提高模型的訓(xùn)練速度，同時(shí)減少模型分類(lèi)中過(guò)擬合的問(wèn)題。

2.4 超參數(shù)設(shè)計(jì)

試驗(yàn)選擇5e-5作為初始學(xué)習(xí)率，設(shè)置衰減指數(shù)為0.96，每訓(xùn)練一輪，衰減一次。并設(shè)置批尺寸大小為16。在整個(gè)模型訓(xùn)練過(guò)程中增加了Adam優(yōu)化算法，能夠針對(duì)大規(guī)模數(shù)據(jù)解決參數(shù)優(yōu)化的問(wèn)題，并且訓(xùn)練過(guò)程中計(jì)算效率高，適應(yīng)性強(qiáng)。本試驗(yàn)中Adam超參數(shù)使用默認(rèn)的框架參數(shù)。為了保證試驗(yàn)的訓(xùn)練效果，在2個(gè)全連接層之后使用L2正則化和Dropout方法，在Softmax分類(lèi)層中只使用L2正則化，不添加其他方法，設(shè)置L2正則化參數(shù)設(shè)置為0.000 5。

2.5 模型訓(xùn)練

本試驗(yàn)通過(guò)凍結(jié)訓(xùn)練方式，進(jìn)行模型訓(xùn)練。凍結(jié)訓(xùn)練可以加快訓(xùn)練速度，也可以在訓(xùn)練初期防止權(quán)值被破壞。訓(xùn)練時(shí)，所有圖片都會(huì)重設(shè)尺寸為600×400，參照框尺寸大小為（128, 256, 512）。首先凍結(jié)Faster-RCNN的主干網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)不發(fā)生改變，僅對(duì)模型進(jìn)行微調(diào)，節(jié)約計(jì)算資源和時(shí)間開(kāi)銷(xiāo)；之后解凍Faster-RCNN的主干網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)發(fā)生改變，網(wǎng)絡(luò)所有的參數(shù)都會(huì)隨訓(xùn)練不斷優(yōu)化達(dá)到最佳。

2.6 評(píng)價(jià)指標(biāo)

采用平均精度均值（mean Average Precision，mAP）、精確度（Precision）、召回率（Recall）、單個(gè)類(lèi)別精度均值（Average Precision，AP）作為模型性能的評(píng)價(jià)指標(biāo)[26]。

2.7 試驗(yàn)平臺(tái)

本研究試驗(yàn)平臺(tái)基于Ubuntu 16.04操作系統(tǒng)，在TensorFlow-GPU 1.12.0深度學(xué)習(xí)框架上進(jìn)行，使用GeForce GTX TITAN X加速計(jì)算，GPU加速庫(kù)為CUDA 9.2和CUDNN 7.6。

3 結(jié)果與分析

3.1 主干特征提取網(wǎng)絡(luò)優(yōu)化性能對(duì)比

針對(duì)病害類(lèi)別數(shù)據(jù)集，試驗(yàn)使用ResNet-18、ResNet-50、ResNet-101分別改進(jìn)基礎(chǔ)Faster-RCNN的主干特征提取網(wǎng)絡(luò)VGG-16，在完成100輪訓(xùn)練后，對(duì)不同主干特征提取網(wǎng)絡(luò)分別選擇mAP值最高的一輪進(jìn)行統(tǒng)計(jì)。試驗(yàn)結(jié)果如表4所示，ResNet系列模型的mAP均有提高，其中ResNet-50的性能是83.77%，有微弱優(yōu)勢(shì)。以此為基礎(chǔ)設(shè)計(jì)了分組卷積和推遲下采樣方法對(duì)ResNet-18、ResNet-50、ResNet-101分別進(jìn)行改進(jìn)。結(jié)果表明，改進(jìn)后的ResNet-50對(duì)模型精度提升效果最為顯著，模型相比改進(jìn)前VGG-16主干特征提取網(wǎng)絡(luò)的mAP提升了9.29個(gè)百分點(diǎn)。

表4 不同主干特征提取網(wǎng)絡(luò)性能對(duì)比

注：GC、DS分別代表分組卷積和推遲下采樣改進(jìn)。

Note: GC, DS represent grouping convolution and delay down sampling, respectively.

3.2 特征量化誤差最小化性能對(duì)比

針對(duì)基礎(chǔ)Faster-RCNN網(wǎng)絡(luò)中ROI Pooling存在兩次量化帶來(lái)的偏差問(wèn)題，論文設(shè)計(jì)了ROI Align方法取消量化操作，使用雙線性插值計(jì)算方法最小化ROI Pooling的特征量化誤差。主干特征提取網(wǎng)絡(luò)采用改進(jìn)后的ResNet-50。為了驗(yàn)證ROI Align對(duì)Faster-RCNN特征圖與原始圖像上感興趣區(qū)域特征不對(duì)準(zhǔn)問(wèn)題的改進(jìn)效果，設(shè)計(jì)以下兩種方案進(jìn)行對(duì)比試驗(yàn)，方案一：ROI模塊為ROI pooling；方案二：ROI模塊為ROI Align。進(jìn)行100輪訓(xùn)練后，分別選擇mAP值最高的一輪進(jìn)行結(jié)果統(tǒng)計(jì)。試驗(yàn)結(jié)果如表5所示，相比于ROI Pooling，ROI Align使模型的mAP提高了2.61個(gè)百分點(diǎn)。在方案二的基礎(chǔ)上，采用在線數(shù)據(jù)增強(qiáng)技術(shù)在訓(xùn)練時(shí)自動(dòng)擴(kuò)充數(shù)據(jù)集，使模型試驗(yàn)的mAP可提升至98.74%。模型在測(cè)試集上對(duì)每一類(lèi)病害識(shí)別的混淆矩陣如圖3a所示。

表5 ROI Align優(yōu)化前后性能對(duì)比

注：DE代表數(shù)據(jù)增強(qiáng)。ROI pooling代表感興趣區(qū)域池化，ROI Align代表感興趣區(qū)域?qū)R。

Note: DE represent data enhancement. ROI pooling represent region of interest pooling. ROI Align represent region of interest alignment.

注：圖a中Ⅰ、Ⅱ、Ⅲ、Ⅳ分別代表健康、其他黃化癥狀、黃矮病和條銹??；圖b中ⅰ、ⅱ、ⅲ、ⅳ分別代表黃矮病輕癥、重癥和條銹病輕癥、重癥。

Note: Ⅰ, Ⅱ, Ⅲ, Ⅳ represent health, other yellowing symptom, yellow dwarf, stripe rust, respectively in fig. a; ⅰ, ⅱ, ⅲ, ⅳ represent mild, severe yellow dwarf and mild, severe stripe rust, respectively in fig. b.

圖3 混淆矩陣

Fig.3 Confusion matrix

綜合表4和表5，通過(guò)對(duì)Faster-RCNN網(wǎng)絡(luò)模型的改進(jìn)以及數(shù)據(jù)增強(qiáng)技術(shù)的應(yīng)用，改進(jìn)的Faster-RCNN的mAP由基礎(chǔ)網(wǎng)絡(luò)的81.48%提升至98.74%，mAP提升了17.26個(gè)百分點(diǎn)，實(shí)現(xiàn)了小麥條銹病和黃矮病兩種病害的自動(dòng)分類(lèi)識(shí)別。

3.3 不同網(wǎng)絡(luò)模型的對(duì)比結(jié)果

為了評(píng)估論文改進(jìn)的Faster-RCNN的病害識(shí)別性能，分別選擇在植物病害分類(lèi)識(shí)別方面表現(xiàn)突出的SSD、YOLO以及RCNN其他系列模型，與本文設(shè)計(jì)的模型進(jìn)行對(duì)比試驗(yàn)。經(jīng)過(guò)35輪迭代之后，本研究設(shè)計(jì)的改進(jìn)Faster-RCNN模型的mAP相對(duì)穩(wěn)定，試驗(yàn)結(jié)果如圖4a所示，mAP由改進(jìn)前的83.77%提升至改進(jìn)后的98.74%，其中小麥黃矮病、條銹病、其他黃化病癥和健康小麥的識(shí)別率分別為97.64%、98.49%、99.71%和99.13%。相比于SSD、YOLO、RCNN和Faster-RCNN模型的mAP，本文設(shè)計(jì)的改進(jìn)后網(wǎng)絡(luò)模型mAP分別提升了9.26個(gè)百分點(diǎn)、7.64個(gè)百分點(diǎn)、16.57個(gè)百分點(diǎn)和14.97個(gè)百分點(diǎn)。因此，改進(jìn)后的Faster-RCNN在完成兩種小麥病害識(shí)別任務(wù)時(shí)表現(xiàn)更優(yōu)。

對(duì)比改進(jìn)前后Faster-RCNN在試驗(yàn)平臺(tái)中訓(xùn)練迭代次數(shù)與損失函數(shù)值的變化，基礎(chǔ)Faster-RCNN模型在迭代至60輪左右時(shí)，損失函數(shù)值才開(kāi)始收斂（圖4b）；改進(jìn)的Faster-RCNN模型在迭代至40輪左右時(shí)，損失函數(shù)值已經(jīng)開(kāi)始收斂（圖4c）。本文設(shè)計(jì)的模型損失函數(shù)值降低得更快，性能更優(yōu)。

3.4 病害輕重癥等級(jí)試驗(yàn)結(jié)果分析

采用論文改進(jìn)的Faster-RCNN網(wǎng)絡(luò)模型對(duì)小麥黃矮病和條銹病的輕、重癥等級(jí)進(jìn)行分類(lèi)識(shí)別。試驗(yàn)結(jié)果如表6所示，改進(jìn)后模型對(duì)小麥黃矮病輕癥、黃矮病重癥、條銹病輕癥、條銹病重癥的識(shí)別準(zhǔn)確度分別為88.21%，91.74%，93.27%和89.70%。模型在小麥黃矮病和條銹病輕、重癥測(cè)試集上對(duì)每一細(xì)分病害等級(jí)識(shí)別的混淆矩陣如圖3b所示。雖然模型在病害輕重癥等級(jí)識(shí)別的準(zhǔn)確度略低于病害類(lèi)別識(shí)別的精確度，但細(xì)分病害等級(jí)的mAP可達(dá)91.06%，表明改進(jìn)后的Faster-RCNN模型為細(xì)微差異特征準(zhǔn)確識(shí)別提供了有效的解決方案。

3.5 基于改進(jìn)Faster-RCNN模型的小麥病害智能識(shí)別系統(tǒng)

3.5.1 系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)

小麥病害智能識(shí)別系統(tǒng)旨在為用戶提供田間小麥病害快速智能識(shí)別服務(wù)。如圖5a所示，系統(tǒng)的主要功能模塊包括微信小程序和云服務(wù)器。首先將訓(xùn)練好的改進(jìn)Faster-RCNN模型及其參數(shù)部署在云服務(wù)器端，使用Python Web框架Flask實(shí)現(xiàn)相應(yīng)的接口；其次，用戶小麥病害圖片上傳，識(shí)別請(qǐng)求發(fā)送，識(shí)別結(jié)果和病害防治建議的查看均通過(guò)移動(dòng)端的微信小程序?qū)崿F(xiàn)（圖5b～5d）。系統(tǒng)利用谷歌提供的遠(yuǎn)程過(guò)程調(diào)用框架gRPC來(lái)調(diào)用服務(wù)器端模型的識(shí)別接口，獲取識(shí)別結(jié)果后將其返回小程序端，同時(shí)將識(shí)別數(shù)據(jù)存儲(chǔ)在mySQL數(shù)據(jù)庫(kù)中。

圖4 不同模型的性能比較

表6 小麥病害輕重癥等級(jí)分類(lèi)結(jié)果

3.5.2 系統(tǒng)測(cè)試與應(yīng)用

移動(dòng)端微信小程序在iOS 7.1及以上系統(tǒng)或Android 4.2及以上系統(tǒng)的移動(dòng)端設(shè)備均可正常運(yùn)行。以Huawei P40 Pro為例，測(cè)試時(shí)頁(yè)面幀率（Frames Per Second，F(xiàn)PS）穩(wěn)定在（58±2）幀/s，小程序平均啟動(dòng)耗時(shí)56 ms，平均頁(yè)面切換耗時(shí)468 ms，頁(yè)面渲染穩(wěn)定、操作流暢。通過(guò)華為云的性能測(cè)試服務(wù)對(duì)小程序的識(shí)別速度與精度進(jìn)行測(cè)試，在最大并發(fā)100的測(cè)試訪問(wèn)條件下，對(duì)小程序進(jìn)行了2 508次識(shí)別測(cè)試，正常返回?cái)?shù)為2 454，返回成功率為97.85%；平均返回時(shí)延為5 024 ms，最小返回時(shí)延為4 126 ms，最大返回時(shí)延為6 034 ms，具有識(shí)別速度快、返回成功率高的特點(diǎn)。

圖5 小麥病害智能識(shí)別系統(tǒng)

本系統(tǒng)在西北農(nóng)林科技大學(xué)曹新莊和武功縣小麥試驗(yàn)基地進(jìn)行應(yīng)用。拍照獲取小麥黃矮病（輕、重癥）、條銹?。ㄝp、重癥）、其他黃化癥和健康葉片各120張進(jìn)行病害識(shí)別，各類(lèi)別病害平均識(shí)別準(zhǔn)確率分別為96.24%，96.94%，98.62%和99.12%；小麥黃矮病輕癥和重癥的平均識(shí)別準(zhǔn)確率分別為87.94%和90.42%；小麥條銹病輕癥和重癥的平均識(shí)別準(zhǔn)確率分別為90.66%和88.52%。由測(cè)試結(jié)果可知，系統(tǒng)田間應(yīng)用的總體平均識(shí)別準(zhǔn)確率可達(dá)93.56%，具有較高的實(shí)用性。

4 結(jié) 論

人工識(shí)別和傳統(tǒng)機(jī)器學(xué)習(xí)的方法很難區(qū)分早期病害及不同病害造成的相似表型癥狀。同時(shí)鑒于小麥葉片細(xì)窄且病斑小的特點(diǎn)，為了更準(zhǔn)確地刻畫(huà)目標(biāo)邊界框和識(shí)別葉片病斑特征，進(jìn)而更準(zhǔn)確識(shí)別病害類(lèi)別和嚴(yán)重程度，本研究提出了一種改進(jìn)的Faster-RCNN的小麥條銹病和黃矮病深度學(xué)習(xí)識(shí)別方法。

1）改進(jìn)的Faster-RCNN模型對(duì)小麥黃矮病、條銹病、其他黃化癥狀和健康的小麥葉片識(shí)別平均精度均值為98.74%。相比于其他SSD、YOLO、RCNN和未改進(jìn)Faster-RCNN模型，本文設(shè)計(jì)的網(wǎng)絡(luò)模型的平均精度均值分別提升了9.26個(gè)百分點(diǎn)、7.64個(gè)百分點(diǎn)、16.57個(gè)百分點(diǎn)和14.97個(gè)百分點(diǎn)，同時(shí)模型損失函數(shù)值降低得更快，性能表現(xiàn)更好。此外，本研究提出的模型在小麥黃矮病、條銹病輕癥和重癥的細(xì)分等級(jí)識(shí)別的平均精度均值可達(dá)91.06%，滿足了流行病害大區(qū)調(diào)查的要求，可為細(xì)微差異特征識(shí)別難題提供有效的解決方案。

2）基于論文模型開(kāi)發(fā)的小麥病害智能識(shí)別系統(tǒng)，可通過(guò)微信小程序?yàn)榉N植者提供精準(zhǔn)快速的小麥病害識(shí)別服務(wù)。小程序畫(huà)面渲染穩(wěn)定，在主流移動(dòng)端設(shè)備可穩(wěn)定在（58±2）幀/s；識(shí)別速度快，在最大并發(fā)100的訪問(wèn)條件下，平均識(shí)別返回時(shí)延為5.024 s；識(shí)別返回成功率可達(dá)97.85%；系統(tǒng)田間應(yīng)用識(shí)別準(zhǔn)確度高，對(duì)兩種小麥病害及其細(xì)分輕重癥識(shí)別的平均準(zhǔn)確率可達(dá)93.56%。所開(kāi)發(fā)的智能識(shí)別系統(tǒng)能夠滿足小麥病害在線實(shí)時(shí)識(shí)別的應(yīng)用需求。

本文所采集的小麥病害葉部照片多為植株尺度，其他因細(xì)菌性病害、干旱、以及缺素等導(dǎo)致的黃化癥狀小麥葉片也沒(méi)有進(jìn)一步細(xì)分類(lèi)別。未來(lái)將以論文建立的方法為基礎(chǔ)，豐富小麥病害圖像數(shù)據(jù)集，特別是其他原因?qū)е碌狞S化癥狀中每一個(gè)細(xì)分類(lèi)別的圖像信息。在田間冠層尺度下進(jìn)一步開(kāi)展小麥病害的識(shí)別研究，以期更好地為小麥病害的科學(xué)防控提供技術(shù)支持。

[1] 胡小平，戶雪敏，馬麗杰，等. 作物病害監(jiān)測(cè)預(yù)警研究進(jìn)展[J]. 植物保護(hù)學(xué)報(bào)，2021，49(1)：298-315.

Hu Xiaoping, Hu Xuemin, Ma Lijie, et al. Research progresses in monitoring and prediction of crop diseases[J]. Journal of Plant Protection, 2021, 49(1): 298-315. (in Chinese with English abstract)

[2] 陳印軍. 中國(guó)糧食安全形勢(shì)分析[J]. 中國(guó)農(nóng)業(yè)綜合開(kāi)發(fā)，2020(11)：11-14.

[3] 成萍旎，單宏英，胡小敏，等. 西北地區(qū)小麥黃矮病流行趨勢(shì)預(yù)測(cè)模型[J]. 麥類(lèi)作物學(xué)報(bào)，2011，31(6)：1168-1172.

Cheng Pingni, Shan Hongying, Hu Xiaomin, et al. Prediction models for prevalent trends of wheat yelow dwarf disease in Northwest China[J]. Journal of Triticeae Crops, 2011, 31(6): 1168-1172. (in Chinese with English abstract)

[4] Liu J, Wang X. Plant diseases and pests detection based on deep learning: A review[J]. Plant Methods, 2021, 17(1): 22-31.

[5] 周惠汝，吳波明. 深度學(xué)習(xí)在作物病害圖像識(shí)別方面應(yīng)用的研究進(jìn)展[J]. 中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2021，23(5)：61-68.

Zhou Huiru, Wu Boming. Advances in research on deep learning for crop disease image recognition[J]. Journal of Agricultural Science and Technology, 2021, 23(5): 61-68. (in Chinese with English abstract)

[6] 駱潤(rùn)玫，王衛(wèi)星. 基于卷積神經(jīng)網(wǎng)絡(luò)的植物病蟲(chóng)害識(shí)別研究綜述[J]. 自動(dòng)化與信息工程，2021，42(5)：1-10.

Luo Runmei, Wang Weixing. Review on plant disease and pest identification based on convolutional neural network[J]. Automation & Information Engineering, 2021, 42(5): 1-10. (in Chinese with English abstract)

[7] Wang H, Li G, Ma Z, et al. Image recognition of plant diseases based on principal component analysis and neural networks[C]//2012 8th International Conference on Natural Computation. IEEE, 2012: 246-251.

[8] Pan Chunhua, Xiao Deqin, Liu Tanyu, et al. Classification and recognition for major vegetable pests in Southern China using SVM and region growing algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(8): 192-199.

潘春華，肖德琴，林探宇，等. 基于SVM和區(qū)域生長(zhǎng)結(jié)合算法的南方主要蔬菜害蟲(chóng)分類(lèi)識(shí)別（英文）[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(8)：192-199. (in English with Chinese abstract)

[9] 夏永泉，王兵，支俊，等. 基于隨機(jī)森林方法的小麥葉片病害識(shí)別研究[J]. 圖學(xué)學(xué)報(bào)，2018，39(1)：57-62.

Xia Yongquan, Wang Bing, Zhi Jun, et al. Identification of wheat leaf disease based on random forest method[J]. Journal of Graphics, 2018, 39(1): 57-62. (in Chinese with English abstract)

[10] 袁山，湯浩，郭亞. 基于改進(jìn)Mask R-CNN模型的植物葉片分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(1)：212-220.

Yuan Shan, Tang Hao, Guo Ya. Segmentation method for plant leaves using an improved Mask R-CNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 212-220. (in Chinese with English abstract)

[11] 翟肇裕，曹益飛，徐煥良，等. 農(nóng)作物病蟲(chóng)害識(shí)別關(guān)鍵技術(shù)研究綜述[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(7)：1-18.

Zhai Zhaoyu, Cao Yifei, Xu Huanliang, et al. Review of key techniques for crop disease and pest detection[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 1-18. (in Chinese with English abstract)

[12] Dhaka V S, Meena S V, Rani G, et al. A survey of deep convolutional neural networks applied for prediction of plant leaf diseases[J]. Sensors, 2021, 21(14): 4749.

[13] Sun H, Xu H, Liu B, et al. MEAN-SSD: A novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks[J]. Computers and Electronics in Agriculture, 2021, 189: 106379.

[14] 李天華，孫萌，丁小明，等. 基于YOLO v4+HSV的成熟期番茄識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：183-190.

Li Tianhua, Sun Meng, Ding Xiaoming, et al. Tomato recognition method at the ripening stage based on YOLO v4 and HSV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 183-190. (in Chinese with English abstract)

[15] 王東方，汪軍. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的農(nóng)作物病害分類(lèi)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(4)：199-207.

Wang Dongfang, Wang Jun. Crop disease classification with transfer learning and residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 199-207. (in Chinese with English abstract)

[16] 陳柯屹，朱龍付，宋鵬，等. 融合動(dòng)態(tài)機(jī)制的改進(jìn)型Faster R-CNN識(shí)別田間棉花頂芽[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(16)：161-168.

Chen Keyi, Zhu Longfu, Song Peng, et al. Recognition of cotton terminal bud in field using improved Faster R-CNN by integrating dynamic mechanism[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 161-168. (in Chinese with English abstract)

[17] 鮑文霞，孫慶，胡根生，等. 基于多路卷積神經(jīng)網(wǎng)絡(luò)的大田小麥赤霉病圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(11)：171-181.

Bao Wenxia, Sun Qing, Hu Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[18] Picon A, Alvarez-Gila A, Seitz M, et al. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild[J]. Computers and Electronics in Agriculture, 2019, 161: 280-290.

[19] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[20] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C].//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas: IEEE, 2016: 770-778.

[21] Noon S K, Amjad M, Qureshi M A, et al. Use of deep learning techniques for identification of plant leaf stresses: A review[J]. Sustainable Computing: Informatics and Systems, 2020, 28: 100443.

[22] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[C].//IEEE International Conference on Computer Vision (ICCV), Venice: IEEE, 2017: 2980-2988.

[23] 閆建偉，趙源，張樂(lè)偉，等. 改進(jìn)Faster-RCNN自然環(huán)境下識(shí)別刺梨果實(shí)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(18)：143-150.

Yan Jianwei, Zhao Yuan, Zhang Lewei, et al. Recognition of Rosa roxbunghii in natural environment based on improved Faster RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 143-150. (in Chinese with English abstract)

[24] Karimi D, Warfield S K, Gholipour A. Transfer learning in medical image segmentation: New insights from analysis of the dynamics of model parameters and learned representations[J]. Artificial Intelligence in Medicine, 2021, 116: 102078.

[25] Chen J, Zhang D, Nanehkaran Y A, et al. Detection of rice plant diseases based on deep transfer learning[J]. Journal of the Science of Food and Agriculture, 2020, 100(7): 3246-3256.

[26] Everingham M, Eslami S M A, Van Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2014, 111(1): 98-136.

Recognizing stripe rust and yellow dwarf of wheat using improved Faster-RCNN

Mao Rui1, Zhang Yuchen1, Wang Zexi1, Gao Shengchang1, Zhu Tao1, Wang Meili1, Hu Xiaoping2,3※

(1.,,712100,; 2.,,712100,; 3.,,712100,)

Wheat stripe rust and wheat yellow dwarf have posed a great threat to the yield and quality of wheat. An accurate identification has important implications for the prevention and control of wheat diseases. However, the phenotypic symptoms are similar to the infected leaves of wheat stripe rust and wheat yellow dwarf. Particularly, drought, nutrient deficiency, and bacterial disease can lead to the chlorosis and yellowing of plant leaves. In addition, the infected leaves are also similar to the healthy ones, due to the indistinct phenotypic symptoms in the early stage of diseases. It is difficult to quickly and accurately distinguish them by the existing identification. In this study, an improved Faster Regions with CNN Features (Faster-RCNN) was proposed for disease identification. There were two improvement strategies. Firstly, three 3×3 grouping convolution and down-sampling delays were employed to optimize the Deep Residual Neural Network (ResNet-50), which was designed as the backbone feature extraction network, in order to enhance the fine feature extraction of the entire network. Secondly, the region of interest (ROI) alignment was employed to reduce the feature error caused by double quantization, instead of ROI pooling. As such, the subtle differences were recognized after alignment. Transfer learning was selected to improve the training speed of the model. The data augmentation was then utilized to reduce the over-fitting, in order to further enhance the recognition performance and generalization ability. The image data set of disease leaf was collected from more than 200 wheat varieties with different resistance and susceptibility to the diseases, covering various symptoms at different disease stages. A series of experiments were carried out to evaluate the improved strategy. The performance indicators were selected to verify the model, such as loss function convergence curve and mean average precision (mAP). The experimental results showed that the mAP of the improved Faster-RCNN reached 98.74% for the wheat stripe rust and wheat yellow dwarf. Moreover, the early identification of disease infection was strengthened to predict the diseases as early as possible. The dataset contained 683 and 630 mild symptom images of these two diseases, respectively. The mAP reached 91.06% for the mild and severe symptom identification of two diseases. A comparison was made on the mainstream deep learning models, such as the SSD, YOLO, and RCNN series, under the same experimental conditions. Specifically, there were 9.26, 7.64, and 16.57 percentage points higher than the SSD, YOLO, and RCNN, respectively. Meanwhile, the loss function decreased significantly, while the model performed better than before. Finally, the intelligent recognition system was developed for wheat disease. Consequently, the average return delay was 5.024s under the maximum concurrent access of 100, and the success rate of recognition reached 97.85%. Anyway, the improved system can rapidly and accurately recognize wheat diseases via a WeChat applet. The finding can also greatly contribute to the control of wheat diseases.

models;disease recognition; Faster-RCNN; ResNet; grouping convolution; data augmentation

10.11975/j.issn.1002-6819.2022.17.019

TP391.4; S512.1

A

1002-6819(2022)-17-0176-10

毛銳，張宇晨，王澤璽，等. 利用改進(jìn)Faster-RCNN識(shí)別小麥條銹病和黃矮病[J].農(nóng)業(yè)工程學(xué)報(bào)，2022，38(17)：176-185.doi：10.11975/j.issn.1002-6819.2022.17.019 http://www.tcsae.org

Mao Rui, Zhang Yuchen, Wang Zexi, et al. Recognizing stripe rust and yellow dwarf of wheat using improved Faster-RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 176-185. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.019 http://www.tcsae.org

2022-04-10

2022-08-25

陜西省科技廳區(qū)域創(chuàng)新能力引導(dǎo)計(jì)劃（2022QFY11-03）；國(guó)家現(xiàn)代農(nóng)業(yè)（小麥）產(chǎn)業(yè)技術(shù)體系項(xiàng)目（CARS-03-37）；農(nóng)業(yè)農(nóng)村部農(nóng)作物病蟲(chóng)鼠害疫情監(jiān)測(cè)與防治項(xiàng)目；大學(xué)生創(chuàng)新訓(xùn)練項(xiàng)目（X202110712436）

毛銳，博士，副教授，研究方向?yàn)闄C(jī)器學(xué)習(xí)和生物信息。Email：maorui@nwafu.edu.cn

胡小平，教授，博士生導(dǎo)師，研究方向?yàn)樽魑锊『ΡO(jiān)測(cè)預(yù)警。Email：xphu@nwafu.edu.cn