基于圖像的水稻紋枯病智能測報(bào)方法

韓曉彤，楊保軍，李蘇炫，廖福兵，劉淑華，唐健，姚青*

基于圖像的水稻紋枯病智能測報(bào)方法

韓曉彤1，楊保軍2，李蘇炫1，廖福兵1，劉淑華2，唐健2，姚青1*

1浙江理工大學(xué)信息學(xué)院，杭州 310018；2中國水稻研究所水稻生物學(xué)國家重點(diǎn)實(shí)驗(yàn)室，杭州 311401

【目的】目前水稻紋枯病測報(bào)依賴人工調(diào)查水稻發(fā)病叢數(shù)、株數(shù)和每株嚴(yán)重度來計(jì)算其病情指數(shù)，操作專業(yè)性強(qiáng)，費(fèi)時(shí)費(fèi)力且數(shù)據(jù)難以追溯。本研究提出基于圖像的水稻紋枯病病斑檢測模型和發(fā)生危害分級(jí)模型，為水稻紋枯病智能測報(bào)提供理論依據(jù)?！痉椒ā坷帽銛y式圖像采集儀采集田間水稻紋枯病圖像，研究不同目標(biāo)檢測模型（Cascade R-CNN和RetinaNet）和特征提取網(wǎng)絡(luò)（VGG-16和ResNet-101）對水稻紋枯病病斑的檢測效果，篩選出具有較好檢測效果的模型。針對Cascade R-CNN模型檢測紋枯病病斑存在漏檢現(xiàn)象，根據(jù)紋枯病病斑呈現(xiàn)形狀不規(guī)則、大小和位置多變的復(fù)雜情況，對Cascade R-CNN進(jìn)行改進(jìn)，添加OHEM結(jié)構(gòu)均衡難易樣本，選擇邊框回歸損失函數(shù)，通過精準(zhǔn)率、漏檢率、平均精度和P-R曲線來評價(jià)不同模型的檢測效果。在改進(jìn)的Cascade R-CNN-OHEM-GIOU模型檢測結(jié)果基礎(chǔ)上，分別建立基于病斑面積和病斑數(shù)的水稻紋枯病叢發(fā)生危害分級(jí)模型，通過決定系數(shù)（2）和Kappa值篩選分級(jí)模型?！窘Y(jié)果】在相同主干網(wǎng)絡(luò)條件下，Cascade R-CNN模型較RetinaNet模型對水稻紋枯病具有更好的檢測效果，其中Cascade R-CNN-ResNet-101目標(biāo)檢測模型效果最佳，病斑檢測準(zhǔn)確率為92.4%，平均精度為88.2%，但漏檢率為14.9%。改進(jìn)的Cascade R-CNN-OHEM-GIOU檢測模型有效解決了樣本不均衡問題，添加邊框回歸損失函數(shù)有效降低了漏檢率，較Cascade R-CNN-ResNet-101模型降低8.7%，平均精度提高到92.3%。以人工分級(jí)結(jié)果作為標(biāo)準(zhǔn)，基于病斑面積的水稻紋枯病發(fā)生危害分級(jí)模型在0—5級(jí)分級(jí)準(zhǔn)確率分別為96.0%、90.0%、82.0%、76.0%、74.0%和96.0%，平均分級(jí)準(zhǔn)確率為85.7%，Kappa系數(shù)為0.83，基于圖像的水稻紋枯病叢發(fā)生危害分級(jí)與人工分級(jí)結(jié)果具有較高的一致性?！窘Y(jié)論】基于圖像的水稻紋枯病智能測報(bào)方法可實(shí)現(xiàn)病斑自動(dòng)檢測和發(fā)生危害自動(dòng)分級(jí)，提高了測報(bào)的智能化水平，結(jié)果客觀且可追溯，也可為其他農(nóng)作物病害智能測報(bào)提供參考。

水稻紋枯病；病斑圖像；智能測報(bào)；Cascade R-CNN模型；危害分級(jí)模型

0 引言

【研究意義】水稻紋枯病是世界性水稻三大病害之一，在我國每年引起巨大的水稻產(chǎn)量損失。該病是由立枯絲核菌（）侵染引起的一種真菌病害，在水稻各生長期均可見，早期病斑初現(xiàn)于稻株基部葉鞘，在氣候條件適宜時(shí)可迅速向株間或叢間（橫向）擴(kuò)展導(dǎo)致病株率和病叢率增加，或病斑自下位葉鞘向上位葉鞘（縱向）發(fā)展，同一葉鞘位有多個(gè)病斑時(shí)可融合成云紋狀大斑甚至整個(gè)鞘葉連片成斑干枯。對紋枯病發(fā)生發(fā)展的準(zhǔn)確測報(bào)是有效控制該病的基礎(chǔ)，根據(jù)現(xiàn)行的測報(bào)技術(shù)規(guī)范[1]，水稻紋枯病發(fā)病嚴(yán)重度主要根據(jù)發(fā)病叢數(shù)、株數(shù)、病斑在稻株上的位置來計(jì)算。如果僅考慮病斑在葉鞘的縱向發(fā)生位置，忽略病斑面積變化的動(dòng)態(tài)信息，則會(huì)低估紋枯病發(fā)生嚴(yán)重度，易錯(cuò)過有效防治時(shí)間，造成危害加重。由于紋枯病常發(fā)病于水稻莖基部，稻叢進(jìn)入分蘗期后逐漸封行，現(xiàn)有的智能監(jiān)測設(shè)備（如遙感、無人機(jī)或固定圖像采集設(shè)備等）難以對該病進(jìn)行有效監(jiān)測。測報(bào)人員一般需經(jīng)過專門培訓(xùn)，在田間調(diào)查時(shí)彎腰撥動(dòng)稻叢對每根稻株逐一進(jìn)行上下查看，憑經(jīng)驗(yàn)和目測完成調(diào)查任務(wù)，費(fèi)時(shí)費(fèi)力，使其調(diào)查結(jié)果存在一定的主觀性且難以追溯。建立基于圖像的水稻紋枯病病斑檢測模型和發(fā)生危害分級(jí)模型，可減輕測報(bào)人員工作量，提高測報(bào)智能化，實(shí)現(xiàn)數(shù)據(jù)可追溯?！厩叭搜芯窟M(jìn)展】隨著圖像處理和機(jī)器學(xué)習(xí)的發(fā)展與應(yīng)用，許多學(xué)者開始利用模式識(shí)別方法識(shí)別農(nóng)作物病害病斑，并進(jìn)行病害等級(jí)的判斷[2-6]。判斷病害危害程度采取的步驟一般包括背景分割、病斑圖像特征的提取與篩選、訓(xùn)練某個(gè)模式識(shí)別模型、識(shí)別病斑種類與大小、根據(jù)病斑數(shù)量和尺寸判斷病害發(fā)生等級(jí)。如王獻(xiàn)鋒等[2]結(jié)合環(huán)境和病斑特征對3種黃瓜病害的識(shí)別進(jìn)行研究，采用模糊數(shù)學(xué)對病斑特征進(jìn)行分類，平均識(shí)別率達(dá)到90%以上；胡耀華等[3]將高光譜數(shù)據(jù)與模式識(shí)別相結(jié)合，訓(xùn)練的多光譜特征結(jié)合模型對馬鈴薯葉片晚疫病識(shí)別率達(dá)到94.87%；葛婧[4]利用顏色特征值與病情指數(shù)進(jìn)行回歸分析，建立了玉米病斑分級(jí)模型；馬德貴等[5]利用橢圓模型計(jì)算單株水稻稻瘟病最大病斑軸長與人工檢測的實(shí)際最大病斑的長度，建立了稻瘟病的危害程度分級(jí)模型，平均準(zhǔn)確率在90%以上；袁媛等[6]利用R分量和中值濾波進(jìn)行圖像預(yù)處理，然后利用改進(jìn)的圖切割方法進(jìn)行水稻紋枯病病斑分割，實(shí)現(xiàn)了一種基于支持向量機(jī)的水稻紋枯病識(shí)別方法，識(shí)別準(zhǔn)確率達(dá)到95%。這種模式識(shí)別方法在簡單的背景和有限的數(shù)據(jù)集中下一般能獲得較高的準(zhǔn)確率，但由于傳統(tǒng)的模式識(shí)別模型存在魯棒性弱和泛化能力差的問題，難以廣泛應(yīng)用于復(fù)雜農(nóng)田環(huán)境下農(nóng)作物病害的識(shí)別與診斷。近些年，隨著深度學(xué)習(xí)在多個(gè)領(lǐng)域的目標(biāo)識(shí)別與檢測任務(wù)中獲得成功應(yīng)用，一些學(xué)者開始利用深度學(xué)習(xí)進(jìn)行農(nóng)作物病害的檢測與測報(bào)[7-12]。Ramcharan等[8-10]等利用深度學(xué)習(xí)模型對農(nóng)作物病斑進(jìn)行識(shí)別檢測，有效提高了不同農(nóng)作物病斑的檢測效果；Ramesh等[11]提出了一種深度神經(jīng)網(wǎng)絡(luò)算法，對水稻葉片上的稻瘟病、白葉枯病、鞘腐病和褐斑病4種病害進(jìn)行識(shí)別與分類，平均識(shí)別率達(dá)到95%以上；曹英麗等[12]建立了基于改進(jìn)YOLO的水稻紋枯病識(shí)別模型，該模型對紋枯病病斑識(shí)別的平均精度mAP為84.97%。基于深度學(xué)習(xí)的目標(biāo)檢測方法通過大量的訓(xùn)練樣本可獲得較高魯棒性的目標(biāo)檢測模型。然而，上述文獻(xiàn)僅給出了病斑的識(shí)別方法，沒有給出病害發(fā)生危害等級(jí)的判斷方法，無法直接應(yīng)用于農(nóng)作物病害的精準(zhǔn)測報(bào)。另外，病斑圖像仍需要測報(bào)人員下田手持相機(jī)或手機(jī)靠近農(nóng)作物病斑區(qū)域進(jìn)行拍攝，對發(fā)生在水稻莖基部的紋枯病則需要測報(bào)人員彎腰拍攝，并沒有真正解決測報(bào)人員工作量大和效率低的問題。【本研究切入點(diǎn)】針對人工調(diào)查水稻紋枯病費(fèi)時(shí)費(fèi)力、客觀性差、數(shù)據(jù)難以追溯等問題，而高空和近地遙感等技術(shù)難以監(jiān)測到水稻冠層以下的病斑，本文利用俞佩仕等[13]的便攜式圖像采集儀采集水稻莖基部紋枯病圖像，建立基于深度學(xué)習(xí)的紋枯病檢測算法和發(fā)生危害分級(jí)模型，提高水稻紋枯病測報(bào)的智能化和準(zhǔn)確率?！緮M解決的關(guān)鍵問題】通過單階段與雙階段的目標(biāo)檢測算法對比，篩選紋枯病病斑檢測效果好的目標(biāo)檢測模型；針對Cascade R-CNN模型因訓(xùn)練樣本不均衡、檢測框不準(zhǔn)確所導(dǎo)致的目標(biāo)漏檢率高的問題，通過融合OHEM算法和GIoU Loss損失函數(shù)，提高水稻紋枯病病斑的檢測率，降低漏檢率。通過分析病斑區(qū)域檢測結(jié)果，建立基于病斑特征的紋枯病發(fā)生危害分級(jí)模型，實(shí)現(xiàn)水稻紋枯病發(fā)生危害嚴(yán)重度自動(dòng)分級(jí)與測報(bào)。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集建立

1.1.1 水稻紋枯病圖像采集 利用俞佩仕等[13]研制的便攜式圖像采集儀（圖1）采集水稻紋枯病病斑圖像。該設(shè)備無需調(diào)查人員彎腰，只需要根據(jù)身高調(diào)整手持桿的長度，將圖像采集儀前端相機(jī)靠近距離水稻基部約10—12 cm處，使每叢水稻莖基部位于圖像中間，并通過手機(jī)App對相機(jī)進(jìn)行調(diào)焦與拍照控制。

1.1.2 圖像數(shù)據(jù)集建立 2019—2020年采集了田間水稻紋枯病圖像1 767幅（圖2），圖像大小為4 000 ×2 250 像素，以JPEG格式保存。在采集圖像的同時(shí)，根據(jù)水稻紋枯病測報(bào)技術(shù)規(guī)范[1]，人工計(jì)算每叢稻株的發(fā)病率和嚴(yán)重度，然后計(jì)算10叢水稻紋枯病發(fā)生嚴(yán)重度的等級(jí)（即病情指數(shù)），并將其劃分為無發(fā)生（病情指數(shù)=0）、輕發(fā)生（病情指數(shù)≤2.5）、偏輕發(fā)生（2.5＜病情指數(shù)≤5）、中等發(fā)生（5＜病情指數(shù)≤10）、偏重發(fā)生（10＜病情指數(shù)≤15）和大發(fā)生（病情指數(shù)＞15）6個(gè)等級(jí)，分別對應(yīng)本文中的0、1、2、3、4、5等級(jí)。

圖1 水稻紋枯病圖像采集

圖2 水稻紋枯病

將每個(gè)等級(jí)的圖像隨機(jī)抽取50幅作為測試樣本，剩余圖像作為訓(xùn)練樣本。利用目標(biāo)檢測標(biāo)注工具LabelImg將訓(xùn)練樣本中水稻紋枯病病斑區(qū)域進(jìn)行標(biāo)注（圖3），標(biāo)注工具將原圖中目標(biāo)區(qū)域的左上角和右下角的坐標(biāo)，以及標(biāo)簽和原圖大小等信息寫入到XML文件中，建立PASCAL VOC[14]格式數(shù)據(jù)集。

1.1.3 圖像數(shù)據(jù)增強(qiáng) 自然條件下拍攝的水稻莖基部紋枯病圖像光照強(qiáng)度和圖像清晰度存在一定差異。為了提高模型的泛化能力和魯棒性，采用鏡像翻轉(zhuǎn)、降低亮度、增加亮度、添加噪聲4種方法擴(kuò)大數(shù)據(jù)集，共獲得訓(xùn)練樣本數(shù)7 168幅，將其按照7﹕3的比例隨機(jī)分成訓(xùn)練集和驗(yàn)證集。圖4給出了圖2的圖像數(shù)據(jù)增強(qiáng)結(jié)果。表1列出了圖像數(shù)與紋枯病病斑信息。

圖3 標(biāo)記水稻紋枯病病斑

圖4 4種圖像數(shù)據(jù)增強(qiáng)方法

表1 水稻紋枯病數(shù)據(jù)集信息

1.2 基于改進(jìn)Cascade R-CNN的水稻紋枯病檢測模型框架

Cascade R-CNN[15]繼承自Faster R-CNN[16]，屬于兩階段檢測算法，采用級(jí)聯(lián)結(jié)構(gòu)，通過區(qū)域生成網(wǎng)絡(luò)（region proposition networks，RPN）生成候選區(qū)域，再對候選區(qū)域計(jì)算分類損失和回歸損失，具有網(wǎng)絡(luò)輸出精確度高的優(yōu)點(diǎn)。本文采用該模型檢測水稻紋枯病病斑，在此基礎(chǔ)上添加在線困難樣本挖掘（online hard example mining，OHEM）結(jié)構(gòu)[17]來均衡難易樣本，并采用邊框回歸損失函數(shù)GIOU Loss[18]提高水稻紋枯病檢測率。改進(jìn)的Cascade R-CNN水稻紋枯病檢測模型網(wǎng)絡(luò)框架如圖5所示。

圖5 Cascade R-CNN-OHEM-GIOU網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 水稻紋枯病發(fā)生危害分級(jí)模型

為了減少人工調(diào)查時(shí)造成的主觀誤差，提高紋枯病發(fā)生危害等級(jí)判斷的準(zhǔn)確率，分別建立基于病斑面積和病斑數(shù)量的水稻紋枯病病害分級(jí)模型，篩選合適的水稻紋枯病發(fā)生危害等級(jí)判別模型。

1.3.1 病斑圖像數(shù)據(jù)集 在訓(xùn)練樣本中，隨機(jī)選擇0—5級(jí)紋枯病圖像各100幅作為訓(xùn)練樣本，并根據(jù)1.2節(jié)中檢測模型所獲得的數(shù)據(jù)，計(jì)算每幅圖像中檢測到的水稻紋枯病病斑數(shù)量和病斑面積（文中病斑面積近似等于病斑檢測框面積）。

分別對病斑數(shù)量和面積數(shù)據(jù)進(jìn)行Z-Score標(biāo)準(zhǔn)化[19]，見公式1。

（1）

其中，為待標(biāo)準(zhǔn)化的變量個(gè)體，為總體變量均值，為總體變量標(biāo)準(zhǔn)差，為標(biāo)準(zhǔn)化處理之后的變量。

1.3.2 水稻紋枯病發(fā)生危害分級(jí)模型 根據(jù)標(biāo)準(zhǔn)化后病斑數(shù)量和病斑面積的數(shù)據(jù)特點(diǎn)，選擇變型的Sigmoid 函數(shù)[20]建立病斑特征值與人工分級(jí)數(shù)據(jù)之間的回歸方程，見公式2。

（2）

其中，是隨機(jī)選擇的10幅圖像中標(biāo)準(zhǔn)化后的病斑數(shù)量或病斑面積，是這10幅圖像中人工計(jì)算得到的紋枯病發(fā)生危害等級(jí)，、和為擬合參數(shù)。

1.4 模型評價(jià)方法

1.4.1 不同檢測模型的比較 為了驗(yàn)證改進(jìn)的Cascade R-CNN水稻紋枯病病斑檢測模型的檢測效果，選擇單階段的RetinaNet[21]與其比較，特征提取網(wǎng)絡(luò)分別選用VGG-16[22]和ResNet-101[23]。將預(yù)訓(xùn)練模型權(quán)值通過參數(shù)微調(diào)避免過擬合，在相同的數(shù)據(jù)集和測試集上訓(xùn)練和測試這兩類模型。

1.4.2 模型檢測結(jié)果的評價(jià)方法 為了評估不同模型的水稻紋枯病病斑檢測效果，分別利用病斑檢測準(zhǔn)確率（precision rate）、漏檢率（missing rate）、平均精度（average precision，AP）[24]和P-R（precision-recall）曲線進(jìn)行評價(jià)。

召回率=1-漏檢率 （5）

1.4.3 危害分級(jí)模型的評價(jià)方法 利用決定系數(shù)（2）[25]評價(jià)不同病斑特征值對紋枯病發(fā)生危害分級(jí)模型的擬合效果，見公式（7）。

其中，為第個(gè)危害等級(jí)，y為人工分級(jí)數(shù)據(jù)，為模型預(yù)測分級(jí)數(shù)據(jù)，為模型預(yù)測分級(jí)數(shù)據(jù)平均值。

利用Kappa系數(shù)[26]對模型分級(jí)的準(zhǔn)確性進(jìn)行評價(jià)，計(jì)算公式如下：

其中，0為預(yù)測的準(zhǔn)確率，e為偶然一致性，為圖像中紋枯病病情第個(gè)等級(jí)，為分級(jí)數(shù)（6個(gè)等級(jí)），R、C分別為預(yù)測為等級(jí)的次數(shù)與實(shí)際為等級(jí)的數(shù)量，P為正確預(yù)測為等級(jí)的次數(shù)，為每個(gè)等級(jí)總數(shù)。

Kappa值一般落在-1到1之間。當(dāng)Kappa＞0時(shí)證明兩組數(shù)據(jù)存在一致性，Kappa值越大一致性越高，評價(jià)標(biāo)準(zhǔn)準(zhǔn)則可參考文獻(xiàn)[26]。

1.5 模型運(yùn)行環(huán)境

在ubuntu18.04系統(tǒng)下，使用3塊GTX1080Ti英偉達(dá)GPU，顯存為3×11GB，選取Intel Core i7-9800x CPU @ 3.8GHz×16，使用Pytorch框架構(gòu)建目標(biāo)檢測模型。

2 結(jié)果

2.1 不同檢測模型的檢測結(jié)果

在同一個(gè)測試集上，對RetinaNet-VGG-16、RetinaNet- ResNet-101、Cascade R-CNN-VGG-16、Cascade R- CNN-ResNet-101、Cascade R-CNN-GIOU和Cascade R-CNN-OHEM-GIOU共6個(gè)模型進(jìn)行測試。從表2可以看出，在相同的目標(biāo)檢測網(wǎng)絡(luò)（RetinaNet或Cascade R-CNN）情況下，特征提取網(wǎng)絡(luò)ResNet-101比VGG-16獲得了更高的準(zhǔn)確率和更低的漏檢率，表明ResNet-101在提取紋枯病病斑圖像特征上更具有優(yōu)勢。在相同的特征提取網(wǎng)絡(luò)（ResNet-101或VGG-16）情況下，目標(biāo)檢測網(wǎng)絡(luò)Cascade R-CNN在準(zhǔn)確率和漏檢率上的表現(xiàn)均優(yōu)于RetinaNet。CascadeR-CNN-ResNet-101模型檢測紋枯病病斑的準(zhǔn)確率和漏檢率分別為92.4%和14.9%，比RetinaNet-VGG- 16模型的檢測準(zhǔn)確率提高了4.8%，漏檢率降低了9.2%。

由于水稻紋枯病病斑在圖像中較為顯著，數(shù)量相對較少，樣本較為簡單，采用Cascade R-CNN網(wǎng)絡(luò)在訓(xùn)練過程中容易產(chǎn)生難易樣本不均衡問題，造成目標(biāo)區(qū)域漏檢的情況。為了提高檢測率，在原始模型中添加OHEM結(jié)構(gòu)，利用前饋網(wǎng)絡(luò)為所有的候選區(qū)域計(jì)算損失，通過Hard ROI Sampler結(jié)構(gòu)，根據(jù)損失排序選出候選區(qū)域中誤判樣本（即困難樣本），并利用后饋網(wǎng)絡(luò)通過上一步驟產(chǎn)生的困難樣本來反向傳播更新參數(shù)，既提高了監(jiān)督學(xué)習(xí)的效率，又有效解決了難易樣本不均衡的問題。改進(jìn)的Cascade R-CNN-GIOU模型相較于Cascade R-CNN模型，漏檢率降低了1.4%，平均精度提升了0.9%（表2）。

表2 6個(gè)模型對水稻紋枯病的檢測結(jié)果

原始的Cascade R-CNN網(wǎng)絡(luò)使用Smoooh L1 Loss計(jì)算回歸損失，該算法沒有考慮坐標(biāo)點(diǎn)的相關(guān)性，難以獲取圖像中目標(biāo)的精確位置，導(dǎo)致原始模型在檢測水稻紋枯病病斑時(shí)出現(xiàn)檢測框無法將紋枯病病斑完整框住的問題。本文采用GIOU Loss[18]作為Cascade R-CNN網(wǎng)絡(luò)的損失函數(shù)，將4個(gè)坐標(biāo)點(diǎn)構(gòu)成的邊框看成一個(gè)整體進(jìn)行回歸，通過引入最小框，優(yōu)化兩框不相交的情況，提升邊框回歸的精確度。Cascade R-CNN- OHEM-GIOU模型相較于Cascade R-CNN-GIOU，準(zhǔn)確率提升的同時(shí)，漏檢率大幅下降，降低了7.3%，平均精度提升了3.2%，表明添加了樣本均衡結(jié)構(gòu)后的模型對紋枯病具有較好的檢測效果（表2）。

圖6給出了Cascade R-CNN及其改進(jìn)的檢測模型的P-R曲線，隨著召回率的不斷提升，Cascade R-CNN-OHEM-GIOU模型整體表現(xiàn)優(yōu)于其他兩個(gè)模型。

使用改進(jìn)前后的Cascade R-CNN檢測模型對同一幅圖像中的紋枯病病斑進(jìn)行檢測。結(jié)果表明，改進(jìn)前的模型檢測出6個(gè)紋枯病病斑，而改進(jìn)之后的模型共檢測出9個(gè)紋枯病病斑（圖7）。因此，改進(jìn)后的Cascade R-CNN提高了水稻紋枯病病斑的檢測率。

圖6 3個(gè)Cascade R-CNN模型的P-R曲線

圖7 改進(jìn)前后模型對紋枯病病斑檢測結(jié)果圖

2.2 水稻紋枯病發(fā)生危害分級(jí)模型結(jié)果

基于病斑面積的變型Sigmoid函數(shù)擬合結(jié)果如圖8所示，回歸方程表達(dá)式如下：

其中，決定系數(shù)2為0.8021，表明該模型能較好地?cái)M合病斑面積特征與病害等級(jí)之間的關(guān)系。

基于病斑數(shù)量的變型Sigmoid函數(shù)擬合結(jié)果如圖9所示，回歸方程表達(dá)式如下：

其中，決定系數(shù)2為0.4271，表明模型擬合表現(xiàn)欠佳。

根據(jù)病斑圖像分析得知，當(dāng)紋枯病發(fā)生危害程度較輕時(shí)，病斑呈點(diǎn)狀分布，面積小，但數(shù)量多；危害等級(jí)提高時(shí)，病斑相互連接形成云紋狀大斑，病斑數(shù)量趨于減少，此時(shí)病害發(fā)生危害分級(jí)主要由病斑面積特征主導(dǎo)。因此，選擇基于病斑面積的水稻紋枯病病害危害等級(jí)模型對測試樣本集進(jìn)行測試。表3給出了基于病斑面積的水稻紋枯病發(fā)生危害分級(jí)模型預(yù)測結(jié)果與人工識(shí)別結(jié)果的混淆矩陣。結(jié)果表明，分級(jí)模型預(yù)測結(jié)果與人工識(shí)別結(jié)果的Kappa系數(shù)為 0.83，呈較高的一致性。分級(jí)模型0—5級(jí)分級(jí)準(zhǔn)確率分別為96.0%、90.0%、82.0%、76.0%、74.0%和96.0%，平均分級(jí)準(zhǔn)確率為85.7%，表明分級(jí)模型在水稻紋枯病發(fā)生較輕等級(jí)時(shí)有較好的表現(xiàn)，在病害病情程度提高時(shí)，其病斑連成一片，檢測框相互之間有相交部分，實(shí)際病斑面積比檢測框面積小，分級(jí)結(jié)果較真實(shí)值偏大，因此分級(jí)模型準(zhǔn)確率有所下降。

圖8 基于病斑面積特征的病害等級(jí)預(yù)測模型

圖9 基于病斑數(shù)量特征的病害等級(jí)預(yù)測模型

表3 水稻紋枯病分級(jí)混淆矩陣

3 討論

3.1 水稻紋枯病圖像的采集

水稻紋枯病常發(fā)生于水稻莖基部，現(xiàn)行的田間測報(bào)方法需要人工下田彎腰撥動(dòng)稻叢查看，費(fèi)時(shí)費(fèi)力，調(diào)查數(shù)據(jù)難以追溯。由于現(xiàn)有的智能監(jiān)測設(shè)備難以監(jiān)測到水稻冠層下面的紋枯病，本文利用便攜式圖像采集儀[13]，無需彎腰就可便捷地采集到水稻莖基部的紋枯病圖像，大大減輕了測報(bào)人員的工作量，保存的圖像可用于數(shù)據(jù)的追溯。圖像拍攝質(zhì)量將影響紋枯病病斑的檢測與危害分級(jí)，因此，在拍攝的時(shí)候需要獲取高質(zhì)量的水稻紋枯病病斑圖像。本文采集的水稻紋枯病圖像數(shù)據(jù)量仍舊不足，需要進(jìn)一步采集更多水稻品種和水稻不同生長期的紋枯病圖像，提高模型的泛化能力，以適應(yīng)更多的應(yīng)用場景。

3.2 水稻紋枯病病斑檢測模型

現(xiàn)行的水稻紋枯病測報(bào)標(biāo)準(zhǔn)中，測報(bào)人員主要通過目測病斑位置和發(fā)病稻株數(shù)來計(jì)算危害等級(jí)，這種方法依賴于經(jīng)驗(yàn)，客觀性差。為了提高農(nóng)作物病害識(shí)別與危害分級(jí)的客觀性和智能化，很多學(xué)者利用圖像研究農(nóng)業(yè)病害的識(shí)別與診斷。王獻(xiàn)鋒等利用病害特征向量和傳統(tǒng)的模式識(shí)別方法實(shí)現(xiàn)了不同農(nóng)作物病斑的識(shí)別[2-5]；Ramesh等利用深度學(xué)習(xí)方法研究水稻不同病害的識(shí)別，在測試集上均取得了較好的識(shí)別效果[11-12]，但研究結(jié)果仍無法直接應(yīng)用于農(nóng)作物病害的精準(zhǔn)測報(bào)，主要原因是未能給出病害發(fā)生等級(jí)的智能判斷。本文通過單階段和雙階段目標(biāo)檢測算法的對比，證明雙階段的Cascade R-CNN模型具有更好的檢測效果。由于Cascade R-CNN模型檢測水稻紋枯病病斑時(shí)存在難易樣本不均衡和檢測框定位精度問題，本文對Cascade R-CNN-ResNet-101進(jìn)行了改進(jìn)，添加OHEM結(jié)構(gòu)[17]并使用GIOU Loss回歸函數(shù)[18]，提高了紋枯病病斑的檢測準(zhǔn)確率，降低了漏檢率，最終獲得了較好的檢測效果。

3.3 水稻紋枯病發(fā)生危害分級(jí)模型

為了實(shí)現(xiàn)水稻紋枯病發(fā)生危害分級(jí)的智能化，本文以Cascade R-CNN-OHEM-GIOU檢測模型獲得的病斑面積作為特征值，建立了紋枯病發(fā)生危害分級(jí)模型，平均準(zhǔn)確率為85.7%。模型在0—2級(jí)分級(jí)的準(zhǔn)確率較高，3—4級(jí)容易誤判，主要是因?yàn)楸疚脑谟?jì)算病斑面積時(shí)直接利用了檢測框面積，導(dǎo)致模型分級(jí)結(jié)果較真實(shí)值偏大。由于田間紋枯病0—2級(jí)（早期）危害是確定發(fā)病田塊、制定防治計(jì)劃的重要依據(jù)，因此本研究構(gòu)建的方法用于田間紋枯病自動(dòng)監(jiān)測可促進(jìn)防治決策的智能化水平，有較強(qiáng)的應(yīng)用前景。而3—4級(jí)重度危害監(jiān)測對于產(chǎn)量損失評估意義更強(qiáng)。下一步將提取檢測框內(nèi)病斑區(qū)域的面積，提高模型分級(jí)結(jié)果的準(zhǔn)確率。

4 結(jié)論

利用便攜式圖像采集儀采集水稻紋枯病圖像，建立了基于圖像的水稻紋枯病病斑檢測模型Cascade R-CNN-OHEM-GIOU，檢測準(zhǔn)確率為92.4%，漏檢率為6.2%。在檢測模型獲得的紋枯病病斑區(qū)域基礎(chǔ)上，建立了基于病斑面積的水稻紋枯病發(fā)生危害分級(jí)模型，各等級(jí)平均準(zhǔn)確率達(dá)85.7%。提出的水稻紋枯病病斑檢測模型和危害分級(jí)模型實(shí)現(xiàn)了水稻紋枯病智能測報(bào)，可減輕測報(bào)人員的工作量，避免危害分級(jí)的主觀性，實(shí)現(xiàn)測報(bào)數(shù)據(jù)可追溯，并為其他農(nóng)作物病害智能測報(bào)提供參考。

[1] 中華人民共和國國家標(biāo)準(zhǔn).稻紋枯病測報(bào)技術(shù)規(guī)范: GB/T 15791— 2011.北京: 中國標(biāo)準(zhǔn)出版社, (2011-09-29) [2021-11-03].

National Standards of the People’s Republic of China.Rules of monitoring and forecasting for the rice sheath blight (Kukn): GB/T 15791—2011.Beijing: China Standards Press, (2011-09-29) [2021-11-03].(in Chinese)

[2] 王獻(xiàn)鋒, 張善文, 王震, 張強(qiáng).基于葉片圖像和環(huán)境信息的黃瓜病害識(shí)別方法.農(nóng)業(yè)工程學(xué)報(bào), 2014, 30(14): 148-153.

WANG X F, ZHANG S W, WANG Z, ZHANG Q.Recognition of cucumber diseases based on leaf image and environmental information.Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(14): 148-153.(in Chinese)

[3] 胡耀華, 平學(xué)文, 徐明珠, 單衛(wèi)星, 何勇.高光譜技術(shù)診斷馬鈴薯葉片晚疫病的研究.光譜學(xué)與光譜分析, 2016, 36(2): 515-519.

HU Y H, PING X W, XU M Z, SHAN W X, He Y.Detection of late blight disease on potato leaves using hyperspectral imaging technique.Spectroscopy and Spectral Analysis, 2016, 36(2): 515-519.(in Chinese)

[4] 葛婧.基于計(jì)算機(jī)圖像處理技術(shù)的作物病害等級(jí)檢測[D].合肥: 安徽農(nóng)業(yè)大學(xué), 2007.

GE J.Detection of crops plant disease rank based on computer image processing technology[D].Hefei: Anhui Agricultural University, 2007.(in Chinese)

[5] 馬德貴, 邵陸壽, 葛婧, 丁克堅(jiān), 錢良存.水稻稻瘟病及水稻紋枯病病害程度圖像檢測.中國農(nóng)學(xué)通報(bào), 2008, 24(9): 485-489.

MA D G, SHAO L S, GE J, DING K J, QIAN L C.Detection of the harm degree of rice blast and rice sheath blight.Chinese Agricultural Science Bulletin, 2008, 24(9): 485-489.(in Chinese)

[6] 袁媛, 陳雷, 吳娜, 李淼.水稻紋枯病圖像識(shí)別處理方法研究.農(nóng)機(jī)化研究, 2016, 38(6): 84-87, 92.

YUAN Y, CHEN L, WU N, LI M.Recognition of rice sheath blight based on image procession.Journal of Agricultural Mechanization Research, 2016, 38(6): 84-87, 92.(in Chinese)

[7] Krishna R V V, Kumar S S.Computer vision based identification of nitrogen and potassium deficiency in FCV tobacco//Proceedings of the International Conference on Computational Science and Engineering, 2016: 105-111.

[8] Ramcharan A, Baranowski K, McCloskey P, Ahmed B, Legg J, Hughes D P.Deep learning for image-based cassava disease detection.Frontiers in Plant Science, 2017, 8: 1852.

[9] 蘇婷婷, 牟少敏, 董萌萍, 時(shí)愛菊.深度遷移學(xué)習(xí)在花生葉部病害圖像識(shí)別中的應(yīng)用.山東農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 50(5): 865-869.

SU T T, MU S M, DONG M P, SHI A J.Application of deep transfer learning in image recognition of peanut leaf diseases.Journal of Shandong Agricultural University (Natural Science Edition), 2019, 50(5): 865-869.(in Chinese)

[10] Fuentes A, Yoon S, Kim S C, Park D S.A robust deep- learning-based detector for real-time tomato plant diseases and pests recognition.Sensors, 2017, 17(9): 2022.

[11] Ramesh S, Vydeki D.Recognition and classification of paddy leaf diseases using optimized deep neural network with Jaya algorithm.Information Processing in Agriculture, 2020, 7(2): 249-260.

[12] 曹英麗, 江凱倫, 于正鑫, 肖文, 劉亞帝.基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻紋枯病檢測識(shí)別.沈陽農(nóng)業(yè)大學(xué)學(xué)報(bào), 2020, 51(5): 568-575.

CAO Y L, JIANG K L, YU Z X, XIAO W, LIU Y D.Detection and recognition of rice sheath blight based on deep convolutional neural network.Journal of Shenyang Agricultural University, 2020, 51(5): 568-575.(in Chinese)

[13] 俞佩仕, 郭龍軍, 姚青, 楊保軍, 唐健, 許渭根, 陳渝陽, 朱旭華, 陳宏明, 張晨光, 段德康, 貝文勇, 彭晴暉.基于移動(dòng)終端的稻田飛虱調(diào)查方法.昆蟲學(xué)報(bào), 2019, 62(5): 615-623.

YU P S, GUO L J, YAO Q, YANG B J, TANG J, XU W G, CHEN Y Y, ZHU X H, CHEN H M, ZHANG C G, DUAN D K, BEI W Y, PENG Q H.A survey method based on mobile terminal for rice planthoppers in paddy fields.Acta Entomologica Sinica, 2019, 62(5): 615-623.(in Chinese)

[14] Everingham M, Van Gool L, Williams C K I, WINN J, ZISSERMAN A.The pascal visual object classes (voc) challenge.International journal of computer vision, 2010, 88(2): 303-338.

[15] Cai Z, Vasconcelos N.Cascade r-cnn: Delving into high quality object detection//Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 6154-6162.

[16] Ren S, He K, Girshick R, Sun J.Faster r-cnn: Towards real-time object detection with region proposal networks.Advances in neural information processing systems, 2015, 28: 91-99.

[17] Shrivastava A, Gupta A, Girshick R.Training region-based object detectors with online hard example mining//Proceeding of the IEEE conference on computer vision and pattern recognition, 2016: 761-769.

[18] Rezatofighi H, Tsoi N, Gwak J Y, Sadeghian A, Reid I, Savarese S.Generalized intersection over union: A metric and a loss for bounding box regression//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 658-666.

[19] Altman E I, Finance M A.Predicting financial distress of companies: revisiting the Z-Score and ZETA models//Handbook of Research Methods & Applications in Empirical Finance.Edward Elgar Publishing, 2013.

[20] 劉明.支持向量機(jī)中Sigmoid核函數(shù)的研究[D].西安: 西安電子科技大學(xué), 2009.

LIU M.The study on sigmoid kernel function in support vector machine[D].Xi’an: Xidian University, 2009.(in Chinese)

[21] Lin T Y, Goyal P, Girshick R, HE K, DOLLAR P.Focal loss for dense object detection//Proceedings of the IEEE international conference on computer vision, 2017: 2980-2988.

[22] LIU X, CHI M, ZHANG Y F, QIN Y Q.Classifying high resolution remote sensing images by fine-tuned VGG deep networks//IGARSS IEEE International Geoscience and Remote Sensing Symposium, 2018: 7137-7140.

[23] He K, Zhang X, Ren S.Deep residual learning for image recognition//Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 770-778.

[24] Bucklan M, Gey F.The relationship between recall and precision.Journal of the American society for information science, 1994, 45(1): 12-19.

[25] 趙松山.對擬合優(yōu)度2的影響因素分析與評價(jià).東北財(cái)經(jīng)大學(xué)學(xué)報(bào), 2003(3): 56-58.

ZHAO S S.Analysis and evaluation of influencing factors of goodness of fit2.Journal of Dongbei University of Finance and Economics, 2003(3): 56-58.(in Chinese)

[26] 許文寧, 王鵬新, 韓萍, 嚴(yán)泰來, 張樹譽(yù).Kappa系數(shù)在干旱預(yù)測模型精度評價(jià)中的應(yīng)用——以關(guān)中平原的干旱預(yù)測為例.自然災(zāi)害學(xué)報(bào), 2011, 20(6): 81-86.

XU W N, WANG P X, HAN P, YAN T L, ZHANG S Y.Application of Kappa coefficient in accuracy assessments of drought forecasting model: a case study of Guanzhong Plain.Journal of Natural Disasters, 2011, 20(6): 81-86.(in Chinese)

Intelligent Forecasting Method of Rice Sheath Blight Based on Images

HAN XiaoTong1, YANG BaoJun2, LI SuXuan1, LIAO FuBing1, LIU ShuHua2, TANG Jian2, YAO Qing1*

1School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018;2State Key Laboratory of Rice Biology, China National Rice Research Institute, Hangzhou 311401

【Objective】At present, the forecast of rice sheath blight relies on the number of diseased clusters, the number of rice plants and the severity of each plant to calculate the disease index based on manual surveys.The method is highly professional, time-consuming and laborious.The data is difficult to trace.The objective of this study is to propose a detection model of rice sheath blight lesions and a damage grading model of rice sheath blight based on images, and to provide a theoretical basis for the intelligent forecasting of rice sheath blight.【Method】Images of rice sheath blight in paddy field were collected by a portable image acquisition instrument.Different detection models (Cascade R-CNN and RetinaNet) and feature extraction networks (VGG-16 and ResNet-101) were developed to test the detection effect of disease lesions.The best model was chosen.However, the Cascade R-CNN model appeared some missing detection of sheath blight lesions.Because the sheath blight lesions are irregular in shape, and variable in size and location, the Cascade R-CNN model was improved through adding OHEM structure to balance the hard and easy samples in the network and choosing the bounding box regression loss function.The precision rate, missing rate, average precision and P-R curve were used to evaluate the detection effects of different models.Based on the detection results of the improved Cascade R-CNN-OHEM-GIOU model, two damage grading models based on the area and number of disease lesions were developed, respectively.The determination coefficient (2) and Kappa value were used to choose the damage level model of rice sheath blight.【Result】Under the same backbone network conditions, the Cascade R-CNN model had a better detection effect on rice sheath blight than the RetinaNet model.The Cascade R-CNN-ResNet-101 model had the best detection effect on sheath blight lesions.The precision rate was 92.4%, the average precision was 88.2% and the missing rate was 14.9%.The improved Cascade R-CNN-OHEM- GIOU model effectively solved the problem of sample imbalance, and effectively reduced the missing rate by adding a border regression loss function, which was 8.7% lower than the missing rate of the Cascade R-CNN-ResNet-101 model, and the average precision was increased to 92.3%.With the results of manual disease grading as the standard, the grading model of rice sheath blight at 0 to 5 grades based on the area of diseased lesions had the accurate rates of 96.0%, 90.0%, 82.0%, 76.0%, 74.0% and 96.0%, respectively.The average grading accuracy rate was 85.7%, and the Kappa coefficient was 0.83.The damage grade results of rice sheath blight based on images were consistent with the manual grading results.【Conclusion】The intelligent forecasting method of rice sheath blight based on images can automatically detect the disease lesions and calculate the damage grade.This method increases the intelligence level and the results are objective and traceable.It may also provide an idea for intelligent forecasting of other crop diseases.

rice sheath blight; disease lesion image; intelligent forecasting; Cascade R-CNN model; damage grading model

2021-11-03；

2021-12-23

國家重點(diǎn)研發(fā)計(jì)劃（2021YFD1401100）、浙江省自然科學(xué)基金（LY20C140008）、所級(jí)統(tǒng)籌基本科研業(yè)務(wù)費(fèi)項(xiàng)目（CPSIBRF-CNRRI-202123）

韓曉彤，E-mail：453116984@qq.com。通信作者姚青，E-mail：q-yao@126.com

（責(zé)任編輯 岳梅）