一種基于級聯(lián)R-CNN的水稻害蟲檢測算法

劉凱旋，黃操軍，李亞鵬，佟尚諭

（黑龍江八一農(nóng)墾大學(xué)信息與電氣學(xué)院，大慶 163319）

水稻是我國最重要的糧食作物之一，其產(chǎn)量對著糧食安全和社會的穩(wěn)定有著重要的影響[1]。蟲害會在水稻的生長中會產(chǎn)生不同程度的危害，若能及早的控制害蟲規(guī)模，就能減少農(nóng)藥的噴施，避免水稻大量減產(chǎn)。只有準(zhǔn)確鑒定害蟲，才能為害蟲防治提供重要的依據(jù)。已經(jīng)有越來越多的學(xué)者將深度學(xué)習(xí)運(yùn)用到害蟲圖像的自動化識別中[2-3]?，F(xiàn)有的害蟲檢測可以分成兩類，一類是采用常用的計算機(jī)視覺特征，再用淺層神經(jīng)網(wǎng)絡(luò)做分類。相應(yīng)的工作有：陳向東等[4]提取顏色、亮度、紋理和深度特征，經(jīng)過加權(quán)融合特征和顯著性增強(qiáng)得到相應(yīng)的分割結(jié)果。張永玲等[5]通過特征融合構(gòu)建完備字典，用支持向量機(jī)對9類水稻害蟲分類。陳娟等[6]通過富邊緣檢測算法提取園林害蟲圖像，改進(jìn)的殘差網(wǎng)絡(luò)來識別38類園林害蟲。楊國國等[7]通過計算茶園害蟲的顏色顯著值，構(gòu)造顯著性圖來對害蟲定位，然后用AlexNet網(wǎng)絡(luò)來識別23種常見類型的茶園害蟲。但是這些害蟲檢測算法由于特征是手工設(shè)計的，不但過程復(fù)雜，而且會受到在自然環(huán)境中害蟲姿態(tài)角度的影響。另一類是使用深度學(xué)習(xí)的方法確定識別目標(biāo)所在候選區(qū)域和目標(biāo)類別。相應(yīng)的工作有：姚青等[8]通過組歸一化和優(yōu)化FPN結(jié)構(gòu)對RetinaNet進(jìn)行改進(jìn)，識別水稻背景稻飛虱和二化螟的水稻危害狀。張詩雨等[9]使用聚類算法改進(jìn)Faster R-CNN[10]的區(qū)域提案網(wǎng)絡(luò)，識別六種常見的糧食害蟲。鄧壯來等[11]和苗海委等[12]通過改變SSD算法中的VGG16的層數(shù)和重新定義損失函數(shù)來優(yōu)化SSD模型，來檢測糧倉害蟲；張博等[13]通過改變YOLOv3的層數(shù)和卷積核寬度以及使用空間金字塔池化特征融合來優(yōu)化YOLOv3，對20類害蟲進(jìn)行檢測和識別；魏楊等[14]提出了一種區(qū)域提案網(wǎng)絡(luò)，提出害蟲候選區(qū)域，由Fast R-CNN來識別10類農(nóng)業(yè)害蟲；李衡霞等[15]使用Faster R-CNN識別5種油菜害蟲；林相澤等[16]出一種以預(yù)訓(xùn)練模型ResNet50為骨干的Mask R-CNN[17]檢測稻飛虱圖像的方法。但以上多目標(biāo)檢測算法還是存在丟失小目標(biāo)，發(fā)生錯漏的問題。針對小目標(biāo)的準(zhǔn)確率低，漏檢的情況，通過使用特征金字塔FPN[18]和感興趣區(qū)域校準(zhǔn)ROI Align[17]優(yōu)化級聯(lián)R-CNN[19]的小目標(biāo)特征，使用軟非極大值抑制Soft-NMS[20]減少重疊目標(biāo)的漏檢，從而建立一種基于深度學(xué)習(xí)模型的水稻害蟲圖像檢測算法，為水稻生產(chǎn)中害蟲檢測研究提供技術(shù)支持。

1 水稻蟲害檢測模型的構(gòu)建

1.1 建立模型

級聯(lián)R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其過程上是Faster R-CNN將得到的特征和回歸框進(jìn)行送入檢測分支再次得到新的邊框，然后再將新邊框和特征送入檢測分支得最終邊框和類別。通過兩次對回歸框的微調(diào)，讓回歸框可以適應(yīng)更高的IOU閾值，從而提升回歸框的準(zhǔn)確性。詳細(xì)過程為：通過conv結(jié)構(gòu)提取水稻害蟲圖片特征M，經(jīng)過頭部網(wǎng)絡(luò)H0候選區(qū)域生成網(wǎng)絡(luò)RPN，得到害蟲初步候選框位置B0和類別C0；然后將得到初步候選框的位置B0映射到特征M上，應(yīng)用感興趣區(qū)域池化（ROI pooling）將特征M轉(zhuǎn)化成固定大小的水稻害蟲特征向量M1，送入頭部網(wǎng)絡(luò)生成新的害蟲候選框位置B1和類別C1；同理，最后得到水稻害蟲在圖片中的準(zhǔn)確位置B3和類別C3。

圖1 級聯(lián)R-CNN結(jié)構(gòu)Fig.1 The structure of cascade R-CNN

如圖1所示。其中I是水稻害蟲圖像，conv是ResNet50的結(jié)構(gòu)，H0為RPN，H1、H2、H3由全連接層組成，為頭部網(wǎng)絡(luò)，B0、B1、B2、B3為先驗框預(yù)測、C為類別預(yù)測、pool為ROI池化。虛線框內(nèi)為Faster RCNN結(jié)構(gòu)。

1.2 Faster R-CNN算法

Faster R-CNN為二階目標(biāo)檢測器，它通過RPN遍歷特征得到預(yù)測先驗框，映射在特征上，然后ROI池化會對這些映射在框里的特征提取新特征并規(guī)范大小，送入全連接層或全卷積層，判斷目標(biāo)類別，生成坐標(biāo)偏移，微調(diào)候選框，NMS會根據(jù)閾值篩選出最大得分的邊框，然后通過損失函數(shù)計算損失，再反向優(yōu)化網(wǎng)絡(luò)參數(shù)。二階目標(biāo)檢測器的優(yōu)點在于檢測精度高，缺點在于檢測速度慢。由于搜索先驗框需要遍歷圖像，所以識別損耗的時間都在消耗在了RPN的搜索過程中。

1.3 模型的優(yōu)化

優(yōu)化過程主要有三步：在級聯(lián)R-CNN中使用FPN結(jié)構(gòu)；對先驗框預(yù)測的NMS算法用Soft-NMS算法進(jìn)行替換；對pool結(jié)構(gòu)代表的ROI池化，替換為ROI校準(zhǔn)算法。通過減少小目標(biāo)特征損失的方式來提升原來的模型對小目標(biāo)的識別精度。

1.3.1 FPN結(jié)構(gòu)

通過相鄰的高層改變長寬，低層特征改變深度再相加，相加得到粗略特征，再消去混疊效應(yīng)得到新的特征。該特征具備高層特征語義信息，同時也具備低層特征中害蟲位置的詳細(xì)特征。最后一層特征和第一層特征不做處理。圖像上不同大小的害蟲特征會對應(yīng)不同的提取位置，大的識別目標(biāo)會靠后，小的識別目標(biāo)會靠前。

1.3.2 Soft-NMS算法

NMS的缺點是當(dāng)兩個目標(biāo)邊框發(fā)生重疊時，得分高的候選框會把另一個目標(biāo)的邊框剔除，就導(dǎo)致算法檢測不到另一個目標(biāo)的位置。水稻害蟲往往密集的聚集在水稻周圍，當(dāng)重疊時算法會漏檢重疊的害蟲。為了避免這種情況，使用Soft-NMS可以通過配合調(diào)節(jié)閾值避免漏檢害蟲。Soft-NMS對NMS的改進(jìn)在于，當(dāng)最高置信邊框和待處理邊框大于IOU閾值時，重疊度越大，會使待處理邊框的置信值下降的越快，而非直接刪除。

Soft-NMS改進(jìn)有兩種形式。其中高斯加權(quán)的形式得分連續(xù)，而線性加權(quán)的得分會因為分段而不連續(xù)。線性加權(quán)的形式為：

在算法中用到Soft-NMS算法的是高斯加權(quán)的形式。在訓(xùn)練過程中，RPN中的NMS的IOU閾值設(shè)為0.7，在測試時使用Soft-NMS替換NMS，IOU閾值設(shè)為0.5。

1.3.3 感興趣區(qū)域校準(zhǔn)（ROI Align）

稻田害蟲圖像中害蟲目標(biāo)數(shù)量多并且偏小，為了能夠提高識別小目標(biāo)害蟲的識別精度，用ROI Align替換Faster R-cnn中的ROI pooling結(jié)構(gòu)。原圖上的感興趣區(qū)域在經(jīng)過骨干網(wǎng)絡(luò)后，由于池化作用，尺寸會縮減，若區(qū)域邊界框四個錨點的數(shù)值不是整數(shù)，需要取整。取整后的邊界框若再映射到原圖，和原來的區(qū)域相比會發(fā)生偏移。如果提議邊框映射到特征圖上的長寬不等，當(dāng)需要劃分成大小相同的區(qū)域，區(qū)域內(nèi)像素數(shù)就不為整數(shù)，需要取整，就會導(dǎo)致實際區(qū)域不均勻，在進(jìn)行池化操作時會再次丟失小目標(biāo)的信息。這兩次取整都會影響小目標(biāo)檢測的準(zhǔn)確度。而ROI校準(zhǔn)通過生成浮點數(shù)的像素值代替整數(shù)值像素，能夠解決取整操作導(dǎo)致的小目標(biāo)細(xì)節(jié)特征丟失的問題。

2 水稻蟲害檢測模型的實現(xiàn)

選取了5種常見的水稻害蟲作為測試對象。為方便展示害蟲形象，選取測試集部分水稻害蟲圖像的局部如圖3所示。從左到右依次為稻蝗、稻飛虱、黑尾葉蟬、螻蛄和黏蟲。原始圖像通過Google、Naver和百度等搜索引擎和學(xué)校試驗水稻田內(nèi)手機(jī)拍攝2種方式獲得。拍攝時間為2018年8月到10月，每月月初第一周內(nèi)實地拍攝，拍攝設(shè)備為榮耀20，每張圖片分辨率為2 340*1 080。原始圖像中的水稻害蟲包含了各種姿態(tài)、光照、角度，經(jīng)過人工篩選去掉了重復(fù)和錯誤的圖像。試驗數(shù)據(jù)集總共有2 855張圖片，稻蝗670張，稻飛虱226張，黑尾葉蟬919張，螻蛄823張，黏蟲217張。其中水稻田實地拍攝圖像250幅，各類水稻害蟲圖像均為50幅。為了均衡化樣本，稻蝗、黑尾葉蟬、螻蛄選取300張，稻飛虱226張，黏蟲217張，維持1∶1.5的比例關(guān)系，共計1 343張。每張水稻害蟲圖像上至少有1只害蟲。隨機(jī)選擇900張圖片作為訓(xùn)練集，243張作為驗證集，200作為測試集。

圖3 識別害蟲圖像的局部樣例Fig.3 Local examples of pest identification image

利用labelImg在圖像上框定水稻害蟲位置并標(biāo)注類別，得到相應(yīng)的xml格式文件。再使用算法將所有xml格式文件匯總，然后轉(zhuǎn)成csv格式文件，并隨機(jī)分出3/5數(shù)量圖片作為訓(xùn)練集，輸出保存訓(xùn)練列表和測試列表的json文件。按照COCO2017數(shù)據(jù)集格式把數(shù)據(jù)集和json文件擺放在相應(yīng)位置。通常，訓(xùn)練集圖像數(shù)量越多，害蟲姿態(tài)，所處環(huán)境越多樣，越有助于提升模型的準(zhǔn)確性和泛化能力，防止過擬合。為此，通過將圖像隨機(jī)旋轉(zhuǎn)角度、從圖像中隨機(jī)裁剪一定大小的區(qū)域、對圖像進(jìn)行水平或垂直翻轉(zhuǎn)等操作來豐富數(shù)據(jù)多樣性，擴(kuò)充至原來2倍。

2.1 試驗環(huán)境和模型設(shè)置

代碼是在ubuntu18.04系統(tǒng)上使用python語言在mmdetection框架下編寫的。電腦配置NVIDIA GeForce RTX2080 Super 8G顯卡。使用反向傳播和隨機(jī)梯度下降方法更新網(wǎng)絡(luò)權(quán)重，最小化網(wǎng)絡(luò)損失。按候選區(qū)域生成網(wǎng)絡(luò)RPN批處理大小256、基礎(chǔ)學(xué)習(xí)率0.001、學(xué)習(xí)衰減量0.1、動量0.9、迭代次數(shù)32 000、步長11 200權(quán)值衰減0.000 5、每次迭代圖片數(shù)量16來初始化模型參數(shù)。對級聯(lián)R-CNN使用交替訓(xùn)練。未提出的參數(shù)默認(rèn)和級聯(lián)R-CNN設(shè)置相同。

2.2 損失函數(shù)

目標(biāo)檢測一般使用IoU確定正負(fù)樣本集，如果與某個感興趣區(qū)域和真實邊框的IoU>閾值u，就可以認(rèn)為是該區(qū)域是這個類別下對應(yīng)的一個正樣本。假設(shè)gy是真實目標(biāo)g所對應(yīng)的類標(biāo)簽，那么感興趣

區(qū)域x的類標(biāo)簽y是閾值u的函數(shù)：

2.3 評價指標(biāo)

采用mAP作為衡量指標(biāo)，mAP數(shù)值越高，表示該算法在數(shù)據(jù)集上對害蟲定位和預(yù)測類別的準(zhǔn)確度越高。精確率Pr、準(zhǔn)確率AP和平均準(zhǔn)確率mAP的公式如下所示：

式中TP表示正確識別的害蟲，F(xiàn)P表示將背景識別為害蟲，F(xiàn)N表示將害蟲識別為背景，TN表示正確識別背景，C為害蟲類別，Q是害蟲類別總數(shù)。精確率Pr表示的是預(yù)測為害蟲的樣本中正確識別的害蟲的比例。準(zhǔn)確率AP是識別正確的害蟲和背景占總樣本的比例。AP（i）為某一類害蟲預(yù)測正確的比例，mAP為所有類別預(yù)測精確率的平均值。

2.4 模型的訓(xùn)練和測試

訓(xùn)練模型會因為任務(wù)不同模型卷積層內(nèi)的卷積核也會向著不同的方向改變，導(dǎo)致無法共享網(wǎng)絡(luò)權(quán)重，所以采用RPN和級聯(lián)R-CNN聯(lián)合訓(xùn)練方式進(jìn)行訓(xùn)練。

第1步，訓(xùn)練RPN。使用框架提供的預(yù)訓(xùn)練模型初始化RPN中的FPN結(jié)構(gòu)的ResNet50的權(quán)重，然后使用水稻害蟲數(shù)據(jù)集對RPN進(jìn)行微調(diào)。訓(xùn)練完成后得到模型RPN1和重新生成各圖片上害蟲候選區(qū)域B0。

第2步，訓(xùn)練模型級聯(lián)R-CNN。同樣使用框架中提供的預(yù)訓(xùn)練模型初始化級聯(lián)R-CNN的特征提取網(wǎng)絡(luò)FPN結(jié)構(gòu)的ResNet50，使用水稻害蟲訓(xùn)練圖像和害蟲候選區(qū)域B0訓(xùn)練級聯(lián)R-CNN參數(shù)，訓(xùn)練完成后得到模型R-CNN1。

第3步，再次訓(xùn)練RPN。用模型R-CNN1的參數(shù)初始化模型RPN1中的FPN結(jié)構(gòu)的ResNet50，得到新的模型RPN2。設(shè)置FPN中參數(shù)的學(xué)習(xí)率為零，不更新參數(shù)，僅更新RPN2模型中RPN的參數(shù)。重新生成新的各個圖片對應(yīng)的害蟲候選區(qū)域B0’。此時，兩個網(wǎng)絡(luò)共享所有公共卷積層。

第4步，再次訓(xùn)練R-CNN1。仍然固定FPN結(jié)構(gòu)的ResNet50，使用水稻害蟲訓(xùn)練圖像和害蟲候選區(qū)域B0’訓(xùn)練R-CNN1的頭部網(wǎng)絡(luò)。訓(xùn)練完成后得到模型R-CNN2。最后將RPN2加入R-CNN2后得到水稻害蟲檢測模型級聯(lián)R-CNN。先加入形成級聯(lián)RCNN的結(jié)構(gòu)，固定RPN2再訓(xùn)練一樣，但考慮到訓(xùn)練圖像數(shù)量大，訓(xùn)練級聯(lián)R-CNN會重復(fù)提取候選區(qū)域，所以先處理再訓(xùn)練從是為了減少訓(xùn)練時間。

其中，每次訓(xùn)練RPN進(jìn)行30 000迭代，級聯(lián)RCNN進(jìn)行35 000次。測試過程只需調(diào)用級聯(lián)R-CNN模型即可對害蟲位置進(jìn)行標(biāo)定，同時對害蟲進(jìn)行分類。

3 結(jié)果與分析

參考Soft-NMS中敏感性分析實驗[20]，用提出的算法在害蟲數(shù)據(jù)集上調(diào)節(jié)NMS閾值Nt和Soft-NMS閾值σ，測量算法AP的數(shù)值。從圖4得到使用NMS的算法的AP穩(wěn)定在0.3到0.6之間，超出這個范圍性能會明顯下降。使用Soft-NMS的算法AP數(shù)值在閾值0.1到0.7之間比使用NMS的算法AP值高，在閾值0.4到0.7的范圍內(nèi)保持在0.9以上，趨于穩(wěn)定。為了可以和其他的模型算法作比較，使用閾值0.5。

圖4 Faster R-CNN對超參數(shù)σ（Soft-NMS）和Nt（NMS）的敏感性Fig.4 Faster R-CNN sensitivity to hyper parameters σ（Soft-NMS）and Nt（NMS）

結(jié)果如表1所示。將級聯(lián)R-CNN和Faster RCNN、Mask R-CNN在5種水稻害蟲數(shù)據(jù)集上就平均檢測時間和AP進(jìn)行了對比。3個R-CNN網(wǎng)絡(luò)使用骨干網(wǎng)絡(luò)ResNet50+FPN每次12epoches交替訓(xùn)練得到的，而SSD使用了VGG16的骨干網(wǎng)絡(luò)在訓(xùn)練了120epoaches得到的。因為R-CNN訓(xùn)練過程中使用了預(yù)訓(xùn)練模型，就使得訓(xùn)練周期縮短，僅需要較少的周期微調(diào)即可。

表1 害蟲檢測方法結(jié)果對比Table 1 Comparison of pest detection methods

先比較三個R-CNN。從表1中看出，相同條件下級聯(lián)R-CNN的AP最高，而Faster R-CNN則是三者中測試是最快的。Mask R-CNN和級聯(lián)R-CNN都是對Faster R-CNN的改進(jìn)，兩者通過增加了檢測的時間換取了準(zhǔn)確度。當(dāng)對檢測時間要求不大時，可以優(yōu)先選擇使用級聯(lián)R-CNN。級聯(lián)R-CNN在Faster R-CNN的基礎(chǔ)上又級聯(lián)了兩個候選區(qū)域預(yù)測的支路，AP提升了5.63，說明級聯(lián)對于進(jìn)一步修正回歸框的作用是十分明顯的。RPN提出的候選區(qū)域大部分包含背景。逐級提高候選區(qū)域的IoU值，既可以去掉無用的背景區(qū)域，又可以通過逐級修正候選區(qū)域，而不會因為單一的高IoU而擬合數(shù)據(jù)。再比較級聯(lián)R-CNN和SSD可以明確發(fā)現(xiàn)，SSD在檢測上優(yōu)勢十分明顯，但缺點是準(zhǔn)確率很低。

蝗蟲、稻飛虱、黑尾葉蟬、螻蛄和黏蟲和識別的平均準(zhǔn)確率分別為94.51%、91.83%、92.72%、96.75%、和94.93%，平均準(zhǔn)確率均值94.15%。因為螻蛄和其余4類形態(tài)結(jié)構(gòu)上有較大差異，所以AP是最高的。由圖5可以看出，使用ROI池化的模型對會漏掉顏色昏暗比較模糊的目標(biāo)，但使用ROI校準(zhǔn)的模型，可以檢測到之前對漏掉的模糊的小目標(biāo)。有極少的稻飛虱由于過小，模糊不清而不能被檢測到。從圖片上可以看到，改模型對光線較昏暗情況下的目標(biāo)也能檢測到。由圖6可以看出加入Soft-NMS算法后能夠分辨重疊的害蟲，避免了漏檢。對于圖中蝗蟲接近的情況，使用NMS會丟失背部的蝗蟲，而使用Soft-NMS做檢測時，則能將背部的害蟲標(biāo)注出來。

圖5 稻飛虱圖像檢測結(jié)果Fig.5 Image detection results of rice planthopper

圖6 左右兩圖分別為用Soft-NMS替換NMS之前和之后Fig.6 The left and right figures are before and after replacing the NMSwith Soft-NMS

以級聯(lián)R-CNN為骨架網(wǎng)絡(luò)，從左到右依次累加優(yōu)化方法模型表現(xiàn)如表2所示。從上可以看出FPN和ROI Align對模型優(yōu)化的效果比較明顯，分別使mAP提升了1.74%和2.32%，而Soft-NMS對模型的提升為0.62%。

表2 逐步疊加優(yōu)化方法模型AP的變化情況Table 2 The change of APin the stepwise superposition optimization method

4 結(jié)論

通過對級聯(lián)R-CNN進(jìn)行優(yōu)化，使其可以適應(yīng)復(fù)雜背景下的小目標(biāo)的水稻害蟲識別。通過使用特征金字塔FPN、軟非極大值抑制Soft-NMS和感性興趣區(qū)域校準(zhǔn)ROI Align來優(yōu)化級聯(lián)R-CNN，總體提升了4.68個百分點，平均識別準(zhǔn)確率達(dá)到了94.15%。對比了SSD、Mask R-CNN、Faster R-CNN在相同的條件下水稻害蟲的識別準(zhǔn)確率，該算法較SSD、Mask R-CNN、Faster R-CNN分別高出了18.42，2.42，5.63個百分點。能夠提高害蟲小目標(biāo)圖像的檢測能力和重疊目標(biāo)識別能力。