基于改進(jìn)Faster R-CNN的自然環(huán)境下麥穗檢測方法

凌海波 周先存 張靜雅 何富貴

摘 要：小麥麥穗的自動(dòng)檢測在產(chǎn)量預(yù)估、種子篩選等方面具有一定的科研應(yīng)用價(jià)值。為進(jìn)一步提高自然環(huán)境下麥穗識別與計(jì)數(shù)的準(zhǔn)確性，本文提出了基于改進(jìn)型Faster R-CNN深度神經(jīng)網(wǎng)絡(luò)麥穗檢測方法。針對傳統(tǒng)Faster R-CNN算法應(yīng)用于麥穗檢測時(shí)存在漏檢的問題，并結(jié)合自然環(huán)境下麥穗重疊和遮擋的特點(diǎn)，本研究采用加權(quán)框融合（Weighted Boxes Fusion，WBF）算法代替原有的非極大值抑制（NMS）算法，通過區(qū)域建議網(wǎng)絡(luò)產(chǎn)生的所有預(yù)測框的置信度來構(gòu)造融合框。試驗(yàn)證明，改進(jìn)后的Faster R-CNN在全球麥穗檢測數(shù)據(jù)集上的平均精度均值mAP0.5：0.75、mAP0.5分別達(dá)到了74.21%和92.15%，相較于傳統(tǒng)Faster R-CNN提升了5.75%和3.74%，提升效果明顯，減少了麥穗漏檢的情況，能夠在自然環(huán)境下對麥穗進(jìn)行計(jì)數(shù)和產(chǎn)量預(yù)估。

關(guān)鍵詞：麥穗檢測;深度神經(jīng)網(wǎng)絡(luò);區(qū)域建議網(wǎng)絡(luò);加權(quán)框融合

中圖分類號：TP391.41 ?文獻(xiàn)標(biāo)識碼：A ?文章編號：1673-260X（2021）07-0017-05

1 引言

小麥?zhǔn)鞘澜缟献钪匾募Z食作物，在全世界廣泛種植。小麥產(chǎn)量的穩(wěn)定在全球糧食安全中起著至關(guān)重要的作用，準(zhǔn)確的小麥麥穗計(jì)數(shù)是小麥產(chǎn)量精確估計(jì)的重要依據(jù)[1]。傳統(tǒng)的人工肉眼計(jì)數(shù)的方式效率不高，主觀性較強(qiáng)，實(shí)用性一般，計(jì)數(shù)周期長，并且缺乏統(tǒng)一的統(tǒng)計(jì)標(biāo)準(zhǔn)。目前麥穗自動(dòng)檢測主要是基于機(jī)器視覺的方法進(jìn)行研究。利用小麥的RGB圖獲取麥穗的顏色、形狀等特征，通過計(jì)算機(jī)視覺方法構(gòu)建小麥麥穗識別分類器，以實(shí)現(xiàn)對麥穗檢測和計(jì)數(shù)[2，3]。Fernandez-Gallego等[4]使用濾波和尋找最大值的方法來檢測田間小麥穗圖像中的麥穗數(shù)，其識別精度達(dá)到90%。Li等[5]在試驗(yàn)室的環(huán)境下提出使用特征參數(shù)，利用小麥穗圖像中穗頭的顏色和質(zhì)地等特征，結(jié)合神經(jīng)網(wǎng)絡(luò)來檢測麥穗，其檢測精度約為80%。李毅念等[6]通過特定裝置獲取田間麥穗群體圖像，利用基于凹點(diǎn)檢測匹配連線方法分割得到麥穗數(shù)量，其識別精度為91.6%。杜世偉等[7]使用拋物線方法將單個(gè)小麥中的所有穗部分開，獲得穗數(shù)，其識別精度為97.01%。范夢揚(yáng)等[8]在現(xiàn)有研究的基礎(chǔ)上，使用支持向量機(jī)學(xué)習(xí)方法準(zhǔn)確地提取麥穗的輪廓，同時(shí)構(gòu)建麥穗特征數(shù)據(jù)庫來對麥穗進(jìn)行計(jì)數(shù)，其平均識別精度達(dá)到93%。

近些年隨著人工智能的快速發(fā)展，深度學(xué)習(xí)成為當(dāng)前研究的熱點(diǎn)，其中，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域。在植物器官計(jì)數(shù)[9，10]、雜草識別[11，12]、植物識別及物種分類[13]等農(nóng)業(yè)領(lǐng)域均有廣泛的應(yīng)用。在小麥麥穗檢測方面，澳大利亞Hasan等采用R-CNN深度神經(jīng)網(wǎng)絡(luò)對采集到自然環(huán)境下的10類25000左右小麥麥穗的進(jìn)行訓(xùn)練，其模型平均識別精度達(dá)到93.4%;張領(lǐng)先等[14]利用卷積神經(jīng)網(wǎng)絡(luò)建立麥穗識別模型，通過依靠經(jīng)驗(yàn)設(shè)定固定滑窗尺寸，但檢測出的麥穗效果不佳。REZA M N[15]分別提出利用不同的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)對自然場景下的小麥麥穗計(jì)數(shù)的方法。高云鵬[16]采用Mask R-CNN算法實(shí)現(xiàn)自然場景下的小麥麥穗計(jì)數(shù)的方法，其準(zhǔn)確率分別達(dá)到87.12%和97%。

現(xiàn)有的研究成果大多以各自較少的試驗(yàn)數(shù)據(jù)為對象建立了麥穗檢測模型，由于對不同的栽培條件、品種沒有通用性，因此難以擴(kuò)大規(guī)模。本研究以全球麥穗檢測數(shù)據(jù)集（Global Wheat Head Detection，GWHD）為研究對象，結(jié)合自然環(huán)境下麥穗檢測的特點(diǎn)，針對傳統(tǒng)Faster R-CNN算法的不足，提出了改進(jìn)的Faster R-CNN麥穗檢測算法，將傳統(tǒng)Faster R-CNN中NMS算法替換為WBF算法，可有效地減少遮擋麥穗漏檢的情況，提高小麥麥穗的檢測精度。

2 Faster R-CNN目標(biāo)檢測

Faster R-CNN是一個(gè)端到端的深度學(xué)習(xí)目標(biāo)檢測算法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包括特征提取網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)和區(qū)域卷積神經(jīng)網(wǎng)絡(luò)。

2.1 特征提取網(wǎng)絡(luò)

本研究選取殘差結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)ResNet 101作為特征提取網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，如圖2所示為基于ResNet101[17]的Faster R-CNN。圖中ResNet101包括Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x， ResNet101的Conv4_x的輸出為RPN和感興趣區(qū)域池化層（Region of Interest，RoI Pooling）共享的部分，RoI Pooling輸出經(jīng)過Conv5_x得到2048維特征，分別用于分類和回歸。

2.3 區(qū)域建議網(wǎng)絡(luò)

Faster R-CNN 的區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network， RPN）模型如圖3所示[18]。RPN是一個(gè)全卷積網(wǎng)絡(luò)，用于從圖像中提取建議框。RPN將特征提取網(wǎng)絡(luò)所提取的卷積特征圖作為輸入，邊框分類層輸出2k個(gè)得分，輸出每個(gè)區(qū)域建議框是背景和前景（麥穗）的概率，邊界框回歸層輸出4k個(gè)變換參數(shù)，用于編碼k個(gè)區(qū)域建議框的位置參數(shù)。RPN通過判斷區(qū)域建議框的范圍，剔除嚴(yán)重超出邊界框的建議框，將剩下的建議框按照前景概率得分從高到低順序排列，保留得分最高的6000個(gè)建議框，最后采用非極大值抑制（NMS）方法篩選出更加精確的建議框送入ROI Pooling。

RPN總的損失函數(shù)為：

其中，{pi}為前景背景分類層的輸出，{ti}為邊界框回歸層的輸出。i為一個(gè)mini-batch中選邊界框的索引，pi表示邊界框i為目標(biāo)的預(yù)測概率，pi*表示真實(shí)區(qū)域標(biāo)簽的預(yù)測值，ti表示預(yù)測邊框的4個(gè)參數(shù)，ti*表示對應(yīng)真實(shí)區(qū)域邊框的4個(gè)參數(shù)。

分類損失Lcls是前景背景的對數(shù)損失函數(shù)：

Lcls（pi，pi*）=-log[pi*pi+（1-pi*）（1-pi）] ?（2）

回歸損失Lreg為：

Lreg（ti，ti*）=smoothL1（ti-ti*） ?（3）

其中smoothL1為魯棒L1損失函數(shù)，公式如下

smoothL1（x）=0.5x2，|x|<1|x|-0.5，other ?（4）

2.3 非極大值抑制（NMS）算法

NMS在計(jì)算機(jī)視覺中具有廣泛的應(yīng)用[19]，如邊緣檢測、目標(biāo)檢測等。Faster R-CNN采用非極大值抑制（NMS）消除重疊度高檢測框，NMS通過尋找置信度得分最高的檢測框，并計(jì)算其余檢測框與得分最高的檢測框的重疊度;通過抑制重疊度大于設(shè)定閾值的檢測框，最終保留最佳的候選框。NMS具體過程如下。

假設(shè)RPN產(chǎn)生所有的候選框集合B={b1，b2，…，bN}，終檢測結(jié)果為D，經(jīng)過分類器網(wǎng)絡(luò)分類識別后，每一個(gè)候選框都會(huì)得到一個(gè)置信度，按照置信度從高到低對候選框進(jìn)行排序，假設(shè)S={s1，s2，…，sN}為候選框B所對應(yīng)的置信度列表，選擇置信度最高分的檢測框M，將M從B集合中移除，加入最終的檢測結(jié)果D中。然后遍歷B中剩余的候選框，判斷B中剩余的檢測框與M的重疊度IoU（Intersection over Union，IoU），IoU為兩個(gè)區(qū)域相交部分與兩個(gè)區(qū)域的相并部分的比值，判斷IoU是否大于某個(gè)設(shè)定的閾值t，按照公式（5）函數(shù)計(jì)算，該函數(shù)衰減與最高置信度檢測框M有重疊的相鄰檢測框分?jǐn)?shù)，與檢測框M高度重疊的檢測框，其得分衰減越嚴(yán)重，將大于閾值t的候選框從B中剔除，從中再次選擇置信度最高的候選框加入檢測結(jié)果D中，重復(fù)該過程直至B集合為空，此時(shí)檢測結(jié)果D中即為最終保留的候選框。

si=si，iou（M，bi）

其中si=sie，即將當(dāng)前檢測框置信度si乘以一個(gè)高斯權(quán)重函數(shù)，M為置信度最高的檢測框，t為IoU閾值。

2.4 soft-NMS算法

文獻(xiàn)[20]對NMS進(jìn)行了優(yōu)化，提出了soft-NMS算法，soft-NMS不是完全刪除具有高重疊度和高置信度的檢測框，而是根據(jù)IoU重疊按比例降低置信分?jǐn)?shù)，按照公式（6）的函數(shù)降低其置信度，使更多的檢測框被保留下來，從而將重疊的物體被更大程度檢測出來。

si=si， ? ? ?iou（M，bi）

其中si=sie，M為置信度最高的檢測框，t為IoU閾值。

3 改進(jìn)Faster R-CNN

Faster R-CNN的區(qū)域建議網(wǎng)絡(luò)生成大量的檢測框并且重疊度非常高，本研究對原始FasterR-CNN的區(qū)域建議網(wǎng)絡(luò)進(jìn)行優(yōu)化，采用WBF算法代替原有的NMS算法，與簡單地刪除部分預(yù)測框的NMS和soft-NMS方法不同，WBF算法使用所有預(yù)測邊界框的置信度得分來構(gòu)造平均框，將所有的檢測框進(jìn)行加權(quán)融合。具體過程如下：

設(shè)有N個(gè)不同模型對同一圖像邊界框預(yù)測，

（1）將每個(gè)模型的每個(gè)預(yù)測框按照置信度得分 從高到低添加到列表W中。

（2）建立兩個(gè)空列表L和F，列表L中的每個(gè)位置包含一組檢測框（或單個(gè)檢測框），這些檢測框形成一個(gè)簇，列表F中的每個(gè)位置僅包含一個(gè)檢測框，該檢測框?yàn)榱斜鞮中相應(yīng)簇的融合框。

（3）循環(huán)遍歷列表W中的檢測框，在列表Y中尋找與檢測框重疊度IoU>thr匹配的檢測框。

（4）如果找不到匹配檢測框，則將列表W中當(dāng)前的檢測框添加到列表L和F的末尾作為新條目，然后轉(zhuǎn)到列表W中的下一個(gè)檢測框;如果找到匹配檢測框，則將此檢測框加入列表L中，加入的位置是該檢測框在列表F匹配框相對應(yīng)的位置index。

（5）根據(jù)列表L[index]中添加的所有T個(gè)檢測框，更新L[index]中的置信度得分和檢測框坐標(biāo)，將融合框的置信度設(shè)置為形成它的所有框的平均置信度，融合框的坐標(biāo)是構(gòu)成它的框的坐標(biāo)的加權(quán)總和，其中權(quán)重是相應(yīng)框的置信度得分，計(jì)算公式如公式（7）—公式（9）。

其中，C為融合框的置信度，Ci為列表L[index]中每個(gè)檢測框的置信度，X1、X2、Y1、Y2為更新后L[index]中融合框的坐標(biāo)。因此，具有較高置信度的框比具有較低置信度的框?qū)θ诤峡蜃鴺?biāo)的貢獻(xiàn)更大。

遍歷完成W中的所有檢測框之后，對列表F中的置信度得分再進(jìn)行一次調(diào)整，調(diào)整方法通過公式（10）方式完成，減少某些檢測框只被少數(shù)模型預(yù)測到的置信值。

4 試驗(yàn)結(jié)果與分析

4.1 試驗(yàn)數(shù)據(jù)集與試驗(yàn)環(huán)境

試驗(yàn)數(shù)據(jù)集采用全球麥穗檢測數(shù)據(jù)集（Global Wheat Head Detection， GWHD），該數(shù)據(jù)集包含4698張帶有標(biāo)簽的小麥麥穗圖像，每張圖像含有20-60個(gè)麥穗，共包含188445個(gè)標(biāo)記過的麥穗頭。其中來自歐洲和北美的3422張圖像作為訓(xùn)練數(shù)據(jù)，驗(yàn)證數(shù)據(jù)來自中國、澳大利亞和日本的1276張圖像，數(shù)據(jù)集圖像尺寸為1024×1024像素。

本次試驗(yàn)操作平臺為臺式計(jì)算機(jī)，運(yùn)行環(huán)境為Ubuntu 18.04，處理器為Intel Corei9-9900K，主屏為4.4GHZ，16G運(yùn)行內(nèi)存，顯卡為NVIDIA GeForceGTX2080TI，運(yùn)行顯存為11G，搭建Pytorch深度學(xué)習(xí)框架，實(shí)現(xiàn)小麥麥穗目標(biāo)識別網(wǎng)絡(luò)模型的訓(xùn)練與測試。

4.2 試驗(yàn)結(jié)果分析

為了評價(jià)模型對麥穗檢測的效果，評價(jià)指標(biāo)選用在全球麥穗檢測數(shù)據(jù)集上的平均精度均值（mean Average Precision，mAP）評估模型，通過公式（11）、公式（12）計(jì)算出每個(gè)IoU閾值處的精度值的平均值來獲得單個(gè)圖像的平均精度，最終獲取測試數(shù)據(jù)集中所有圖像的平均精度均值，如公式（13）所示。

其中，t為閾值，N為測試數(shù)據(jù)集圖像的個(gè)數(shù)，APj表示第j張圖像的平均精度，TP（True Positives）：正樣本被正確識別為正樣本，F(xiàn)P（False Positives）：負(fù)樣本被錯(cuò)誤識別為正樣本，F(xiàn)N（False Negatives）：正樣本被錯(cuò)誤識別為負(fù)樣本;本試驗(yàn)中TP表示正確檢測出麥穗;FP表示被誤檢的麥穗或者對同一麥穗進(jìn)行多重檢測，F(xiàn)N表示沒有被檢測出來的麥穗或者在同一目標(biāo)框內(nèi)模型檢測出多個(gè)麥穗。

試驗(yàn)采用殘差結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)ResNet101作為特征提取網(wǎng)絡(luò)，利用COCO數(shù)據(jù)集的預(yù)訓(xùn)練模型進(jìn)行初始化參數(shù)，設(shè)置輸入圖像大小設(shè)置為512×512像素，訓(xùn)練模型的優(yōu)化器選擇隨機(jī)梯度下降（SGD）算法，學(xué)習(xí)率lr設(shè)置為0.00349，動(dòng)量因子momentum設(shè)置為0.9，權(quán)值衰減weight_decay設(shè)置為0.0004，batch_size=16。在全球麥穗檢測數(shù)據(jù)集的測試數(shù)據(jù)集上分別采用NMS、soft-NMS和WBF算法進(jìn)行試驗(yàn)預(yù)測，針對不同的交并比閾值計(jì)算出平均精度均值。試驗(yàn)分別選取IoU閾值范圍從0.5到0.75，步長為0.05和IoU閾值為0.5的平均精度均值，測試結(jié)果如表1所示。

由表1可知，采用soft-NMS模型比原始NMS模型的平均精度均值mAP0.5：0.75、mAP0.5分別提高了3.87%和2.02%;采用WBF改進(jìn)后模型的平均精度均值mAP0.5：0.75、mAP0.5由原始的68.46%、88.41%提升到74.21%和92.15%，提升幅度分別達(dá)到5.75%和3.74%，提升效果顯著。改進(jìn)前后的小麥麥穗檢測結(jié)果對比圖如圖4所示，其中圖4（I）中a、b、c為傳統(tǒng)Faster R-CNN模型檢測結(jié)果，圖5（II）中d、e、f為WBF改進(jìn)后模型檢測結(jié)果?？梢钥闯觯瑐鹘y(tǒng)Faster R-CNN對于重疊或遮擋的麥穗存在很多漏檢的現(xiàn)象，而改進(jìn)后的Faster R-CNN檢測效果改善明顯。

5 結(jié)束語

本研究以全球麥穗檢測數(shù)據(jù)集（Global Wheat Head Detection，GWHD）為研究對象，研究了基于改進(jìn)Faster R-CNN深度神經(jīng)網(wǎng)絡(luò)小麥麥穗檢測方法，以實(shí)現(xiàn)自動(dòng)麥穗計(jì)數(shù)的目的。通過對三種網(wǎng)絡(luò)檢測效果對比分析，發(fā)現(xiàn)采用加權(quán)框融合框改進(jìn)后的Faster R-CNN模型在全球麥穗檢測數(shù)據(jù)集上的模型性能最佳，在測試數(shù)據(jù)集上模型mAP0.5：0.75、mAP0.5分別達(dá)到74.21%和92.15%，與NMS模型、soft-NMS模型相比，麥穗檢測效果提升顯著，減少了遮擋麥穗漏檢的情況，提高了小麥麥穗的檢測精度，為小麥產(chǎn)量的精準(zhǔn)估計(jì)奠定基礎(chǔ)。

參考文獻(xiàn)：

〔1〕李向東，呂風(fēng)榮，張德奇，等.小麥田間測產(chǎn)和實(shí)際產(chǎn)量轉(zhuǎn)換系數(shù)實(shí)證研究[J].麥類作物學(xué)報(bào)，2016， 36（01）：69-76.

〔2〕趙鋒，王克儉，苑迎春.基于顏色特征和AdaBoost算法的麥穗識別的研究[J].作物雜志，2014，30（01）：141-144.

〔3〕劉濤，孫成明，王力堅(jiān)，等.基于圖像處理技術(shù)的大田麥穗計(jì)數(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（02）：282-290.

〔4〕Fernandez-Gallego J A， Kefauver S C， Gutiérrez N A， et al. Wheat ear counting in-field conditions： High throughput and low-cost approach using RGB images[J]. Plant Methods， 2018， 14（01）： 1-12.

〔5〕Li Q Y， Cai J， Berger B， et al. Detecting spikes of wheat plants using neural networks with laws texture energy[J]. Plant Methods， 2017， 13（01）： 1-13.

〔6〕李毅念，杜世偉，姚敏，等.基于小麥群體圖像的田間麥穗計(jì)數(shù)及產(chǎn)量預(yù)測方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（21）：185-194.

〔7〕杜世偉，李毅念，姚敏，等.基于小麥穗部小穗圖像分割的籽粒計(jì)數(shù)方法[J].南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41（04）：742-751.

〔8〕范夢揚(yáng)，馬欽，劉峻明，等.基于機(jī)器視覺的大田環(huán)境小麥麥穗計(jì)數(shù)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015， 46（04）：234-239.

〔9〕周云成，許童羽，鄭偉，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識別方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（15）：219-226.

〔10〕高震宇，王安，劉勇，等.基于卷積神經(jīng)網(wǎng)絡(luò)的鮮茶葉智能分選系統(tǒng)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（07）：53-58.

〔11〕TANG J， WANG D， ZHANG Z， et al. Weed identification based on K-means feature learning combined with convolutional neural network[J]. Computers and Electronics in Agriculture，2017，135： 63-70.

〔12〕FERREIRA A D S， FREITAS D M， SILVA G G D， et al. Weed detection in soybean crops using ConvNets[J]. Computers and Electronics in Agriculture， 2017，143： 314-324.

〔13〕GHAZI M M， YANIKOGLU B， APTOULA E. Plant identification using deep neural networks via optimization of transfer learning parameter[J]. Neurocomputing， 2017， 235： 228 - 235.

〔14〕張領(lǐng)先，陳運(yùn)強(qiáng)，李云霞，等.基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測計(jì)數(shù)系統(tǒng)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（03）：144-150.

〔15〕REZA M N， NA I S，LEE K H. Automatic counting of rice plant numbers after transplanting using lowaltitude UAV images[J]. International Journal of Contents， 2017，13（03）：1-8.

〔16〕高云鵬.基于深度神經(jīng)網(wǎng)絡(luò)的大田小麥麥穗檢測方法研究[D].北京林業(yè)大學(xué)，2019.

〔17〕Kaiming He， X. Zhang， Shaoqing Ren. Deep Residual Learning for Image Recognition[C].// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.

〔18〕REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[C]//Inter？螄national Conference on Neural Information Processing Systems.Cambridge：MIT，2015：91- 99.

〔19〕HOSANG J， BENENSON R， SCHIELE B. Learning non-maximum suppression[C]∥ IEEE Conference on Computer Vision &Pattern Recognition， 2017： 6469-6477.

〔20〕N Bodla， B Singh， et al. Soft-NMS：Improving Object Detection With One Line of Code[C]，//2017 IEEE International Conference on Computer Vision （ICCV）.