基于改進Faster R-CNN與遷移學習的農(nóng)田雜草識別算法*

尚文卿，齊紅波

(石家莊工程職業(yè)學院信息工程系，石家莊市，050024)

0 引言

雜草根除是農(nóng)業(yè)生產(chǎn)過程中重要的業(yè)務之一，田間雜草作為病蟲害的棲息地，具有極強的生命力，通過不受控制的生長與農(nóng)作物競爭光、肥和水等資源，給農(nóng)作物的產(chǎn)量和質(zhì)量造成嚴重的影響[1]。據(jù)第三屆除草劑發(fā)展與推廣應用交流會指出，全世界一年因雜草危害導致減產(chǎn)的糧食損失達年產(chǎn)量的13%，約10億人一年的口糧[2]。傳統(tǒng)通過大面積的除草劑噴灑雖然可以較好地實現(xiàn)田間雜草的根除，但是該類雜草根除手段不僅帶來環(huán)境的污染和農(nóng)業(yè)成本的增加，同時對食品的安全也存在潛在的威脅。因此，如何利用綠色手段提高雜草的識別精度和識別效率，及時根除農(nóng)田雜草，對于保證農(nóng)作物產(chǎn)量和質(zhì)量具有重要的意義。

傳統(tǒng)目標檢測主要利用計算機視覺的各種技術提取待檢測圖像特征，并借助標準物與待檢測圖像的紋理、色彩和形狀等方面的差異性進行分類識別。如文獻[3]針對不同光照條件下雜草識別特征信息容易缺失的問題，提出了一種基于深度卷積神經(jīng)網(wǎng)絡的雜草識別方法，通過在卷積神經(jīng)網(wǎng)絡基礎上構(gòu)建Inception V3分類器，根據(jù)比對待檢測物體與標準對照物之間的差異性，給出識別結(jié)果。文獻[4]針對手工特征提取單一的問題，提出了一種空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡識別作物幼苗與雜草算法，該算法通過設置不同的膨脹系數(shù)來完成12種雜草的識別。該類雜草識別方法雖簡單直接，在農(nóng)田小目標雜草物種檢測中占據(jù)一定優(yōu)勢，但大多依賴手工提取特征，識別種類較少。

近年來，隨著深度學習和圖像數(shù)據(jù)增強技術在目標檢測中的廣泛應用，利用計算機視覺和圖像處理技術的結(jié)合已成為當前農(nóng)田雜草檢測和識別的主流方法。如文獻[5]提出了一種基于Faster R-CNN的棉花苗期雜草識別與定位方法，通過在不同田間場景下測試表明，模型具有一定的適應性。文獻[6]提出了一種改進VGG模型的雜草識別算法，通過利用深度可分離卷積代替標準卷積構(gòu)造識別算法，以減少參數(shù)運算量降低時間開銷，同時引入多通道注意力機制和多維度注意力機制的并行機制，提升模型的識別精度。該類方法雖能夠較好地適應當前多品種雜草的精準檢測，但模型檢測精度的提升需大量數(shù)據(jù)樣本的訓練，時間開銷較大，此外，對于小樣本新品種雜草識別精度不佳。因此，本文提出一種改進Faster R-CNN與遷移學習的農(nóng)田雜草識別算法，推進深度學習在農(nóng)業(yè)生產(chǎn)中的應用。

1 試驗數(shù)據(jù)采集與處理

1.1 圖像采集

本文主要以晴天、雨天和陰天等不同天氣不同時間段(05：00～09:00、13:00～16:00、18:00～21:00)下北方4月至7月的旱田農(nóng)作物中危害最高的多類雜草為識別對象，總共拍攝16 995張雜草圖片，詳細數(shù)據(jù)如表1所示。所采集圖像多為農(nóng)作物與雜草交叉生長圖片，均為未做任何處理的原始圖像，所采集的部分圖像如圖1所示。采集設備采用帶可旋轉(zhuǎn)固定支架的佳能EOS 850D單反數(shù)碼相機拍攝，圖像分辨率為3 968像素×2 976像素，格式為JPEG。

表1 不同環(huán)境和時間段下的樣本信息Tab. 1 Sample information in different environment and periods

(a) 看麥娘與農(nóng)作物交叉生長

(b) 菟絲子與農(nóng)作物交叉生長

1.2 數(shù)據(jù)增強

深度神經(jīng)網(wǎng)絡的高識別性能依賴于大量訓練樣本，通過手動獲取雜草圖像樣本數(shù)量有限，為了進一步擴充樣本集，強化雜草識別模型的泛化性能和魯棒性，提取更具有強分類能力的特征，采用旋轉(zhuǎn)、放縮、裁剪、濾鏡和亮度變換等方式進行圖像樣本擴充。經(jīng)過雜草圖像樣本擴充后，樣本由16 995張擴充至58 168張，并將其按照7∶3劃分為訓練集和驗證集，并采用標簽標注工具LabelImg進行標注。以看麥娘與農(nóng)作物交叉生長的圖片為例，展示擴充后的圖像，如圖2所示。

(a) 原始圖像 (b) 旋轉(zhuǎn)180°

(c) 部分裁剪 (d) 旋轉(zhuǎn)90°

(e) 亮度增強 (f) 濾鏡

2 改進Faster R-CNN雜草識別模型的遷移學習

2.1 Faster R-CNN模型結(jié)構(gòu)

圖3給出了Faster R-CNN的網(wǎng)絡結(jié)構(gòu)，主要包括共享卷積層模塊、區(qū)域建議網(wǎng)絡(Region Proposal Network，RPN)和Fast R-CNN檢測器。其中，共享卷積層模塊用于特征提取；RPN網(wǎng)絡通過借助錨(Anchor)識別可能包含對象的多種長寬比的感興趣區(qū)域(Region Of Interest，ROI)；Fast R-CNN檢測器包含ROI Pooling、Softmax分類器和邊界框回歸單元(Bbox Regression)[7-8]，通過對提取的感興趣區(qū)域進行分類并細化映射對象的邊界框。

圖3 Faster R-CNN模型結(jié)構(gòu)

即利用Faster R-CNN識別農(nóng)田中雜草的過程包含以下三個步驟：首先對輸入雜草圖像經(jīng)過共享卷積層提取目標特征圖，并作為RPN網(wǎng)絡和ROI的輸入；然后，將圖像特征和感興趣區(qū)域作為ROI池化層的輸入提取特征；最后利用Softmax分類器判斷特征圖是前景還是背景區(qū)，實現(xiàn)目標雜草的識別，同時利用邊界框回歸單元修正目標框，獲得目標物的精確定位。

2.2 自適應錨框的設計

Faster R-CNN利用區(qū)域建議網(wǎng)絡RPN實現(xiàn)端到端的訓練，當目標圖像送入至RPN后，由3×3的卷積核生成一個n維長的特征向量，并將其作為分類層和回歸層的輸入，通過不斷優(yōu)化錨點邊界框的中心坐標和尺寸，擬合目標候選框，本文利用文獻[9]中改進的雙閾值非極大抑制算法(Non-Maximum Suppression，NMS)查找置信度較高的邊界框，即首先在目標物候選框中遍歷得分最高的邊界框，并將其作為最終候選邊界框；然后，所有候選框與得分最高的邊界框進行交并運算，取雙閾值對應范圍內(nèi)的邊界框作為最終的候選框。雙閾值NMS算法確定邊界框流程如圖4所示。

圖4 雙閾值NMS算法

圖4中，Q={q1,q2,…,qn}表示目標物候選框集合，C={c1,c2,…,cn}表示候選框?qū)闹眯哦确謹?shù)，D表示最終邊界框集合，a1和a2表示雙閾值，S表示置信度分數(shù)最高的檢測框。

在區(qū)域建議生成之前，需首先確定圖像的最佳錨尺寸，區(qū)域建議網(wǎng)絡常以16像素的步幅評估目標圖像每個位置的無重復邊界框，其大小尺寸由目標物體的比例大小和縱橫比大小共同確定。由于農(nóng)田中雜草種類繁多、形態(tài)不一，為了更精確地識別出雜草目標物，本文利用文獻[10]和文獻[11]中的方法確定錨的最佳尺度為1∶1和1∶2。雖然網(wǎng)絡輸入圖像的大小為500像素×375像素，但網(wǎng)絡在最短時間內(nèi)通過自適應調(diào)節(jié)輸入圖像的最短側(cè)大小為400像素。因此，本文設定最短邊為400像素，錨框的設計如圖5所示。

圖5 自適應錨框空間結(jié)構(gòu)

2.3 雜草識別模型的遷移學習

分別選擇AlexNet、GoogleNet、VGG16和ResNet50等預訓練好的卷積神經(jīng)網(wǎng)絡作為區(qū)域建議網(wǎng)絡RPN進行遷移學習與訓練。在Faster R-CNN模型獲取輸入圖像的底層特征時，將預訓練好的模型參數(shù)遷移至農(nóng)田雜草識別任務中，使得模型在識別多樣本雜草物種的同時能夠適應小樣本新生雜草物種的識別精度，提升模型的泛化性能。雜草識別模型的遷移學習流程如圖6所示。

圖6 雜草識別模型的遷移學習流程

3 試驗與結(jié)果分析

3.1 試驗環(huán)境與訓練過程

試驗運行環(huán)境為內(nèi)存128 G的ubuntu18.04，顯卡顯存為32 G的NVIDIA Tesla T4 GPU；采用支持GPU加速的PyTorch深度學習框架，cuda環(huán)境為NVIDIA CUDA 11.3及cuDNN V8.2.1的深度學習加速庫。

利用識別準確率為評價指標，采用聯(lián)合參數(shù)調(diào)試方法確定本文雙閾值a1和a2，本文a1和a2分別取值0.30和0.85。雙閾值與精確率關系如表2所示。

表2 不同雙閾值的識別精確率對比Tab. 2 Comparison of identification precision of different double dual-threshold thresholds %

試驗中采用隨機梯度下降算法SGD(Stochastic Gradient Ddescent)對網(wǎng)絡進行訓練，初始化學習率為0.01，學習衰減率為0.001，迭代最大周期為3×104，模型訓練損失曲線如圖7所示。動量因子設置為0.9，此外，為解決模型過擬合問題，引入Dropout隨機刪除部分神經(jīng)元，本文Dropout取值0.5。

由圖7可知，本文改進的Faster R-CNN模型經(jīng)過訓練13 000次后損失值逐漸趨于平穩(wěn)，損失值低于0.04，收斂能力明顯較原始Faster R-CNN強，驗證了本文基于改進Faster R-CNN與遷移學習的農(nóng)田雜草識別算法的有效性。

圖7 Loss曲線

3.2 評價指標

采用精確率Precision、召回率Recall和F1-score為評價指標，具體計算如式(1)～式(3)所示。

(1)

(2)

(3)

式中：Tp——被正確識別的雜草樣本總數(shù)；

Fp——錯誤識別的雜草樣本總數(shù)；

Fn——未識別出的雜草樣本總數(shù)。

3.3 結(jié)果分析

1) 驗證改進Faster R-CNN的有效性。為驗證本文改進后的Faster R-CNN模型對農(nóng)田雜草識別的有效性，在相同的試驗平臺和測試數(shù)據(jù)集上進行驗證。對比結(jié)果表3所示。

由表3可知，通過更改錨點尺寸設計自適應錨框后，改進后的Faster R-CNN模型在精度、召回率和F1總體性能評價指標上分別提高了4.59%、3.76%和2.71%，但在識別時間開銷上增加了16.57 ms，究其原因是錨點對應的候選框數(shù)量增加使得運算量增加，此外自適應錨框設計中采用的雙閾值算法在候選框篩選中比單一閾值的NMS算法復雜，使得模型時間開銷有所增加，但增加不多，仍然可以滿足實際應用中對于實時性的需求。

2) 驗證復雜場景下模型對于雜草識別的有效性。圖8給出了本文模型對于部分晴天、雨天和陰天等多場景下不同時間段(05：00～09:00、13:00～16:00、18:00～21:00)單一物種的識別性能。圖9給出了本模型對于不同場景下雜草與農(nóng)作物交叉生長的識別結(jié)果。

從圖8識別結(jié)果可以看出，在晴天光照較好的條件下，模型可以取得較好的識別效果；在光照暗淡的陰雨天雖識別精度有所下降，但仍然可以達到平均93.6%以上的識別精度。從圖9可以看出，單一生長環(huán)境下，雜草識別精度平均高達96.01%；雜草與農(nóng)作物交叉生長環(huán)境下，雜草識別精度雖有所下降，但最低也可達到91.36%的識別精度。上述不同角度、不同場景和不同時間段下，本文模型都可以保持較高的識別精度，驗證了模型對于農(nóng)田雜草識別的有效性。

表3 識別結(jié)果對比Tab. 3 Identification and comparison results

3) 同類相關工作對比。為了進一步說明本文模型識別性能優(yōu)于當前主流的雜草識別模型，在相同的試驗平臺和測試數(shù)據(jù)集上分別構(gòu)造YOLOV3[12]、Inception V3[3]、ResNet50[13]、VGG16[6]、DCNN[14]和模型并進行對比試驗，不同模型識別結(jié)果如圖10和表4所示。

(a) 晴天(05:00～09:00) (b) 雨天(18:00～21:00) (c) 陰天(13:00～16:00)

(a) 晴天(05:00～09:00) (b) 雨天(18:00～21:00) (c) 陰天(13:00～16:00)

(a) YOLOV3 (b) Inception V3 (c) ResNet50

(c) VGG16 (d) DCNN (e) Improved Fasted R-CNN

表4 不同方法結(jié)果對比Tab. 4 Comparison results of different methods

由表4和圖10中可知，本文改進的Faster R-CNN模型優(yōu)勢顯然，主要通過采用雙閾值設計自適應錨框，增加候選框數(shù)量，提高識別精度。此外，候選框的增多對于該類雜草與農(nóng)作物交叉生長場景下的目標識別具有積極作用。

4 結(jié)論

1) 針對農(nóng)田中雜草識別精度低和識別范圍局限的問題，提出了一種改進Faster R-CNN的農(nóng)田雜草識別算法。通過設計自適應錨框增加候選框的數(shù)量來提高檢測精度；此外，遷移訓練好的AlexNet、GoogleNet、VGG16和ResNet50等模型參數(shù)至本文雜草識別模型的區(qū)域建議網(wǎng)絡中，并在通過旋轉(zhuǎn)、濾鏡、放縮和裁剪等方式擴充的數(shù)據(jù)集上進行訓練與測試驗證，通過與當前主流雜草識別模型進行對比試驗，驗證了本文模型對于農(nóng)田雜草識別的高效性。

2) 改進后的Faster R-CNN模型在精度、召回率和F1總體性能評價指標上相比原始Faster R-CNN模型分別提高了4.59%、3.76%和2.71%。在農(nóng)田荒地治理、雜草根除和農(nóng)業(yè)機械化管理等任務中具有較高的應用價值。

3) 改進后的Faster R-CNN模型平均處理時間為312.88 ms，速度滿足實際應用需求，在接下來的研究中可進一步優(yōu)化模型，降低訓練時間開銷。