改進(jìn)Retina-Net的草坪雜草目標(biāo)檢測(cè)*

宋建熙，李興科，于哲，李西兵

(福建農(nóng)林大學(xué)機(jī)電工程學(xué)院，福州市，350002)

0 引言

伴隨著我國城市化進(jìn)程的加速，綠地草坪對(duì)景觀和生態(tài)環(huán)境的作用貢獻(xiàn)，得到了廣大市民朋友的認(rèn)可，但是草坪雜草的肆意生長嚴(yán)重破壞草坪整齊美觀的外貌?，F(xiàn)階段除雜草方法主要為人工持械除草和化學(xué)除草。在人工除草中，人力成本日益攀升，除草支出逐漸加高，同時(shí)在搜尋雜草過程中，人為踐踏會(huì)對(duì)草坪造成二次損傷?；瘜W(xué)除草成本較低，但化學(xué)藥劑存在土壤污染，破壞生態(tài)環(huán)境的風(fēng)險(xiǎn)[1]。因此區(qū)分草坪雜草與觀賞草種，有助于定位雜草生長位置，指引除草工人快速到達(dá)雜草生長區(qū)域進(jìn)行除草，并根據(jù)不同雜草的生物學(xué)特性，噴灑對(duì)應(yīng)除草劑[2]。

在計(jì)算機(jī)視覺的分支學(xué)科深度學(xué)習(xí)中，已有多種神經(jīng)網(wǎng)絡(luò)框架用于檢測(cè)田間雜草目標(biāo)。樊湘鵬等[3]將Faster R-CNN目標(biāo)檢測(cè)模型與VGG16特征提取結(jié)構(gòu)[4]、Dropout優(yōu)化算法相結(jié)合，針對(duì)單一雜草識(shí)別精度達(dá)86.67%。但美中不足的是,Dropout算法雖避免模型過擬合，但自身篩選機(jī)制易導(dǎo)致關(guān)鍵特征遺失，損失識(shí)別精確度。

逯杉婷[5]在FasterR-CNN模型的池化層上增加GAN噪聲層。此舉優(yōu)化數(shù)據(jù)特征，增強(qiáng)網(wǎng)絡(luò)魯棒性。但其優(yōu)化模型存在部分小目標(biāo)雜草漏檢的局限性。

權(quán)龍澤等[6]在Mask R-CNN模型中，用Soft-NMS算法替代非極大值抑制法，并將RoI Pooling替換為RoIAlign算法。使改進(jìn)后的模型擁有出色的魯棒性，完成雜草分割、識(shí)別葉齡等任務(wù)。但該模型較為復(fù)雜，易因過擬合造成雜草部分重要特征被忽略、權(quán)重配置為零等問題。

Retina-Net模型作為一階目標(biāo)檢測(cè)算法，目標(biāo)檢測(cè)的精確度首次超越同時(shí)代的二階目標(biāo)檢測(cè)算法。在COCO數(shù)據(jù)集上的平均查準(zhǔn)率為39.1%,遠(yuǎn)高于同時(shí)期其他一階目標(biāo)檢測(cè)網(wǎng)絡(luò)，小幅度領(lǐng)先二階目標(biāo)檢測(cè)網(wǎng)絡(luò)[7]。Retina-Net模型自提出后便應(yīng)用于眾多領(lǐng)域，網(wǎng)絡(luò)兼容性強(qiáng)，并具備種類齊全的遷移學(xué)習(xí)數(shù)據(jù)庫，權(quán)重參數(shù)模型的可選擇性高?；谝陨咸匦?，此次研究選擇對(duì)Retina-Net模型進(jìn)行相應(yīng)改進(jìn)，致力于提高特定草坪雜草目標(biāo)的檢測(cè)精度。

本次研究擬解決兩個(gè)難點(diǎn)，首先是雜草多與觀賞草種混合生長，部分觀賞草種會(huì)被模型誤認(rèn)為目標(biāo)雜草，最終影響網(wǎng)絡(luò)模型對(duì)目標(biāo)雜草的檢測(cè)精度。其次草坪雜草生長大小不一，部分雜草遮掩生長，傳統(tǒng)網(wǎng)絡(luò)模型存在小目標(biāo)雜草漏檢、遮掩雜草漏檢的問題將影響雜草種類識(shí)別的準(zhǔn)確性。

為提高模型的雜草檢測(cè)精度，擬從兩方面著手改良：首先是對(duì)雜草圖像數(shù)據(jù)進(jìn)行預(yù)處理，因?yàn)殡s草與觀賞草種連結(jié)生長，因此采集的雜草圖像中存在大量觀賞草種，通過圖像預(yù)處理，濾除觀賞草種，保留目標(biāo)雜草。其次是改進(jìn)Retina-Net基線模型，通過堆疊和共享空洞卷積的方式，增設(shè)多尺度感受野，提升模型對(duì)不同尺度目標(biāo)的檢測(cè)能力；通過改進(jìn)池化層防止模型過擬合，在保留最大池化層優(yōu)點(diǎn)的基礎(chǔ)上，增設(shè)軟池化層，實(shí)現(xiàn)局部空間的不變性。

1 試驗(yàn)數(shù)據(jù)

1.1 數(shù)據(jù)集采集

本次試驗(yàn)圖像采集時(shí)間為2021年4—6月。地點(diǎn)在福建農(nóng)林大學(xué)試驗(yàn)田，中華園以及春暉橋附近的觀賞草坪。收集了積雪草，酢漿草，犁頭草，阿拉伯婆婆納，含羞草，紫爵床草等六種常見雜草的原始圖像。部分圖像樣本如圖1所示。此次試驗(yàn)采集積雪草236幅，紫爵床草220幅，犁頭草218幅，阿拉伯婆婆納232幅，含羞草220幅，酢漿草200幅，總計(jì)1 326幅。

(a) 積雪草 (b) 犁頭草 (c) 阿拉伯婆婆納

(d) 紫爵床草 (e) 含羞草 (f) 酢漿草

1.2 數(shù)據(jù)集預(yù)處理

由于此次研究對(duì)象是自然環(huán)境下的草坪雜草，因而雜草圖像易受光照強(qiáng)度和大氣濕度影響，同時(shí)考慮到雜草多與景觀草連結(jié)生長，景觀草與目標(biāo)雜草差異較小等因素，因此采用圖像預(yù)處理目的是分離雜草目標(biāo)。本次預(yù)處理軟件使用OpenCV。預(yù)處理流程圖如圖2所示。

圖2 雜草圖像預(yù)處理流程圖

第一步，將原始雜草樣本圖像按照9∶1的比例，隨機(jī)分為訓(xùn)練集圖像和測(cè)試集圖像。訓(xùn)練集用于算法迭代學(xué)習(xí)，從而幫助算法確定雜草識(shí)別時(shí)的權(quán)重與偏置數(shù)值。測(cè)試集用于檢測(cè)算法的識(shí)別成功率。部分訓(xùn)練集圖像如圖3(a)所示。

第二步，將彩色圖像轉(zhuǎn)換為灰度圖像。使用高斯濾波濾除相機(jī)長時(shí)間使用而產(chǎn)生的高斯噪聲[8]。運(yùn)用Canny()函數(shù)的雙閾值法檢測(cè)目標(biāo)圖像的輪廓邊界，不同的圖像根據(jù)自身特點(diǎn)設(shè)置不同閾值，劃分強(qiáng)弱邊緣[9]。成果如圖3(b)所示。

第三步，對(duì)上一步獲得的邊緣二值圖像進(jìn)行形態(tài)學(xué)開運(yùn)算與閉運(yùn)算處理，消除背景中觀賞草種細(xì)小輪廓，消除目標(biāo)雜草葉片輪廓間的縫隙，讓野草輪廓更加簡潔明了。成果如圖3(c)所示。

第四步，獲取圖像中不同連通域的位置與面積信息。保留雜草所在位置的連通域，同時(shí)消除景觀草中面積較小的連通域[10]。成果如圖3(d)所示。

第五步，應(yīng)用圖像掩膜技術(shù)以及邏輯運(yùn)算和運(yùn)算，在RGB彩色圖像中，分割出目標(biāo)野草的圖像數(shù)據(jù)信息。成果如圖3(e)所示。

第六步，對(duì)圖像進(jìn)行邊緣平整化處理，濾除多余背景信息，保留關(guān)鍵目標(biāo)信息。部分野草圖像處理結(jié)果如圖3(f)所示。

出于避免因訓(xùn)練集數(shù)量不足而產(chǎn)生過擬合現(xiàn)象和提高圖像利用率的目的。此次研究對(duì)所收集的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理。通過旋轉(zhuǎn)、翻轉(zhuǎn)、添加噪聲等方法，擴(kuò)充數(shù)據(jù)集數(shù)量，提高野草識(shí)別模型的穩(wěn)定性與準(zhǔn)確性，如圖4所示。

(a) 原始野草圖像 (b) 邊緣檢測(cè)圖像 (c) 形態(tài)學(xué)處理后的圖像

(d) 去除部分連通域后圖像 (e) 分割后的目標(biāo)圖像 (f) 最終目標(biāo)圖像

(a) 原始圖像 (b) 順時(shí)針旋轉(zhuǎn)90°

(c) 上下翻轉(zhuǎn) (d) 椒鹽噪聲

2 基于Retina-Net模型的草坪雜草識(shí)別

2.1 Retina-Net模型

Retina-Net的結(jié)構(gòu)原理模型如圖5所示。其中A是以深度殘差網(wǎng)絡(luò)(Residual Network, Res-Net)為基礎(chǔ)構(gòu)建的殘差神經(jīng)模塊，目的是提取樣本圖像的低緯度特征；B為特征金字塔模塊(Feature Pyramid Network, FPN)，將A中提取的低緯度特征進(jìn)行數(shù)據(jù)融合，便于更好的表達(dá)目標(biāo)圖像信息；C為卷積預(yù)測(cè)模塊，依照B中的目標(biāo)圖像信息，對(duì)待檢測(cè)的圖像進(jìn)行目標(biāo)定位和目標(biāo)分類。

圖5 Retina-Net簡化模型原理圖

2.2 改進(jìn)多尺度特征融合模塊

伴隨著網(wǎng)絡(luò)層數(shù)的不斷加深，下采樣倍率的穩(wěn)步增長，以及網(wǎng)絡(luò)感受野范圍逐漸擴(kuò)大，網(wǎng)絡(luò)擁有更強(qiáng)大的語義表征能力，能更好地處理與保存大尺度目標(biāo)自身的語義信息。但是由于特征圖像分辨率的降低，導(dǎo)致小尺度目標(biāo)在下采樣倍率較高的特征圖中有效信息銳減，降低了網(wǎng)絡(luò)對(duì)小尺度目標(biāo)的檢測(cè)能力，產(chǎn)生了目標(biāo)檢測(cè)的多尺度問題。

為解決此問題，在三叉戟網(wǎng)絡(luò)(Trident Net)[11]模型中，使用膨脹率分別為1，2，3空洞卷積(Dilated Convolution)[12]，采用并行分支的網(wǎng)絡(luò)結(jié)構(gòu)組成了三叉戟塊(Trident Block)，替換原有網(wǎng)絡(luò)中的常規(guī)卷積，同時(shí)生成多種可供選擇的感受野。本次試驗(yàn)在原有的三叉戟塊上加以改進(jìn)，構(gòu)造四個(gè)并行的分支結(jié)構(gòu)，卷積核使用膨脹率分別為1，2，4，6的3×3空洞卷積。并行網(wǎng)絡(luò)模塊結(jié)構(gòu)如圖6所示。

圖6 并行網(wǎng)絡(luò)模塊結(jié)構(gòu)圖

為簡化網(wǎng)絡(luò)模塊結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)量，提升模塊的泛用能力。兩個(gè)膨脹率為2的3×3空洞卷積所生成的感受野，可以覆蓋一個(gè)膨脹率為4的3×3空洞卷積所生成的感受野；三個(gè)膨脹率為2的3×3空洞卷積所生成的感受野，可以覆蓋一個(gè)膨脹率為6的3×3空洞卷積所生成的感受野。此方法減少了模塊中卷積核的種類，使感受野中更多的像素值，參與到卷積計(jì)算中，增強(qiáng)了淺層網(wǎng)絡(luò)對(duì)幾何細(xì)節(jié)信息的表征能力，也提高了深層網(wǎng)絡(luò)的語義信息表征能力。改進(jìn)后的模塊結(jié)構(gòu)圖如圖7所示。

圖7 改進(jìn)的并行網(wǎng)絡(luò)模塊結(jié)構(gòu)圖

2.3 改進(jìn)池化層

卷積神經(jīng)網(wǎng)絡(luò)通過架設(shè)池化層縮減特征圖尺寸。此步驟對(duì)于實(shí)現(xiàn)局部空間不變性意義重大，因此，池化操作應(yīng)在減輕計(jì)算量的同時(shí)保留主體特征，防止模型過擬合，降低特征的冗余度；保持變換不變形，保持旋轉(zhuǎn)、平移以及尺度不變性。

Retina-Net使用最大池化層，即輸出特定區(qū)域中的最大激活值。最大池化計(jì)算量少，但舍棄非極大激活又造成圖像中多數(shù)信息的遺失，降低網(wǎng)絡(luò)整體性能。因此，為減少池化操作中的特征信息損失，在模型中引用軟池化(Soft Pooling)[13]操作。其相應(yīng)的計(jì)算公式

(1)

式中：R——池化區(qū)域；

i，j——池化區(qū)域的激活個(gè)數(shù)；

ai——區(qū)域R內(nèi)的各個(gè)激活值。

多次試驗(yàn)后發(fā)現(xiàn)，由于軟池化需對(duì)區(qū)域R內(nèi)所有特征數(shù)值進(jìn)行自然對(duì)數(shù)計(jì)算，相較于最大池化僅保留最大特征數(shù)值的做法，計(jì)算量較大，較為耗時(shí)；當(dāng)區(qū)域中存在某一激活明顯大于其他激活時(shí)，軟池化所得結(jié)果與最大池化結(jié)果近乎一致。

有鑒于此，對(duì)池化算法做出改進(jìn)，在池化層中引入超參數(shù)m，當(dāng)區(qū)域R最大激活Pmax與區(qū)域內(nèi)第二大激活Psec_lar的差值超過m時(shí)，選用最大池化層進(jìn)行池化；反之則使用軟池化層進(jìn)行池化。具體公式如式(2)所示。

(2)

在Retina-Net基線模型的基礎(chǔ)上，增加改進(jìn)的軟池化模塊和基于空洞卷積堆疊的多尺度感受野模塊，最終的模型原理圖如圖8所示。

3 結(jié)果與分析

3.1 試驗(yàn)評(píng)價(jià)指標(biāo)

本次試驗(yàn)使用PASCAL VOC數(shù)據(jù)集對(duì)網(wǎng)絡(luò)檢測(cè)精度與泛用性進(jìn)行測(cè)試，PASCAL VOC數(shù)據(jù)集是世界級(jí)計(jì)算機(jī)視覺挑戰(zhàn)賽的專用數(shù)據(jù)集，該數(shù)據(jù)集常用于驗(yàn)證算法的目標(biāo)檢測(cè)能力。本次試驗(yàn)以平均精度均值(mean Average Precision,mAP)[14]為網(wǎng)絡(luò)精度的評(píng)估標(biāo)準(zhǔn)，mAP是用于衡量神經(jīng)網(wǎng)絡(luò)模型檢測(cè)精度的公用指標(biāo)。

3.2 基于PASCAL VOC的對(duì)比試驗(yàn)

本次試驗(yàn)采用Nadam作為優(yōu)化器，Nadam近似于帶有Nesterov動(dòng)量項(xiàng)[15]的Adam[16]，對(duì)學(xué)習(xí)率有更強(qiáng)的約束。輸入圖像的尺寸設(shè)置為600×600。先驗(yàn)框設(shè)置為[32, 64, 128, 256, 512]。

訓(xùn)練過程分為凍結(jié)階段和解凍階段。在凍結(jié)階段，將模型主干ResNet50凍結(jié)，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，特征提取網(wǎng)絡(luò)的參數(shù)不變。此階段占用顯存較小，因此單批次訓(xùn)練樣本數(shù)(batch_size)設(shè)置為8個(gè)，迭代次數(shù)(epoch)為50次。由于訓(xùn)練參數(shù)較少，所以將學(xué)習(xí)率(learning rate)設(shè)置為0.000 1。在解凍階段，模型主干部分解凍參與訓(xùn)練，特征提取網(wǎng)絡(luò)發(fā)生變化。此階段占用顯存較大，因此將單批次訓(xùn)練樣本數(shù)定為4個(gè)，迭代次數(shù)為50次。由于解凍階段所有參數(shù)均參與訓(xùn)練，所以將學(xué)習(xí)率調(diào)小，設(shè)置為0.000 01。

圖8 改進(jìn)的Retina-Net模型原理圖

表1展示了此次試驗(yàn)所提出的神經(jīng)網(wǎng)絡(luò)與其他主流神經(jīng)網(wǎng)絡(luò)的平均精度均值。Retina-Net基線模型在融合多尺度感受野以及增設(shè)軟池化層后，平均精度均值提升1.8%，相比SSD，DSSD，YOLOv3，F(xiàn)COS等主流神經(jīng)網(wǎng)絡(luò)，分別高出6.4%，6.1%，4.5%，3.2%。

圖9展示了Retina-Net改進(jìn)模型與Retina-Net基線模型在PASCAL VOC各個(gè)類別上的平均精確度(Average Precision,AP)[17]對(duì)比。改進(jìn)模型面對(duì)20個(gè)不同類別的目標(biāo)檢測(cè)任務(wù)，在16個(gè)類別中提升了基線模型的平均精確度。因此改進(jìn)的Retina-Net模型具有較好的泛用性。

表1 不同神經(jīng)網(wǎng)絡(luò)在PASCAL VOC中的檢測(cè)結(jié)果對(duì)比Tab. 1 Comparison of detection results of different neural networks in PASCAL VOC

圖9 改進(jìn)的Retina-Net與Retina-Net基線模型在PASCAL VOC各個(gè)類別上的平均精確度對(duì)比

3.3 基于PASCAL VOC的消融試驗(yàn)

在Retina-Net的基線模型中分別單獨(dú)加入改進(jìn)的多尺度感受野融合模塊，改進(jìn)的軟池層模塊，對(duì)比PASCAL VOC數(shù)據(jù)集上目標(biāo)檢測(cè)的平均精度均值。結(jié)果如表2所示。

表2 PASCAL VOC上的消融試驗(yàn)Tab. 2 Ablation experiments on PASCAL VOC

在Retina-Net的基線模型中分別單獨(dú)加入改進(jìn)的多尺度感受野融合模塊，改進(jìn)的軟池層模塊后，平均精度均值較原有模型分別提高1.3%，0.9%。證明本試驗(yàn)所提出的兩項(xiàng)網(wǎng)絡(luò)改動(dòng)方案，均對(duì)網(wǎng)絡(luò)識(shí)別精度有增益作用。

3.4 基于自制雜草數(shù)據(jù)集的對(duì)比試驗(yàn)

本次試驗(yàn)為訓(xùn)練Retina-Net改進(jìn)模型對(duì)特定種類雜草的檢測(cè)能力，自制雜草數(shù)據(jù)集。共收集六類雜草原始圖像1 326幅。通過數(shù)據(jù)增強(qiáng)將數(shù)據(jù)集擴(kuò)容為7 956 幅圖像。將所有圖像依據(jù)訓(xùn)練集∶驗(yàn)證集∶測(cè)試集為8∶1∶1的比例進(jìn)行隨機(jī)劃分。最終生成6 366 幅訓(xùn)練集圖像，795幅測(cè)試集圖像，795幅驗(yàn)證集圖像。使用Labelimg軟件添加標(biāo)簽，Labelimg標(biāo)注雜草的工作界面如圖10所示。各類雜草標(biāo)注名稱分別為hanxiu(含羞草)，zijuechuan(紫爵床草)，litou(犁頭草)，zuojian(酢漿草)，popona(婆婆納)，jixue(積雪草)。

圖10 框選檢測(cè)目標(biāo)設(shè)置圖像標(biāo)簽

將自制的雜草數(shù)據(jù)集投入Retina-Net改進(jìn)模型中訓(xùn)練，沿用PASCAL VOC對(duì)比試驗(yàn)時(shí)的模型訓(xùn)練參數(shù)，但為增強(qiáng)小目標(biāo)雜草檢測(cè)能力，將模型淺層的先驗(yàn)框大小調(diào)整為[16, 32, 128, 256, 512]。雜草訓(xùn)練集與驗(yàn)證集的損失函數(shù)如圖11、圖12所示。

圖11 改進(jìn)的Retina-Net模型中

圖12 改進(jìn)的Retina-Net模型中六種雜草驗(yàn)證集的損失函數(shù)

在圖11中，經(jīng)過約50次迭代訓(xùn)練后，雜草訓(xùn)練集損失函數(shù)趨于穩(wěn)定，因此改進(jìn)模型具有較好的魯棒性。在圖12中，經(jīng)過約80次迭代訓(xùn)練后，雜草數(shù)值平穩(wěn)收斂且數(shù)值接近訓(xùn)練集損失函數(shù)，因此改進(jìn)模型較好地抑制了網(wǎng)絡(luò)模型的過擬合現(xiàn)象。

使用五種常見的神經(jīng)網(wǎng)絡(luò)和本文改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，一起訓(xùn)練雜草數(shù)據(jù)集，各個(gè)神經(jīng)網(wǎng)絡(luò)針對(duì)每一種雜草的準(zhǔn)確率(Precision)，召回率(Recall)，F(xiàn)1值[18]如表3所示。Retina-Net改進(jìn)模型對(duì)測(cè)試集數(shù)據(jù)中積雪草，犁頭草，婆婆納，紫爵床，含羞草，酢漿草的平均識(shí)別準(zhǔn)確率(mean Precision,mP)[19]分別為85.3%，84%，89.6%，86.7%，95.1%，91.5%。六類雜草的總平均識(shí)別率為88.7%.相較于Retina-Net基線模型，各種類識(shí)別率均有0.2%～3.6%提高；平均識(shí)別率相較其他主流神經(jīng)網(wǎng)絡(luò)模型高出2.2%～9.3%。

在自然環(huán)境下，不同圖像中存在的雜草數(shù)量、種類、大小都大相徑庭，因此圖13展示了改進(jìn)Retina-Net自然環(huán)境下的雜草識(shí)別效果。圖13(a)是單種類雜草目標(biāo)檢測(cè)；圖13(b)是多種類雜草目標(biāo)檢測(cè)；圖13(c)是多種類高密度雜草目標(biāo)檢測(cè)。

表3 六類雜草在不同模型中的檢測(cè)結(jié)果Tab. 3 Detection results of six kinds of weeds in different models %

(a) 單種類雜草目標(biāo)檢測(cè)

(b) 多種類雜草目標(biāo)檢測(cè)

(c) 多種類高密度雜草目標(biāo)檢測(cè)

4 結(jié)論

面對(duì)草坪雜草中野生雜草與觀賞草種混合生長，不利于提取雜草特征信息的難點(diǎn)，本文利用OpenCV軟件對(duì)訓(xùn)練集圖像進(jìn)行預(yù)處理，分離出目標(biāo)雜草，有助于改進(jìn)Retina-Net針對(duì)雜草特征，生成權(quán)重與偏置。

面對(duì)雜草外觀不完整或體積較小而導(dǎo)致的漏檢問題，通過堆疊、共享相同膨脹倍率的空洞卷積，生成改進(jìn)的多尺度感受野融合模塊，提高網(wǎng)絡(luò)的小目標(biāo)檢測(cè)能力；在原有的最大池化層中增設(shè)軟池化層，提升各激活值之間的區(qū)域關(guān)聯(lián)性，提升了雜草的目標(biāo)檢測(cè)精度。

經(jīng)過多次試驗(yàn)驗(yàn)證，本文提出的網(wǎng)絡(luò)模型對(duì)積雪草平均識(shí)別準(zhǔn)確率85.3%，犁頭草84%，阿拉伯婆婆納89.6%，紫爵床草86.7%，含羞草95.1%，酢漿草91.5%，高于當(dāng)前大多數(shù)目標(biāo)檢測(cè)模型。