基于輕量級網(wǎng)絡(luò)和數(shù)據(jù)擴增的作物與雜草識別

高嘉南，侯凌燕，楊大利，梁 旭，佟 強

(北京信息科技大學(xué) 計算機開放系統(tǒng)實驗室，北京 100101)

0 引 言

農(nóng)田里的雜草因其與作物競爭養(yǎng)分、引入作物疾病、吸引害蟲等給農(nóng)業(yè)造成了嚴(yán)重的損失[1]。當(dāng)前雜草治理主要依靠人工除草和除草劑:人工除草勞動強度大，成本高，除草效率低[2]，并且勞動力短缺問題日益嚴(yán)重;使用除草劑雖然人工成本低、適合大面積作業(yè)，但會對生態(tài)環(huán)境造成破壞[3]。智慧農(nóng)業(yè)[4]的提出和深度學(xué)習(xí)、機器視覺等技術(shù)的發(fā)展，為研究除草機器人技術(shù)帶來機遇。作物與雜草的精準(zhǔn)識別可為除草機器人的研究奠定理論基礎(chǔ)并提供技術(shù)方法，也是實現(xiàn)精準(zhǔn)高效除草的關(guān)鍵。

傳統(tǒng)作物與雜草識別利用機器視覺和圖像處理的方法，獲取田間植物的形狀、顏色、紋理等特征，再將這些特征進行組合傳輸?shù)教卣鞣诸惼?，實現(xiàn)對作物與雜草的識別[5-9]。此類方法提取特征需要人工完成，耗費大量的時間精力，并且田間自然環(huán)境復(fù)雜，受光照變化、作物密度、植物之間交錯生長等多因素的影響，難以高效解決作物與雜草的識別問題。

卷積神經(jīng)網(wǎng)絡(luò)由于其模仿人類的視覺機制，被廣泛應(yīng)用于視覺任務(wù)[10-11]。彭明霞等[12]利用殘差卷積和在區(qū)域生成網(wǎng)絡(luò)(region proposal network,RPN)中引入特征金字塔，優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該方法對棉花與雜草的平均識別準(zhǔn)確率為95.5%，但模型訓(xùn)練時間過長。孟慶寬等[13]利用輕量卷積神經(jīng)網(wǎng)絡(luò)結(jié)合特征融合改進單發(fā)多盒檢測(single shot multibox dector,SSD)模型，檢測速度有所改善，但模型的平均檢測精度為88.27%，仍有待提高。王璨等[14]提取目標(biāo)的多尺度分層特征，并通過超像素分割解決目標(biāo)交疊問題，對目標(biāo)的平均識別準(zhǔn)確率為98.92%，但該方法進行實際農(nóng)田作物與雜草的檢測時，需要對圖像進行超像素分割，增加了目標(biāo)檢測時間。

為解決上述問題，本文將YOLOv4的特征提取網(wǎng)絡(luò)用MobileNetV3網(wǎng)絡(luò)替代，并在路徑聚合網(wǎng)絡(luò)(path aggregation network，PANet)[15]中引入深度可分離卷積，降低模型參數(shù)規(guī)模，提高模型檢測速度，減少模型訓(xùn)練時間。為減少數(shù)據(jù)采集成本，本文通過旋轉(zhuǎn)、擴大縮小和圖像亮度變化等方法對原始實驗數(shù)據(jù)進行擴充，增加實驗數(shù)據(jù)量的同時，可以獲得不同角度、不同大小以及不同亮暗程度的圖像，使數(shù)據(jù)集包含的數(shù)據(jù)種類更豐富，節(jié)約數(shù)據(jù)采集成本，提高目標(biāo)檢測網(wǎng)絡(luò)識別準(zhǔn)確率。

1 YOLOv4算法簡介

1.1 YOLOv4算法原理

YOLOv4算法的檢測原理為：輸入圖片首先經(jīng)過CSPDarknet53網(wǎng)絡(luò)提取特征，在此通過一系列的殘差堆疊結(jié)構(gòu)，有效防止梯度爆炸或梯度彌漫。將特征提取網(wǎng)絡(luò)的輸出結(jié)果經(jīng)過空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling net，SPPNet)[16]進行最大池化處理，再利用增強特征提取網(wǎng)絡(luò)進一步地提取特征和進行特征融合。PANet負(fù)責(zé)對深層語義信息和淺層細節(jié)信息進行融合，實現(xiàn)特征金字塔，得到更強的語義信息，提高目標(biāo)檢測的準(zhǔn)確率。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4算法相比于YOLOv3算法，對網(wǎng)絡(luò)結(jié)構(gòu)和模型訓(xùn)練技巧等多個方面做出了改進。YOLOv4將跨階段局部網(wǎng)絡(luò)(cross stage partial network，CSPNet)與Darknet-53殘差網(wǎng)絡(luò)相結(jié)合，能夠提取圖像深層次網(wǎng)絡(luò)特征并減小計算量；增加SPPNet模塊，增大感受野，提取更高層次的語義特征，使其可以適應(yīng)不同的尺寸和背景特征的目標(biāo)識別。YOLOv4網(wǎng)絡(luò)中，主干特征提取網(wǎng)絡(luò)采用CSPDarknet53結(jié)構(gòu)形式，將CSPNet網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于Darknet-53中殘差模塊，使上層特征圖的一個分支進行殘差運算，殘差運算后得到的特征圖再與另一個分支相結(jié)合。增強特征提取網(wǎng)絡(luò)用來增強特征圖對目標(biāo)特征的表達，其包括SPPNet和PANet兩部分，SPPNet網(wǎng)絡(luò)結(jié)構(gòu)采用4個不同尺度的最大池化層對上層特征圖進行處理，提高小尺寸的特征提取效果；PANet對主干網(wǎng)絡(luò)和SPPNet輸出的特征圖進行特征融合，使目標(biāo)的特征被更好地表達。

2 改進YOLOv4算法網(wǎng)絡(luò)結(jié)構(gòu)

針對YOLOv4模型網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、網(wǎng)絡(luò)參數(shù)量過多、計算復(fù)雜度較高等問題，在原始YOLOv4算法的基礎(chǔ)上，本文提出一種基于YOLOv4結(jié)合輕量級網(wǎng)絡(luò)的目標(biāo)檢測算法。利用輕量級網(wǎng)絡(luò)MobileNetV3對輸入圖像進行特征提取，使檢測網(wǎng)絡(luò)的特征提取過程更加高效。在此基礎(chǔ)上，在PANet引入深度可分離卷積，進一步精簡目標(biāo)檢測網(wǎng)絡(luò)。改進后的網(wǎng)絡(luò)是由MobileNetV3、SPPNet、PANet以及YOLO Head等模塊組成的混合輕量級網(wǎng)絡(luò)，改進后的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中主干特征提取網(wǎng)絡(luò)中的歸一化參數(shù)Hard-swish替代了原網(wǎng)絡(luò)中的Mish,Bneck結(jié)構(gòu)替代了原網(wǎng)絡(luò)中的殘差塊，特征融合模塊中的深度可分離卷積替代了原網(wǎng)絡(luò)中的卷積操作。

圖1 改進后的YOLOv4網(wǎng)絡(luò)框架

2.1 改進主干特征提取網(wǎng)絡(luò)

在YOLOv4中，主干特征提取網(wǎng)絡(luò)有復(fù)雜的殘差結(jié)構(gòu)，計算復(fù)雜度高，算法可移植性較差，不適用于類似除草機器人的移動和嵌入式設(shè)備。因此，本文使用輕量級神經(jīng)網(wǎng)絡(luò)MobileNetV3替代YOLOv4原CSPDarknet53網(wǎng)絡(luò)，如圖2中主干特征提取網(wǎng)絡(luò)3部分所示。

輸入網(wǎng)絡(luò)的圖片經(jīng)過MobileNetV3的Bneck結(jié)構(gòu)進行特征提取，通過特征提取網(wǎng)絡(luò)后得到3個不同維度的特征圖，這些特征圖將在增強特征提取網(wǎng)絡(luò)部分進行特征融合，提升特征的判別能力。Bneck結(jié)構(gòu)如圖2所示，先將輸入的特征圖經(jīng)過1×1卷積升維，提高維度后可以有效減少特征圖經(jīng)過ReLU激活函數(shù)造成的信息丟失，之后進行深度可分離卷積，同時引入注意力機制平衡特征圖每個通道的權(quán)重，最后再經(jīng)過1×1卷積調(diào)整特征圖的維度。

MobileNetV3的核心是深度可分離卷積替代一般卷積塊，從而大幅降低網(wǎng)絡(luò)參數(shù)量，并進一步提升檢測速度。深度可分離卷積主要由兩部分組成，一是空間濾波能力較強的深度卷積，二是起線性組合作用的點卷積。深度可分離卷積原理由式(1)～(3)解釋。

標(biāo)準(zhǔn)卷積操作計算公式為

P=K×C×N

(1)

式中：P為參數(shù)計算量；K表示卷積核大小；C為通道數(shù)；N為卷積核數(shù)量。

深度可分離卷積操作首先使用一個卷積核進行逐通道卷積，再利用N個1×1卷積核進行逐點卷積調(diào)整通道數(shù)。參數(shù)計算量P′為

P′=K×C+C×N

(2)

對兩式求比值得：

(3)

根據(jù)式(3)，深度可分離卷積與標(biāo)準(zhǔn)卷積操作的比值小于1，比值由卷積核的數(shù)量和卷積核的大小決定。

MobileNetV3還引入具有線性瓶頸的逆殘差結(jié)構(gòu)，與傳統(tǒng)的殘差網(wǎng)絡(luò)不同的是，逆殘差結(jié)構(gòu)中間通道數(shù)多，兩端通道數(shù)少。逆殘差結(jié)構(gòu)可以將輸入特征擴展到更高的維度，以增加在每個通道的非線性變化。MobileNetV3在線性瓶頸結(jié)構(gòu)中引入注意力機制，對于神經(jīng)網(wǎng)絡(luò)來說，不同的特征及特征權(quán)重影響網(wǎng)絡(luò)的預(yù)測結(jié)果，提高更重要的特征的權(quán)重，而降低對預(yù)測結(jié)果影響不大的特征的權(quán)重，將進一步提高神經(jīng)網(wǎng)絡(luò)的預(yù)測準(zhǔn)確性。MobileNetV3網(wǎng)絡(luò)利用壓縮—激發(fā)(squeeze and excite，SE)結(jié)構(gòu)實現(xiàn)注意力機制，增加更重要的特征的權(quán)重，并抑制對預(yù)測結(jié)果影響較小的特征。

2.2 輕量化增強特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)會輸出3個特征圖，每個特征圖的尺度不同，分別包含不同維度的語義信息，這些特征圖被繼續(xù)輸入增強特征提取網(wǎng)絡(luò)進行處理。與主干特征提取網(wǎng)絡(luò)類似，由于PANet采用多個3×3的卷積，進行多次上采樣和下采樣的過程中，卷積操作計算量很大，導(dǎo)致對目標(biāo)進行檢測的時間過長。針對上述問題，本文利用深度可分離卷積實現(xiàn)PANet網(wǎng)絡(luò)的輕量化，提升網(wǎng)絡(luò)增強特征表達的效率，如圖2中空間金字塔結(jié)構(gòu)部分所示。

改進后的PANet對主干特征提取網(wǎng)絡(luò)輸出的兩個特征圖與SPPNet輸出的一個特征圖進行特征融合時，通過深度可分離卷積完成特征圖的上采樣和下采樣，將融合后的特征傳入預(yù)測網(wǎng)絡(luò)，預(yù)測網(wǎng)絡(luò)根據(jù)這些特征對檢測目標(biāo)的所屬類別進行預(yù)測。相較于原PANet網(wǎng)絡(luò)，利用深度可分離卷積(depthwise separable convolution，DSC)改進的增強特征提取網(wǎng)絡(luò)(DSC-PANet)網(wǎng)絡(luò)參數(shù)大幅降低，模型檢測速度明顯提升。

YOLOv4網(wǎng)絡(luò)改進前后的模型參數(shù)對比如表1所示，表中YOLOv4表示原YOLOv4網(wǎng)絡(luò)，YOLOv4-MobileNetV3表示改進YOLOv4的主干特征提取網(wǎng)絡(luò)，YOLOv4-MobileNetV3-DSC-PANet表示改進特征提取網(wǎng)絡(luò)和增強特征提取網(wǎng)絡(luò)。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量對比

根據(jù)表1所示的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量對比，利用輕量級網(wǎng)絡(luò)代替原YOLOv4主干特征提取網(wǎng)絡(luò)，可使模型網(wǎng)絡(luò)參數(shù)量降低為原始YOLOv4的62.5%；在此基礎(chǔ)上對增強特征提取網(wǎng)絡(luò)進行輕量化處理之后，網(wǎng)絡(luò)參數(shù)量降低為原始YOLOv4的18.4%，并且優(yōu)化后的網(wǎng)絡(luò)所占內(nèi)存僅為44 MB，可以節(jié)約大量內(nèi)存空間，更適用于嵌入式設(shè)備。

3 作物與雜草識別實驗

3.1 實驗?zāi)康?/h3>

通過改進YOLOv4網(wǎng)絡(luò)，減少網(wǎng)絡(luò)訓(xùn)練時間，提高網(wǎng)絡(luò)檢測速度。同時，研究數(shù)據(jù)擴增方案，對訓(xùn)練數(shù)據(jù)進行擴充，提高網(wǎng)絡(luò)識別準(zhǔn)確率。

3.2 實驗方案設(shè)計

3.2.1 改進網(wǎng)絡(luò)結(jié)構(gòu)對比實驗方案設(shè)計

為了降低檢測網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度，提高網(wǎng)絡(luò)檢測速度，本文主要對YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)做出以下兩個改進：1)利用MobileNetV3輕量級網(wǎng)絡(luò)進行特征提??；2)利用深度可分離卷積改進PANet。進行網(wǎng)絡(luò)結(jié)構(gòu)的對比實驗時，實驗數(shù)據(jù)選擇原始實驗數(shù)據(jù)，網(wǎng)絡(luò)結(jié)構(gòu)分別選擇原YOLOv4網(wǎng)絡(luò)、只改進1)、同時改進1)和2)，對得到的模型檢測結(jié)果進行對比分析。

3.2.2 數(shù)據(jù)擴增實驗方案設(shè)計

作物與雜草識別實驗以玉米幼苗及其伴生雜草為研究對象，原始實驗數(shù)據(jù)來源于實地拍攝，數(shù)據(jù)集包括不同種植地塊、不同生長階段、不同光照的玉米及雜草圖像，數(shù)據(jù)集共包含圖像1 300幅，圖3為示例。

圖3 玉米與雜草數(shù)據(jù)

考慮到實際農(nóng)田中作物與雜草的生長狀態(tài)、形狀和位置分布都是不同的，數(shù)據(jù)采集時相機拍攝的角度和拍攝距離難以保持統(tǒng)一，并且采集數(shù)據(jù)時的光照條件也隨天氣和時間變化，本研究在數(shù)據(jù)擴增階段選擇旋轉(zhuǎn)、擴大縮小、亮度變換3個方法對原始實驗數(shù)據(jù)進行擴充。通過增加不同角度、不同植物大小和不同亮度的實驗數(shù)據(jù)，既增加了數(shù)據(jù)量，也提高數(shù)據(jù)集數(shù)據(jù)種類的豐富度。

1)旋轉(zhuǎn)角度數(shù)據(jù)擴增實驗方案

通過旋轉(zhuǎn)不同角度進行數(shù)據(jù)擴增時，選擇旋轉(zhuǎn)角度變化間隔分別為90°、60°、30°和10°進行4次數(shù)據(jù)擴增，對每次擴增后的數(shù)據(jù)集進行模型訓(xùn)練，對得到的模型的檢測效果進行對比分析。

2)擴大縮小數(shù)據(jù)擴增實驗方案

首先對本研究所用的玉米與雜草數(shù)據(jù)進行篩選，選出數(shù)據(jù)集中玉米或雜草過大或過小的數(shù)據(jù)，因為對這部分圖像不宜再進行擴大或縮小操作，對其余數(shù)據(jù)通過擴大縮小的方法進行數(shù)據(jù)擴增，擴大縮小變換倍數(shù)范圍為0.5～1.5，每次變換的倍數(shù)間隔分別為0.5、0.2、0.1，進行3次擴增。對擴增后的數(shù)據(jù)集進行實驗，并對檢測模型的檢測效果進行對比分析。

3)亮度變換數(shù)據(jù)擴增實驗方案

為了從圖像亮度方面增強數(shù)據(jù)的多樣性，通過伽馬變換對玉米與雜草圖像數(shù)據(jù)進行對比度調(diào)節(jié)：

s=crγ

(4)

式中：s為經(jīng)過伽馬變換后的灰度輸出值；c為灰度縮放系數(shù)(通常取1)；r為圖像原來的灰度值；γ為伽馬因子，控制伽馬變換的縮放程度。

通過實驗確定伽馬因子變換范圍為0.4～3.0(當(dāng)伽馬因子小于0.4時，圖像過暗，大于3.0時，圖像過亮)。每次伽馬因子變換間隔分別為0.5、0.3、0.1，進行3次數(shù)據(jù)擴增。利用擴增后的數(shù)據(jù)集進行模型訓(xùn)練，并對檢測模型的檢測效果進行對比分析。

3.3 模型訓(xùn)練與評價指標(biāo)

為加快訓(xùn)練速度，在訓(xùn)練模型時選擇遷移學(xué)習(xí)方法。訓(xùn)練過程分為兩階段，第一階段凍結(jié)網(wǎng)絡(luò)進行訓(xùn)練，設(shè)置圖像批處理數(shù)量為8，初始學(xué)習(xí)率為0.001；第二階段解凍特征提取網(wǎng)絡(luò)，設(shè)置圖像批處理數(shù)量為4，初始學(xué)習(xí)率為0.000 1。兩個階段的訓(xùn)練過程均設(shè)置早停機制，當(dāng)驗證集損失多次不下降時自動結(jié)束訓(xùn)練，防止過擬合的出現(xiàn)。

本文選擇平均精度均值(mean average precision，mAP)、檢測速度、模型訓(xùn)練時間、模型參數(shù)規(guī)模作為評價指標(biāo)。對檢測模型的檢測精度、實時性、訓(xùn)練模型耗費時間及模型大小做綜合比較，選出檢測性能更優(yōu)的模型。

4 實驗結(jié)果分析

4.1 不同檢測模型性能對比分析

交并比(intersection over union，IoU)設(shè)定為0.5，改進后的模型和原始YOLOv4模型的性能對比結(jié)果如表2所示，其中AP為平均精度，mAP為平均精度均值，檢測速度為模型每秒可以檢測的玉米與雜草圖像幀數(shù)。

表2 不同模型性能對比

由表2可以看出，只利用輕量級網(wǎng)絡(luò)代替原YOLOv4特征提取網(wǎng)絡(luò)時，由于原始數(shù)據(jù)量較少，MobileNetV3網(wǎng)絡(luò)可以有效進行特征提取，該模型較原始YOLOv4模型，平均精度均值降低0.39個百分點，但網(wǎng)絡(luò)檢測速度提高80.96%，訓(xùn)練模型所需時間減少2.6 h。在此基礎(chǔ)上，繼續(xù)改進PANet，與原始YOLOv4模型相比，平均精度均值降低0.98%，檢測速度提升230%，訓(xùn)練時間減少為原來的24.3%。雖然在輕量化增強特征提取網(wǎng)絡(luò)之后，平均精度均值略有下降，但檢測速度明顯提高，訓(xùn)練模型所需時間也大幅減少。結(jié)合表1所示結(jié)果，改進特征提取網(wǎng)絡(luò)和增強特征提取網(wǎng)絡(luò)后的模型具有檢測速度更快、參數(shù)規(guī)模更小、模型所需訓(xùn)練時間更短的特點。

4.2 數(shù)據(jù)擴增對檢測模型性能的影響

根據(jù)4.1中的實驗結(jié)果分析，改進后的YOLOv4網(wǎng)絡(luò)檢測性能更優(yōu)，因此在研究數(shù)據(jù)擴增對模型性能的影響時，選擇改進后的網(wǎng)絡(luò)結(jié)構(gòu)進行實驗。原始數(shù)據(jù)集共有圖像數(shù)據(jù)1 334張，對旋轉(zhuǎn)角度、擴大縮小、亮度變換3種數(shù)據(jù)擴增方法對檢測模型性能的影響分別分析。

4.2.1 旋轉(zhuǎn)圖像角度對模型性能的影響

根據(jù)表3所示結(jié)果可知，利用旋轉(zhuǎn)的方法進行數(shù)據(jù)擴增，旋轉(zhuǎn)角度間隔為90°時，數(shù)據(jù)量擴大4倍，與未進行數(shù)據(jù)擴增相比平均精度均值提高3.24%；旋轉(zhuǎn)角度間隔為60°時，數(shù)據(jù)量擴大6倍，平均精度均值提高5.19%；旋轉(zhuǎn)角度間隔為30°時，數(shù)據(jù)量擴大12倍，平均精度均值提高7.15%；旋轉(zhuǎn)角度間隔為10°時，數(shù)據(jù)量擴大36倍，平均精度均值提高7.32%。旋轉(zhuǎn)圖像的數(shù)據(jù)擴增方法，可以有效提高檢測模型的檢測精度，隨著數(shù)據(jù)量擴大倍數(shù)的增加，平均檢測精度的提高效果不斷衰減。旋轉(zhuǎn)角度間隔為10°與旋轉(zhuǎn)角度間隔為30°相比，平均精度均值提升只有0.17%，但前者數(shù)據(jù)量遠大于后者，訓(xùn)練模型所花費的時間為后者的3倍以上。旋轉(zhuǎn)角度間隔為30°與旋轉(zhuǎn)角度間隔為60°和90°相比，雖然數(shù)據(jù)擴增后模型訓(xùn)練時間增加，但對模型檢測精度的提升更明顯。因此，利用旋轉(zhuǎn)圖像的方法進行數(shù)據(jù)擴增時，最優(yōu)的旋轉(zhuǎn)角度間隔為30°。

表3 數(shù)據(jù)擴增時旋轉(zhuǎn)圖像角度對模型性能的影響

4.2.2 擴大縮小圖像對模型性能的影響

表4為數(shù)據(jù)擴增時擴大縮小不同變換倍數(shù)間隔的實驗結(jié)果，與表3中無數(shù)據(jù)擴增時的實驗結(jié)果進行對比分析，可以看出當(dāng)擴大縮小變換倍數(shù)間隔為0.5和0.2時，數(shù)據(jù)量分別擴大2.6倍和4倍，模型平均精度均值分別提高0.93%和2.06%。變換倍數(shù)間隔為0.1時，數(shù)據(jù)量擴大近9倍，平均精度均值提高4.84%，并且擴增數(shù)據(jù)后訓(xùn)練模型時間較前者僅多花費6 h。以上分析結(jié)果表明，擴大縮小的數(shù)據(jù)擴增方法可以提高模型的檢測精度，最優(yōu)的擴增方案為：擴大縮小倍數(shù)范圍為0.5～1.5，每次變換倍數(shù)間隔為0.1。

表4 數(shù)據(jù)擴增時擴大縮小圖像對模型性能的影響

4.2.3 亮度變換對模型性能的影響

利用亮度變換對數(shù)據(jù)集進行擴充時，方法選擇伽馬變換，伽馬因子變換范圍為0.4～3.0，伽馬因子不同變換間隔對模型檢測性能的影響如表5所示。

表5 數(shù)據(jù)擴增時亮度變換對模型性能的影響

根據(jù)表5所示的實驗結(jié)果與表3中無數(shù)據(jù)擴增時的實驗結(jié)果進行對比分析，當(dāng)伽馬因子變換間隔為0.5時，數(shù)據(jù)集比原始數(shù)據(jù)集擴大6倍，平均檢測精度提高5.55%；變換間隔為0.3時，數(shù)據(jù)集擴大10倍，平均精度均值提高8.04%；變換間隔為0.1時，數(shù)據(jù)集擴大27倍，平均精度均值提高8.64%。以上結(jié)果表明，當(dāng)伽馬因子變換間隔為0.1和0.3時，平均精度均值提高相差不大，但訓(xùn)練模型所花費的時間前者要遠遠多于后者。當(dāng)伽馬因子變換間隔為0.5和0.3時，后者對檢測精度的提升效果更優(yōu)，且模型訓(xùn)練所需時間相差不大。因此通過伽馬變換進行數(shù)據(jù)擴增的最優(yōu)方案為：伽馬因子變換范圍為0.4～3.0，每次伽馬因子的變換間隔為0.3。

圖4為不同數(shù)據(jù)擴增方法的最優(yōu)模型P-R(準(zhǔn)確率—召回率)曲線圖。由圖4可知，不同數(shù)據(jù)擴增方法的最優(yōu)檢測模型的準(zhǔn)確率隨召回率的增加而降低；當(dāng)召回率在0～30%之間時，3個模型的準(zhǔn)確率相差不大；當(dāng)召回率在30%～100%時，利用亮度變換的數(shù)據(jù)擴增方法訓(xùn)練的模型優(yōu)于其他兩種模型；從整體上看，該模型的P-R曲線與坐標(biāo)軸圍成的面積大于其他兩種模型，說明3個數(shù)據(jù)擴增方法中，亮度變換的數(shù)據(jù)擴增方法對模型識別準(zhǔn)確率的提升效果優(yōu)于旋轉(zhuǎn)和擴大縮小圖像方法。

圖4 不同數(shù)據(jù)擴增方法最優(yōu)模型P-R曲線圖

綜合以上3個實驗的結(jié)果，確定最優(yōu)的數(shù)據(jù)擴增方案為：分別對原始數(shù)據(jù)集進行旋轉(zhuǎn)圖像、擴大縮小圖像和亮度變換，其中旋轉(zhuǎn)圖像每次旋轉(zhuǎn)的角度變化為30°，擴大縮小圖像的倍數(shù)范圍為0.5～1.5，每次變換倍數(shù)間隔為0.1，利用伽馬變換方法對圖像進行亮度變換，伽馬因子的變換范圍為0.4～3.0，每次伽馬因子的變換間隔為0.3。將以上3個數(shù)據(jù)擴增方法得到的數(shù)據(jù)進行整合得到最終的實驗數(shù)據(jù)集，利用該數(shù)據(jù)集再次進行實驗，實驗結(jié)果如表6所示。

表6 進行最優(yōu)數(shù)據(jù)擴增對模型性能的影響

對表6與表2的實驗結(jié)果進行對比分析，對原始實驗數(shù)據(jù)采用最優(yōu)的數(shù)據(jù)擴增方案進行擴充，利用擴充后的數(shù)據(jù)訓(xùn)練模型，原YOLOv4網(wǎng)絡(luò)的平均精度均值提高9.12%，本文改進后的輕量化YOLOv4網(wǎng)絡(luò)的平均精度均值提高10.04%，說明數(shù)據(jù)擴增方法可有效提高模型的識別準(zhǔn)確率。進行數(shù)據(jù)擴增后，本文改進后的網(wǎng)絡(luò)相比于原YOLOv4網(wǎng)絡(luò)雖然平均精度均值略低，但訓(xùn)練時間僅為42 h，是后者的21.8%，從實際農(nóng)業(yè)除草需求出發(fā)，訓(xùn)練模型時間過長會耽誤農(nóng)時，錯過除草最佳時機，因此本文改進后的YOLOv4網(wǎng)絡(luò)結(jié)合數(shù)據(jù)擴增檢測性能最優(yōu)。

對比表2中不同網(wǎng)絡(luò)結(jié)構(gòu)的玉米和雜草檢測精度，對玉米的檢測精度都要略高于雜草的檢測精度，這是因為一片農(nóng)田種植作物種類單一，其伴生雜草種類較多，并且作物數(shù)量遠大于雜草數(shù)量，導(dǎo)致玉米數(shù)據(jù)集的豐富度優(yōu)于雜草數(shù)據(jù)。進行數(shù)據(jù)擴增之后，模型對玉米和雜草的檢測結(jié)果相差不大，說明數(shù)據(jù)擴增不僅增加了雜草數(shù)據(jù)量，也可以提高數(shù)據(jù)集的豐富度，從而提升對雜草圖像的檢測效果。

4.3 不同環(huán)境條件下檢測結(jié)果對比

為驗證本課題改進模型和數(shù)據(jù)擴增方法的有效性，選取不同環(huán)境條件、植物高密度環(huán)境及葉片交疊情況的圖像進行測試，測試結(jié)果如圖5～9所示。根據(jù)圖5、圖6可知，原YOLOv4模型和本文模型結(jié)合數(shù)據(jù)擴增均可以對目標(biāo)準(zhǔn)確識別，但本文模型結(jié)合數(shù)據(jù)擴增的方法預(yù)測置信度更高；根據(jù)圖7可知，對于雜草密度較高的情況，原YOLOv4模型出現(xiàn)未檢測出的情況，而本文方法對密度較高的雜草目標(biāo)仍可以全部識別出來；圖8、圖9分別展示植物葉片出現(xiàn)交疊情況下檢測模型的預(yù)測結(jié)果，可以看到原YOLOv4模型出現(xiàn)漏認(rèn)和一個預(yù)測框包含多個目標(biāo)的情況，本文方法對植物葉片交疊的情況，可以對每個目標(biāo)準(zhǔn)確識別。上述實驗結(jié)果表明，本文改進后的模型結(jié)合數(shù)據(jù)擴增的方法對復(fù)雜環(huán)境下的玉米與雜草仍可做出準(zhǔn)確識別。

圖5 晴天棕色土壤玉米識別檢測

圖6 陰天灰色土壤玉米識別檢測

圖7 高密度雜草環(huán)境識別檢測

圖8 玉米葉片交疊檢測對比

圖9 玉米與雜草葉片交疊檢測對比

5 結(jié)束語

針對傳統(tǒng)作物與雜草識別精度低、檢測速度慢、采集數(shù)據(jù)需求量大等問題，本文利用MobileNetV3網(wǎng)絡(luò)代替原YOLOv4特征提取網(wǎng)絡(luò)，同時采用輕量化PANet的方法，降低檢測網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度，再對不同數(shù)據(jù)擴增方法進行實驗分析，確定最優(yōu)數(shù)據(jù)擴增方案，在原始實驗數(shù)據(jù)數(shù)量較少的情況下，提高檢測模型的檢測精度。

實驗結(jié)果表明，本文改進后的模型與原YOLOv4模型相比，網(wǎng)絡(luò)參數(shù)量減少了81.59%，檢測速度是原來的330%，訓(xùn)練時間減少為原來的21.8%。進行數(shù)據(jù)擴增后與未進行數(shù)據(jù)擴增相比，識別的平均精度均值提高了10.04%，對玉米的識別精度提高8.23%，對雜草的識別精度提高11.86%。從除草效果分析，由于提高了對雜草的識別精度，能減少對雜草漏認(rèn)或誤認(rèn)的情況，大幅提高除草效果。數(shù)據(jù)擴增后雖然實驗數(shù)據(jù)量增大，但由于對網(wǎng)絡(luò)結(jié)構(gòu)進行改進，改進后的模型訓(xùn)練花費時間為42小時，不會出現(xiàn)耽誤農(nóng)時的問題，符合實際農(nóng)業(yè)生產(chǎn)要求。

本文提出的方法具有普遍性，對于其他單種作物的農(nóng)田仍可適用，并且對少量實驗數(shù)據(jù)進行數(shù)據(jù)擴增的方法對模型準(zhǔn)確率提升很大，節(jié)約數(shù)據(jù)采集成本，該方法可適用于其他領(lǐng)域的深度學(xué)習(xí)模型訓(xùn)練。但本文模型仍有改進的空間，如何優(yōu)化增強特征提取網(wǎng)絡(luò)，輕量化目標(biāo)檢測網(wǎng)絡(luò)的同時，進一步提高檢測模型的精度，有待下一步的研究。