面向嵌入式除草機器人的玉米田間雜草識別方法

何全令，楊靜文，梁晉欣，傅雷揚，滕 杰，李紹穩(wěn)

1.安徽農(nóng)業(yè)大學(xué) 信息與計算機學(xué)院，合肥 230036

2.智慧農(nóng)業(yè)技術(shù)與裝備安徽省重點實驗室，合肥 230036

玉米是我國三大糧食作物之一，同時也是重要的飼料和工業(yè)原料，在保障糧食安全方面具有重要戰(zhàn)略地位。在玉米幼苗生長期，雜草會伴隨玉米幼苗一起萌發(fā)。田間雜草有100余種，隸屬于30科，常見的包括刺兒菜、莎草、馬塘等，這些雜草在生長的過程中，會汲取營養(yǎng)，從而影響到玉米的正常生產(chǎn)，更甚者，會導(dǎo)致玉米發(fā)生蟲災(zāi)等嚴(yán)重的災(zāi)害，使得玉米減產(chǎn)或死亡，因此，在玉米幼苗期進(jìn)行除草是田間管理的必要工作[1-3]。

目前，國內(nèi)除草的主要措施分為人工除草、化學(xué)除草和智能除草三種，化學(xué)除草雖然見效快，害處在于會殘留化學(xué)藥物，影響土質(zhì)[4-5]，人工除草雖然綠色環(huán)保，但人工成本高，效率低下，相對前兩種方法，智能除草可以實現(xiàn)綠色環(huán)保、低碳高效的方式清除田間雜草，因此，智能除草機器人成為國家重點支持的研發(fā)領(lǐng)域之一[6-9]。中國農(nóng)業(yè)大學(xué)李偉團(tuán)隊[10]研制了一種以拖拉機為動力的鋤草機器人，設(shè)計了月牙形鋤草刀具。但由于缺乏環(huán)境感知能力，此類設(shè)備只能算作除草機械。澳大利亞昆士蘭科技大學(xué)Bawden等[11]研制了一個名為AgBotII的模塊化除草機器人基于機器視覺的顏色分類識別作物和雜草，支持化學(xué)和機械2種除草方式，AgBotII機器人能夠?qū)﹂熑~植物和禾本科植物進(jìn)行分類，準(zhǔn)確率達(dá)96%，對單個雜草種類的分類準(zhǔn)確率達(dá)92.3%。但是此類設(shè)備由于計算成本高，導(dǎo)致價格昂貴，無法大規(guī)模推廣。究其本質(zhì)，其實核心還是在于其中雜草檢測識別算法所要求的計算成本太大[12-15]。因此迫切地需要研究出面向計算成本更低精度更高的嵌入式設(shè)備上的雜草識別模型。近年來，國內(nèi)外學(xué)者在玉米田間雜草目標(biāo)識別開展了相關(guān)研究。顏秉忠等[16]將采集的圖片經(jīng)過畸變矯正、HSI顏色空間轉(zhuǎn)換和閾值分割后，根據(jù)形狀和顏色特征提取并識別雜草。Wang等[17]開發(fā)了基于HLS-SVM和灰度梯度的識別方法，但他們方法的平均分割時間為0.49 s，難以滿足除草工作的實時性要求。姜紅花等[18]提出了基于Mask R-CNN的雜草檢測方法，均值平均精度為85.3%，單樣本耗時為280 ms。Mask R-CNN作為二階分類器具有較高的準(zhǔn)確率，但是檢測速度慢，也不能滿足田間除草設(shè)備的實時性要求。Etienne等[19]運用基于YOLOv3的玉米與雜草檢測方法，對雙子葉雜草檢測的精確度86.13%。Chechlinsk等[20]使用MobileNet等輕量化模塊對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，在樹莓派上對雜草識別FPS達(dá)到10幀/s以上，但檢測精度最高僅為66.8%。Darwin AI的研究者[21]提出了名為YOLO Nano的網(wǎng)絡(luò)，雖然大小只有原始YOLO網(wǎng)絡(luò)的2%，但檢測精度卻降低了10%。哈爾濱工業(yè)大學(xué)張嘯[22]為了降低智能除草機器人中視覺算法部署難度和硬件成本，基于英偉達(dá)的Jeston TX2計算平臺，設(shè)計了一個輕量級的語義分割與深度估計相結(jié)合的多任務(wù)聯(lián)合網(wǎng)絡(luò)，雖然實時性較差，但是為降低硬件成本提供思路。

綜上所述，雖然現(xiàn)有的目標(biāo)識別算法能夠有效地進(jìn)行對物體分類并檢測，但是部署在嵌入式除草機器人上仍然存在著算力、功耗、實時性受到限制的問題，且開源的目標(biāo)檢測網(wǎng)絡(luò)對玉米和雜草這種同色系植物識別效果較差，對目標(biāo)較小的雜草存在錯檢、漏檢的問題。因此，本文首先針對嵌入式平臺算力不足的問題，引入對相同顏色冗余更為敏感的GhostNet卷積[23]。其次針對玉米苗和雜草存在相互遮擋的問題，引入效率更高的特征金字塔網(wǎng)絡(luò)BiFPN[24]，并提出了契合YOLOv5s模型[25]的三通道機制，有利于提高低算力的嵌入式設(shè)備對深層次的信息挖掘。最后針對田間存在小目標(biāo)和密集目標(biāo)的問題，在算法網(wǎng)絡(luò)的檢測頭部分引入CBAM[26]注意力機制以增強目標(biāo)在復(fù)雜背景中的顯著度。所提方法相比于改進(jìn)前對小目標(biāo)靈敏度更高、多目標(biāo)漏檢率更低、模型更輕、受外部環(huán)境干擾影響更小，因此具有更好的魯棒性和泛化性。

1 玉米田間雜草識別方法

1.1 GBC-YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5s目標(biāo)檢測算法是Ultralytics公司于2020年發(fā)布的，是基于Python框架的一階段檢測模型。YOLOv5s自發(fā)行以來，一直都在更新迭代版本，本文改進(jìn)的是v6.0版本。本文將改進(jìn)后的目標(biāo)檢測算法命名為GBCYOLOv5s，在骨干網(wǎng)絡(luò)部分，首先輸入的圖片通過一個6×6大小的卷積層，將每個2×2的相鄰像素劃分為一個patch，然后將每個patch中相同位置（同一顏色）像素給拼在一起得到4個3×3大小的卷積層。骨干網(wǎng)絡(luò)使用輕量級的GhostNet卷積以減少特征提取所需的計算數(shù)量和用于生成有價值特征的參數(shù)數(shù)量，最后SPPF將輸入串行通過多個5×5大小的最大池化層從而提高速度。在連接網(wǎng)絡(luò)部分，由CSP[27]模塊和用BiFPN網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的特征融合策略組成。在檢測層部分，針對檢測目標(biāo)的大小不同在每個檢測頭部前面融入CBAM注意力層來檢測大、中、小目標(biāo)，分別輸出20×20、40×40和80×80三個不同尺寸的特征圖，最后通過非極大抑制方法保留置信度最高的預(yù)測框信息，完成目標(biāo)檢測過程。改進(jìn)后的部分已經(jīng)用紅色虛線標(biāo)出，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 GBC-YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure of YOLOv5s

1.2 GBC-YOLOv5s模型具體實現(xiàn)

1.2.1 輕量級骨干網(wǎng)絡(luò)

GhostNet是一種模型壓縮方法?；谝唤M內(nèi)在特征，采用一種相對簡單、計算量較少的線性運算代替運算量大的常規(guī)卷積操作生成更多特征映射，充分揭示了內(nèi)在特征的背后信息。

由于玉米苗和雜草顏色區(qū)分度不高，經(jīng)過卷積操作產(chǎn)生的特征圖相似且數(shù)量較大。冗余特征圖的產(chǎn)生對于檢測效果的提升程度有限，同時增大了模型的參數(shù)量。因此，本文在YOLOv5s模型骨干網(wǎng)絡(luò)層使用GhostNet，以很小的代價生成許多能從原始特征發(fā)掘所需信息的特征圖，降低了參數(shù)規(guī)模，減少網(wǎng)絡(luò)模型的資源占用，使其適合移動端硬件條件有限的設(shè)備。給定輸入數(shù)據(jù)X∈Rc×?×w，其中c是輸入通道數(shù)，h和w是高度，生成N個特征圖的常規(guī)卷積運算量約等于式（1）所示：

其中，?是卷積運算，b是偏差項，f∈Rc×k×k×n是這一層中的卷積核，k×k是卷積核f的內(nèi)核大小。根據(jù)上述公式，由于卷積核數(shù)量n和通道數(shù)c非常大，因此使用GhostNet卷積去除常規(guī)卷積中f和b產(chǎn)生的冗余特征圖，如式（2）所示：

其中，f'∈Rc×k×k×m是使用的卷積核，由于m≤n，所需的參數(shù)數(shù)量因此減少。GhostNet卷積對Y'中的每個原始特征應(yīng)用一系列廉價的線性運算，如式（3）所示：

其中，y'i是Y'中第i個原始特征圖，Φi,j是第j個線性運算，可以得到n=m?s個特征圖Y=[y11,y12,…,yms]作為Ghost模塊輸出數(shù)據(jù)，其中，線性運算Φ在每個通道上運行，計算量比常規(guī)卷積少。通過上述公式，本文采用GhostNet對獲得的特征值進(jìn)行篩選，去除冗余圖，算法主要步驟如下：

步驟1數(shù)據(jù)初始化，設(shè)定一個數(shù)據(jù)集H作為算法的輸入，迭代次數(shù)設(shè)定為M。

步驟2首先，對于每次迭代，GhostNet從數(shù)據(jù)集H中選取m個樣本，進(jìn)行特征提取并生成特征圖。然后，選取范圍e作為特征圖的擬合區(qū)間，并給出具有相同特征值的閾值t，統(tǒng)計并計算區(qū)間e中相同特征值Nnum。如果Nnum小于閾值t，則擬合樣本特征值生成特征圖。否則，剔除該冗余特征。

步驟3中止條件，達(dá)到預(yù)期迭代次數(shù)M時完成迭代。具體流程如下所示。

1.2.2 改進(jìn)的特征融合策略

YOLOv5中采用FPN+PAN的網(wǎng)絡(luò)結(jié)構(gòu)對特征進(jìn)行多尺度融合，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2（a）所示。FPN+PAN網(wǎng)絡(luò)中不同階段的特征圖對融合結(jié)果的貢獻(xiàn)相同，導(dǎo)致引入更多的計算量，降低了模型的檢測速度。且該網(wǎng)絡(luò)對深層語義的挖掘能力不足，特征融合效果有待進(jìn)一步提升。BiFPN是一種加權(quán)雙向特征金字塔網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2（b）所示。BiFPN網(wǎng)絡(luò)與原始特征融合網(wǎng)絡(luò)PANet相比，消除了對融合貢獻(xiàn)較小的單邊輸入節(jié)點，且各節(jié)點具有自頂向下、自底向上、跳躍連接等特點，因此融合效果更好、速度更快。

圖2 三種不同特征融合結(jié)構(gòu)示意圖Fig.2 Schematic diagram of three different feature fusion structure

BiFPN網(wǎng)絡(luò)有5個輸入特征層，但YOLOv5的主干網(wǎng)絡(luò)僅針對中間層、中下層和底層這三個特征層進(jìn)行特征提取。為減少計算量與適應(yīng)YOLOv5網(wǎng)絡(luò)，本文融合BiFPN網(wǎng)絡(luò)的思想設(shè)計了一種改進(jìn)的雙向特征金字塔網(wǎng)絡(luò)S-BiFPN，將BiFPN網(wǎng)絡(luò)簡化為3個輸入特征層。S-BiFPN網(wǎng)絡(luò)結(jié)構(gòu)如圖2（c）所示。圖中Ii表示Backbone中第i級的特征圖，Oi代表Neck模塊的輸出特征圖，Pi和Ni代表Neck層生成的中間特征圖。

與BiFPN不同的是改進(jìn)的S-BiFPN網(wǎng)絡(luò)在每一個輸入特征中都設(shè)置了一個自學(xué)習(xí)的特征融合因子，并采用通道級聯(lián)的方式完成向淺層網(wǎng)絡(luò)傳遞含有強語義信息的深層特征融合操作，不僅可以保留更多的特征信息，還可以簡化融合計算。融合過程如式（4）所示：

其中，ωi是自學(xué)習(xí)的融合因子，代表了對應(yīng)特征的重要性，值越小，特征對融合結(jié)果影響越小，ε=0.000 1是一個保證數(shù)值穩(wěn)定的小量。Pi代表第i層輸出，Resize用于調(diào)整特征圖大小，conv是卷積操作，concat表示不同特征圖進(jìn)行拼接。

S-BiFPN通過輸入到輸出的跳躍連接融合更多特征信息，并在適應(yīng)YOLOv5骨干網(wǎng)絡(luò)的前提下在同一層多次重復(fù)該過程。其中，中間層輸入點和輸出點的附加路徑，用于融合更多特征。通過不同層之間的互連與融合，在三個不同的層級輸出20×20、40×40和80×80三個不同尺寸的特征圖，用來預(yù)測出最后的檢測結(jié)果。根據(jù)三條通道結(jié)構(gòu)提出的改進(jìn)特征融合策略如圖3所示。

圖3 GBC-YOLOv5s特征融合策略Fig.3 GBC-YOLOv5s feature fusion strategy

1.2.3 自注意力預(yù)測結(jié)構(gòu)

GBC-YOLOv5s模型融入S-BiFPN模塊充分融合特征，大大提高了目標(biāo)檢測的準(zhǔn)確性。但由于玉米田間雜草眾多，且存在多目標(biāo)和小目標(biāo)的特殊性，將此時的GBC-YOLOv5s模型直接用于田間圖像檢測仍存在諸多不足。為此，本文引入卷積注意力模塊CBAM（convolutional block attention module）機制，更好地處理特征圖中的細(xì)節(jié)信息，以便于對圖像中的目標(biāo)更好地進(jìn)行分類和檢測。其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 CBAM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 CBAM network structure diagram

通道注意力機制表示如式（5）所示，空間注意力機制如式（6）所示：

其中，F(xiàn)為通道注意力模塊輸出的特征圖，σ為sigmoid函數(shù)；分別表示通道注意力機制的全局平均池化和最大平均池化；經(jīng)操作后生成兩個對應(yīng)特征圖，共享網(wǎng)絡(luò)由一個多層感知器MLP組成，其中有一個隱含層；W0與W1為MLP的兩個權(quán)重。

其中，σ為sigmoid函數(shù)；Fs為經(jīng)過空間注意力機制后的輸出向量；f7×7表示使用卷積核大小為7×7的卷積操作；分別表示空間注意力機制的全局平均池化和最大平均池化；?表示逐元素相乘。

CBAM模塊對于一個給定中間特征圖，首先分析圖像的重要部分，然后聚焦于該位置。即強調(diào)重要特征，壓縮不重要特征。輸入特征依次通過通道注意力模塊、空間注意力模塊的篩選，最后獲得重標(biāo)定的特征。這樣不僅能夠節(jié)約參數(shù)和計算力，且保證CBAM模塊可以無縫地集成到任何CNN架構(gòu)中。因此，本文將CBAM注意力模塊分別嵌入到算法網(wǎng)絡(luò)的Backbone、Neck、Head中的每一次特征融合之后，從而探究該模塊的引入對GBC-YOLOv5s模型的影響，具體位置如圖5所示。A是融入骨干部分中GhostNet卷積后；B是在頸部concat后增加CBAM注意力層；C是在每個檢測頭部前面增加CBAM注意力層。

圖5 三種嵌入CBAM模塊的修改區(qū)域Fig.5 Three modified regions of embedded CBAM module

后續(xù)實驗證明，檢測頭前添加CBAM模塊大大提升了算法的檢測精度。因此，基于YOLOv5s算法，通過上述三種方法改進(jìn)后，就得到了本文最終提出的算法GBC-YOLOv5s。

1.3 GBC-YOLOv5s算法步驟

本文提出的GBC-YOLOv5s目標(biāo)識別模型旨在實現(xiàn)三個目標(biāo)：（1）減少網(wǎng)絡(luò)模型的資源占用，使該模型適合移動端硬件條件有限的設(shè)備應(yīng)用；（2）與其他先進(jìn)的目標(biāo)識別模型相比，進(jìn)一步提高了目標(biāo)的識別精度；（3）提高田間環(huán)境中目標(biāo)識別的實時性。GBC-YOLOv5s目標(biāo)檢測算法具體流程如圖6所示，步驟如下：

圖6 GBC-YOLOv5s目標(biāo)檢測算法流程圖Fig.6 Flow chart of GBC-YOLOv5s target detection algorithm

步驟1將采集的數(shù)據(jù)進(jìn)行預(yù)處理，將數(shù)據(jù)集分為訓(xùn)練集、測試集和驗證集后，將訓(xùn)練集的圖片輸入模型，作為算法的輸入。

步驟2初始化數(shù)據(jù)集和預(yù)期迭代次數(shù)。采用遷移學(xué)習(xí)的思想進(jìn)行訓(xùn)練，利用GhostNet卷積在特征提取過程中去除冗余特征圖，輸出三層特征圖。

步驟3采用改進(jìn)的BiFPN特征融合策略S-BiFPN對特征加強提取，提高信息挖掘的深度，并進(jìn)一步提高模型的特征提取能力。融合多層次的特征后，輸出大、中、小三種層次的特征圖。

步驟4獲得三種不同層次特征圖后，通過融入自注意力機制的檢測頭部進(jìn)行預(yù)測。

步驟5獲得分類結(jié)果并結(jié)合標(biāo)簽計算Loss，通過反向傳播求參數(shù)梯度，并更新模型參數(shù)，重復(fù)進(jìn)行前向傳播與反向傳播，每訓(xùn)練完一個Epoch，進(jìn)行一次測試集上的測試，計算準(zhǔn)確率和Loss。

步驟6經(jīng)過多次迭代，測試集的Loss和準(zhǔn)確率會趨于平穩(wěn)，當(dāng)測試集的Loss和準(zhǔn)確率不再改變時，停止訓(xùn)練并保存模型。

步驟7將測試集的圖片輸入模型，檢驗?zāi)Ｐ陀行?，若檢測為玉米苗或者雜草則輸出識別結(jié)果。

2 試驗與結(jié)果分析

2.1 試驗平臺及訓(xùn)練設(shè)置

本文數(shù)據(jù)集標(biāo)注使用LabelImg標(biāo)注軟件，標(biāo)注結(jié)果默認(rèn)保存為YOLO格式的xml文件。軟件平臺為PyCharm，網(wǎng)絡(luò)框架使用Pytorch1.8搭建，CPU為i7-11800h，GPU為Nvidia RTX1080Ti。Batchsize設(shè)置為16，Epoch設(shè)置為500次，使用隨機梯度下降法SGD對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。初始學(xué)習(xí)率lr0=0.01、權(quán)重衰減0.000 5、循環(huán)學(xué)習(xí)速率lrf=0.2，這有助于模型的收斂損失。為了應(yīng)用YOLO網(wǎng)絡(luò)結(jié)構(gòu)，對圖像預(yù)處理時本文將圖像的寬和高均固定為640。數(shù)據(jù)集按照場景同分布原則，將80%的數(shù)據(jù)集劃分為訓(xùn)練集，將10%的數(shù)據(jù)集作為驗證集，剩下的10%作為測試集。

2.2 MWeed數(shù)據(jù)集構(gòu)建

深度學(xué)習(xí)模型的訓(xùn)練通常需要許多數(shù)據(jù)樣本來獲得可靠的參數(shù)和模型，因此創(chuàng)建一個MWeed玉米幼苗數(shù)據(jù)集用于本文的訓(xùn)練與測試。

本次試驗數(shù)據(jù)采集于安徽農(nóng)業(yè)大學(xué)農(nóng)萃園玉米分子國家重大專項實驗田。圖像采集時間為2021年5月7日至5月28日，此時玉米目標(biāo)大部分處于“三葉一心”和“四葉一心”的幼苗時期。共采集玉米與雜草（莎草、馬塘、刺兒菜）圖像2 316張，其中采集單株玉米圖像400張，單株雜草516張，玉米與雜草混合1 400張。玉米田間雜草的識別精度受天氣條件影響。在不同的天氣條件下進(jìn)行間歇性耕作時，風(fēng)速、光照強度和土壤顏色都會存在差異。雨天過后，樣本圖像中的土壤因含水量高而反射光線；在陰天，玉米幼苗的葉片也會因為低強度光而顯著反射光；在晴天，樣本圖像中的土壤由于缺水而變得有干裂，玉米幼苗的葉子由于高強度的光而顯著反射光。上述都會對目標(biāo)檢測結(jié)果產(chǎn)生影響。因此，圖像的采集工作在全周期、多天氣和多角度等條件下完成。單株玉米幼苗與雜草對應(yīng)樣本集數(shù)量如表1所示。

表1 不同環(huán)境下玉米與雜草對應(yīng)的樣本數(shù)量Table 1 Number of samples corresponding to maize and weeds in different environments

為模擬田間環(huán)境中玉米幼苗真實的生長狀況，本文在雨天、陰天和晴天三種環(huán)境條件下使用Intel RealSense D435i深度相機，分別以機器人機械臂與地面呈75°、40°和0°三個夾角采集自然環(huán)境下生長的玉米與雜草圖像。晴天圖像的采集分別在8：00—10：00、14：00—15：00、17：00—18：00三個時段內(nèi)各自完成300張圖像的拍攝；陰天在14：00—15：00完成300張圖像的拍攝；雨后2小時內(nèi)，拍攝了200張?zhí)镩g圖像。實驗總共收集了1 400張玉米與雜草混合幼苗的原始田間圖像。采集的玉米與雜草混合樣本環(huán)境信息如表2所示。

表2 包含玉米與雜草混合樣本環(huán)境信息列表Table 2 Containsing list of environmental information for mixed corn and weed samples

為了提高網(wǎng)絡(luò)對多目標(biāo)的分辨能力，本文采用mixup方法來模擬田間真實條件下的多目標(biāo)場景和遮擋場景。為了提高雜草檢測模型的訓(xùn)練效率和通用性，1 400張圖像在圖像處理軟件上進(jìn)行了數(shù)據(jù)擴(kuò)充，具體操作包括將圖片進(jìn)行隨機縮放、隨機裁剪、水平翻轉(zhuǎn)等操作之后，再將其拼接起來。最終，數(shù)據(jù)擴(kuò)充生成了3 200張新圖像。不同環(huán)境下采集的樣本數(shù)量如表1所示。不同拍攝角度和不同天氣條件下采集的玉米與雜草圖像，如圖7所示。

圖7 不同拍攝角度和不同天氣條件下采集的圖像Fig.7 Images taken at different angles and under different weather conditions

2.3 評價指標(biāo)

為評價輕量型GBC-YOLOv5s模型在玉米與雜草數(shù)據(jù)集上的性能，與Faster RCNN等模型在上述統(tǒng)一實驗配置環(huán)境中進(jìn)行對比實驗。采用每張圖片識別時間、模型大小、均值平均精度（mean average presion，mAP）作為評價指標(biāo)。

本文mAP是計算玉米和雜草的平均精度的均值，能夠評估算法識別多個類別目標(biāo)的能力。表達(dá)式如公式（7）所示：

其中，n為訓(xùn)練樣本集的類別總數(shù)，i為當(dāng)前類別的編號。AP為平均精度，P為精度。

2.4 訓(xùn)練損失分析

損失表示預(yù)測值和實際值之間的差距。train loss是訓(xùn)練數(shù)據(jù)上的損失，以衡量模型在訓(xùn)練集上的擬合能力。隨著差距逐漸減小和收斂，模型逐漸接近在本數(shù)據(jù)集的性能上限。本文對比GBC-YOLOv5s模型與YOLOv5s網(wǎng)絡(luò)模型訓(xùn)練損失變化，曲線如圖8所示。

圖8 模型訓(xùn)練損失比較Fig.8 Comparison of model training losses

從訓(xùn)練損失曲線來看GBC-YOLOv5s深度網(wǎng)絡(luò)模型能以更快速度進(jìn)行收斂，明顯優(yōu)于YOLOv5s網(wǎng)絡(luò)模型，且YOLOv5s網(wǎng)絡(luò)模型出現(xiàn)了不同程度的振蕩，400輪以后才基本趨于穩(wěn)定。

2.5 消融試驗

2.5.1 檢測頭融入注意力模塊對比試驗

為了驗證融合注意力模塊（CBAM）的有效性以及探究CBAM注意力模塊應(yīng)該嵌入到算法的具體哪個位置，將CBAM注意力模塊分別嵌入到GBC-YOLOv5s算法網(wǎng)絡(luò)的Backbone、Neck、Head，將改進(jìn)后的三個算法分別命名為GBA-YOLOv5s、GBB-YOLOv5s、GBCYOLOv5s。GB-YOLOv5s算法為驗證CBAM模塊的有效性，僅融合GhostNet、S-BiFPN網(wǎng)絡(luò)。上述模型在MWeed數(shù)據(jù)集上進(jìn)行試驗對比，得到的試驗結(jié)果如表3所示。

表3 融合注意力模塊驗證試驗Table 3 Fusion attention module verification test

表3試驗結(jié)果表明：將CBAM注意力模塊嵌入到檢測頭前才能明顯提升GBC-YOLOv5s算法的檢測精度。且該算法針對雜草這種小目標(biāo)，mAP提升較明顯。CBAM注意力模塊的引入有效提升了算法的特征學(xué)習(xí)能力，證明了CBAM模塊用于除草領(lǐng)域的有效性。

2.5.2 算法模塊消融試驗研究

為了測試GhostNet模塊、雙向特征融合S-BiFPN模塊、融合注意力模塊CBAM模塊能在多大程度影響目標(biāo)檢測結(jié)果。本文設(shè)置了幾組消融試驗研究。消融試驗均在WMeed數(shù)據(jù)集上進(jìn)行。試驗結(jié)果見表4，綜合表4的前4行可以發(fā)現(xiàn)各模塊對算法模型的mAP、模型大小和GPU檢測耗時（單張圖片）三個指標(biāo)均有不同程度的影響。其中CBAM模塊對算法精度mAP有較明顯的提升；特征融合S-BiFPN模塊可小幅提高mAP和加快檢測速度；GhostNet可大幅壓縮模型大小和加快檢測速度，但是大幅度地降低了模型精度。當(dāng)集成CBAM和S-BiFPN兩個模塊時，模型精度達(dá)到最高的96.9%，但是模型參數(shù)并沒有變化，且檢測速度提升有限；當(dāng)S-BiFPN和GhostNet兩個模塊進(jìn)行組合時，試驗結(jié)果顯示，此時模型速度最快，達(dá)到了14.8 ms，但檢測精度相比于基線網(wǎng)絡(luò)有所下降；當(dāng)集合CBAM、S-BiFPN和GhostNet三種模塊時，很好平衡了精度、速度和模型大小的關(guān)系，檢測精度達(dá)到96.3%，檢測速度達(dá)到了15.6，相比于基線模型檢測速度明顯提升，滿足雜草實時識別的要求。

表4 MWeed數(shù)據(jù)集上消融試驗研究Table 4 Ablation study on MWeed dataset

2.6 仿真分析

為檢驗所提深度網(wǎng)絡(luò)模型的有效性，本文以自然環(huán)境條件下采集的玉米與雜草圖像為樣本，以本文GBCYOLOv5s模型與基線模型YOLOv5s、二階段目標(biāo)檢測算法Faster RCNN探索精度水平，與常見輕量化目標(biāo)檢測模型YOLOv4Tiny、MbileNetV3-YOLOv5s、ShuffleNetV2-YOLOv5s等探索速度基準(zhǔn)。同時，對以上模型進(jìn)行平均精度均值（mAP）對比實驗。試驗結(jié)果得知，本文提出的模型平均精度均值最高，分析結(jié)果如圖9所示。

圖9 網(wǎng)絡(luò)模型訓(xùn)練mAP曲線Fig.9 Network model training mAP curues

本文使用模型大小、均值平均精度（mAP）、CPU檢測耗時和CPU檢測耗時，四項衡量指標(biāo)來衡量四種深度學(xué)習(xí)網(wǎng)絡(luò)模型的性能。六種模型的對比試驗結(jié)果如表5所示。

表5 六種網(wǎng)絡(luò)檢測結(jié)果對比Table 5 Comparison of six network detection results

由表得出，本文所提GBC-YOLOv5s網(wǎng)絡(luò)模型保持精度不變的前提下，所需內(nèi)存僅為3.3 MB，與Faster-RCNN、YOLOv4-tiny、YOLOv5s、MobleNetv3-YOLOv5和ShuffleNetv2-YOLOv5s模型相比，模型大小分別減少98.95%、90.3%、77.39%、62.50%和49.23%，極大地降低了模型的復(fù)雜度。mAP分別提高了5.1、3.9、2.1、10.5和8.4個百分點，CPU檢測耗時分別減少407.3 ms、87.3 ms、176.2 ms、52.3 ms和45 ms，GPU檢測耗時分別減少142.9 ms、36.9 ms、85.7 ms、26.7 ms和23.9 ms。綜上所述，本文所提方法在大幅度壓縮模型大小的同時可保證模型目標(biāo)識別的準(zhǔn)確率，在保持識別精度的同時極大地提升了推理速度，表明了GBC-Yolov5s模型運用在農(nóng)業(yè)除草領(lǐng)域優(yōu)越的性能。

3 嵌入式平臺實驗驗證

3.1 硬件平臺簡介

在本節(jié)將前兩章研究的GBC-YOLOv5s輕量化算法部署到智慧農(nóng)業(yè)技術(shù)與裝備安徽省重點實驗室的嵌入式移動機器人上，如圖10所示。Jetson TX2作為移動機器人的控制核心，配備NVIDIA Pascal GPU、8 GB內(nèi)存、59.7 GB/s的顯存帶寬，具有低功耗高效能的特性，使其非常適合于作為需要多傳感器協(xié)作的移動終端平臺。

圖10 嵌入式移動機器人實驗平臺Fig.10 Robot experimental platform

3.2 模型格式轉(zhuǎn)換TX2推理實驗

本節(jié)在模型部署優(yōu)化采用在序列化時對各層進(jìn)行合并優(yōu)化的手段。將模型格式從Pytorch的.pth模型格式轉(zhuǎn)換成ONNX格式之后，利用深度學(xué)習(xí)推理優(yōu)化器TensorRT將ONNX格式序列化為trt engine格式并保存，為下一次TensorRT運行推理時能直接反序列化使用從而節(jié)約時間。具體做法是對輸入做一次池化并輸出，然后創(chuàng)建解析器，將onnx模型中的tensor解析成tensorRT的tensor，將內(nèi)存空間的推理參數(shù)設(shè)置為max_workspace_size=1<<30，以及批處理圖片數(shù)量設(shè)置為max_batch_size=1。最后構(gòu)建推理引擎保存到本地，保存的后綴名為.trt。序列化和反序列化推理流程如圖11所示。

圖11 Jetson TX2推理執(zhí)行流程Fig.11 Jetson TX2 inference execution flow

3.3 泛化性檢驗實驗

為了進(jìn)一步檢驗所提出模型的泛化性，嵌入式移動機器人分別嵌入GBC-YOLOv5s模型與基線模型YOLOv5s在田間多種環(huán)境條件下進(jìn)行對比，從而檢驗?zāi)Ｐ偷淖R別效果。檢測結(jié)果如圖12所示。

其中目標(biāo)邊界框的corn代表三葉一心玉米幼苗，grass表示玉米田間的雜草，目標(biāo)邊界框上方的數(shù)字代表目標(biāo)的類別置信度。如圖12（a）所示，在相互遮擋條件下，YOLOv5s網(wǎng)絡(luò)因為缺乏對深層特征的提取，導(dǎo)致檢測性能下降。而GBC-YOLOv5s模型不僅正確區(qū)分了目標(biāo)類別，且類別置信度更高?？梢钥闯觯ㄟ^改進(jìn)的特征融合策略S-BiFPN，可以在一定程度上提高模型的檢測精度；如圖12（b）所示，在多目標(biāo)和小目標(biāo)條件下，YOLOv5s網(wǎng)絡(luò)不僅置信度下降，而且出現(xiàn)小目標(biāo)漏檢現(xiàn)象。但GBC-YOLOv5s網(wǎng)絡(luò)精準(zhǔn)檢測了每個目標(biāo)?？梢钥闯觯ㄟ^在檢測頭部分添加CBAM注意力機制模塊可以提高小目標(biāo)識別的靈敏度，降低特征不重要目標(biāo)的漏檢率，具有更好的性能。如圖12（c）所示，在光照強度不均勻環(huán)境的情況下兩種網(wǎng)絡(luò)都完成正常分類，但是GBC-YOLOv5s網(wǎng)絡(luò)置信度略高。如圖12（d）所示，對單種類植物條件下兩種模型置信度基本一樣。如圖12（e）所示，在陰影遮擋條件，GBC-YOLOv5s相比YOLOv5s置信度高了0.1，可見本文特征融合策略挖掘了更深處的特征信息。與YOLOv5s模型相比，GBCYOLOv5s具有更強的實用優(yōu)勢。

在定量評價結(jié)果和定性分析中，本文提出的GBCYOLOv5s模型對小目標(biāo)靈敏度高、多目標(biāo)漏檢率低、模型輕、受外部環(huán)境干擾影響小，具有良好的魯棒性和泛化性。

4 結(jié)語

本文提出了一種輕量級嵌入式目標(biāo)檢測方法，并將模型部署到了NVIDIA Jetson TX2嵌入式除草機器人上。首先對算法進(jìn)行改進(jìn)，使用GhostNet卷積對玉米和雜草相識特征值進(jìn)行篩選并去除冗余。引入雙向特征金字塔網(wǎng)絡(luò)BiFPN能夠?qū)τ晏臁⑾嗷フ趽醯葟?fù)雜環(huán)境的深層特征的提取，并提出了契合YOLOv5s模型的三通道機制網(wǎng)絡(luò)S-BiFPN。引入注意力機制提高模型對小目標(biāo)和密集目標(biāo)的檢測能力，進(jìn)而增強模型的泛化能力和魯棒性。其次進(jìn)行了仿真分析，與基線模型YOLOv5s、二階段目標(biāo)檢測算法Faster RCNN和YOLOv4Tiny等5種目標(biāo)檢測模型進(jìn)行對比分析。最后在Jetson TX2使用深度學(xué)習(xí)推理優(yōu)化器TensorRT對改進(jìn)的模型進(jìn)行推理實驗驗證。

結(jié)果表明，相對于傳統(tǒng)的識別方法，本文所提方法所需內(nèi)存由14.6 MB下降到3.3 MB，GPU耗時僅需15.6 ms就可以處理單張數(shù)據(jù)，速度提高到原來的3.4倍且檢測精度提高了2.1個百分點。所提算法在保證檢測精度的前提下，有效地降低了參數(shù)量，且檢測速度有了大幅度的提升。玉米幼苗可以在背景有大量雜草的情況下被準(zhǔn)確地識別出來，解決了對小目標(biāo)漏檢、誤檢的問題。

本文能夠很好應(yīng)用到農(nóng)業(yè)方面，未來在智能化間歇式耕作技術(shù)，如精準(zhǔn)施肥、精確噴藥和智能除草等提供了一套目標(biāo)檢測原型系統(tǒng)，以便于更好地適應(yīng)規(guī)?；?guī)范化的農(nóng)業(yè)部署。在未來的研究工作中，本文將進(jìn)一步結(jié)合田間真實環(huán)境，在多種復(fù)雜場景下深入研究視覺技術(shù)在農(nóng)作物除草領(lǐng)域的應(yīng)用。