基于天氣數(shù)據(jù)增強(qiáng)和微調(diào)的苗期作物雜草識(shí)別定位模型

關(guān)鍵詞：雜草特征提取；天氣數(shù)據(jù)增強(qiáng)；遷移學(xué)習(xí)；Yolov8；輕量級(jí)；深度相機(jī)

雜草是影響農(nóng)業(yè)生產(chǎn)的主要因素，農(nóng)田中雜草與作物競爭水分、養(yǎng)分以及空間位置等資源，直接影響作物的產(chǎn)量與品質(zhì)[1-3]。因此，合理有效地防治雜草成為當(dāng)前農(nóng)業(yè)發(fā)展的重要任務(wù)，而雜草檢測(cè)是智能除草的基礎(chǔ)，也是其中的難點(diǎn)，因此研究雜草的精準(zhǔn)識(shí)別與定位非常重要[4-7]。

深度學(xué)習(xí)因其檢測(cè)精度高、魯棒性強(qiáng)，近幾年成為圖像分類的熱門方法，其中，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于對(duì)作物、雜草的檢測(cè)[8-11]。Jiang等[12]提出基于CNN（cable news network）特征的圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks， GCN），通過GCN-Resnet-101方法在4種不同的雜草數(shù)據(jù)集上實(shí)現(xiàn)了97.8%、99.37%、98.93% 和96.51% 的識(shí)別準(zhǔn)確率。Chen 等[13]使用添加注意力機(jī)制和特征融合的Yolov4算法檢測(cè)芝麻伴生雜草，檢測(cè)精度達(dá)到96.16%。Jin等[14]將Yolov3應(yīng)用于菜田除草，識(shí)別出蔬菜作物，將其他植物分類為雜草，Yolov3對(duì)蔬菜的檢測(cè)精度達(dá)到97%以上，避免了因雜草種類繁多導(dǎo)致檢測(cè)精度低的問題。Tang等[15]構(gòu)建了K-means 結(jié)合CNN 的雜草識(shí)別模型，采用K-means預(yù)訓(xùn)練代替CNN的權(quán)值隨機(jī)初始化，對(duì)雜草識(shí)別準(zhǔn)確率為92.89%。Wang等[16]提出了基于Swin Transformer 和兩階段遷移學(xué)習(xí)的細(xì)粒度雜草識(shí)別方法，利用遷移學(xué)習(xí)策略解決訓(xùn)練數(shù)據(jù)不足的問題，并在deepweed公共數(shù)據(jù)集上證明了所提方法的有效性。趙輝等[17]在DenseNet網(wǎng)絡(luò)上引入注意力機(jī)制，通過正則化增強(qiáng)不同雜草類型適應(yīng)性，對(duì)玉米幼苗及6種伴生雜草平均識(shí)別準(zhǔn)確率達(dá)到98.63%。以上研究表明，卷積神經(jīng)網(wǎng)絡(luò)在作物、雜草識(shí)別中有很好的適用性，但是大多數(shù)研究采用背景環(huán)境單一的數(shù)據(jù)集，在模型訓(xùn)練時(shí)沒有獲得作物與雜草背景復(fù)雜或者天氣環(huán)境變化的特征信息，在實(shí)際應(yīng)用中遇到此類情況時(shí)，作物和雜草的識(shí)別精度會(huì)大幅度下降，因此如何在復(fù)雜環(huán)境背景與多變天氣情況中提高對(duì)作物與雜草的識(shí)別精度與魯棒性仍是亟待解決的問題。

基于以上原因，本研究采用天氣數(shù)據(jù)增強(qiáng)的方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng)，同時(shí)利用Yolov8模型在大型雜草數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練得到所需的雜草特征參數(shù)，使用自采雜草數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)，使模型具有較高的準(zhǔn)確率與泛化性。最終得到所需的模型，將其部署至安卓移動(dòng)端，實(shí)現(xiàn)對(duì)雜草的快速、輕量級(jí)的識(shí)別。

1 材料與方法

1.1 雜草數(shù)據(jù)集

本研究采用兩組數(shù)據(jù)集，一是預(yù)訓(xùn)練所用的Jiang數(shù)據(jù)集[12]和Weed25數(shù)據(jù)集[18]，二是SXAU自采數(shù)據(jù)集。其中，Jiang數(shù)據(jù)集擁有玉米、藜、薊、莎草等共4 800 幅圖像，Weed25 數(shù)據(jù)集擁有稗、馬唐、狗尾巴草、蒼耳、薊等25 種雜草圖像，共14 035幅。

1.1.1 預(yù)訓(xùn)練數(shù)據(jù)集 coco 數(shù)據(jù)集中主要包括人、動(dòng)物、物體等，并且都為生活場景中的粗粒度圖像，Yolo官方提供的coco數(shù)據(jù)集預(yù)訓(xùn)練模型，模型難以直接通過微調(diào)獲取作物與雜草的特征信息。因此，使用開源數(shù)據(jù)集Jiang 數(shù)據(jù)集與Weed25數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，這2個(gè)數(shù)據(jù)集具有豐富的雜草細(xì)粒度特征，卷積神經(jīng)網(wǎng)絡(luò)可以從中獲取大量的作物、雜草相關(guān)參數(shù)特征，符合雜草識(shí)別研究類型，通過遷移學(xué)習(xí)以獲得訓(xùn)練充分的所需模型參數(shù)。

1.1.2 SXAU 數(shù)據(jù)集 SXAU 雜草數(shù)據(jù)集采集自山西農(nóng)業(yè)大學(xué)榆次李坊試驗(yàn)基地與山西農(nóng)業(yè)大學(xué)牧站試驗(yàn)地，采集對(duì)象為幼苗期的玉米、大豆及其伴生雜草。于2023年5月20日至2023年6月5日，使用Canon 單反相機(jī)EOS70D、Nikon 單反相機(jī)D3 300與智能手機(jī)采集圖像。采集玉米、大豆、薊、藜、劍葉鳳尾蕨、打碗花、馬齒莧、馬唐、苣荬菜、反枝莧、龍葵圖像共5 891幅，其中，玉米992幅、大豆1 265幅、薊417幅、藜691幅、劍葉鳳尾蕨392幅、打碗花452幅、馬齒莧384幅、馬唐400幅、苣荬菜326幅、反枝莧372幅、龍葵200幅。

1.2 數(shù)據(jù)增強(qiáng)

由于自建數(shù)據(jù)集中的原始圖像數(shù)量較少，且各種類數(shù)量不均勻，為了防止由于圖像數(shù)量少而造成模型過擬合，本研究采用數(shù)據(jù)增強(qiáng)方法對(duì)已有的數(shù)據(jù)集進(jìn)行擴(kuò)充，增加數(shù)據(jù)的多樣性，進(jìn)而學(xué)習(xí)更多作物與雜草的相關(guān)特征，提升模型的應(yīng)用能力。本研究采用天氣數(shù)據(jù)增強(qiáng)與在線數(shù)據(jù)增強(qiáng)的方式，利用Python中的Albumentations庫的圖像數(shù)據(jù)增強(qiáng)算法來模仿不同天氣條件引起的圖像變化。

選取玉米幼苗的原圖像進(jìn)行數(shù)據(jù)增強(qiáng)：利用隨機(jī)霧變換，可以將霧隨機(jī)添加到圖像的不同位置并模糊背景；泥濺變換可以模擬圖像采集操作時(shí)造成的泥濺形式的鏡頭遮擋；當(dāng)作物、雜草靠近時(shí)，容易受到葉片遮擋造成陰影，這種現(xiàn)象可以通過陰影變化來進(jìn)行模擬；雨水變換可以模擬雨天采集到的圖像，提高下雨時(shí)的檢測(cè)精度；采用隨機(jī)的日光變換，利用自然光和光調(diào)節(jié)技術(shù)模擬圖像，產(chǎn)生隨機(jī)的太陽耀斑。

對(duì)每幅圖像隨機(jī)使用3 種天氣進(jìn)行數(shù)據(jù)增強(qiáng)，使數(shù)據(jù)集擴(kuò)充到原來的4倍，共23 564幅圖像。按照訓(xùn)練集：驗(yàn)證集：測(cè)試集為7∶1∶2的比例建立數(shù)據(jù)集，其中訓(xùn)練集16 495幅，驗(yàn)證集2 356幅，測(cè)試集4 713幅。為保證數(shù)據(jù)可靠，采用隨機(jī)的方法進(jìn)行數(shù)據(jù)集劃分，數(shù)據(jù)集之間互不重合。訓(xùn)練集用于擬合模型，通過設(shè)置的超參數(shù)訓(xùn)練出分類模型，驗(yàn)證集用于調(diào)整模型參數(shù)，測(cè)試集用于對(duì)模型進(jìn)行性能評(píng)價(jià)。使用標(biāo)注工具LabelIMG對(duì)圖像進(jìn)行標(biāo)注，生成為Pascal VOC數(shù)據(jù)集格式。

使用在線數(shù)據(jù)增強(qiáng)的方法，在訓(xùn)練過程中每個(gè)step有50%的概率使用Mosaic數(shù)據(jù)增強(qiáng)，并且50%的概率對(duì)Mosaic增強(qiáng)后的圖像進(jìn)行mixup數(shù)據(jù)增強(qiáng)處理。同時(shí)訓(xùn)練中對(duì)訓(xùn)練集進(jìn)行隨機(jī)的翻轉(zhuǎn)、色域變換，對(duì)圖像多余的部分添加灰條，增強(qiáng)模型的魯棒性與泛化性。相比離線數(shù)據(jù)增強(qiáng)該方法不需要對(duì)增強(qiáng)后的數(shù)據(jù)進(jìn)行保存，節(jié)省了大量的存儲(chǔ)空間，減少計(jì)算機(jī)硬件的功耗，具有很強(qiáng)的靈活性。

1.3 基于微調(diào)的Yolov8 試驗(yàn)方法

遷移學(xué)習(xí)可以更好地幫助模型學(xué)習(xí)雜草的特征，減少訓(xùn)練時(shí)神經(jīng)網(wǎng)絡(luò)所需的計(jì)算資源和數(shù)據(jù)大小[1920]。為了解決數(shù)據(jù)集數(shù)量偏少以及各種類圖像數(shù)量不均勻的問題，本研究先使用Jiang數(shù)據(jù)集和Weed25數(shù)據(jù)集對(duì)Yolov8等深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，通過遷移學(xué)習(xí)的方法減少模型對(duì)數(shù)據(jù)集數(shù)量的需求，具體方法如圖3所示。在獲得預(yù)訓(xùn)練模型之后，使用SXAU數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練微調(diào)，獲得最終的雜草識(shí)別模型。

1.3.1 Yolov8 算法 YOLOv8[21]是基于YOLO 系列的目標(biāo)檢測(cè)算法，相比于之前的Yolo版本，它的速度和準(zhǔn)確性都有了顯著提高，因此非常適合實(shí)時(shí)目標(biāo)檢測(cè)[22]。經(jīng)與EfficientDet[23]、Yolov5[2425]、Yolov7-tiny[26]模型對(duì)比分析，本研究選擇Yolov8模型作為作物與雜草的識(shí)別模型。

1.3.2 定位算法 本研究使用D435i深度相機(jī)與HBV-1 780-2 雙目視覺相機(jī)計(jì)算物體的深度距離，將物體二維像素平面的中心點(diǎn)映射到三維世界中的位置點(diǎn)，需要經(jīng)過像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系一系列的轉(zhuǎn)換。二維坐標(biāo)中心點(diǎn)由Yolov8模型通過檢測(cè)RGB圖像獲取，深度值通過深度相機(jī)可以直接獲取，D435i深度相機(jī)內(nèi)參出廠已默認(rèn)標(biāo)定，不需要再進(jìn)行人工標(biāo)定。HBV-1 780-2雙目相機(jī)運(yùn)用張正友標(biāo)定法先拍攝包含標(biāo)定板的圖像進(jìn)行人工標(biāo)定，讓標(biāo)定板在不同位置和角度有足夠的變化，檢測(cè)每幅圖像標(biāo)定板上的角點(diǎn)，獲取雙目相機(jī)的參數(shù)矩陣與畸變系數(shù)。之后通過識(shí)別到的作物與雜草的中心點(diǎn)像素坐標(biāo)后，結(jié)合深度信息，采用立體匹配算法提取三維空間坐標(biāo)信息。

1.3.3 可視化分析 細(xì)粒度圖像分類任務(wù)的關(guān)鍵在于模型是否能關(guān)注圖像中最具判別性的部分[27]，而模型對(duì)于使用者來說卻如同黑箱[28]，無法了解到模型是否關(guān)注到了圖像中的重點(diǎn)。利用模型的可視化作為診斷工具，驗(yàn)證模型是否觀察到了圖像中判別性的部分。

1.4 環(huán)境配置與參數(shù)設(shè)置

環(huán)境系統(tǒng)選用Windows11 專業(yè)版，內(nèi)存為64 GB，搭載Intel CoreI7-13 700KF處理器，GPU采用NVIDIA GeForce RTX 4 080，以Pytorch 為開發(fā)環(huán)境，Python版本選用3.8。使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，訓(xùn)練時(shí)采用fp16 混合精度訓(xùn)練，訓(xùn)練100次迭代，前50次迭代進(jìn)行凍結(jié)訓(xùn)練，模型的學(xué)習(xí)率設(shè)置為0.001，采用Adam優(yōu)化器，優(yōu)化器內(nèi)動(dòng)量因子（momentum）參數(shù)設(shè)為0.937，權(quán)值衰減系數(shù)設(shè)為0，Batch Size 設(shè)為32，調(diào)整學(xué)習(xí)率采用余弦退火衰減策略。

1.5 模型評(píng)價(jià)指標(biāo)

為了表示模型的性能，決定使用類別精度（average precison，AP）、類別精度均值（mean AP，mAP）、F1-score、參數(shù)量以及模型占用內(nèi)存作為模型評(píng)價(jià)指標(biāo)。AP與精確率（precision，P）和召回率（recall，R）有關(guān)，是PR曲線的曲線下面積，AP值更能反映出模型的效果。具體計(jì)算公式如下。

式中，TP為正確預(yù)測(cè)為正樣本的數(shù)量；FP為錯(cuò)誤預(yù)測(cè)為正樣本的數(shù)量；FN為錯(cuò)誤預(yù)測(cè)為負(fù)樣本的數(shù)量；n 為預(yù)測(cè)樣本數(shù)量。

2 結(jié)果與分析

2.1 不同神經(jīng)網(wǎng)絡(luò)對(duì)雜草特征提取效果的比較

從表1可以看出，Yolov8的精度值、準(zhǔn)確率、召回率、F1值均高于其他網(wǎng)絡(luò)，平均精度比其他神經(jīng)網(wǎng)絡(luò)高1～7個(gè)百分點(diǎn)，準(zhǔn)確率和召回率相比其他網(wǎng)絡(luò)也高出了1～37 個(gè)百分點(diǎn)，F(xiàn)1 值相比Yolov7-tiny高24個(gè)百分點(diǎn)，由此證明了Yolov8在雜草識(shí)別中的有效性，在經(jīng)過微調(diào)之后，Yolov8可以更好的遷移雜草特征參數(shù)，對(duì)雜草特征提取效果更好。同時(shí)，Yolov8 的平均檢測(cè)時(shí)間僅需13.032 ms，優(yōu)于Yolov5和Effcientdet，可以滿足除草作業(yè)中雜草識(shí)別算法的實(shí)時(shí)性要求。

2.2 微調(diào)對(duì)神經(jīng)網(wǎng)絡(luò)提取雜草特征效果的影響

為了評(píng)估微調(diào)對(duì)神經(jīng)網(wǎng)絡(luò)提取雜草特征的效果，使用預(yù)訓(xùn)練Jiang數(shù)據(jù)集和Weed25數(shù)據(jù)集的模型對(duì)比未經(jīng)過預(yù)訓(xùn)練的模型。由圖4 可以看出，經(jīng)過預(yù)訓(xùn)練的模型在迭代10次精度就已經(jīng)達(dá)到了90%，而未經(jīng)過預(yù)訓(xùn)練的模型在迭代70次之后精度才達(dá)到90%，并且經(jīng)過預(yù)訓(xùn)練的模型精度要超過未經(jīng)過預(yù)訓(xùn)練模型的精度，由此可以判斷，通過遷移學(xué)習(xí)將預(yù)訓(xùn)練模型的雜草特征參數(shù)轉(zhuǎn)移至新的模型并對(duì)其微調(diào)，可以更快地獲得較高的檢測(cè)精度。

為判斷2種模型的實(shí)際檢測(cè)能力，在測(cè)試集中抽取3幅圖像，對(duì)預(yù)測(cè)結(jié)果進(jìn)行比較（圖5）。測(cè)試圖像打碗花，經(jīng)過微調(diào)的模型對(duì)其檢測(cè)置信度達(dá)到了80%，而沒有經(jīng)過微調(diào)的模型打碗花的置信度只達(dá)到了30%，并沒有檢測(cè)出雜草的種類，說明微調(diào)提高了模型對(duì)雜草檢測(cè)的準(zhǔn)確率。在測(cè)試圖像反枝莧時(shí)，經(jīng)過微調(diào)的模型對(duì)檢測(cè)反枝莧的置信度達(dá)到了90%，而劍葉鳳尾蕨的置信度僅有10%，不影響模型對(duì)雜草的精準(zhǔn)識(shí)別，而沒有經(jīng)過微調(diào)的模型雖然對(duì)反枝莧的置信度有60%，但誤檢為大豆的置信度也接近了40%，在實(shí)際應(yīng)用中極容易錯(cuò)誤分類，將雜草錯(cuò)分為作物。以上結(jié)果表明，微調(diào)有助于卷積神經(jīng)網(wǎng)絡(luò)快速提取雜草特征參數(shù)，提升模型對(duì)雜草正確種類的判斷，降低模型錯(cuò)分的概率，建立精準(zhǔn)的雜草識(shí)別模型。

2.3 天氣數(shù)據(jù)增強(qiáng)對(duì)雜草識(shí)別效果的影響

為驗(yàn)證天氣數(shù)據(jù)增強(qiáng)對(duì)復(fù)雜天氣下雜草識(shí)別效果的影響，對(duì)使用天氣數(shù)據(jù)增強(qiáng)方法與未使用增強(qiáng)方法的模型進(jìn)行對(duì)比，結(jié)果（表2）表明，使用天氣數(shù)據(jù)增強(qiáng)方法模型的平均精度、準(zhǔn)確率、召回率、F1值都有提高，證實(shí)經(jīng)過天氣數(shù)據(jù)增強(qiáng)與微調(diào)的模型達(dá)到了最高的性能。為了解模型對(duì)雜草的分類情況，對(duì)測(cè)試集隨機(jī)抽取不同天氣情況下各類圖像50幅進(jìn)行混淆矩陣分析，并與未經(jīng)過天氣數(shù)據(jù)增強(qiáng)與微調(diào)的Yolov8模型進(jìn)行對(duì)比。由圖6可以看出，龍葵、藜、薊、打碗花、反枝莧、劍葉鳳尾蕨與苣荬菜有3～5幅被誤分為其他種類，在經(jīng)過天氣數(shù)據(jù)增強(qiáng)與微調(diào)之后，誤分的數(shù)量最多不超過1幅，證明該模型更好地學(xué)習(xí)到了雜草之間的細(xì)粒度特征，誤分率降低，具有很好的有效性。

2.4 模型可視化分析

從測(cè)試集中隨機(jī)抽取幾幅圖像，使用CAM方法將其可視化，如圖7所示?？梢钥闯觯Ｐ蛯釁^(qū)很好地集中在作物與雜草幼苗上，忽略了背景區(qū)域所造成的影響，能夠準(zhǔn)確提取圖像中作物與雜草的關(guān)鍵特征。

2.5 模型定位精度試驗(yàn)

通過張正友標(biāo)定法得到雙目相機(jī)的參數(shù)矩陣、畸變系數(shù)，結(jié)果如表3所示。

以劍葉鳳尾蕨為檢測(cè)對(duì)象，在0.5～1.0 m 距離內(nèi)，對(duì)D435i 深度相機(jī)和HBV-1780-2 雙目相機(jī)的距離測(cè)量和誤差進(jìn)行評(píng)價(jià)分析，測(cè)得距離的最大誤差分別為0.02 和0.04 m。同時(shí)可以看出，在近距離時(shí)，雜草的測(cè)量結(jié)果更為精確，隨著與相機(jī)之間距離的增加，誤差逐漸增大。這主要?dú)w因于相機(jī)本身的分辨率，相機(jī)對(duì)距離較遠(yuǎn)的雜草深度信息獲取不夠充分。從誤差（表4）來看，兩者的測(cè)量誤差都均能滿足實(shí)時(shí)測(cè)距的要求。然而，深度相機(jī)相較于普通雙目相機(jī)，測(cè)量效果要更為精確，具有更高的穩(wěn)定性。另外，由于無需人工標(biāo)注，深度相機(jī)更加便捷，更適用于對(duì)雜草進(jìn)行三維空間定位。

2.6 移動(dòng)端雜草識(shí)別驗(yàn)證

為驗(yàn)證該模型在實(shí)際應(yīng)用中的效果，將其部署至Android手機(jī)端，開發(fā)為手機(jī)APP。在測(cè)試集中抽取了100幅圖像，其中檢測(cè)正確的97幅，檢測(cè)錯(cuò)誤的3幅，平均準(zhǔn)確率達(dá)到97%，具體識(shí)別結(jié)果如圖8所示。該模型部署至移動(dòng)端可以保持較高的準(zhǔn)確性與實(shí)時(shí)性，可為輕量級(jí)模型部署提供可行的方法。

3 討論

本研究采用公開的雜草數(shù)據(jù)集對(duì)Yolov8 模型進(jìn)行遷移學(xué)習(xí)，構(gòu)建了SXAU雜草數(shù)據(jù)集，并通過天氣數(shù)據(jù)增強(qiáng)與在線數(shù)據(jù)增強(qiáng)相結(jié)合的方法對(duì)自建數(shù)據(jù)集進(jìn)行增強(qiáng)，對(duì)預(yù)訓(xùn)練模型微調(diào)實(shí)現(xiàn)了對(duì)玉米、大豆以及9 種雜草的精準(zhǔn)檢測(cè)。Wang等[18]使用YOLO算法在自采的雜草數(shù)據(jù)集上達(dá)到了92.40% 的精度值，張偉康等[29] 通過改良的Yolov5 算法在自采的雜草數(shù)據(jù)集上達(dá)到95.70%的精度值。本研究在預(yù)訓(xùn)練之后，對(duì)自采的SXAU數(shù)據(jù)集達(dá)到了97.43%的精度值，這種差異可能來自于測(cè)試數(shù)據(jù)集的不同，但在預(yù)訓(xùn)練前后同樣對(duì)SXAU數(shù)據(jù)集進(jìn)行測(cè)試，精度值差值大約為2個(gè)百分點(diǎn)，說明預(yù)訓(xùn)練對(duì)提升雜草識(shí)別精度是有效的。同時(shí)，在預(yù)訓(xùn)練之后，模型通過短時(shí)間的訓(xùn)練即可獲得較高的識(shí)別精度，具有訓(xùn)練時(shí)間短的優(yōu)點(diǎn)。本研究采用輕量型模型，相較于Jiang等[12]和Chen等[13]方法具有平均檢測(cè)速度快的優(yōu)勢(shì)。在數(shù)據(jù)集方面，與大部分雜草識(shí)別試驗(yàn)不同，本研究采用了天氣數(shù)據(jù)增強(qiáng)方法，用于對(duì)不同天氣情況下的雜草進(jìn)行特征提取學(xué)習(xí)，最終得到的模型試驗(yàn)結(jié)果表明，天氣數(shù)據(jù)增強(qiáng)相較于傳統(tǒng)的數(shù)據(jù)增強(qiáng)可以提高模型的特征學(xué)習(xí)能力，適應(yīng)復(fù)雜農(nóng)田環(huán)境下雜草的高精度識(shí)別。綜上所述，本方法可為后續(xù)雜草識(shí)別研究提供參考。