基于改進(jìn)DenseNet的田間雜草識(shí)別

趙 輝，曹宇航，岳有軍，王紅君

基于改進(jìn)DenseNet的田間雜草識(shí)別

趙 輝，曹宇航，岳有軍，王紅君

（天津理工大學(xué)電氣電子工程學(xué)院，天津市復(fù)雜系統(tǒng)控制理論與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，天津 300384）

精確、快速地獲取作物和雜草的類別信息是實(shí)現(xiàn)自動(dòng)化除草作業(yè)的重要前提。為解決復(fù)雜環(huán)境下農(nóng)作物田間雜草種類的高效準(zhǔn)確識(shí)別問(wèn)題，該研究提出一種基于改進(jìn)DenseNet的雜草識(shí)別模型。首先，在DenseNet-121網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)在每個(gè)卷積層后引入高效通道注意力（Efficient Channel Attention，ECA）機(jī)制，增加重要特征的權(quán)重，強(qiáng)化雜草特征并抑制背景特征；其次，通過(guò)DropBlock正則化隨機(jī)隱藏雜草圖像部分特征塊，以提升模型的泛化能力，增強(qiáng)模型識(shí)別不同類型雜草的適應(yīng)性；最后，以自然環(huán)境下玉米幼苗和6類伴生雜草作為樣本，在相同試驗(yàn)條件下與VggNet-16、ResNet-50和未改進(jìn)的DenseNet-121模型進(jìn)行對(duì)比試驗(yàn)。結(jié)果表明，改進(jìn)的DenseNet模型性能最優(yōu)，模型大小為26.55 MB，單張圖像耗時(shí)0.23 s，平均識(shí)別準(zhǔn)確率達(dá)到98.63%，較改進(jìn)前模型的平均識(shí)別準(zhǔn)確率提高了2.09個(gè)百分點(diǎn)，且綜合性能高于VggNet-16、ResNet-50模型；同時(shí)，通過(guò)采用梯度加權(quán)類激活映射圖（Gradient-weighted Class Activation Mapping，Grad-CAM）可視化熱度圖方法分析，得出改進(jìn)前后模型的類別判斷概率分別為0.68和0.99，本文模型明顯高于未改進(jìn)模型，進(jìn)一步驗(yàn)證了改進(jìn)模型的有效性。該模型能夠很好地解決復(fù)雜環(huán)境下農(nóng)作物和雜草的種類精準(zhǔn)識(shí)別問(wèn)題，為智能除草機(jī)器人開(kāi)發(fā)奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。

圖像識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；高效通道注意力；DropBlock；田間雜草

0 引 言

伴生雜草嚴(yán)重影響作物的產(chǎn)量和質(zhì)量，因此，抑制雜草生長(zhǎng)是農(nóng)業(yè)的主要作業(yè)之一[1]。國(guó)內(nèi)目前主要的除草方式是人工作業(yè)，農(nóng)民在除草過(guò)程中往往使用大面積隨機(jī)噴灑除草劑的方式進(jìn)行除草，這會(huì)造成極大的環(huán)境污染和化學(xué)殘留，也對(duì)人們的身體健康產(chǎn)生極大的危害。而且大面積除草作業(yè)沒(méi)有針對(duì)性，除草效率往往不高，需要反復(fù)進(jìn)行除草[2-4]。近年來(lái)，為提高田間作業(yè)效率及解決農(nóng)業(yè)勞動(dòng)力不足問(wèn)題，自動(dòng)精確除草系統(tǒng)成為研究熱點(diǎn)[5-6]，其中，基于機(jī)器視覺(jué)和圖像處理的雜草自動(dòng)識(shí)別技術(shù)是難點(diǎn)[7]。

傳統(tǒng)圖像處理方法通常根據(jù)雜草顏色、形狀、紋理和空間分布等特征以及這些特征的組合，使用小波分析、貝葉斯判別模型和支持向量機(jī)（Support Vector Machines，SVM）等[8-10]方法實(shí)現(xiàn)農(nóng)作物與雜草的識(shí)別[11-15]。這些方法雖然檢測(cè)難度較低，但是一般農(nóng)作物的種植區(qū)域環(huán)境復(fù)雜，使用雜草特定特征進(jìn)行識(shí)別的方法的魯棒性較差，識(shí)別準(zhǔn)確率不高。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutianal Neural Network，CNN）在機(jī)器視覺(jué)領(lǐng)域逐漸得到廣泛應(yīng)用并取得良好效果[16-19]。在雜草識(shí)別方面，Dos等[20]將AlexNet與SVM和隨機(jī)林模型進(jìn)行了比較，得出AlexNet架構(gòu)比其他模型能更好地辨別大豆、土壤和闊葉雜草；Potena等[21]提出基于RGB+NIR（Near Infrared）圖像的多步視覺(jué)系統(tǒng)，使用2種不同的CNN架構(gòu)對(duì)農(nóng)作物和雜草進(jìn)行分類；Jiang等[22]在AlexNet、VGG16和ResNet-101網(wǎng)絡(luò)模型[23-25]上使用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)3類農(nóng)作物及雜草進(jìn)行識(shí)別，其中ResNet-101的平均識(shí)別準(zhǔn)確率達(dá)到96.51%；彭文等[26]以水稻田間雜草為研究對(duì)象，在深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，使用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器優(yōu)化參數(shù)，其中VGG16-SGD模型精度最高，其平均F（F-measure）值為0.977；鄧向武等[27]使用預(yù)訓(xùn)練CNN模型結(jié)合遷移學(xué)習(xí)方法，對(duì)水稻幼苗田間雜草進(jìn)行識(shí)別，其中，VGG16模型的正確識(shí)別率達(dá)到97.8%；徐艷蕾等[28]通過(guò)在Xception網(wǎng)絡(luò)基礎(chǔ)上引入指數(shù)線性單元（Exponential Linear Unit，ELU）激活函數(shù)和全局最大池化層提高對(duì)雜草的識(shí)別能力，最終平均識(shí)別準(zhǔn)確率達(dá)到98.63%。通過(guò)以上文獻(xiàn)可以看出，基于深度學(xué)習(xí)的雜草識(shí)別方法可以很好地解決傳統(tǒng)圖像處理中需要提取特定特征的問(wèn)題，并且在準(zhǔn)確率上也有一定程度的提高，但仍然存在以下問(wèn)題：1）在復(fù)雜環(huán)境下的農(nóng)作物田間，當(dāng)雜草周圍環(huán)境發(fā)生變化時(shí)，已有深度學(xué)習(xí)模型對(duì)雜草識(shí)別存在泛化能力不強(qiáng)問(wèn)題；2）卷積神經(jīng)網(wǎng)絡(luò)在特征提取過(guò)程中，因背景多樣且圖像像素占比較多，從而提取大量無(wú)效背景信息，影響識(shí)別結(jié)果，不能保持較高的識(shí)別準(zhǔn)確率。

針對(duì)以上問(wèn)題，本文提出一種基于改進(jìn)DenseNet-121網(wǎng)絡(luò)的雜草識(shí)別模型，通過(guò)引入高效通道注意力（Efficient Channel Attention，ECA）機(jī)制和DropBlock正則化，在加強(qiáng)雜草特征提取的同時(shí)，抑制無(wú)效背景特征的提取，從而提高識(shí)別準(zhǔn)確率和網(wǎng)絡(luò)的泛化能力，確保在復(fù)雜環(huán)境下雜草的高效準(zhǔn)確識(shí)別。

1 雜草識(shí)別流程

本文通過(guò)改進(jìn)DenseNet進(jìn)行田間雜草識(shí)別。步驟如圖1所示。首先，對(duì)收集到的農(nóng)作物和雜草圖像進(jìn)行數(shù)據(jù)擴(kuò)增以確保數(shù)據(jù)的多樣性，完成雜草數(shù)據(jù)集的建立，并劃分訓(xùn)練集和測(cè)試集；其次，將訓(xùn)練集輸入到雜草識(shí)別模型中完成模型訓(xùn)練，再載入訓(xùn)練好的權(quán)重得到預(yù)測(cè)模型；最后，輸入測(cè)試集得到預(yù)測(cè)結(jié)果。

2 數(shù)據(jù)處理

本文訓(xùn)練樣本數(shù)據(jù)集包括2部分，一部分為文獻(xiàn)[22]公開(kāi)的玉米與雜草數(shù)據(jù)集；一部分為自建雜草數(shù)據(jù)集，于2020年6月10日，采集于山西省垣曲縣上官村中自然環(huán)境下的玉米田間，分別在早上6:00、中午12:00和下午18:00實(shí)地拍攝玉米幼苗圖像和雜草圖像。包括莎草、刺兒草、牛筋草、藜、早熟禾、小飛蓬6種常見(jiàn)的雜草和玉米圖像。經(jīng)過(guò)篩選后，本文所用數(shù)據(jù)集共有1 522幅圖片，其中莎草270張，刺兒草244張，牛筋草114張，藜220張，早熟禾265張，小飛蓬119張以及玉米290張。在實(shí)際訓(xùn)練過(guò)程中，考慮到數(shù)據(jù)集有限和圖像尺寸的問(wèn)題，對(duì)原始數(shù)據(jù)集進(jìn)行以下處理：

1）為了防止由于圖片數(shù)量有限而造成過(guò)擬合，本文采用深度學(xué)習(xí)中的數(shù)據(jù)擴(kuò)增技術(shù)，對(duì)已有的數(shù)據(jù)集進(jìn)行幾何變換，通過(guò)擴(kuò)充玉米和雜草圖像的數(shù)量，增加數(shù)據(jù)的多樣性，避免出現(xiàn)網(wǎng)絡(luò)學(xué)習(xí)不相關(guān)特征，進(jìn)而學(xué)習(xí)更多與數(shù)據(jù)有關(guān)的特征，提升模型的識(shí)別能力。本文對(duì)收集到的雜草和玉米圖片，采用亮度增強(qiáng)、對(duì)比度增強(qiáng)、添加噪聲和隨機(jī)方向翻轉(zhuǎn)4種數(shù)據(jù)擴(kuò)增方法，使數(shù)據(jù)集擴(kuò)充到原數(shù)據(jù)集的4倍，共7 610張圖片。其中，訓(xùn)練集6 088張，測(cè)試集1 522張。

2）為滿足網(wǎng)絡(luò)對(duì)圖像像素的輸入要求，訓(xùn)練時(shí)，首先將圖像像素調(diào)整為256×256，再?gòu)闹行拈_(kāi)始裁剪得到224×224像素的圖像，裁剪后的部分雜草數(shù)據(jù)集圖像見(jiàn)圖 2。

3 模型構(gòu)建

3.1 DenseNet-121

Densenet-121[29]網(wǎng)絡(luò)使用旁路設(shè)置和特征重用2種結(jié)構(gòu)，采用特征重復(fù)拼接，既可以減少網(wǎng)絡(luò)的參數(shù)量，又可以緩解梯度消失的問(wèn)題。網(wǎng)絡(luò)主要由DenseBlock和Transition Layer兩部分組成。

DenseBlock結(jié)構(gòu)如圖3所示。

DenseBlock的輸出公式為

3.2 DenseNet改進(jìn)

3.2.1 注意力機(jī)制

由此可得：

3.2.2 DropBlock正則化

考慮到周圍環(huán)境變化可能導(dǎo)致識(shí)別準(zhǔn)確率降低以及 DenseNet-121網(wǎng)絡(luò)可能會(huì)造成過(guò)擬合等問(wèn)題，本文采用DropBlock[31]正則化模型，通過(guò)隨機(jī)隱藏部分特征圖的方法，防止過(guò)擬合的出現(xiàn)，以提取更具有魯棒性的特征。

Dropout[32]正則化一般通過(guò)在全連接層上隨機(jī)隱藏神經(jīng)元發(fā)揮作用，但是在卷積層使用卻效果不佳，原因是隨著特征提取的加深，特征圖逐漸變小，感受野逐漸變大，特征圖上的每一個(gè)特征對(duì)應(yīng)一個(gè)感受野范圍，均可以通過(guò)相鄰位置元素學(xué)習(xí)對(duì)應(yīng)的語(yǔ)義信息，進(jìn)而失去作用。而DropBlock通過(guò)設(shè)置整塊元素隱藏特征圖，阻斷相鄰位置學(xué)習(xí)語(yǔ)義信息，并對(duì)未被隱藏的特征圖進(jìn)行歸一化，從而實(shí)現(xiàn)對(duì)卷積層的正則化效果。圖5為正則化效果圖。

3.2.3 雜草識(shí)別模型

圖6為模型的整體結(jié)構(gòu)，輸入為R、G、B三通道圖像。首先，圖像經(jīng)過(guò)一個(gè)7×7大卷積核的卷積層調(diào)整通道數(shù)并提取有效的信息，后接一個(gè)DropBlock正則化層，用以模擬噪聲和防止過(guò)擬合，并提高模型的泛化能力；其次，ECA-DenseBlock為模型的核心部分，如圖7所示，在每一個(gè)密集連接后添加ECA注意力機(jī)制，增大雜草特征的權(quán)重，提取更為重要的信息。網(wǎng)絡(luò)共包含4個(gè)ECA-DenseBlock塊，改進(jìn)后的密集連接的數(shù)量分別為6、12、24、16，而且每一個(gè)ECA-DenseBlock后面都連接一個(gè)Transition Layer，其中，1×1卷積和平均池化用來(lái)調(diào)整通道數(shù)，避免特征維度增長(zhǎng)過(guò)快。經(jīng)過(guò)添加注意力機(jī)制的密集連接結(jié)構(gòu)提取特征后，添加DropBlock正則化，防止過(guò)擬合問(wèn)題。最后，使用全局平均池化和Linear分類器得到類別輸出。

城鄉(xiāng)水利基礎(chǔ)設(shè)施再上新臺(tái)階。重點(diǎn)水利項(xiàng)目建設(shè)全面加快，全力實(shí)施福建大水網(wǎng)規(guī)劃和“十百千萬(wàn)”水利工程，截至2013年10月底，全省完成水利建設(shè)投資202億元，漳州古雷引水、長(zhǎng)泰枋洋水庫(kù)等102個(gè)重大水利項(xiàng)目持續(xù)推進(jìn)，建溪三期防洪、莆田金鐘引水等19個(gè)重點(diǎn)水利樞紐、水資源配置工程相繼建成并發(fā)揮效益。農(nóng)村水利基礎(chǔ)設(shè)施條件持續(xù)改善，已解決324萬(wàn)農(nóng)村人口飲水安全問(wèn)題，年內(nèi)可完成400萬(wàn)人以上；加快實(shí)施40處大中型灌區(qū)（灌排泵站）節(jié)水改造、41個(gè)小型農(nóng)田水利重點(diǎn)縣建設(shè)以及2013—2014年度冬春水利工程水毀修復(fù)工作；啟動(dòng)實(shí)施首批280座農(nóng)村水電增效擴(kuò)容改造，將新增裝機(jī)容量79萬(wàn)kW。

注：ECA-DenseBlock為添加ECA后的DenseBlock。

4 雜草識(shí)別試驗(yàn)

4.1 試驗(yàn)環(huán)境

為保證試驗(yàn)的規(guī)范與高效，以Ubuntu 18.04作為試驗(yàn)操作系統(tǒng)，采用Intel Xeon(R) CPUE5-2650V4 @2.20Hz×48、12 GB的Ge Force GTX 1080Ti × 2 GPU并且運(yùn)行內(nèi)存為64 GB的計(jì)算機(jī)作為試驗(yàn)硬件平臺(tái)，采用CUDNN7.6.0為深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)，并使用Python語(yǔ)言在深度學(xué)習(xí)PyTorch框架上實(shí)現(xiàn)。

4.2 參數(shù)設(shè)置

在訓(xùn)練CNN模型時(shí)，本文采用SGD優(yōu)化算法，batch size設(shè)置為64，訓(xùn)練輪數(shù)為100，初始學(xué)習(xí)率設(shè)置為0.01，并且在兩個(gè)輪次的損失值不變時(shí)，學(xué)習(xí)率變?yōu)樵瓉?lái)的一半。

4.3 模型評(píng)價(jià)指標(biāo)

本文采用平均識(shí)別準(zhǔn)確率(Accuracy)作為模型的評(píng)價(jià)指標(biāo):

4.4 結(jié)果與分析

在相同試驗(yàn)條件下，將VggNet-16、ResNet-50、DenseNet-121與改進(jìn)模型進(jìn)行準(zhǔn)確率、模型大小、實(shí)時(shí)性及可視化熱度圖的比較，以驗(yàn)證改進(jìn)模型的有效性。

4.4.1 分類精度

此次試驗(yàn)共訓(xùn)練100輪，從圖8可以看出，相比于其他模型，改進(jìn)后的模型在第20輪迭代左右趨于收斂，較早穩(wěn)定在最高值附近，而其他模型一直處于震蕩，并且VggNet-16、ResNet-50、DenseNet-121和改進(jìn)后模型在訓(xùn)練集上的平均分類準(zhǔn)確率分別為95.85%、96.40%、96.83%和98.89%，改進(jìn)后的DenseNet模型在訓(xùn)練集上的平均分類準(zhǔn)確率明顯高于其他模型。這是因?yàn)樵谔卣魈崛∵^(guò)程中，添加ECA注意力機(jī)制和DropBlock正則化，可以有效加強(qiáng)復(fù)雜背景下雜草特征的提取，防止模型在訓(xùn)練階段識(shí)別能力較好，而在測(cè)試階段的識(shí)別能力較差的過(guò)擬合現(xiàn)象的出現(xiàn)，保證網(wǎng)絡(luò)學(xué)習(xí)到正確的特征信息，大幅度提升數(shù)據(jù)集的準(zhǔn)確率。

4.4.2 分類準(zhǔn)確率

表1為各個(gè)模型在測(cè)試集上對(duì)玉米和不同雜草的分類準(zhǔn)確率對(duì)比。從表1中可看出，VggNet-16、ResNet-50、DenseNet-121和改進(jìn)后模型的平均分類準(zhǔn)確率分別為95.5%、96.22%、96.54%和98.63%。在平均分類準(zhǔn)確率上，與其他3種模型相比，改進(jìn)后的模型有著明顯的提升，較改進(jìn)前提升了2.09個(gè)百分點(diǎn)。其中，藜在每個(gè)模型上的識(shí)別準(zhǔn)確率都比較高，原因是因?yàn)檗紴榱鉅盥研危c其他雜草形狀差別比較大，較容易識(shí)別；而小飛蓬和牛筋草之所以在其他3種模型上的識(shí)別準(zhǔn)確率都不高，是由于訓(xùn)練集數(shù)量略少于其他幾種雜草而造成數(shù)據(jù)的不平衡問(wèn)題引起的，而改進(jìn)后模型卻可以很好的解決這個(gè)問(wèn)題，凸顯出本文模型在雜草識(shí)別方面的優(yōu)越性。

表1 不同模型的分類準(zhǔn)確率

4.4.3 模型大小及實(shí)時(shí)性對(duì)比

為了進(jìn)一步驗(yàn)證文中模型的有效性，表2為不同模型的大小及單張圖預(yù)測(cè)時(shí)間。從參數(shù)量和模型大小上看，VggNet-16最大，ResNet-50網(wǎng)絡(luò)次之，DenseNet-121網(wǎng)絡(luò)最少，計(jì)算效率更高，而本文的改進(jìn)網(wǎng)絡(luò)ECA-DenseNet僅增加了極少的參數(shù)量，不但取得了非?？捎^的效果，而且保持了比較高的計(jì)算效率；從單張圖預(yù)測(cè)時(shí)間上看，VggNet-16所用時(shí)間最長(zhǎng)，ResNet-50、DenseNet-121和改進(jìn)后的模型不相上下，綜合考慮之下，本文的改進(jìn)模型更適合應(yīng)用在復(fù)雜環(huán)境下的雜草識(shí)別中。

表2 不同模型的大小及預(yù)測(cè)時(shí)間

4.4.4 Grad-CAM可視化分析

CAM可視化熱度圖，包括在輸入圖像上生成類激活的熱圖，計(jì)算并顯示每個(gè)位置相對(duì)于所考慮類別的重要性；通過(guò)CAM可視化熱度圖可以了解輸入雜草識(shí)別模型的圖像中，哪些部分對(duì)識(shí)別結(jié)果起關(guān)鍵作用，彩色部分表示為對(duì)識(shí)別結(jié)果起到關(guān)鍵作用的部分。改進(jìn)前后模型提取特征的可視化過(guò)程圖如圖9所示。從圖9可以看出，未改進(jìn)模型彩色部分的位置分布在雜草四周，而改進(jìn)后模型彩色部分的位置位于雜草主體部分，并且改進(jìn)前后的DenseNet模型值分別為0.68和0.99，改進(jìn)后模型明顯高于改進(jìn)前模型，添加ECA注意力機(jī)制和DropBlock正則化后的模型，加強(qiáng)了重要雜草特征的提取，抑制了背景特征的提取，提取重要特征的能力明顯強(qiáng)于未改進(jìn)的模型，對(duì)正確分類的判斷效果也更好。所以，本文改進(jìn)模型可以很好地解決雜草識(shí)別準(zhǔn)確率低和泛化性不高的問(wèn)題。

5 結(jié) 論

為解決復(fù)雜環(huán)境下農(nóng)作物田間雜草種類識(shí)別準(zhǔn)確率低和泛化能力不強(qiáng)的問(wèn)題，本研究提出一種基于改進(jìn)DenseNet的雜草識(shí)別方法，通過(guò)在DenseNet-121網(wǎng)絡(luò)的基礎(chǔ)上，引入高效通道注意力機(jī)制和DropBlock正則化，加強(qiáng)雜草特征的提取，增強(qiáng)模型魯棒性和泛化能力，實(shí)現(xiàn)了對(duì)復(fù)雜環(huán)境下雜草種類的高效準(zhǔn)確識(shí)別功能。

1）本文提出的模型對(duì)自然環(huán)境下玉米幼苗和6類伴生雜草平均識(shí)別準(zhǔn)確率可以達(dá)到98.63%，均高于VggNet-16、ResNet-50和沒(méi)有改進(jìn)的DenseNet-121模型，且較于改進(jìn)前模型，提高了2.09個(gè)百分點(diǎn)，驗(yàn)證了本文模型在雜草識(shí)別上的有效性。

2）改進(jìn)后的DenseNet網(wǎng)絡(luò)模型大小為26.55 MB，單張圖耗時(shí)為0.23 s，均優(yōu)于VggNet-16和ResNet-50網(wǎng)絡(luò)，可便于部署到智能除草機(jī)器人中。

3）通過(guò)梯度加權(quán)類激活映射圖可視化分析可以得到，改進(jìn)后的DenseNet網(wǎng)絡(luò)模型比原DenseNet模型可以更多地關(guān)注圖像中雜草主體部分，且改進(jìn)前后模型的類別判斷概率分別為0.68和0.99，改進(jìn)后模型正確分類的判斷效果明顯高于改進(jìn)前模型，加強(qiáng)了雜草特征的提取，提高了對(duì)雜草的識(shí)別能力，進(jìn)一步凸顯出了本文模型在雜草識(shí)別方面的優(yōu)越性。

本文研究成果對(duì)于其他作物與伴生雜草的識(shí)別具有借鑒意義，通過(guò)測(cè)試并改進(jìn)現(xiàn)有算法，可提高模型在雜草識(shí)別問(wèn)題上的通用性。

[1] Harker K N, O'Donovan J T. Recent weed control, weed management, and integrated weed management[J]. Weed Technology, 2013, 27(1): 1-11.

[2] Patches K M, Curran W S, Lingenfelter D D. Effectiveness of herbicides for control of common pokeweed (Phytolacca Americana) in corn and soybean[J]. Weed Technology, 2017, 31(2): 193-201.

[3] 段小賀，韓建國(guó)，巴金磊，等. 玉米田化學(xué)除草現(xiàn)狀及發(fā)展趨勢(shì)[J]. 園藝與種苗，2019，39(8)：54-56.

Duan Xiaohe, Han Jianguo, Ba Jinlei, et al. The current situation and development trend of chemical weeding in corn fields[J]. Horticulture and Seedlings, 2019, 39(8): 54-56. (in Chinese with English abstract)

[4] 李香菊. 近年我國(guó)農(nóng)田雜草防控中的突出問(wèn)題與治理對(duì)策[J]. 植物保護(hù)，2018，44(5)：77-84.

Li Xiangju. Main problems and management strategies of weeds in agricultural fields in China in recent years[J]. Plant Protection, 2018, 44(5): 77-84. (in Chinese with English abstract)

[5] 孫君亮，閆銀發(fā)，李法德，等. 智能除草機(jī)器人的研究進(jìn)展與分析[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2019，40(11)：73-80.

Sun Junliang, Yan Yinfa, Li Fade, et al. Research progress and analysis of intelligent weeding robots[J]. Chinese Journal of Agricultural Machinery Chemistry, 2019, 40(11): 73-80. (in Chinese with English abstract)

[6] Utstumo T, Urdal F, Brevik A, et al. Robotic in-row weed control in vegetables[J]. Computers and Electronics in Agriculture, 2018, 154: 36-45.

[7] 袁洪波，趙努東，程曼. 基于圖像處理的田間雜草識(shí)別研究進(jìn)展與展望[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(S2)：323-334.

Yuan Hongbo, Zhao Nudong, Cheng Man. Research progress and prospect of field weed recognition based on image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S2): 323-334. (in Chinese with English abstract)

[8] 黃林生，劉文靜，黃文江，等. 小波分析與支持向量機(jī)結(jié)合的冬小麥白粉病遙感監(jiān)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(14)：188-195.

Huang Linsheng, Liu Wenjing, Huang Wenjiang, et al. Remote sensing monitoring of winter wheat powdery mildew based on wavelet analysis and support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 188-195. (in Chinese with English abstract)

[9] 翟治芬，徐哲，周新群，等. 基于樸素貝葉斯分類器的棉花盲椿象危害等級(jí)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(1)：204-211.

Zhai Zhifen, Xu Zhe, Zhou Xinqun, et al. Identification of cotton blind stink bug hazards based on naive Bayes classifier[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 204-211. (in Chinese with English abstract)

[10] 梁習(xí)卉子，陳兵旗，李民贊，等. 基于HOG特征和SVM的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(15)：173-181.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Dynamic counting method of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)

[11] Zheng Y, Zhu Q, Huang M, et al. Maize and weed classification using color indices with support vector data description in outdoor fields[J]. Computers and Electronics in Agriculture, 2017, 141: 215-222.

[12] 侯雨，曹麗英，丁小奇，等. 基于邊緣檢測(cè)和BP神經(jīng)網(wǎng)絡(luò)的大豆雜草識(shí)別研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2020，41(7)：185-190.

Hou Yu, Cao Liying, Ding Xiaoqi, et al. Research on soybean weed recognition based on edge detection and BP neural network[J]. Chinese Journal of Agricultural Machinery Chemistry, 2020, 41(7): 185-190. (in Chinese with English abstract)

[13] 王璨，李志偉. 利用融合高度與單目圖像特征的支持向量機(jī)模型識(shí)別雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(15)：165-174.

Wang Can, Li Zhiwei. Using support vector machine model fusion height and monocular image features to identify weeds[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(15): 165-174. (in Chinese with English abstract)

[14] 胡盈盈，王瑞燕，郭鵬濤，等. 基于近地光譜特征的玉米田間雜草識(shí)別研究[J]. 江蘇農(nóng)業(yè)科學(xué)，2020，48(8)：242-246.

Hu Yingying, Wang Ruiyan, Guo Pengtao, et al. Research on the identification of weeds in corn fields based on near ground spectral characteristics[J]. Jiangsu Agricultural Sciences, 2020, 48(8): 242-246. (in Chinese with English abstract)

[15] Elstone L, How K Y, Brodie S, et al. High speed crop and weed identification in lettuce fields for precision weeding[J]. Sensors, 2020, 20(2): 455.

[16] 周亮，慕號(hào)偉，馬海姣，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的中國(guó)北方冬小麥遙感估產(chǎn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(15)：119-128.

Zhou Liang, Mu Haowei, Ma Haijiao, et al. Remote sensing yield estimation of winter wheat in northern China based on convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 119-128. (in Chinese with English abstract)

[17] 吳賽賽，周愛(ài)蓮，謝能付，等. 基于深度學(xué)習(xí)的作物病蟲(chóng)害可視化知識(shí)圖譜構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，6(24)：177-185.

Wu Saisai, Zhou Ailian, Xie Nengfu, et al. Construction of visual knowledge graph of crop diseases and insect pests based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(24): 177-185. (in Chinese with English abstract)

[18] 陳善雄，伍勝，于顯平，等. 基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)合圖像處理技術(shù)的蕎麥病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(3)：155-163.

Chen Shanxiong, Wu Sheng, Yu Xianping, et al. Buckwheat disease recognition based on convolutional neural network combined with image processing technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 155-163. (in Chinese with English abstract)

[19] 徐建鵬，王杰，徐祥，等. 基于RAdam卷積神經(jīng)網(wǎng)絡(luò)的水稻生育期圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(8)：143-150.

Xu Jianpeng, Wang Jie, Xu Xiang, et al. Rice growth period image recognition based on RAdam convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(8): 143-150. (in Chinese with English abstract)

[20] Dos Santos F A, Freitas D M, Da Silva G G, et al. Weed detection in soybean crops using ConvNets[J]. Computers and Electronics in Agriculture, 2017, 143: 314-324.

[21] Potena C, Nardi D, Pretto A. Fast and accurate crop and weed identification with summarized train sets for precision agriculture[C]. International Conference on Intelligent Autonomous Systems. Switzerland: Springer, Cham, 2016: 105-121.

[22] Jiang H, Zhang C, Qiao Y, et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming[J]. Computers and Electronics in Agriculture, 2020, 174: 105450.

[23] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[24] 李小占，馬本學(xué)，喻國(guó)威，等. 基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of cantaloupe based on deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[25] 王春山，周冀，吳華瑞，等. 改進(jìn)Multi-scale ResNet的蔬菜葉部病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(20)：209-217.

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Improved Multi-scale ResNet for vegetable leaf disease identification[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract)

[26] 彭文，蘭玉彬，岳學(xué)軍，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻田雜草識(shí)別研究[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2020，41(6)：75-81.

Peng Wen, Lan Yubin, Yue Xuejun, et al. Research on weed recognition in rice field based on deep convolutional neural network[J]. Journal of South China Agricultural University, 2020, 41(6): 75-81. (in Chinese with English abstract)

[27] 鄧向武，馬旭，齊龍，等. 基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的稻田苗期雜草識(shí)別[J]. 農(nóng)機(jī)化研究，2021，43(10)：167-171.

Deng Xiangwu, Ma Xu, Qi Long, et al. Recognition of weeds in rice seedling stage based on convolutional neural network and transfer learning[J]. Journal of Agricultural Mechanization Research, 2021, 43(10): 167-171. (in Chinese with English abstract)

[28] 徐艷蕾，何潤(rùn)，翟鈺婷，等. 基于輕量卷積網(wǎng)絡(luò)的田間自然環(huán)境雜草識(shí)別方法[J]. 吉林大學(xué)學(xué)報(bào)：工學(xué)版，2021，2：1-10.

Xu Yanlei, He Run, Zhai Yuting, et al. Weed identification method in field natural environment based on lightweight convolutional network[J]. Journal of Jilin University: Engineering Edition, 2021, 2: 1-10. (in Chinese with English abstract)

[29] Huang G, Liu Z, Maaten L, et al. Densely connected convolutional networks[C]. Computer Vision and Pattern Recognition. Hawaii: IEEE, 2017: 4700-4708.

[30] Wang Q, Wu B, Zhu P, et al．ECA-Net: Efficient channel attention for deep convolutional neural networks[C]. Computer Vision and Pattern Recognition, Long Beach: IEEE, 2020: 11534-11542．

[31] Ghiasi G, Lin T Y, Le Q V. Drop Block: A regularization method for convolutional networks[C]. Proceedings of the 32ndInternational Conference on Neural Information Processing Systems. Red Hook, New York: Curran Associates Inc, 2018: 10750-10760.

[32] Alex K, Ilya S, Geoffrey E H. Image net classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

Field weed recognition based on improved DenseNet

Zhao Hui, Cao Yuhang, Yue Youjun, Wang Hongjun

(,,,300384,)

Accurate and rapid acquisition of crop and weed category information has been one of the most important steps for automatic weeding operations. In this research, a weed recognition model was proposed using improved DenseNet, particularly for the efficient and accurate identification of weeds in crop fields under complex environments. Firstly, data augmentation was utilized to expand the number of images for the collected crop and weed pictures, thereby increasing the diversity of data, but avoiding network learning irrelevant features, and finally enhancing the recognition ability of the model. Secondly, Efficient Channel Attention (ECA) was introduced into the DenseNet-121 network after each convolutional layer. As such, the accuracy of weed recognition was improved to effectively focus the attention on the weeds in the main part of images, where the weight of important features increased further to strengthen the weed features, but to suppress the extraction of background features. At the same time, DropBlock regularization was also added after each DenseBlock block, further to randomly hide some feature maps and noise. Correspondingly, the generalization, robustness, and adaptability of the model were improved to identify different types of weeds. Finally, taking maize seedlings and six types of associated weeds in natural environments as samples, a comparison test was performed on the test set using VggNet-16, ResNet-50, and the unimproved DenseNet-121 model, where the batch size was 64, and the initial learning rate was 0.01. More importantly, an Stochastic Gradient Descent (SGD) optimizer was used to train the CNN model, and the batch size was set to 64, the initial learning rate was set to 0.01, and the VggNet-16, ResNet-50 and the unimproved DenseNet-121 model was compared and tested on the test set. The results show that the improved DenseNet model presented the best performance, where the model size was 26.55 MB, the single image took 0.23 s, and the average recognition accuracy reached 98.63%, increased by 2.09 percentage points before the improvement. It infers that the overall performance of improved DenseNet-121 was significantly higher than that of VggNet-16 and ResNet-50. Gradient-weighted Class Activation Mapping (Grad-CAM) was also used to visualize the heat map for the subsequent comparison. The improved DenseNet decision was obtained, where the important weight position of classification was more focused on the main part of weeds than before. Specifically, the category judgment probability was 0.99, significantly higher than that of the unimproved model, further verifying the effectiveness of the improved model. Consequently, the DenseNet network with ECA attention and DropBlock regularization can widely be expected to improve the recognition accuracy and the generalization of the model, further to ensure the efficient and accurate recognition of weeds in complex environments. The findings can provide a strong reference for the accurate identification of other crops and associated weeds. The versatility of the model in weed identification can also be improved for the technical development of intelligent weeding robots.

image recognition; convolutional neural network; efficient channel attention mechanism; DropBlock; field weed

趙輝，曹宇航，岳有軍，等. 基于改進(jìn)DenseNet的田間雜草識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：136-142.doi：10.11975/j.issn.1002-6819.2021.18.016 http://www.tcsae.org

Zhao Hui, Cao Yuhang, Yue Youjun, et al. Field weed recognition based on improved DenseNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 136-142. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.016 http://www.tcsae.org

2021-05-17

2021-09-12

天津市科技支撐計(jì)劃項(xiàng)目（19YFZCSN00360）

趙輝，博士，教授，研究方向?yàn)閺?fù)雜系統(tǒng)智能控制理論及應(yīng)用、農(nóng)業(yè)信息化與精準(zhǔn)農(nóng)業(yè)智能監(jiān)控理論與技術(shù)等。Email：zhaohui3379@126.com

10.11975/j.issn.1002-6819.2021.18.016

TP391.41

A

1002-6819(2021)-18-0136-07