基于深層連接注意力機(jī)制的田間雜草識別方法

疏雅麗，張國偉，王 博，徐曉康

上海電力大學(xué) 自動化工程學(xué)院，上海 200082

我國雜草眾多、分類廣泛，與作物爭奪光肥水的營養(yǎng)，造成作物產(chǎn)量的降低和品質(zhì)的下降。據(jù)統(tǒng)計，我國因雜草危害造成的損失達(dá)到糧食總量的10%左右，因此如何高效地除草一直是人們的研究重點[1-3]。除草主要分為兩種：機(jī)械除草和化學(xué)除草。機(jī)械除草泛化性低，不具備處理各種作物伴生雜草的合適機(jī)具，容易在移動過程中損害作物，化學(xué)除草是農(nóng)業(yè)除草的主要方式，采用傳統(tǒng)的全淋式噴灑，造成大量農(nóng)藥的浪費以及土地和水源的污染。隨著國家對智慧農(nóng)業(yè)的推動，精確噴灑農(nóng)藥是農(nóng)業(yè)除草技術(shù)發(fā)展的必然趨勢，對農(nóng)作物的產(chǎn)量和環(huán)境的保護(hù)有著十分重要的意義。

近年來，深度學(xué)習(xí)網(wǎng)絡(luò)在許多領(lǐng)域都有著較好的表現(xiàn)，經(jīng)典的CNN網(wǎng)絡(luò)從LetNet（5層）和AlexNet（8層）發(fā)展到VGGNet（16～19層），再到后來GoogleNet（22層），廣大學(xué)者探索深度學(xué)習(xí)的深度與模型性能之間的關(guān)系，發(fā)現(xiàn)傳統(tǒng)的CNN網(wǎng)絡(luò)結(jié)構(gòu)通過層數(shù)的加深可以增加非線性的表達(dá)能力，但到達(dá)一定的深度后，添加層數(shù)反而會緩慢網(wǎng)絡(luò)收斂速度和降低分類的準(zhǔn)確率[4-6]。針對此類現(xiàn)象，He等[7]于2015年提出了一種殘差網(wǎng)絡(luò)，通過shortcut（捷徑分支）避免網(wǎng)絡(luò)的退化，從而可以加深網(wǎng)絡(luò)的深度，提高模型的準(zhǔn)確率。由于其優(yōu)異的性能，研究者提出多種方式來提高殘差網(wǎng)絡(luò)的性能，左羽等[8]融合植物的宏觀上整體輪廓和微觀上局部紋理特征，采用密集型殘差網(wǎng)絡(luò)提取植物全面的植物特征，增加了模型提取特征的能力，但是訓(xùn)練過程需要花費大量的時間；陳加敏等[9]利用金字塔卷積改進(jìn)殘差網(wǎng)絡(luò)提取圖片的全局特征信息，并融入空間注意力機(jī)制和通道注意力機(jī)制聚焦局部特征，取得較好的實驗效果，但是增加了模型的參數(shù)量和復(fù)雜度；曾偉輝等[10]通過級聯(lián)殘差網(wǎng)絡(luò)的輸出豐富病害的特征表達(dá)，并利用參數(shù)共享反饋機(jī)制優(yōu)化模型，具有很好的魯棒性，但計算資源消耗較大。目前，注意力機(jī)制成為現(xiàn)在的一大熱點，如SE、SK、CBAM等注意力機(jī)制，廣泛應(yīng)用到各種深度模型中，聚焦于圖像中的局部信息從而提高模型的性能，但是這些注意力機(jī)制[11]僅從當(dāng)前的特征圖中提取信息，額外信息的缺乏反而影響其辨別能力。

針對田間雜草識別問題，本文提出了一種改進(jìn)殘差塊結(jié)構(gòu)和注意力機(jī)制的雜草識別模型，以殘差網(wǎng)絡(luò)為基礎(chǔ)，改進(jìn)殘差塊結(jié)構(gòu)，采用遷移學(xué)習(xí)[12-14]策略，載入部分ImageNet權(quán)重參數(shù)，僅訓(xùn)練高層特征提取層，并引入輕量級的注意力機(jī)制（efficient channel attention，ECA）和連接注意力機(jī)制模塊（deep connected attention，DCA），在復(fù)雜環(huán)境下高效準(zhǔn)確的識別雜草種類，對于小樣本的田間雜草識別提供很好的理論支持。

1 殘差網(wǎng)絡(luò)

1.1 基本的網(wǎng)絡(luò)結(jié)構(gòu)

雜草圖像的識別相比于一般物體更具有挑戰(zhàn)性，由于光照、角度等條件的影響，同一種植物呈現(xiàn)不同的姿態(tài)，而且同科的植物形態(tài)特征存在著一定的相似性，給圖像識別帶來了更大的挑戰(zhàn)。此時低維淺層特征不能提供足夠的特征的信息識別雜草，深層的網(wǎng)絡(luò)可以提取圖片的高維抽象的特征，Resnet網(wǎng)絡(luò)的殘差結(jié)構(gòu)在加深網(wǎng)絡(luò)的同時有效解決梯度爆炸或者梯度消失問題，在圖像分類、目標(biāo)識別領(lǐng)域都有著突出的成就，很多研究都是建立在Resnet50或者Resnet101的基礎(chǔ)上完成的?；诂F(xiàn)有的數(shù)據(jù)集和設(shè)備，實驗對比不同深度的殘差網(wǎng)絡(luò)，選取了Resnet50的網(wǎng)絡(luò)模型進(jìn)行雜草的識別。

Resnet50網(wǎng)絡(luò)共有50層，包括49個卷積層和1個全連接層。輸入尺寸為224×224×3的彩色圖像，首先經(jīng)過一個大小為7×7的卷積核和最大池化層，然后通過多層殘差塊的堆積，提取圖片的特征信息，最后緊跟平均池化層和全連接層，使用Softmax計算測試集圖片屬于各個類別的概率，完成雜草的分類。

1.2 殘差塊原理

淺層的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)已經(jīng)具有比較理想的輸出結(jié)果后，額外增加層數(shù)后反而可能導(dǎo)致網(wǎng)絡(luò)退化。因為對于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，直接去擬合一個潛在的恒等映射函數(shù)H(x)=x是很困難的，而殘差網(wǎng)絡(luò)提出殘差的概念，將擬合的目標(biāo)轉(zhuǎn)換成將殘差逼近為零，不再是學(xué)習(xí)一個完整的輸出，而是目標(biāo)值H(x)和x的差值，來達(dá)到恒等映射的訓(xùn)練目標(biāo)[15]。殘差結(jié)構(gòu)可用下式表示：

圖1 Resnet50結(jié)構(gòu)圖Fig.1 Resnet50 structure diagram

2 改進(jìn)的Resnet50網(wǎng)絡(luò)

2.1 殘差塊的改進(jìn)

當(dāng)殘差單元的輸入和輸出維度不一致時，不能將捷徑分支直接與主干分支直接相加，一般采用步長為2的1×1卷積核或者采用池化層降低特征的維度并保留有效信息[16]。

標(biāo)準(zhǔn)Resnet50網(wǎng)絡(luò)殘差塊如圖2中（a）所示，在捷徑分支和主干分支上分別采用步長為2的1×1卷積核進(jìn)行降維完成下采樣功能。如圖3（a）所示，由于卷積核寬度小于步長（stride=2），無法遍歷特征圖中的所有特征信息，圖中只有框選部分的信息才能傳遞到下一層，非框選部分的信息均不參與卷積計算，造成了3/4信息的缺失，對于雜草中特征差異較小的雜草而言，信息的缺失使得模型無法提取更深層次的空間像素信息，從會導(dǎo)致識別精度的降低。

為此本文重新布局殘差塊中下采樣的位置，如圖2（b）所示，將主干分支的下采樣過程移動到3×3的卷積核處，在捷徑分支的1×1卷積核前另加入一層步長stride=2的3×3的平均池化層。如圖3（b）所示，卷積核在移動過程中能夠遍歷特征圖上的所有信息，并且有一部分的信息重疊。平均池化層在不同的通道上進(jìn)行的，且不需要參數(shù)控制，避免了冗余的信息，對輸入的圖像特征信息進(jìn)行壓縮，使輸出圖像的長和寬變?yōu)樵瓉淼囊话?，從而減少了模型計算量和內(nèi)存消耗，減低了過擬合的可能性。

圖2 殘差塊結(jié)構(gòu)Fig.2 Residual block structure

圖3 改進(jìn)前后特征信息遍歷情況Fig.3 Feature information traversal before and after improvement

2.2 引入注意力機(jī)制

雜草圖片在不同的光照、背景拍攝條件下存在著顏色、大小和形狀的差異，且有效特征信息分布在圖片中的局部區(qū)域，為提高模型的識別精度和提取速度，本文將注意力機(jī)制ECA（efficient channel attention）模塊[17]引入殘差模型中，通過網(wǎng)絡(luò)自主學(xué)習(xí)一組權(quán)重參數(shù)，并以“動態(tài)加權(quán)”的方式來強調(diào)雜草的區(qū)域同時抑制不相關(guān)背景區(qū)域。ECA模塊結(jié)構(gòu)如圖4所示，將ECA模塊嵌入到殘差塊主干分支之后，經(jīng)過不降低維度的通道級全局平均池化（GAP）后，利用一維稀疏卷積操作來捕獲當(dāng)前通道與它的k個領(lǐng)域通道信息的交互，大幅度降低了參數(shù)量的同時又保持了相當(dāng)?shù)男阅堋?/p>

圖4 高效通道注意力（ECA）模塊結(jié)構(gòu)圖Fig.4 Efficient channel attention（ECA）module structure diagram

假設(shè)網(wǎng)絡(luò)模塊輸入的特征圖為F∈RC×H×W，然后通過平均池化層，將每個二維的特征通道(H×W)變成一個實數(shù)，得到一個1×1×C的全局描述特征。隨后，利用卷積核大小為k的一維卷積捕捉局部的跨通道交互信息，接著通過一個Sigmoid的門獲得一個0～1之間歸一化的權(quán)重，作用到之前的特征圖中。為了減少模型的復(fù)雜度，ECA模塊簡化了SE模塊[18]密集型的連接方式，僅考慮相鄰?fù)ǖ佬畔⒌慕换?，?quán)重計算公式如下：

其中，σ為Sigmoid激活函數(shù)，yi代表通道，ωi為通道yi的權(quán)重，為yi的k個相鄰?fù)ǖ赖募?，k的值是隨著學(xué)習(xí)自適應(yīng)變化的。有效通道注意力模塊可以通過核大小為k的一維卷積實現(xiàn)，如式（6）所示：

其中，C1Dk表示核為k的一維卷積操作，y表示通道。

2.3 深層連接注意力機(jī)制

盡管注意力機(jī)制在很多視覺任務(wù)中都顯示出良好的效果，但是它一次只考慮當(dāng)前的特征，沒有充分利用到注意力機(jī)制。受到文獻(xiàn)的啟發(fā)，通過DCA（deep connected attention）模塊[19]，將相鄰的注意力塊相互連接，使信息在注意塊之間流動，提高注意力的學(xué)習(xí)能力，DCA模塊不限定特定的注意模塊或基本的網(wǎng)絡(luò)框架，在不改變CNN模型內(nèi)部結(jié)構(gòu)的情況下提升注意力模塊的性能。

DCANET（deep connected attention network）研究目前先進(jìn)的注意力塊，通過分析總結(jié)它們的組成部分和處理過程，將其分成三部分，分別為extraction（特征提?。?、transformation（轉(zhuǎn)換）和fusion（融合），DCA網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。首先ECA模塊通過GAP（global average pooling）從給定的特征圖中進(jìn)行特征提取，再利用一維卷積核和激勵函數(shù)將提取的特征轉(zhuǎn)換到一個新的非線性注意空間，最后將注意與原始特征進(jìn)行融合，而DCA模塊在注意力塊之間引入一條連接鏈，將先前注意塊的轉(zhuǎn)換輸出和當(dāng)前注意塊的特征提取輸出合并在一起，以前饋的方式保證各注意塊之間的信息流，防止每一步的注意信息變化太多。

圖5 深層連接注意力（DCA）網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Deep connected attention（DCA）network structure dia-gram DCANET（Deep connected attention network）

3 實驗及結(jié)果分析

3.1 實驗環(huán)境和實驗數(shù)據(jù)

實驗平臺采用免費提供GPU的Google colab開發(fā)平臺，colab的使用界面類似jupyter notebook，運行于虛擬機(jī)（VM）上。虛擬機(jī)配置NVIDIA Tesla K80 GPU，12 GB內(nèi)存，39 GB硬盤空間。軟件框架采用Tensorflow的Keras的深度學(xué)習(xí)框架，使用Python3.6在線編譯。

模型訓(xùn)練參數(shù)設(shè)置如下：迭代次數(shù)均設(shè)置為80次，批處理BatchSize參數(shù)為32，預(yù)熱后的初始學(xué)習(xí)速率為0.001，動量因子設(shè)置為0.9，選擇優(yōu)化器為SGD。

實驗圖像數(shù)據(jù)采集于江蘇省蘇州市巴城農(nóng)田處，分別在晴天、陰天不同光照條件下，使用分辨率為10 MP的照相機(jī)垂直向下拍攝作物和雜草，選取農(nóng)田中數(shù)量較多的雜草進(jìn)行拍攝，共采集到3 670幅圖像作為豌豆雜草小樣本數(shù)據(jù)庫，包含豌豆和4種不同雜草，分別為銀葉菊742幅、小蓬草718幅、馬唐722幅和豬殃殃740幅，如圖6所示。為了評價模型性能，本文采用80%的圖像數(shù)據(jù)作為訓(xùn)練集，另外20%的圖像數(shù)據(jù)作為測試集。

圖6 豌豆田間的雜草圖像Fig.6 Images of weeds in pea field

由于采集的圖片分辨率較大，需要對圖片進(jìn)行預(yù)處理，本文采用大數(shù)據(jù)ImageNet中學(xué)習(xí)的知識遷移學(xué)習(xí)到雜草識別中，選用resnet50訓(xùn)練大數(shù)據(jù)集ImageNet時所用的預(yù)處理方式，發(fā)現(xiàn)可以得到較好的訓(xùn)練結(jié)果。將采集的圖片隨機(jī)縮放到224×224的尺寸，進(jìn)行隨機(jī)水平旋轉(zhuǎn)后，采用歸一化處理，將數(shù)據(jù)歸一化到[-1,1]。

3.2 引入遷移學(xué)習(xí)的有效性分析

為了驗證遷移學(xué)習(xí)對小樣本數(shù)據(jù)的促進(jìn)作用，以DCECA-Resnet50-a模型為基礎(chǔ)模型，采用不同的遷移學(xué)習(xí)策略在相同的實驗條件下進(jìn)行對比實驗。實驗分為以下四種類型：（1）不加載ImageNet預(yù)訓(xùn)練權(quán)重，采用隨機(jī)生成的初始權(quán)重訓(xùn)練網(wǎng)絡(luò)模型；（2）載入部分ImageNet權(quán)重，凍結(jié)全部卷積層的全部參數(shù)，僅訓(xùn)練最后全連接層以輸出雜草的種類；（3）載入部分ImageNet權(quán)重，凍結(jié)Conv5_x卷積層前面的全部參數(shù)，僅訓(xùn)練Conv5_x卷積層和全連接層以輸出雜草的種類；（4）加載全部的ImageNet權(quán)重后訓(xùn)練所有參數(shù)。

表1和圖7表明，采用遷移學(xué)習(xí)策略明顯提高了模型的性能，實驗1不采用遷移學(xué)習(xí)策略，模型在小樣本數(shù)據(jù)集情況下無法提取足夠的特征信息，收斂速度慢，平均消耗時間最長，且準(zhǔn)確率也遠(yuǎn)低于其他3個實驗，實驗2凍結(jié)了全部卷積層，僅訓(xùn)練最后的全連接層來輸出雜草種類，將其他領(lǐng)域的知識遷移到雜草領(lǐng)域，緩解了雜草數(shù)據(jù)不足的缺點，準(zhǔn)確率達(dá)到92.21%，實驗3凍結(jié)了部分的卷積層，由于淺層特征信息中存在著共性，例如角點信息、紋理信息等特征信息可以直接遷移到預(yù)訓(xùn)練模型中，避免從頭訓(xùn)練浪費大量時間，直接學(xué)習(xí)新數(shù)據(jù)集中的高維特征，獲得比較理想的實驗效果，相比實驗2而言，能很好地提取雜草的特征信息，實驗4準(zhǔn)確率最高，但是需要花費大量的時間從頭開始訓(xùn)練，時長高出實驗3約2.6倍。

表1 不同訓(xùn)練方式對比Table 1 Comparison of different training methods

圖7 不同訓(xùn)練方式模型準(zhǔn)確率的對比Fig.7 Comparison of taccuracy of models with different training

3.3 不同注意力機(jī)制的模型對比實驗

注意力機(jī)制在許多視覺任務(wù)上都顯示出良好的效果，并廣泛用于圖像識別和圖像分割領(lǐng)域。為了協(xié)調(diào)模型的識別精度與模型參數(shù)量之間的平衡，本文引入輕量級的注意力機(jī)制ECA模塊和連接注意力機(jī)制DCA模塊，與其他先進(jìn)的注意力機(jī)制進(jìn)行對比實驗。實驗結(jié)果如表2所示。

表2 不同注意力機(jī)制實驗對比Table 2 Experimental comparison of different attention mechanisms

表2表明，注意力機(jī)制的引入在一定程度上可以提高Resnet50模型的識別準(zhǔn)確度，相較與注意力機(jī)制SE、CBAM模塊而言，ECA模塊在提高模型精度的同時，并不額外增加模型參數(shù)和復(fù)雜程度，另外DCA模塊融入到各個注意力機(jī)制后，使得加入注意力機(jī)制的模型的性能再一次得到提升，以最小的額外計算開銷優(yōu)于其他先進(jìn)的注意力模塊，說明注意力塊的連接增強了注意力在通道上和空間上獲取信息的能力，從而挖掘更深層次的特征。相比較而言，Resnet50+DCA+ECA模型以94.17%的識別準(zhǔn)確率優(yōu)于其他模型，并且引入的模型參數(shù)最少，其中CBAM模塊增長的參數(shù)最多，由于CBAM模塊[20]融合通道注意力模塊和空間注意力模塊，在多重注意維度的背景下，DCA模塊沿著每個維度連接注意，致使模型參數(shù)大幅度增加，參數(shù)量相比于標(biāo)準(zhǔn)的Resnet50增加了5.24×106，計算資源消耗較大。

便于直觀地探討注意力機(jī)制的引入和連接后的學(xué)習(xí)能力，本文采用類激活映射（class activation mapping，CAM）進(jìn)行可視化對比，如圖8所示。

圖8 特征激活圖可視化Fig.8 Feature activation map visualization

根據(jù)熱力圖的顏色圖標(biāo)表示，紅色到紫藍(lán)色代表由高到低的激活值，越紅的區(qū)域表示模型學(xué)習(xí)特征的能力越強。圖（a）為原始輸入圖像，圖（b）為Resnet50模型可視化結(jié)果，該模型更多地關(guān)注背景信息從而忽略對雜草區(qū)域信息的提取，導(dǎo)致識別準(zhǔn)確率較低，圖（c）為在Resnet50基礎(chǔ)上加入注意力機(jī)制后的結(jié)果，發(fā)現(xiàn)模型的關(guān)注區(qū)域重心逐漸轉(zhuǎn)移到雜草目標(biāo)上，但仍然受到受到部分背景信息的干擾，圖（d）為在Resnet50基礎(chǔ)上引入并連接注意力機(jī)制后的結(jié)果，此時模型對提取到雜草信息的通道賦予更高的權(quán)重，使得模型更關(guān)注于雜草的關(guān)鍵特征，在重點區(qū)域不變的情況下增加雜草區(qū)域的關(guān)注范圍，并進(jìn)一步抑制了背景信息的干擾，提高了模型識別雜草的準(zhǔn)確率。

3.4 網(wǎng)絡(luò)模型的測試結(jié)果

隨機(jī)劃分豌豆雜草數(shù)據(jù)的20%作為測試集，分別于標(biāo)準(zhǔn)Resnet50模型和優(yōu)化后的DCECA-Resnet50-a模型上進(jìn)行測試，并通過爬蟲網(wǎng)站查找新的圖片數(shù)據(jù)豐富測試集，得到雜草識別結(jié)果如表3所示。

表3 豌豆苗雜草測試集識別結(jié)果Table 3 Identification results of weed test set for pea seedlings

對比兩種網(wǎng)絡(luò)模型的測試結(jié)果，改進(jìn)后的網(wǎng)絡(luò)模型增加了模型復(fù)雜度，F(xiàn)lops增加了約6%，但是由于計算Flops是將Resnet50的不同分支的運算量依次累加起來，Resnet網(wǎng)絡(luò)模型由于捷徑分支可以并行運算，因此，改進(jìn)前后的網(wǎng)絡(luò)模型實測速度沒有太大差別。

相比于改進(jìn)前的網(wǎng)絡(luò)模型，改進(jìn)后的網(wǎng)絡(luò)模型在不同的測試集上都有一定的提高。改進(jìn)后的網(wǎng)絡(luò)模型相對于改進(jìn)前的網(wǎng)絡(luò)模型在原始數(shù)據(jù)集上正確識別率提高了6.19%，但是加入網(wǎng)站的數(shù)據(jù)集測試后，準(zhǔn)確率都有所下降。在測試結(jié)束后，通過查看被錯誤分類的圖片數(shù)據(jù)，發(fā)現(xiàn)識別錯誤的問題主要發(fā)生在以下情形：一種是拍攝的兩種雜草相似度比較高；另一種是圖片中的雜草背景復(fù)雜，背景圖片在訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率較少。由于采集的數(shù)據(jù)庫是在同一個豌豆田間進(jìn)行采集，背景環(huán)境多為類似，所有的數(shù)據(jù)集都有一定的偏向，當(dāng)在測試集中加入網(wǎng)站中不同背景環(huán)境且背景較為復(fù)雜的雜草圖片來進(jìn)行測試，會降低一定的正確識別率，深度學(xué)習(xí)網(wǎng)絡(luò)受數(shù)據(jù)驅(qū)動，在樣本數(shù)據(jù)集較少的情況下，對于圖像中的變化也會相對敏感。

3.5 不同數(shù)據(jù)集下的模型對比實驗

本文采用的數(shù)據(jù)集始終為雜草數(shù)據(jù)集，為進(jìn)一步探究改進(jìn)后的模型在其他數(shù)據(jù)集上的實驗效果，使用kaggle平臺上公開的花卉數(shù)據(jù)集進(jìn)行比較，花卉數(shù)據(jù)集共包含4 242張圖片，包括雛菊、蒲公英、玫瑰、向日葵、郁金香，分別在標(biāo)準(zhǔn)殘差網(wǎng)絡(luò)模型和改進(jìn)后的Resnet50-a和DCECA-Resnet50-a模型上進(jìn)行實驗，如表4所示。對比于標(biāo)準(zhǔn)的Resnet50模型，Resnet50-a代表改進(jìn)殘差塊后的網(wǎng)絡(luò)模型，DCECA-Resnet50-a代表在改進(jìn)殘差塊的基礎(chǔ)上引入注意力機(jī)制和連接注意力機(jī)制后的網(wǎng)絡(luò)模型。

表4 不同數(shù)據(jù)集下的識別結(jié)果Table 4 Identification results under different data sets

改進(jìn)前后的殘差模型在花卉數(shù)據(jù)集下的識別效果均優(yōu)于雜草數(shù)據(jù)集，一方面，由于花卉數(shù)據(jù)集特征更為豐富，與雜草數(shù)據(jù)集相比，顏色、邊緣等基本特征更易于區(qū)分，另一方面，田間下的雜草背景較為復(fù)雜，增加了模型的識別難度。此外，殘差塊的改進(jìn)、注意力機(jī)制的引入和深層連接使得模型的性能都得到了相應(yīng)的提升，可以提取更多的有效特征。改進(jìn)后的DCECA-Resnet50-a模型泛化性強，在花卉圖像分類上也具有一定的可行性和有效性。

3.6 不同識別模型對比實驗

為了進(jìn)一步驗證本文識別模型的可靠性，在相同的實驗條件下選取不同的識別模型進(jìn)行對比實驗。根據(jù)大量文獻(xiàn)可知，在圖像識別領(lǐng)域中多采用VGG16、Alexnet、Resnet50、Resnet101卷積神經(jīng)網(wǎng)絡(luò)模型。為加快模型的訓(xùn)練時間，實驗中模型均采用遷移學(xué)習(xí)策略，凍結(jié)部分特征提取層，訓(xùn)練高層特征提取層，并改變分類層的種類數(shù)目以輸出雜草的種類。

表5表明，針對于采集的原始雜草數(shù)據(jù)集，這些識別模型都取得較好的實驗結(jié)果。VGG16、Alexnet模型識別準(zhǔn)確率都低于90%，且模型參數(shù)較大，占用更多的空間內(nèi)存和浪費更多計算資源，其中Resnet50網(wǎng)絡(luò)模型大小最小，約占VGG16模型大小的1/6，并且在性能上也更加優(yōu)越，Resnet101網(wǎng)絡(luò)通過增加網(wǎng)絡(luò)深度提取深層有用的特征信息，相比較Resnet50而言，在識別準(zhǔn)確度上有一定的提高，但是占用更多的空間內(nèi)存。

表5 不同識別模型實驗對比Table 5 Experimental comparison of different recognition models

同時將Resnet50-a模型與Resnet50相比較，訓(xùn)練準(zhǔn)確率和測試準(zhǔn)確率都有明顯的提升，說明下采樣位置的改變可以幫助模型更好地提取特征信息，ECAResnet50-a較Resnet50-a整體性能有所提升，表明注意力機(jī)制可以改善模型的表達(dá)能力，并且ECA模塊的引入可以在不增加模型參數(shù)量的同時提高模型識別雜草的準(zhǔn)確率，DCECA-Resnet50-a模型與其他模型相比綜合性能最好，訓(xùn)練準(zhǔn)確率和測試準(zhǔn)確率最高，表明注意塊之間信息的流通是有必要的，在一定程度上提高了模型的性能。

4 結(jié)論

對于采集到的復(fù)雜的田間雜草圖像，往往有很多因素干擾對雜草種類的識別，為了增加模型對于圖片特征信息的把握，本文提出了深層連接注意力機(jī)制的殘差網(wǎng)絡(luò)模型。在傳統(tǒng)的殘差網(wǎng)絡(luò)基礎(chǔ)上，重新設(shè)計下采樣在殘差塊中主干分支和捷徑分支的位置，遍歷特征圖中的所有特征信息，同時引入輕量級注意力機(jī)制ECA模塊，聚焦圖片中雜草中的重要特征信息，在不增加模型參數(shù)的同時提高了模型識別雜草的準(zhǔn)確率，并采用DCA模塊連接注意塊，使得各個注意塊可以獲得更多的額外信息，對圖片中的重要特征信息有更好的辨別能力，對比于其他先進(jìn)注意力機(jī)制，實驗證明注意力機(jī)制（DCA+ECA）的引入以最小的計算開銷進(jìn)一步提高模型的綜合性能，識別精度對比于傳統(tǒng)的殘差網(wǎng)絡(luò)提升4.02%，并不額外增加模型的復(fù)雜程度。在訓(xùn)練過程中，本文將未使用遷移學(xué)習(xí)和其他三種遷移學(xué)習(xí)策略進(jìn)行對比，發(fā)現(xiàn)凍結(jié)底層特征提取層，僅訓(xùn)練高層特征提取層可以獲得理想的訓(xùn)練結(jié)果并大幅度地減少模型的訓(xùn)練時長，相較于從頭訓(xùn)練所有層，訓(xùn)練準(zhǔn)確率低了0.48%，但是平均訓(xùn)練時間上約占其1/3。為了驗證模型的泛化性和有效性，本文采取了不同的數(shù)據(jù)集進(jìn)行實驗，發(fā)現(xiàn)改進(jìn)后的模型在雜草和花卉圖像數(shù)據(jù)集中均可獲得較好的識別效果，但是由于雜草數(shù)據(jù)圖片背景較為單一，額外增加雜草數(shù)據(jù)集進(jìn)行測試時，識別準(zhǔn)確率會相應(yīng)降低。比較了不同的深度學(xué)習(xí)網(wǎng)絡(luò)模型，在相同的實驗條件下，DCECA-Resnet50-a模型在雜草特征識別上優(yōu)于其他模型，識別準(zhǔn)確率最高，且模型參數(shù)較小，節(jié)省了大量的計算資源。