基于注意力機制的葡萄品種多特征分類方法

蘇寶峰 沈 磊 陳 山 米志文 宋育陽 陸 南

(1.西北農林科技大學機械與電子工程學院, 陜西楊凌 712100; 2.農業(yè)農村部農業(yè)物聯(lián)網重點實驗室, 陜西楊凌 712100;3.西北農林科技大學葡萄酒學院, 陜西楊凌 712100; 4.西北農林科技大學水利與建筑工程學院, 陜西楊凌 712100)

0 引言

葡萄品種的有效分類可以幫助葡萄種植者更為方便管理與精準決策[1]。葡萄在發(fā)育成熟過程中，容易受到病害的侵染，了解特定品種對特定疾病的易感性，對其進行有效識別，將有助于更具體和更有針對性地防治葡萄病害[2]。

傳統(tǒng)上，鑒定葡萄品種的方法通常需要對葉片破壞性取樣或者手動提取圖像特征，其具有一定破壞性且耗時耗力[3-6]。以卷積神經網絡為代表的深度學習方法[7-10]，在圖像的分類中受到廣泛應用。文獻[11]基于54幅榕屬植物葉片圖像，利用人工神經網絡和支持向量機方法，提出了一種自動識別3種具有相似葉形態(tài)的榕屬植物的系統(tǒng)，該系統(tǒng)對榕屬植物葉片圖像識別準確率達到了83.3%，證明了深度學習對葉片圖像的識別能力。

田間環(huán)境復雜多變，不同葡萄品種之間的圖像具有高度相似性，且易受到自然背景干擾。因此，在田間自然環(huán)境背景下識別葡萄品種是一個難點。對于葡萄品種識別的早期工作中，文獻[12]提出了一種在夜間環(huán)境下針對于彩色圖像中的葡萄串檢測和定位的系統(tǒng)來區(qū)分白葡萄和紅葡萄。作物真實的生長環(huán)境條件具有高度異質性[13]，并且很難重復。通過夜間受控環(huán)境來消除自然光照及背景條件的影響受限于特定的應用場景，難以在實際中推廣與應用。

文獻[2]提出了一種基于AlexNet體系結構和遷移學習[14-16]的方法，在田間環(huán)境下通過葡萄葉片圖像對6個葡萄品種進行識別分類，測試準確率僅為77.30%。該研究利用葡萄葉片圖像鑒別葡萄品種的方法，僅限于葡萄特定的生長時期。然而，不同生長階段下葡萄葉片的尺寸、顏色、形態(tài)與紋理結構具有明顯的差異[17]，只針對某一時期的葡萄葉片識別在實際生產應用上存在一定的局限性。

葡萄品種的分類屬于典型的圖像多特征分類問題。然而以上研究多針對單一時期葡萄特征開展研究，模型難以泛化到更為異構的數據集，且在特征學習中因自然環(huán)境的影響而受限于特定場景[14,18]。因此，為了能夠解決田間復雜背景條件下對不同生長時期的葡萄品種鑒別問題，本文在田間自然環(huán)境下采集12類不同品種不同時期葡萄特征圖像，通過引入注意力機制降低自然環(huán)境影響，改進ResNet-50[19]，提出一種在田間環(huán)境下對葡萄多特征圖像鑒別的方法，并對深度學習可解釋性差的問題，通過可視化對網絡作用機制進行解釋，以期對不同生長時期的葡萄品種進行可靠的識別分類。

1 材料與方法

1.1 實驗數據集制備

本實驗圖像采集地點為陜西省楊凌區(qū)曹新莊實驗農場釀酒葡萄生產示范基地，收集了12類釀酒葡萄品種在不同生長時期的嫩梢、幼葉以及成熟葉片特征圖像，如圖1所示。采集時間集中在2020年6—8月，都在晴天以及陰天的自然光線條件下進行。相機型號為SONY ILCE-5100L，分辨率為3 008像素×1 668像素，光圈值為f/3.2，曝光時間為1/60 s。每類品種每種特征各200幅，合計7 200幅圖像。

將收集到的圖像按7∶2∶1的比例隨機劃分為訓練集、驗證集以及測試集。為了保持每類樣本特征圖像數量均衡、消除隨機性，每類品種中的3種特征圖像的數量均相等。

1.2 實驗環(huán)境與條件

實驗在Linux系統(tǒng)環(huán)境下進行(Ubuntu 20.04)，計算機顯卡為NVIDIA Titan RTX，顯存24 GB，CPU型號為Intel(R) Xeon(R) Silver 4214@2.20 GHz，深度學習框架為Pytorch(Python 3.6，Pytorch 1.2，torchvision 0.4)。

1.3 模型構建與訓練參數設計

針對田間自然背景環(huán)境下對葡萄多特征識別分類存在的問題，本研究基于注意力機制，通過改進ResNet-50，提出一種新的網絡模型ResNet50-SE，并利用遷移學習方法對模型進行訓練，以實現(xiàn)不同生長時期下葡萄品種鑒別。

1.3.1SE模塊

SENet[20](Squeeze-and-excitation networks)核心思想在于通過網絡學習特征權重，放大有效的特征通道，抑制無效或效果小的特征通道，從而使訓練模型達到更好的結果。SE模塊為其核心結構，是一種注意力機制，如圖2所示。SE模塊主要由擠壓(Squeeze，F(xiàn)sq)和激發(fā)(Excitation，F(xiàn)ex)兩步操作組成，Squeeze操作先將輸入尺寸為H×W×C的特征圖(其中H、W、C分別為輸入特征圖長、寬和特征通道數)采用全局平均池化(Global average pooling)計算，得到1×1×C的特征向量，使其具有全局感受野，然后進入兩層全連接層，全連接層之間采用ReLU 激活函數，并且輸入與輸出的特征通道維度相同。Excitation操作通過最后的Sigmoid激活函數計算生成每個特征通道的權重。最后Scale操作(Fscale)將輸出的特征通道權值向量與原輸入特征圖相乘，完成在通道維度上的原始特征標定，使提取的特征具有更強的指向性，從而提高分類性能[21]。

1.3.2ResNet模型

隨著網絡層數的加深，網絡性能逐漸出現(xiàn)退化問題[19]，ResNet模型通過堆疊殘差結構，可有效解決這一問題[22]。殘差結構如圖3所示，X為網絡輸入，它使用了一種“Shortcut connection”連接方式，將網絡原本要學習的特征X從捷徑分支與從經過權重層學到的特征F(X)直接相加，并通過ReLU函數進行激活。ResNet-50作為其經典結構，是目前主流的圖像分類方法之一。

1.3.3改進的ResNet-50模型

通過對ResNet-50模型多特征識別分類精度以及可視化結果分析，在田間復雜背景條件下，容易受到背景影響，使模型提取到一些無效信息，從而降低分類性能?；谧⒁饬C制的方法，使得模型關注并加強有效的分類信息，而忽略掉一些無用的特征信息，從而提高模型的魯棒性。鑒于SE模塊對特征提取的校正性作用，本研究提出一種將SE模塊嵌入ResNet-50模型結構，為區(qū)別于其它SE模塊嵌入ResNet-50的網絡模型，將其命名為ResNet50-SE，模型結構如圖4所示。

ResNet50-SE模型通過在每個殘差結構中嵌入SE模塊以及在模型第1層(Conv1)和輸出層中引入SE模塊對網絡提取到的特征進行校正。網絡主要的組成結構為Bottleneck-SE結構(圖4)，主要有4種不同的類型，其數量分別為3、4、6、3。Bottleneck-SE結構所使用的卷積核尺寸相同，主要區(qū)別在于卷積核的數量(即卷積核維度)以及SE模塊中2個全連接層的輸出維度不同，這是由于上一層殘差結構輸出通過與下一層的輸出直接相加時維度需匹配。詳細的網絡結構參數如表1所示。

表1 ResNet50-SE網絡結構參數Tab.1 ResNet50-SE network structure parameters

1.3.4模型訓練與參數設計

由于大部分數據或任務都存在相關性，故本研究通過加載在ImageNet數據集[23]上預訓練網絡ResNet-50的部分權重信息對ResNet50-SE模型進行遷移學習，以加快模型的收斂速度。在模型訓練過程中，將圖像縮放至224像素×224像素×3作為網絡輸入尺寸。為了提高模型的魯棒性，進行數據集增強，隨機對圖像進行水平、垂直翻轉，同時對圖像進行歸一化處理。

通過多次組合實驗，綜合考慮到模型準確率和收斂時間。在訓練時批次量(Batch size)設置為 16個樣本，初始學習率(Learning rate)設置為 0.001，迭代周期(Epoch)設置為40。為防止模型過擬合，設置權值衰減(Weight decay)(也稱為L2正則化)為10-4。同時，在每個Epoch下進行訓練和驗證前，數據都進行了隨機打亂。

本實驗采用帶動量的隨機梯度下降算法[14,24](Stochastic gradient descent with momentum，SGDM)更新參數和優(yōu)化訓練過程，參數更新函數表達式為

θi+1=θi-αΔLR(θi)+m(θi-θi-1)

(1)

式中i——迭代次數

θ——網絡參數(權重矩陣W和偏置向量b)

ΔLR(θi)——損失函數梯度

m——動量因子α——學習率

訓練過程中m設置為0.9，學習率α調整采用等間隔調整策略，每訓練20個Epoch，學習率調整為αγ，其中γ為學習率調整倍數，設置為0.1。

1.4 模型評估指標

在評估一個模型的性能時通常選取準確率(Accuracy)、精確度(Precision)、召回率(Recall)及特異度(Specificity)作為評價指標[14]。其中特異度計算公式為

(2)

式中S——特異度

Fp——假陽性樣本數量

Tn——真陰性樣本數量

1.5 特征可視化

對于深度學習網絡可解釋性差的問題，本研究利用Grad-CAM[25]的方法對模型在多特征提取中做出可視化解釋，并通過T-SNE[26]算法在二維空間中可視化高維特征，對訓練集提取到的多特征進行聚類分析進而直觀評估模型的分類性能。

1.5.1Grad-CAM可視化

通過Grad-CAM對模型每一層提取的特征進行了可視化解釋，以熱力圖的形式呈現(xiàn)模型用作分類最為關注的特征。它主要通過采用梯度的全局平均來計算特征的權重，首先計算c類別的模型得分對于某個卷積層的梯度，同時對上述過程得到的梯度信息，在每個通道維度上對各像素值取平均(類似全局平均池化)，得到神經元重要性權重，第c類的分類得分為Sc，特征圖尺寸為c1×c2，則

(3)

式中Z——特征圖的像素數

通過加權平均，再取ReLU激活函數得到Grad-CAM特征圖，計算公式為

(4)

Ai——第i個特征圖

1.5.2t-SNE聚類

t-SNE是一種表示特征空間分布的方法，它通過在二維或三維圖中給出每個數據點的位置來可視化高維數據，可直觀地評估模型分類性能。t-SNE算法主要依據具有對稱性的聯(lián)合概率分布Pij來表示高維空間中樣本點之間的距離[27]。本研究針對訓練集中的12類葡萄品種的5 040幅葡萄特征圖像，利用t-SNE算法觀察每幅圖像的高維特征分布。實驗從葡萄分類模型(ResNet50-SE)的全連接層提取每幅圖像的2 048維特征，對每個品種的10幅圖像的特征求取平均值，并在二維空間中可視化高維特征，對特征進行層次聚類分析。Perplexity參數設置為30，迭代次數為1 000次。

2 結果與分析

2.1 3個時期內模型測試結果

為了測試改進網絡模型ResNet50-SE的性能，在未參與模型訓練以及驗證過程的測試集中進行評估，生成的混淆矩陣如圖5所示，通過計算得到模型準確率為88.75%，結果如表2所示。每類預測精確度均在79.4%以上，其中小芒森和馬瑟蘭品種的預測精確度達到了100%，但小芒森的召回率僅有75%。根據混淆矩陣圖可知模型將小芒森誤分為貴人香、黑比諾、雷司令、馬爾貝克、霞多麗以及小味兒多，可能由于小芒森品種在某些紋理或顏色形狀特征的水平上與上述的品種特征出現(xiàn)了混淆造成，也可能是由于拍攝角度和光照的影響導致。媚麗的召回率為100%，沒有出現(xiàn)誤分類現(xiàn)象，相較于其他品種，媚麗的特征更為顯著。從表2中還可以得出每類品種的特異度均高于97.7%，說明模型對于誤分類率很小。通過以上分析，證明了本研究所提出的改進模型在田間復雜背景條件下對葡萄品種的多特征識別分類具有較強的魯棒性。

表2 測試集各品種預測精確度、召回率及特異度結果Tab.2 Precision, recall and specificity results of each variety in test set %

2.2 單個時期內模型性能對比

為測試ResNet50-SE模型在單個時期內對葡萄品種的分類性能，在相同訓練條件下對模型在單個時期下的嫩梢、幼葉以及成熟葉片數據集分別訓練，得到ResNet50-SE-T1、ResNet50-SE-T2、ResNet50-SE-T3模型。分別對模型在只包含單個時期圖像測試集A和包含3個時期圖像測試集B下進行測試，其對比結果如表3所示。

表3 單一時期模型對不同測試集測試結果Tab.3 Test results of single period model for different test sets %

由3種不同模型在不同測試集下的測試結果可得出，單一時期特征圖像訓練的ResNet50-SE-T1、ResNet50-SE-T2、ResNet50-SE-T3模型雖然在其當前單個時期模型測試集準確率較高，但對于包含3種不同時期特征圖像的識別性能較差，從而也說明單一時期特征圖像訓練的模型對葡萄品種分類的魯棒性較差，難以泛化到其他生長時期內。

2.3 分類模型性能對比

在相同訓練條件下，對4種典型的卷積神經網絡(AlexNet[28]、GoogLeNet[29]、ResNet-50、VGG-16[30])進行遷移學習和比較，訓練集的準確率結果如圖6所示。從圖6中可看出在第20個時期(Epoch)后，除AlexNet模型外，其他模型的訓練集準確率維持在99.9%左右，雖然ResNet-50的準確率上升較其他模型快，但從圖7中可知ResNet-50驗證集損失值曲線隨著訓練的Epoch增加最終保持在0.299。然而ResNet50-SE模型最終達到收斂時損失值為0.216，相比于其他模型損失值較低。AlexNet模型對于葡萄識別分類效果最差，其原因在于AlexNet相比于其他模型網絡深度不夠，網絡提取到的特征信息量較少。模型訓練在20個Epoch前，VGG-16、AlexNet和ResNet-50驗證集損失值波動較大，模型穩(wěn)定性較差。GoogLeNet模型收斂過程雖較為平穩(wěn),但準確率與ResNet50-SE相比較低，從而說明ResNet50-SE模型對于葡萄品種的多特征圖像識別分類方面具有顯著優(yōu)勢。

同時本研究對所提出的模型在驗證集準確率以及測試集的準確率和召回率進行對比分析，結果如表4所示。結果表明ResNet50-SE在驗證集上準確率為94.10%，在測試集上準確率為88.75%，平均召回率為89.17%。ResNet50-SE相比于AlexNet 、GoogLeNet、ResNet-50、VGG-16，驗證集準確率分別提高了11.46、5.42、1.04、4.10個百分點，測試集準確率分別提高了13.61、7.64、0.70、6.53個百分點，平均召回率分別提高了14.04、8.04、1.12、6.94個百分點。

表4 各網絡模型分類性能對比Tab.4 Comparison of classification performance of each network model %

2.4 特征可視化結果

2.4.1Grad-CAM可視化結果

隨機挑選測試集的葡萄不同時期下的3幅特征圖像，并且根據Grad-CAM方法生成模型每一層的可視化熱力圖，如圖8所示。由圖8可知，隨著網絡層數的加深，模型學習到的特征逐漸增加，并且由于SE模塊注意力機制作用，降低了背景對于模型特征提取的影響。對于葡萄嫩梢，模型更多是提取到梢尖以及副梢部分的特征信息。對于幼葉和成熟葉片，模型更為關注葉片邊緣的一些形狀信息以及葉片的紋理特征信息。

同時，提取4種卷積神經網絡的最后卷積層所提取特征的可視化熱力圖與Resnet50-SE進行比較，結果如圖9所示。由圖9可看出，AlexNet模型對于特征提取的效果最差，對于嫩梢和幼葉特征的提取易受到自然背景因素的影響，難以提取有效特征，對于幼葉特征關注范圍較小，這也是在對2.3節(jié)所提到AlexNet對于其模型精度相較于其他模型較低的合理解釋。ResNet50-SE對于嫩梢和幼葉特征提取效果均優(yōu)于ResNet-50，而對于成熟葉片特征提取效果較差，這也是導致ResNet50-SE測試結果相較于ResNet-50優(yōu)勢不明顯的重要原因，但是相較于其他3種模型(AlexNet、GoogLeNet、VGG-16)卻有顯著優(yōu)勢，同時也印證了2.3節(jié)模型性能對比結果。

為了證明SE模塊在模型特征提取時的校正性，同時還探究了在ResNet-50模型Conv1層后引入SE模塊所提取到的葡萄嫩梢、幼葉以及成熟葉片的特征，并且與Conv1層所提取的特征(圖8)進行了比較，結果如圖10所示。在網絡Conv1層之后加入SE模塊，將會強化有效特征，弱化一些無效或者低效的特征，使得模型在復雜田間背景條件下能捕獲到用于分類的有效特征。

2.4.2t-SNE聚類結果

利用t-SNE算法在訓練集上由ResNet50-SE模型所獲取的2048維特征在二維空間(Dim1、Dim2)可視化特征聚類結果如圖11所示，每種顏色代表不同葡萄品種的類別，共12種類別。同一品種的特征聚類的分布位置有所偏差，這是由于不同時期下同一品種葡萄的特征(如嫩梢、幼葉和成熟葉片)具有一定的差異，并且同一生長時期下不同葡萄品種之間的特征具有高度的相似性，但是從整體來看不同的品種在不同生長時期下所反映的特征呈現(xiàn)出較好的聚類效果，這是區(qū)分不同葡萄品種的關鍵。由2.1節(jié)模型測試結果可知，本文所提出的模型在田間復雜背景條件下對于葡萄高度相似的特征的識別具有較強的魯棒性，也說明模型在訓練集提取到了有利于葡萄識別分類的特征，進而證明了ResNet50-SE模型對不同葡萄品種在不同生長階段下的多特征識別分類的有效性。

3 結論

(1)提出的模型ResNet50-SE在田間復雜背景下對于葡萄多特征圖像的識別具有較強的分類性能和魯棒性，測試集準確率(Accuracy)達到了88.75%，平均召回率(Recall)為89.17%，相比于AlexNet、GoogLeNet、ResNet-50、VGG-16，ResNet50-SE驗證集準確率分別提高了11.46、5.42、1.04、4.10個百分點，測試集準確率提高了13.61、7.64、0.70、6.53個百分點，平均召回率提高了14.04、8.04、1.12、6.94個百分點，分類效果均優(yōu)于其他模型。

(2)利用Grad-CAM可視化方法，對于ResNet50-SE模型每一層所提取到的不同生長階段下的葡萄特征通過激活熱力圖進行了可視化解釋，并且對比了其他4種典型卷積神經網絡提取特征可視化圖。同時，對于引入SE模塊前后3種不同時期下葡萄特征熱力圖進行對比，證明本研究所提出的ResNet50-SE模型對復雜背景條件下特征的提取具有較強的校正性。

(3)通過t-SNE算法對不同葡萄品種提取到的不同時期下的特征進行聚類分析，驗證了ResNet50-SE模型在復雜田間背景環(huán)境下對葡萄多特征圖像提取特征的有效性以及對葡萄品種鑒別的可靠性。