基于注意力機(jī)制和遷移學(xué)習(xí)的小樣本茶葉病害識(shí)別

摘要：為提高茶葉病害識(shí)別的準(zhǔn)確性，提出一種基于注意力機(jī)制和遷移學(xué)習(xí)的小樣本茶葉病害圖像識(shí)別方法。首先，通過對訓(xùn)練集圖像隨機(jī)旋轉(zhuǎn)、隨機(jī)翻轉(zhuǎn)、隨機(jī)色彩以及隨機(jī)亮度調(diào)整操作，擴(kuò)充訓(xùn)練集樣本，旨在降低網(wǎng)絡(luò)模型的過擬合風(fēng)險(xiǎn)。其次，引入卷積塊注意力機(jī)制（CBAM）對ResNet50網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，使其能夠更加精準(zhǔn)地聚焦于茶葉病害的特征。最后，借助植物病害數(shù)據(jù)集對ResNet50模型進(jìn)行預(yù)訓(xùn)練，并將預(yù)訓(xùn)練后的模型參數(shù)遷移到茶葉病害數(shù)據(jù)集進(jìn)行訓(xùn)練。試驗(yàn)結(jié)果表明：擴(kuò)充后的數(shù)據(jù)集識(shí)別準(zhǔn)確率較原數(shù)據(jù)集提高7.85%，進(jìn)行二次遷移學(xué)習(xí)后識(shí)別準(zhǔn)確率又提高3.26%，再添加CBAM注意力機(jī)制后識(shí)別準(zhǔn)確率又提高0.81%。在對8種茶樹病害進(jìn)行驗(yàn)證時(shí)，所提方法的樣本識(shí)別率與原始模型相比由77.24%提高至89.16%。改進(jìn)后的模型具有更好的特征提取能力，能夠有效提高小樣本茶葉病害的識(shí)別準(zhǔn)確率。

關(guān)鍵詞：圖像識(shí)別；深度學(xué)習(xí)；注意力機(jī)制；遷移學(xué)習(xí)；茶葉病害

中圖分類號：TP391.4; S435.711" " " 文獻(xiàn)標(biāo)識(shí)碼：A" " " 文章編號：2095?5553 （2024） 10?0262?07

Identification method of small sample tea leaf diseases based on attention mechanism and transfer learning

Zhang Li， Yang Minghui， Sun Jiacheng

（School of Information Engineering， Xinyang Agriculture and Forestry University， Xinyang， 464000， China）

Abstract： In order to improve the accuracy of tea disease recognition， a recognition method of small sample tea disease image based on attention mechanism and transfer learning was proposed. Firstly， the training set samples were expanded by random rotation， random flip， random color and random brightness adjustment operations to reduce the overfitting risk of the network model. Secondly， Convolutional Block Attention Module （CBAM） was introduced to optimize the ResNet50 network model so that it could focus more accurately on the characteristics of tea diseases. Finally， the ResNet50 model was pre?trained with the help of plant disease data set， and the pre?trained model parameters were transferred to the tea disease data set for training. The experimental results show that the recognition accuracy of the expanded data set is 7.85% higher than that of the original data set， the recognition accuracy is 3.26% higher after two transfer learning， and the recognition accuracy is 0.81% higher after adding CBAM attention mechanism. Compared with the original model， the sample recognition rate of the proposed method is increased from 77.24% to 89.16% when 8 tea tree diseases are verified. The improved model has better feature extraction ability， which can effectively improve the recognition accuracy of tea disease in small samples.

Keywords： image recognition; deep learning; attention mechanism; transfer learning; tea disease

0 引言

保障茶樹的生長安全和茶葉的品質(zhì)，對促進(jìn)茶業(yè)的發(fā)展至關(guān)重要[1]。然而，茶樹在生長過程中容易遭受病害的侵襲。這些病害的出現(xiàn)會(huì)使茶樹的健康狀況惡化，導(dǎo)致茶葉枯萎且味道苦澀，從而對茶葉品質(zhì)產(chǎn)生負(fù)面影響，對農(nóng)民帶來巨大的經(jīng)濟(jì)損害[2]。因此，如何精確識(shí)別茶葉病害類型，并及時(shí)采取針對性的防治措施，對于減少茶葉產(chǎn)量的損失、提高茶葉品質(zhì)以及增加茶農(nóng)的經(jīng)濟(jì)收入具有至關(guān)重要的意義。

在實(shí)際的茶葉生產(chǎn)過程中，大部分農(nóng)民依賴于他們自身累積的農(nóng)業(yè)技能和歷史經(jīng)驗(yàn)來識(shí)別茶葉病害的種類。然而，由于缺乏專業(yè)的科學(xué)知識(shí)，人工識(shí)別的方式通常依據(jù)直覺確定病害類型，主觀性的推斷可能導(dǎo)致錯(cuò)誤的診斷結(jié)果出現(xiàn)。尤其是在一些地形險(xiǎn)峻且遠(yuǎn)離城市中心的山區(qū)茶園里，即使是經(jīng)驗(yàn)豐富的植物保護(hù)專家也不能輕易抵達(dá)現(xiàn)場[3]。近年來，人工智能迅猛發(fā)展，機(jī)器學(xué)習(xí)、模式識(shí)別和計(jì)算機(jī)視覺等技術(shù)在生物發(fā)酵[4]、智慧環(huán)保[5]、植物表型研究[6]等領(lǐng)域已產(chǎn)生大量研究成果。其中，在植物表型研究領(lǐng)域，采用人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、隨機(jī)森林等計(jì)算智能方法對農(nóng)作物病害進(jìn)行圖像監(jiān)控、診斷及預(yù)防，相較于傳統(tǒng)農(nóng)作物病害診斷方法是一種更高效、更迅速的新途徑[7?8]。Chaudhary等[9]成功地運(yùn)用了改進(jìn)的隨機(jī)森林算法、屬性評估器方法以及實(shí)例過濾方法，對花生病害進(jìn)行了精確的分類。Tetila等[10]比較了不同分類器，包括順序最小優(yōu)化、Adaboost算法、決策樹、隨機(jī)森林和樸素貝葉斯等方法，改善大豆葉面病害識(shí)別的性能。Kiani等[11]提出了一種模糊邏輯分類算法，以提高草莓健康葉片和病害葉片的分類效率。在使用隨機(jī)森林、決策樹和支持向量機(jī)等經(jīng)典的機(jī)器學(xué)習(xí)技術(shù)進(jìn)行植物病害識(shí)別時(shí)，提取病害特征是進(jìn)行分類判斷的重要依據(jù)，這些特征對于最終的識(shí)別精度具有決定性的影響。然而，由于不同病害侵襲的茶葉在顏色和質(zhì)地上往往呈現(xiàn)出較小的差異，這使得傳統(tǒng)的機(jī)器學(xué)習(xí)方法在茶葉病害識(shí)別上的準(zhǔn)確率相對較低。因此，如何提高茶葉病害識(shí)別的準(zhǔn)確率成為一個(gè)亟待解決的問題。

近年來，深度學(xué)習(xí)方法在目標(biāo)識(shí)別領(lǐng)域快速崛起，當(dāng)具備充足的訓(xùn)練樣本時(shí)，深度學(xué)習(xí)方法往往能夠?qū)崿F(xiàn)更高的識(shí)別準(zhǔn)確率[12]。Zhang等[13]研究引入了深度學(xué)習(xí)技術(shù)來優(yōu)化GoogleNet與Cifar10模型以應(yīng)用于玉米葉部疾病辨別任務(wù)，并在試驗(yàn)中使用這兩個(gè)改良后的模型處理9類玉米葉部疾病的圖片。Ferentinos[14]創(chuàng)建了一個(gè)深度學(xué)習(xí)框架，該框架可用于分析植物疾病狀況及做出確診判斷，所使用的訓(xùn)練樣例來自于包含87 848個(gè)正常和病變植株照片的大型公開庫。Lu等[15]提出深度卷積神經(jīng)網(wǎng)絡(luò)用于識(shí)別水稻病病害，比傳統(tǒng)的機(jī)器學(xué)習(xí)模型具有更高的準(zhǔn)確率。然而，這些深度學(xué)習(xí)模型通常需要大量的學(xué)習(xí)資料，而獲取足夠數(shù)量的茶葉病害樣本作為訓(xùn)練材料不僅費(fèi)時(shí)且成本高昂[16]。而當(dāng)現(xiàn)有的茶葉病害樣本量不足時(shí)，深度學(xué)習(xí)方法可能無法達(dá)到較高的識(shí)別準(zhǔn)確度。

雖然目前還沒有可用的茶葉病害大型公開數(shù)據(jù)集，但隨著信息技術(shù)的快速發(fā)展，農(nóng)業(yè)病害研究的日益深入，其它種類的農(nóng)業(yè)病害圖像數(shù)據(jù)庫已經(jīng)可以方便地從互聯(lián)網(wǎng)中獲取。使用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)來處理其他類型農(nóng)產(chǎn)品疾病的預(yù)知信息，可以有效地應(yīng)對小樣本識(shí)別所帶來的挑戰(zhàn)[17]。其核心思想在于應(yīng)用遷移學(xué)習(xí)的策略，通過將大量非單一性數(shù)據(jù)集中蘊(yùn)含的先驗(yàn)知識(shí)遷移到特定領(lǐng)域的深度學(xué)習(xí)訓(xùn)練中，從而解決因特定領(lǐng)域數(shù)據(jù)量不足而引發(fā)的過擬合問題[18]。隨著遷移學(xué)習(xí)的不斷進(jìn)步和發(fā)展，越來越多的學(xué)者選擇采用這種方式去分析與辨識(shí)各種類型的蔬菜及水果上的病變情況。Sladojevic等[19]把一組含有4 000多張不同種類包括了13種疾病的圖片進(jìn)行了擴(kuò)展至30 821張后，再經(jīng)過調(diào)整caffenet算法中的變數(shù)值之后就能夠準(zhǔn)確分辨出每一種類別的情況并且準(zhǔn)確率超過91%。此外，Mohanty等[20]還采用了遷移學(xué)習(xí)策略，利用在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練過的AlexNet和GoogleNet模型，成功地對PlantVillage數(shù)據(jù)集中涵蓋的14種作物所患的26種病害進(jìn)行了分類，并取得了令人滿意的分類效果。龍滿生等[21]利用深度卷積神經(jīng)網(wǎng)絡(luò)在特征學(xué)習(xí)和表達(dá)方面的卓越能力，自動(dòng)提取油茶病害的特征，并運(yùn)用遷移學(xué)習(xí)的策略將AlexNet模型在ImageNet圖像數(shù)據(jù)集上學(xué)到的知識(shí)有效遷移到油茶病害的識(shí)別任務(wù)中。以上研究采取遷移學(xué)習(xí)的方法來對小樣本數(shù)據(jù)集進(jìn)行識(shí)別，雖然在某種程度上可以避免過擬合的情況，但是由于源域和目標(biāo)域之間存在著一定的相似性差異，因此遷移學(xué)習(xí)的訓(xùn)練方式仍然有待改進(jìn)。

由于茶葉病害辨識(shí)模型在學(xué)習(xí)階段常常受制于與疾病診斷無直接關(guān)聯(lián)的如葉片紋理和形狀等信息。引入注意力機(jī)制可以使得模型能更準(zhǔn)確地區(qū)分病害區(qū)域與非病害區(qū)域，有助于更好地提取茶葉病害的特異性數(shù)據(jù)，進(jìn)而提升其對于茶葉病害識(shí)別的準(zhǔn)確率。然而，傳統(tǒng)的注意力機(jī)制方法主要關(guān)注于在各個(gè)通道間的聯(lián)系上，忽視了同一條通道中各部分的數(shù)據(jù)特性[22]。卷積塊注意力機(jī)制（CBAM）融合了通道注意力和空間注意力來提高模型的感知能力，兼顧了位置與空間兩方面因素，使得模型能夠更全面地進(jìn)行特征提取，從而在不增加網(wǎng)絡(luò)復(fù)雜性的情況下改善性能[23]。

針對小樣本茶葉病害難以準(zhǔn)確識(shí)別的問題，提出一種基于注意力機(jī)制和遷移學(xué)習(xí)的小樣本茶葉病害識(shí)別方法，使用ResNet50作為核心架構(gòu)，并引入CBMA注意力機(jī)制增強(qiáng)茶葉病害的表征能力。同時(shí)，運(yùn)用遷移學(xué)習(xí)思想將ResNet50模型在ImageNet數(shù)據(jù)集及植物病害數(shù)據(jù)集上預(yù)訓(xùn)練學(xué)習(xí)的有效知識(shí)應(yīng)用于茶葉病害識(shí)別任務(wù)中，以此解決茶葉病害的小樣本識(shí)別難題。通過比較與分析模型的識(shí)別效果，驗(yàn)證所提方法在小樣本茶葉病害識(shí)別中的可行性。

1 材料與方法

1.1 數(shù)據(jù)集

茶樹病害圖像數(shù)據(jù)由安徽省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟(jì)與信息研究所采集。通過單反相機(jī)采集以葉片、天空為背景的田間茶樹病害圖像，同時(shí)通過圖像處理軟件對圖像進(jìn)行預(yù)處理[24]，其中包含了8種常見的茶葉病害，比如茶餅病、茶紅銹藻病等，總共有1 831張病害圖像，示例如圖1所示。將上述數(shù)據(jù)集按照7∶2∶1（訓(xùn)練過程中的訓(xùn)練集∶訓(xùn)練模型結(jié)束后用來評價(jià)模型結(jié)果的測試集∶訓(xùn)練過程中的驗(yàn)證集）比例進(jìn)行訓(xùn)練，確保試驗(yàn)的可靠度。

為增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)模型的泛化性，避免過擬合，需要使用大量數(shù)據(jù)對模型進(jìn)行訓(xùn)練。因此對訓(xùn)練集圖像采用隨機(jī)旋轉(zhuǎn)、隨機(jī)翻轉(zhuǎn)、隨機(jī)色彩以及隨機(jī)亮度調(diào)整操作進(jìn)行擴(kuò)充。經(jīng)過擴(kuò)充處理后的數(shù)據(jù)集各個(gè)類別的圖像數(shù)量見表1，圖像處理示意見圖2。

1.2 試驗(yàn)方法

利用ResNet50網(wǎng)絡(luò)模型作為基礎(chǔ)架構(gòu)，通過二次遷移學(xué)習(xí)的策略，并結(jié)合CBMA注意力卷積模塊，針對小樣本茶葉病害進(jìn)行識(shí)別訓(xùn)練。

1.2.1 ResNet50模型

隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，其識(shí)別性能會(huì)逐步提升。然而，模型層次的擴(kuò)大可能引發(fā)梯度消失和性能下降等問題，這將使得模型訓(xùn)練變得更為困難，網(wǎng)絡(luò)識(shí)別錯(cuò)誤率上升，導(dǎo)致神經(jīng)網(wǎng)絡(luò)性能的衰退。何凱明等科學(xué)家在圖像識(shí)別領(lǐng)域提出了ResNet（Residual Network）網(wǎng)絡(luò)[25]。采用優(yōu)化后的殘差函數(shù)取代了參數(shù)優(yōu)化的關(guān)系，這種設(shè)計(jì)有助于解決梯度消失問題。ResNet模型的關(guān)鍵在于其引入了一種快捷路徑鏈接的結(jié)構(gòu)設(shè)計(jì)，如圖3所示。輸出[xl]經(jīng)過第一權(quán)重層會(huì)產(chǎn)生殘差映射F（[xl]）。同時(shí)，當(dāng)它經(jīng)由ReLU激活函數(shù)到達(dá)第二個(gè)權(quán)重層時(shí)，會(huì)包含原始輸入[xl]的恒等映射，最終形成期望映射F（[xl]）+[xl]。這種殘差架構(gòu)的好處在于使淺層輸入值[xl]與F（[xl]）+[xl]間的信息傳遞變得更為靈敏。

ResNet系列模型包括了多種不同的版本，如ResNet18、ResNet34、ResNet50、ResNet101和ResNet152等。這些模型依據(jù)其層數(shù)被劃分為淺層（ResNet18和ResNet34）和深層（ResNet50、ResNet101和ResNet152）兩種類型。相比于ResNet18和ResNet34，ResNet50具有更深層次的架構(gòu)，這使得它在處理圖像分類任務(wù)時(shí)表現(xiàn)得更加優(yōu)秀。盡管ResNet101和ResNet152在深度上有顯著提升，但在執(zhí)行效能方面卻略遜一籌，并且它們在圖像分類方面的實(shí)際應(yīng)用效果與ResNet50相差不大?；谠撗芯康脑囼?yàn)設(shè)備特性及其對自然條件下茶葉病害識(shí)別的復(fù)雜性理解，這里將Resnet50模型選取為基礎(chǔ)模型。

1.2.2 CBAM注意力機(jī)制

CBAM結(jié)合了通道注意力機(jī)制和空間注意力機(jī)制的思想，前者負(fù)責(zé)提取目標(biāo)的分類信息，后者專注于捕捉其空間位置信息。這使得CBAM相對于單個(gè)注意力模型具有更高的特征表達(dá)能力。將其嵌入到卷積模塊內(nèi)，有助于深入理解圖像特征圖的關(guān)鍵信息。CBAM的設(shè)計(jì)框架如圖4所示，相關(guān)運(yùn)算步驟為

[Fa=M1（F1）?F1] （1）

[G1=M2（Fa）?Fa] （2）

[M1（F1） =σMLPAvg（F1）+MLPMax（F1）] （3）

[M2（Fa）=σFN×NConAvg（Fa），Max（Fa）] （4）

式中： [Fa]——通道注意力輸出的特征圖；

[F1]——卷積神經(jīng)網(wǎng)絡(luò)提取的輸入特征圖；

[M1（F1）] ——經(jīng)過通道注意力得到的特征圖權(quán)重；

[G1]——CBAM模塊的輸出特征圖；

[M2（Fa）] ——通過空間注意力模塊計(jì)算得到的特征圖權(quán)重；

[σ（ ）] ——激活函數(shù)；

[MLP（ ）] ——一個(gè)多層感知機(jī)；

[Avg（ ）] ——平均池化操作；

[Max（ ）] ——最大池化操作；

[Con（ ）] ——多個(gè)特征圖在通道維度上拼接得到新的特征圖；

[FN×N] ——[N×N]的卷積操作。

經(jīng)過CBAM模塊的處理，特征圖[Fa]會(huì)被通道注意力模塊運(yùn)算生成一個(gè)通道權(quán)重向量。該權(quán)重向量用于對[Fa]的每個(gè)通道進(jìn)行加權(quán)調(diào)整，通過提升包含重要類別信息的通道權(quán)重，同時(shí)降低無效通道的權(quán)重，使模型在特征圖上更加聚焦于與分類任務(wù)緊密相關(guān)的信息。而空間注意力模塊則通過卷積操作對[Fa]進(jìn)行處理，以增強(qiáng)目標(biāo)區(qū)域的空間權(quán)重，使模型能夠更加專注于這些關(guān)鍵位置的空間信息，從而提高模型的識(shí)別精度。

1.2.3 遷移學(xué)習(xí)

深度卷積神經(jīng)網(wǎng)絡(luò)模型在圖像分類領(lǐng)域取得了顯著的突破，相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，這些模型在龐大的圖像數(shù)據(jù)集ImageNet上經(jīng)過廣泛而深入的訓(xùn)練，已經(jīng)成功提取了豐富的圖像分類識(shí)別特征。盡管深度卷積神經(jīng)網(wǎng)絡(luò)模型具有更高的準(zhǔn)確率，但其網(wǎng)絡(luò)層數(shù)和參數(shù)數(shù)量相對龐大。因此，如果直接采用隨機(jī)初始化權(quán)值的方法進(jìn)行訓(xùn)練，很容易遇到梯度消失的問題，這會(huì)導(dǎo)致參數(shù)更新的速度變得非常緩慢，從而難以達(dá)到理想的識(shí)別效果。另外，深度卷積神經(jīng)網(wǎng)絡(luò)往往需要大量的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)模型參數(shù)。然而，這種對于大量數(shù)據(jù)的需求可能阻礙其在某些領(lǐng)域的使用，特別是那些缺乏標(biāo)記數(shù)據(jù)集的環(huán)境下。遷移學(xué)習(xí)可以把從ImageNet學(xué)到的圖像分類技能成功運(yùn)用于新問題中的目標(biāo)分類任務(wù)上?；诂F(xiàn)有的最優(yōu)網(wǎng)絡(luò)架構(gòu)，可以在新的目標(biāo)分類任務(wù)中利用微調(diào)網(wǎng)絡(luò)層結(jié)構(gòu)來構(gòu)建適用于研究問題的模型，這比重新訓(xùn)練一個(gè)全新的網(wǎng)絡(luò)要快且容易得多。同時(shí)，因?yàn)轭A(yù)先訓(xùn)練好的網(wǎng)絡(luò)已經(jīng)掌握了豐富多樣的特征，因此不需要過多的數(shù)據(jù)去再次訓(xùn)練，從而大大減少了訓(xùn)練的時(shí)間。

鑒于茶葉病害缺乏大量的標(biāo)記病害圖像，本研究采用遷移學(xué)習(xí)方法來提升模型識(shí)別性能。PlantVillage是涵蓋了超過54 600植物葉子病變圖片的大型數(shù)據(jù)庫，包括14種不同的植物，按照品種及病害被劃分為38類別（其中有26種病害）。首先使用公開數(shù)據(jù)庫PlantVillage對模型進(jìn)行預(yù)訓(xùn)練，在將獲得的預(yù)訓(xùn)練模型參數(shù)遷移到茶葉病害識(shí)別問題中，并對參數(shù)進(jìn)行微調(diào)。與對網(wǎng)絡(luò)的所有層進(jìn)行權(quán)重參數(shù)隨機(jī)初始化的全新學(xué)習(xí)方式相比，遷移學(xué)習(xí)可以加速網(wǎng)絡(luò)的學(xué)習(xí)速度，進(jìn)而增強(qiáng)模型的識(shí)別準(zhǔn)確率和泛化能力。遷移學(xué)習(xí)過程如圖5所示。

2 試驗(yàn)與分析

2.1 試驗(yàn)環(huán)境

試驗(yàn)環(huán)境配置如表2所示，依據(jù)現(xiàn)有硬件配置構(gòu)建深層學(xué)習(xí)架構(gòu)。通過運(yùn)用MATLAB軟件對圖形進(jìn)行了無序旋轉(zhuǎn)變換、反向轉(zhuǎn)換和顏色及光度的隨意變化處理后，再使用MATLAB中的Deep Network Designer來執(zhí)行茶葉病害識(shí)別任務(wù)的學(xué)習(xí)過程及其評估環(huán)節(jié)。本研究模型的超參數(shù)經(jīng)過多次微調(diào)確定，在采用ResNet50模型進(jìn)行訓(xùn)練時(shí)，將每個(gè)批次（Batch size）的訓(xùn)練圖片數(shù)量設(shè)定為32張。同時(shí)，根據(jù)設(shè)定的批次大小，學(xué)習(xí)算法在整個(gè)訓(xùn)練數(shù)據(jù)集中將進(jìn)行80輪（Epoch）的訓(xùn)練，且每50次迭代驗(yàn)證一次。并將學(xué)習(xí)率（Learning rate， Lr）設(shè)置為0.001。使用自適應(yīng)矩估計(jì)算法（Adaptive Moment Estimation， Adam）為權(quán)重衰減優(yōu)化器去優(yōu)化ResNet50模型參數(shù)。

2.2 試驗(yàn)設(shè)計(jì)

為了研究茶葉病害識(shí)別的效果是否有提升的空間，選定ResNet50作為基準(zhǔn)模型，并進(jìn)行3組對比分析。首先，評估了ResNet50模型在原始茶葉病害數(shù)據(jù)集與擴(kuò)展數(shù)據(jù)集上的的測試結(jié)果。其次，深入探討了三種不同的遷移學(xué)習(xí)方式——未采用遷移學(xué)習(xí)策略、一次遷移學(xué)習(xí)策略和兩次遷移策略的測試結(jié)果差異。最后，進(jìn)一步比較添加CBAM模塊的ResNet50模型的茶葉病害識(shí)別精度。通過三組試驗(yàn)來比較各種模型的識(shí)別性能，以期找到適合茶葉病害識(shí)別的網(wǎng)絡(luò)模型，并探究提高小樣本茶葉病害識(shí)別準(zhǔn)確率的有效方法。

2.2.1 基于ResNet50的遷移學(xué)習(xí)模型測試結(jié)果

為了驗(yàn)證遷移學(xué)習(xí)和注意力機(jī)制對小樣本茶葉病害識(shí)別效果，設(shè)計(jì)如下試驗(yàn)進(jìn)行，其中涉及的遷移訓(xùn)練為采用替換全連接層并對最后一層進(jìn)行訓(xùn)練。Model1和Model2分別利用原始數(shù)據(jù)集與擴(kuò)充的數(shù)據(jù)集來訓(xùn)練ResNet50的原模型。Model3則通過使用植物病害數(shù)據(jù)集訓(xùn)練模型對擴(kuò)充數(shù)據(jù)集進(jìn)行第一次遷移訓(xùn)練。Model4在ResNet50上添加CBAM注意力機(jī)制，接著使用植物病害數(shù)據(jù)集訓(xùn)練模型對擴(kuò)充數(shù)據(jù)集進(jìn)行一次遷移訓(xùn)練。Model5首先利用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的模型對植物病害數(shù)據(jù)集進(jìn)行初次遷移訓(xùn)練，隨后在擴(kuò)充后的茶葉病害數(shù)據(jù)集上進(jìn)行第二次遷移訓(xùn)練。Model6使用ResNet50原模型，在添加CBAM注意力機(jī)制后用擴(kuò)充數(shù)據(jù)集進(jìn)行訓(xùn)練。Model7先在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練ResNet50模型，并在此基礎(chǔ)上加入CBAM注意力機(jī)制。隨后，該模型對植物病害數(shù)據(jù)集進(jìn)行第一次遷移訓(xùn)練。完成初次遷移訓(xùn)練后，Model7再在擴(kuò)充后的茶葉病害數(shù)據(jù)集上進(jìn)行第二次遷移訓(xùn)練。茶葉病害識(shí)別準(zhǔn)確率如表3所示。

由表3可知，應(yīng)用了ResNet50模型后，未遷移擴(kuò)充數(shù)據(jù)集識(shí)別準(zhǔn)確率較原數(shù)據(jù)集提高了7.85%，這說明擴(kuò)充數(shù)據(jù)集確實(shí)可以改善模型的識(shí)別準(zhǔn)確率，而一次遷移學(xué)習(xí)模型使用擴(kuò)充數(shù)據(jù)集訓(xùn)練之后，模型識(shí)別準(zhǔn)確率又提高了0.55%，二次遷移學(xué)習(xí)模型使用擴(kuò)充數(shù)據(jù)集訓(xùn)練之后，模型識(shí)別準(zhǔn)確率達(dá)到了88.35%，較使用擴(kuò)充數(shù)據(jù)集的原ResNet50模型和一次遷移學(xué)習(xí)模型分別提高了3.26%和2.71%，由此可見，遷移學(xué)習(xí)為茶葉病害識(shí)別任務(wù)提供了更好的模型初始化，減少了模型對數(shù)據(jù)集的依賴，使得小樣本茶葉病害的檢測準(zhǔn)確率得到了提升。在一次遷移學(xué)習(xí)模型的基礎(chǔ)上添加上CBAM注意力機(jī)制后，使用擴(kuò)充數(shù)據(jù)集對其進(jìn)行訓(xùn)練，得到的模型識(shí)別準(zhǔn)確率較未添加注意力機(jī)制提高了1.89%，在二次遷移學(xué)習(xí)模型的基礎(chǔ)上添加上CBAM注意力機(jī)制后，由于CBAM模塊能夠按順序在通道和空間兩個(gè)維度上生成注意力特征圖信息，隨后，這兩種特征圖信息通過與原始輸入特征圖進(jìn)行逐元素相乘，實(shí)現(xiàn)特征的自適應(yīng)修正以提升網(wǎng)絡(luò)性能。使用擴(kuò)充數(shù)據(jù)集對其進(jìn)行訓(xùn)練，得到的模型識(shí)別準(zhǔn)確率較原模型Model1更是提高了9.76%，從中可以看出，添加CBAM注意力機(jī)制后，在復(fù)雜的茶葉病害圖像數(shù)據(jù)集上表現(xiàn)出良好的效果，進(jìn)一步加強(qiáng)了特征表達(dá)能力。這表明CBAM注意力機(jī)制在茶葉病害識(shí)別任務(wù)中對于提高模型的性能具有積極的影響。

部分模型的損失曲線如圖6所示。隨著訓(xùn)練次數(shù)增加，損失曲線顯示了模型預(yù)測值與真實(shí)值之間偏差的變化。隨著損失的逐漸降低，模型的準(zhǔn)確度會(huì)逐漸提高，預(yù)測錯(cuò)誤的概率也會(huì)逐漸減少。由圖6可以看出，Model7率先達(dá)到收斂，這說明在圖像識(shí)別任務(wù)中，遷移學(xué)習(xí)和注意力機(jī)制確實(shí)能夠加速網(wǎng)絡(luò)的擬合速度，提高圖像識(shí)別的準(zhǔn)確率。

2.2.2 模型驗(yàn)證

為了進(jìn)一步說明注意力機(jī)制和二次遷移學(xué)習(xí)在小樣本茶葉病害識(shí)別任務(wù)中的性能，使用驗(yàn)證集進(jìn)行模型驗(yàn)證。Model1中的驗(yàn)證集準(zhǔn)確識(shí)別率為77.24%，Model7中的驗(yàn)證集準(zhǔn)確識(shí)別率為89.16%。兩種模型對各茶葉病害識(shí)別準(zhǔn)確度如表4所示。

根據(jù)表4模型驗(yàn)證結(jié)果，對Model1和Model7在病害識(shí)別準(zhǔn)確率方面進(jìn)行分析。首先，從整體上看，Model7在大多數(shù)病害類別上的準(zhǔn)確率都高于Model1。這表明在ResNet50網(wǎng)絡(luò)模型中添加注意力機(jī)制并使用遷移學(xué)習(xí)的方法，確實(shí)有助于提高模型對病害的識(shí)別能力。具體說來，Model7在茶葉的茶餅病、茶炭疽病、茶網(wǎng)餅病、茶圓赤星病和茶藻斑病等多種病害上的準(zhǔn)確率都有明顯提升。例如，在茶餅病上，Model7的準(zhǔn)確率達(dá)到了98.21%，遠(yuǎn)高于Model1的91.07%。同樣，在茶藻斑病上，Model7的準(zhǔn)確率也達(dá)到了98.20%，比Model1的85.45%有了明顯的提升。這些結(jié)果表明，注意力機(jī)制和遷移學(xué)習(xí)在這些病害類別的識(shí)別上發(fā)揮了重要作用。然而，在茶紅銹藻病和茶輪斑病上，Model7的準(zhǔn)確率相較于Model1并沒有明顯提高，甚至在茶紅銹藻病上略有下降。這可能是因?yàn)檫@兩種病害的特征與注意力機(jī)制所關(guān)注的重點(diǎn)不完全匹配，或者遷移學(xué)習(xí)過程中的某些設(shè)置不太適合這兩種病害的識(shí)別。因此，在未來的研究中，可以考慮針對這兩種病害進(jìn)行更精細(xì)化的模型調(diào)整或采用其他方法以提高識(shí)別準(zhǔn)確率。另外，值得注意的是，在茶云紋葉枯病上，Model1和Model7的準(zhǔn)確率都相對較低。這可能是因?yàn)樵摬『Φ奶卣髋c其他病害存在較大差異，導(dǎo)致模型難以準(zhǔn)確識(shí)別。針對這種情況，可以考慮收集更多關(guān)于茶云紋葉枯病的樣本數(shù)據(jù)，并進(jìn)行更深入的特征分析和模型優(yōu)化。

綜上所述，雖然Model7在大多數(shù)病害類別上的識(shí)別準(zhǔn)確率優(yōu)于Model1，但仍存在一些需要改進(jìn)的地方。未來的研究可以針對不同病害類別的特點(diǎn)進(jìn)行更精細(xì)化的模型設(shè)計(jì)和優(yōu)化，以進(jìn)一步提高病害識(shí)別的準(zhǔn)確率。本研究深入探討了如何運(yùn)用深度學(xué)習(xí)技術(shù)來應(yīng)對小樣本茶葉病害識(shí)別中的挑戰(zhàn)。通過提出的方法，不僅提高了識(shí)別準(zhǔn)確率，還為解決實(shí)際圖像識(shí)別中面臨的數(shù)據(jù)不足問題提供了新的思路和解決方案。這一研究對于推動(dòng)茶葉病害識(shí)別技術(shù)的進(jìn)一步發(fā)展和應(yīng)用，以及為其他領(lǐng)域的圖像識(shí)別技術(shù)提供指導(dǎo)，具有深遠(yuǎn)的意義。

3 結(jié)論

本研究提出一種針對小樣本茶葉病害圖像識(shí)別的方法。采用經(jīng)過專家鑒定的數(shù)據(jù)作為深度學(xué)習(xí)模型的訓(xùn)練樣本，采用ResNet50作為訓(xùn)練模型，通過擴(kuò)充數(shù)據(jù)集并調(diào)整網(wǎng)絡(luò)模型，借助遷移學(xué)習(xí)提供初始化模型，以此來加快網(wǎng)絡(luò)的訓(xùn)練進(jìn)度，有效解決樣本數(shù)量不足的問題。同時(shí)，引入CBAM注意力機(jī)制，增強(qiáng)網(wǎng)絡(luò)提取特征的能力，使其能夠更加精準(zhǔn)地聚焦于茶葉病害的特征，提高小樣本茶葉病害的識(shí)別精度。

1） 在對茶葉病害數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)后，模型的識(shí)別準(zhǔn)確率優(yōu)于擴(kuò)充前的模型，準(zhǔn)確率較原數(shù)據(jù)集提高7.85%。采用遷移學(xué)習(xí)的模型訓(xùn)練方法的模型識(shí)別準(zhǔn)確率優(yōu)于未遷移學(xué)習(xí)訓(xùn)練方式的模型，識(shí)別準(zhǔn)確率又提高3.26%。試驗(yàn)結(jié)果表明，數(shù)據(jù)增強(qiáng)和二次遷移的方法確實(shí)可以有效解決樣本數(shù)量不足的問題。

2） 在添加CBAM注意力機(jī)制的模型識(shí)別準(zhǔn)確率也明顯優(yōu)于未添加CBAM注意力機(jī)制的模型，識(shí)別準(zhǔn)確率再次提高0.81%。說明CBAM注意力機(jī)制能夠提高模型的識(shí)別能力，這些結(jié)果充分證明基于遷移學(xué)習(xí)和注意力機(jī)制的深度學(xué)習(xí)訓(xùn)練方式在解決圖像識(shí)別中樣本不足的問題方面具有良好的效果。

影響茶葉病害的因素還包括氣象條件與地理環(huán)境特性等自然要素。此外，茶葉在其生命周期的不同生長階段，所展現(xiàn)的病害特征亦呈現(xiàn)出顯著的差異性。鑒于此，未來的研究不僅要深化對影響茶葉病害識(shí)別因素的全面分析，還要細(xì)致劃分并深入研究茶葉在各個(gè)生長階段可能遭遇的特定病害，以期實(shí)現(xiàn)更為精準(zhǔn)有效的病害防控與管理策略。

參 考 文 獻(xiàn)

[ 1 ] Xue Z Y， Xu R J， Bai D， et al. YOLO-Tea： A tea disease detection model improved by YOLOv5 [J]. Forests， 2023（14）： 415.

[ 2 ] Hu G S， Yang X W， Zhang Y， et al. Identification of tea leaf diseases by using an improved deep convolutional neural network [J]. Sustainable Computing： Informatics and Systems， 2019， 24： 100353.1-100353.8.

[ 3 ] Hu G S， Wu H Y， Zhang Y， et al. A low shot learning method for tea leaf's disease identification [J]. Computers and Electronics in Agriculture， 2019， 163： 104852.

[ 4 ] Yuan X F， Li L， Wang Y L. Nonlinear dynamic soft sensor modeling with supervised long short?term memory network [J]. IEEE Transactions on Industrial Informatics， 2020， 16（5）： 3168-3176.

[ 5 ] Qiao J F， Hu Z Q， Li W J. Soft measurement modeling based on chaos theory for biochemical oxygen demand （BOD） [J]. Water， 2016， 8（581）： 1-21.

[ 6 ] 翁楊， 曾睿， 吳陳銘， 等. 基于深度學(xué)習(xí)的農(nóng)業(yè)植物表型研究綜述[J]. 中國科學(xué)， 2019， 49（6）： 698-716.

[ 7 ] Gavhale K R， Gawande U. An overview of the research on plant leaves disease detection using image processing techniques [J]. IOSR Journal of Computer Engineering， 2014， 16（1）： 10-16.

[ 8 ] 翟肇裕， 曹益飛， 徐煥良， 等. 農(nóng)作物病蟲害識(shí)別關(guān)鍵技術(shù)研究綜述[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（7）： 1-18.

Zhai Zhaoyu， Cao Yifei， Xu Huanliang， et al. Review of key techniques for crop disease and pest detection [J]. Transactions of the Chinese Society of Agricultural Machinery， 2021， 52（7）： 1-18.

[ 9 ] Chaudhary A， Kolhe S， Kamal R. An improved random forest classifier for multi?class classification [J]. Information Processing in Agriculture， 2016， 3（4）： 215-222.

[10] Tetila E C， Machado B B， Belete N， et al. Identification of soybean foliar diseases using unmanned aerial vehicle images [J]. IEEE Geoscience and Remote Sensing Letters， 2017： 1-5.

[11] Kiani E， Mamedov T. Identification of plant disease infection using soft?computing： Application to modern botany [J]. Procedia Computer Science， 2017： 893-900.

[12] 何雨霜， 王琢， 王湘平， 等. 深度學(xué)習(xí)在農(nóng)作物病害圖像識(shí)別中的研究進(jìn)展[J].中國農(nóng)機(jī)化學(xué)報(bào)， 2023， 44（2）： 148-155.

He Yushuang， Wang Zhuo， Wang Xiangping， et al. Research progress of deep learning in crop disease image recognition [J]. Journal of Chinese Agricultural Mechanization， 2023， 44（2）： 148-155.

[13] Zhang X H， Qiao Y， Meng F F， et al. Identification of maize leaf diseases using improved deep convolutional neural networks [J]. IEEE Access， 2018： 2844405.

[14] Ferentinos K P. Deep learning models for plant disease detection and diagnosis [J]. Computers and Electronics in Agriculture. 2018， 145： 311-318.

[15] Lu Y， Yi S J， Zeng N Y， et al. Identification of rice diseases using deep convolutional neural networks [J]. Neurocomputing， 2017， 267： 378-384.

[16] 李博， 江朝暉， 洪石蘭， 等. 基于邊緣智能的茶葉病害識(shí)別[J]. 中國農(nóng)機(jī)化學(xué)報(bào)， 2022， 43（6）： 175-180.

Li Bo， Jiang Zhaohui， Hong Shilan， et al. Tea leaf diseases recognition based on edge intelligence [J]. Journal of Chinese Agricultural Mechanization， 2022， 43（6）： 175-180.

[17] Pan S J， Yang Q. A survey on transfer learning [J]. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）： 1345-1359.

[18] Weiss K， Khoshgoftaar T M， Wang D D. A survey of transfer learning [J]. Journal of Big Data， 2016， 3（9）： 1-40.

[19] Sladojevic S， Arsenovic M， Anderla A， et al. Deep neural networks based recognition of plant diseases by leaf image classification [J]. Computational Intelligence and Neuroscience， 2016： 3289801.

[20] Mohanty S P， Hughes D P， Salathé M. Using deep learning for image?based plant disease detection [J]. Frontiers in Plant Science， 2016： 01419.

[21] 龍滿生， 歐陽春娟， 劉歡， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（18）： 194-201.

Long Mansheng， Ouyang Chunjuan， Liu Huan， et al. Image recognition of Camellia oleifera diseases based on convolutional neural network amp; transfer learning [J]. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（18）： 194-201.

[22] 錢嘉鑫， 余鵬飛， 李海燕， 等. 基于特征融合與注意力機(jī)制的野生菌細(xì)粒度分類[J]. 激光與光電子學(xué)進(jìn)展， 2023， 60（4）： 110-119.

Qian Jiaxin， Yu Pengfei， Li Haiyan， et al. Fine?grained classification of wild mushrooms based on feature fusion and attention mechanism [J]. Laser amp; Optoelectronics Progress， 2023， 60（4）： 110-119.

[23] 孫俊， 朱偉棟， 羅元秋， 等． 基于改進(jìn)MobileNet-V2的田間農(nóng)作物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（22）： 161-169.

Sun Jun， Zhu Weidong， Luo Yuanqiu， et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2 [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（22）： 161-169.

[24] 孫云云， 江朝暉， 董偉， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)和小樣本的茶樹病害圖像識(shí)別[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)， 2019， 35（1）： 48-55.

[25] He K M， Zhang X Y， Ren S Q， et al. Deep residual learning for image recognition [C]. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016： 770-778.