一種基于改進(jìn)ResNet18神經(jīng)網(wǎng)絡(luò)的蘋果葉片病害識(shí)別方法

摘要：為有效提升蘋果葉片病害識(shí)別的精度和效率，實(shí)現(xiàn)病害的及時(shí)防治進(jìn)而提高蘋果產(chǎn)量，本研究提出一種基于改進(jìn)ResNet18神經(jīng)網(wǎng)絡(luò)的蘋果葉片病害識(shí)別方法，可在提升模型識(shí)別性能的同時(shí)減少參數(shù)量和模型尺寸。首先，改進(jìn)ResNet模型的殘差結(jié)構(gòu)，以減少參數(shù)量，實(shí)現(xiàn)模型輕量化；其次，引入坐標(biāo)注意力（CA）機(jī)制并進(jìn)行遷移學(xué)習(xí)，進(jìn)一步提升模型的泛化性能。將改進(jìn)ResNet18模型與原始ResNet18神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)，改進(jìn)模型的準(zhǔn)確率提升了1.53個(gè)百分點(diǎn)，但模型參數(shù)量減少為原始模型的50. 840-/0。表明本研究提出的改進(jìn)ResNet18模型可有效識(shí)別蘋果葉片病害，且方便移動(dòng)端搭載。

關(guān)鍵詞：蘋果葉片病害識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；ResNet18模型；殘差結(jié)構(gòu)；坐標(biāo)注意力機(jī)制；遷移學(xué)習(xí)

中圖分類號(hào)：S661.1： S126 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：1001-4942（2024）10-0174-07

我國(guó)是蘋果生產(chǎn)大國(guó)，蘋果產(chǎn)業(yè)對(duì)于提高果農(nóng)收入、促進(jìn)農(nóng)村經(jīng)濟(jì)發(fā)展、改善人民生活水平具有重要的現(xiàn)實(shí)意義。然而，蘋果生長(zhǎng)期間經(jīng)常面臨多種病害的威脅，導(dǎo)致果實(shí)產(chǎn)量和質(zhì)量均受到較大影響。因此，蘋果病害的準(zhǔn)確識(shí)別對(duì)果農(nóng)及時(shí)采取相應(yīng)防治措施、減輕對(duì)果實(shí)產(chǎn)量和質(zhì)量的影響具有重大意義。在蘋果病害識(shí)別方面，目前主要采取傳統(tǒng)的人工檢測(cè)方法，然而不同專家的個(gè)人經(jīng)驗(yàn)積累不同，在知識(shí)和經(jīng)驗(yàn)上存在一定的局限性，導(dǎo)致這種方法存在主觀性強(qiáng)、準(zhǔn)確率不穩(wěn)定、時(shí)效性差等缺點(diǎn)，不能實(shí)現(xiàn)蘋果病害的及時(shí)有效識(shí)別。

近年來(lái)人工智能技術(shù)特別是深度學(xué)習(xí)算法得到迅速發(fā)展和應(yīng)用，已在多領(lǐng)域的目標(biāo)屬性預(yù)測(cè)與圖像識(shí)別等任務(wù)中取得優(yōu)異性能，大大提升了各項(xiàng)預(yù)測(cè)和識(shí)別任務(wù)的準(zhǔn)確性和魯棒性。在農(nóng)業(yè)病害識(shí)別領(lǐng)域，深度學(xué)習(xí)亦得到了廣泛應(yīng)用。例如：楊非凡等，將Focal Loss損失函數(shù)與多種卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，選擇在水稻數(shù)據(jù)集上識(shí)別性能最佳的MobileNetV2模型對(duì)7種水稻病害進(jìn)行識(shí)別，最高準(zhǔn)確率達(dá)到98.06%。劉擁民等通過(guò)引入ConvNeXt殘差模塊、構(gòu)建雙分支結(jié)構(gòu)等方法，提出一種基于改進(jìn)ResNet的多尺度雙分支結(jié)構(gòu)的水稻病蟲害識(shí)別模型MSDB -ResNet，與原模型相比，其識(shí)別準(zhǔn)確率提高了2.42%。胡文藝等通過(guò)引入SE注意力機(jī)制對(duì)殘差神經(jīng)網(wǎng)絡(luò)ResNet進(jìn)行改進(jìn)，使模型的平均識(shí)別準(zhǔn)確率提升至97.96%。陳偉文等采用數(shù)據(jù)增強(qiáng)和隨機(jī)失活部分神經(jīng)元等方法對(duì)AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，改進(jìn)后的模型F1分?jǐn)?shù)值比原模型提升了3%。戴久竣等采用金字塔網(wǎng)絡(luò)結(jié)構(gòu)，用深度超參化卷積層替換傳統(tǒng)卷積層等方法對(duì)深度殘差神經(jīng)網(wǎng)絡(luò)ResNet50進(jìn)行改進(jìn)，并將其應(yīng)用于葡萄葉片病害識(shí)別任務(wù)中，實(shí)驗(yàn)結(jié)果表明改進(jìn)模型的識(shí)別準(zhǔn)確率達(dá)到98.20%。蘇仕芳等將VCG-16運(yùn)用在ImageNet圖像數(shù)據(jù)集上，實(shí)現(xiàn)葡萄葉片病害識(shí)別的準(zhǔn)確率達(dá)到96.48%。何前等在AlexNet模型中引入池化層，并將原始Relu激活函數(shù)替換為L(zhǎng)eaky Relu函數(shù)，得到改進(jìn)的AlexNet模型，在葡萄葉片病害識(shí)別方面的準(zhǔn)確率可達(dá)到99.1%?？梢?，將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于農(nóng)業(yè)病害識(shí)別領(lǐng)域，可有效地解決傳統(tǒng)病害識(shí)別方法效率和準(zhǔn)確率低的問(wèn)題。

深度學(xué)習(xí)算法在蘋果葉片病害識(shí)別方面也有一定研究。潘仁勇等將SE注意力機(jī)制與遷移學(xué)習(xí)相結(jié)合，提出一種基于DTS - ResNet的蘋果葉片病害識(shí)別方法，其準(zhǔn)確率達(dá)到98.73%。吳剛正等提出一種殘差網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合的蘋果葉片病害識(shí)別模型P-D-ECA-ResNet101，相較于原始ResNet101模型，改進(jìn)后模型的平均識(shí)別準(zhǔn)確率提升了2.20%。陳聰?shù)仍谏窠?jīng)網(wǎng)絡(luò)模型ResNet50的基礎(chǔ)上，對(duì)殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)并引入遷移學(xué)習(xí)，構(gòu)建了一種改進(jìn)的REP -ResNet模型，識(shí)別準(zhǔn)確率較基礎(chǔ)網(wǎng)絡(luò)模型提高了2.41%。雖然這些模型的性能在一定程度上得到了提升，但模型的參數(shù)量和所占內(nèi)存較大，不利于移動(dòng)端搭載，限制了其開發(fā)應(yīng)用。為了更好地兼顧蘋果葉片病害識(shí)別模型的性能和規(guī)模，本研究以ResNet18為基礎(chǔ)網(wǎng)絡(luò)，改進(jìn)殘差結(jié)構(gòu)并引入CA注意力機(jī)制和遷移學(xué)習(xí)，以期在減少模型參數(shù)量的同時(shí)提升模型的訓(xùn)練速度和性能，實(shí)現(xiàn)對(duì)蘋果葉片病害的快速有效識(shí)別。

1 材料與方法

1.1 數(shù)據(jù)來(lái)源和數(shù)據(jù)集構(gòu)建

本研究所用圖像數(shù)據(jù)來(lái)源于3個(gè)公開的數(shù)據(jù)集——Plant Village數(shù)據(jù)集、Plant Pathology2021數(shù)據(jù)集、AppleLeaf9_main數(shù)據(jù)集，經(jīng)過(guò)整理，共得到五類蘋果葉片圖像，包括黑星病葉、黑腐病葉、銹病葉、白粉病葉及健康葉。為了防止模型過(guò)擬合，采用旋轉(zhuǎn)、鏡像等數(shù)據(jù)增強(qiáng)操作對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，最終共得到9 188張圖片，然后按照7：3的比例劃分訓(xùn)練集和測(cè)試集。為了加快模型的訓(xùn)練速度，統(tǒng)一將圖片大小設(shè)置為224x224像素。數(shù)據(jù)集具體信息及五類蘋果葉片圖像示例分別見表1、圖1。

1.2 蘋果葉片病害識(shí)別模型構(gòu)建

He等在2015年提出了ResNet（ResidualNetwork）神經(jīng)網(wǎng)絡(luò)模型，并且在模型結(jié)構(gòu)中引入了殘差模塊，該模塊有助于緩解梯度消失問(wèn)題，使得網(wǎng)絡(luò)擁有更深的層次和更優(yōu)異的性能。本研究選用ResNet家族中的ResNet18模型作為基礎(chǔ)網(wǎng)絡(luò)模型，然后改進(jìn)殘差結(jié)構(gòu)并引入CA注意力機(jī)制和遷移學(xué)習(xí)，以達(dá)到精簡(jiǎn)模型和提升模型泛化能力的目的。改進(jìn)ResNet18模型的核心結(jié)構(gòu)大致分為四段，分別為Res -1、Res -2、Res -3和Res-4，每段包含兩個(gè)改進(jìn)后的殘差模塊。改進(jìn)后的模型結(jié)構(gòu)如圖2所示。

1.2.1 改進(jìn)ResNet殘差結(jié)構(gòu)

為了減少模型參數(shù)量和所占內(nèi)存，同時(shí)兼顧識(shí)別性能，對(duì)Res-Net18網(wǎng)絡(luò)的殘差結(jié)構(gòu)進(jìn)行改進(jìn)，即將殘差結(jié)構(gòu)中的第二個(gè)3×3卷積層替換為1×1卷積層，并設(shè)置合適的步幅（Stride）與填充（Padding），在其后再引入最大池化層（MaxPool），從而有效提取模型的特征信息，減少模型計(jì)算復(fù)雜性。改進(jìn)前后的殘差結(jié)構(gòu)如圖3所示。

1.2.2 引入CA注意力機(jī)制

為在獲取跨通道信息的同時(shí)捕獲物體的方向和位置信息，新加坡國(guó)立大學(xué)的Hou等提出了一種輕量級(jí)的坐標(biāo)注意力機(jī)制（Coordinate Attention，CA），其結(jié)構(gòu)如圖4所示。該機(jī)制將位置信息嵌入到通道信息中，以少量的參數(shù)開銷作為代價(jià)，提升了模型的識(shí)別性能。本研究在ResNet18模型的殘差模塊中引入CA注意力機(jī)制。

CA注意力機(jī)制對(duì)特征進(jìn)行分解，從空間上捕獲位置信息，具體來(lái)說(shuō)，首先，分別沿垂直和水平兩個(gè)方向，對(duì)輸入特征圖進(jìn)行全局平均池化操作，得到形狀為[C，H，1]和[C，1，W]的特征圖：然后進(jìn)行拼接操作將兩個(gè)方向的特征圖拼接在一起，送人卷積核為1×I的卷積模塊中，形成新的特征圖f∈RC/rX（H+W）×1：經(jīng)過(guò)批量歸一化處理，融合后的特征圖分為兩個(gè)并行分支fh∈RC/r×H×1與fw∈R/r×1×W：用兩個(gè)1×1卷積層調(diào)整特征圖的通道數(shù)，經(jīng)過(guò)Sigmoid函數(shù)得到特征圖向量，最后在原始特征圖上進(jìn)行乘法加權(quán)計(jì)算，得到最終的CA注意力機(jī)制輸出。

1.2.3 融入遷移學(xué)習(xí)

遷移學(xué)習(xí)是將源領(lǐng)域知識(shí)遷移至目標(biāo)域，以便在新領(lǐng)域任務(wù)中實(shí)現(xiàn)性能改進(jìn)的一種手段。為了進(jìn)一步提高學(xué)習(xí)模型的性能，本研究將在ImageNet數(shù)據(jù)集中預(yù)訓(xùn)練好的ResNet18模型權(quán)重參數(shù)遷移至本模型中，并對(duì)模型參數(shù)和網(wǎng)絡(luò)進(jìn)行微調(diào)以適應(yīng)本數(shù)據(jù)集。遷移學(xué)習(xí)原理如圖5所示。

1.3 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境配置：Windows 10操作系統(tǒng)，16 GB內(nèi)存，型號(hào)為AMD Ryzen 5 5600H with RadeonCraphics的處理器，頻率為3.30 GHz；Anaconda的4.5.11版本作為開發(fā)環(huán)境，Python3. 10作為編程語(yǔ)言，神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試均在Tensor-Flow框架上進(jìn)行：為了縮短訓(xùn)練時(shí)間，采用GPU（圖形處理單元）進(jìn)行數(shù)據(jù)集訓(xùn)練。

因?yàn)閿?shù)據(jù)集較大，為了使GPU能順利訓(xùn)練模型，將每個(gè)批次的圖片數(shù)量（batch size）設(shè)為16，并將訓(xùn)練輪次設(shè)置為100。此外，學(xué)習(xí)率是模型的重要參數(shù)，經(jīng)過(guò)多次實(shí)驗(yàn)，根據(jù)模型每7個(gè)周期的損失值是否減小作為判斷條件，將學(xué)習(xí)率衰減為原來(lái)的80%，即將學(xué)習(xí)率設(shè)置為0.000 1。模型優(yōu)化使用Adam優(yōu)化算法實(shí)現(xiàn)。

1.4 模型性能評(píng)價(jià)指標(biāo)

采用準(zhǔn)確率、精確率、召回率與F1分?jǐn)?shù)作為評(píng)價(jià)模型性能的指標(biāo)，其中，準(zhǔn)確率是預(yù)測(cè)正確的樣本數(shù)與總樣本數(shù)之間的比例，是機(jī)器學(xué)習(xí)中重要的基本評(píng)價(jià)指標(biāo)，值越高，表明模型的預(yù)測(cè)結(jié)果越準(zhǔn)確：精確率表示在機(jī)器預(yù)測(cè)為正類的所有樣本中實(shí)際為正類的樣本所占的比例，是衡量模型對(duì)樣本預(yù)測(cè)的準(zhǔn)確程度的一項(xiàng)重要指標(biāo)：召回率表示在所有實(shí)際為正類的樣本中能被模型正確預(yù)測(cè)為正類的樣本所占的比例，值越高，意味著模型對(duì)正樣本預(yù)測(cè)的成功率越高：F1分?jǐn)?shù)結(jié)合了精確率與召回率，值越大，說(shuō)明模型的性能越好，是衡量模型性能的常用指標(biāo)。各指標(biāo)計(jì)算公式如下：

式中，A為準(zhǔn)確率，P為精確率，R為召回率，F(xiàn)1為F1分?jǐn)?shù)：TP表示模型將正樣本預(yù)測(cè)為正樣本的個(gè)數(shù)，TN表示模型將負(fù)樣本預(yù)測(cè)為負(fù)樣本的個(gè)數(shù)，F(xiàn)P表示模型將負(fù)樣本預(yù)測(cè)為正樣本的個(gè)數(shù)，F(xiàn)N表示模型將正樣本預(yù)測(cè)為負(fù)樣本的個(gè)數(shù)。

2 結(jié)果與分析

2.1 殘差結(jié)構(gòu)改進(jìn)前后的模型性能對(duì)比分析

利用測(cè)試集數(shù)據(jù)對(duì)殘差結(jié)構(gòu)改進(jìn)前后的模型性能進(jìn)行測(cè)試，由圖6和表2可知，與ResNet18模型相比，殘差結(jié)構(gòu)改進(jìn)后的模型參數(shù)量減少了49.84%，僅為21.39 M;模型大小降低了14. 62%，為90.50 MB;而模型準(zhǔn)確率提升了o．46%，達(dá)到96.87%。表明本研究針對(duì)ResNet模型殘差結(jié)構(gòu)的改進(jìn)能有效減少模型參數(shù)量和所占內(nèi)存，并增強(qiáng)模型的識(shí)別性能。

2.2 消融實(shí)驗(yàn)結(jié)果分析

為了評(píng)估各項(xiàng)改進(jìn)措施對(duì)模型性能的影響，本研究進(jìn)行了一系列消融實(shí)驗(yàn)，結(jié)果如表3所示。在ResNet模型基礎(chǔ)上依次增加3項(xiàng)改進(jìn)措施（改進(jìn)模型殘差結(jié)構(gòu)、加入CA注意力機(jī)制和遷移學(xué)習(xí)），模型的準(zhǔn)確率、精確率、召回率及F1分?jǐn)?shù)都得到提升，尤以同時(shí)進(jìn)行了3項(xiàng)改進(jìn)的模型提升效果最好，較原模型分別提升了1.53、1.41、1.54、1.47個(gè)百分點(diǎn)。

2.3 改進(jìn)ResNet18模型與其他網(wǎng)絡(luò)模型的性能對(duì)比分析

為了進(jìn)一步評(píng)價(jià)改進(jìn)模型的性能，將其與經(jīng)典神經(jīng)網(wǎng)絡(luò)模型DenseNet121、GoogLeNet、Res-Net18、ResNet34、ResNet50進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表4和圖7所示?？梢钥闯?，在保持實(shí)驗(yàn)條件和參數(shù)設(shè)置一致的條件下，3種深度的ResNet模型中，ResNet18模型由于分類數(shù)和圖片數(shù)量相對(duì)較少，表現(xiàn)出最快的收斂速度和最佳的模型性能，準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)均高于ResNet34和ResNet50。改進(jìn)ResNet18的性能明顯優(yōu)于上述3種ResNet模型以及DenseNet和GoogLeNet模型，準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)分別提高1. 53% -3.24%、1.24% -3.43%、1.60% -3. 14%、1.52% -3. 29%；但模型參數(shù)量最少，僅21.68 M，為原始ResNet18模型的50. 84%，較DenseNet121和GoogLeNet模型也分別少8.76 M和1.13 M。表明改進(jìn)后的模型在性能和復(fù)雜度之間取得了不錯(cuò)的平衡，為其在移動(dòng)端部署和應(yīng)用提供了可能，同時(shí)也進(jìn)一步驗(yàn)證了模型改進(jìn)的有效性。

2.4 改進(jìn)ResNet18模型對(duì)蘋果葉片病害識(shí)別的混淆矩陣

混淆矩陣能對(duì)模型性能進(jìn)行可視化展示，它的行、列分別表示實(shí)際類別和模型的預(yù)測(cè)類別，因此，對(duì)角線元素反映了模型預(yù)測(cè)的準(zhǔn)確性，顏色越深表示模型預(yù)測(cè)準(zhǔn)確性越高：而非對(duì)角線元素則反映了模型錯(cuò)誤分類的結(jié)果，顏色越深表示模型錯(cuò)誤分類的比例越高。根據(jù)模型的訓(xùn)練效果，基于測(cè)試集數(shù)據(jù)，得到改進(jìn)ResNet18模型與原Res-Net18模型識(shí)別蘋果葉片病害的混淆矩陣，見圖8。可以看出，兩種模型對(duì)角線元素的數(shù)值遠(yuǎn)遠(yuǎn)高于其他元素，且具有更深的顏色，證明模型在蘋果4種病害葉和健康葉的識(shí)別方面具有出色性能，尤其改進(jìn)ResNet18模型對(duì)五類蘋果葉片的識(shí)別效果更優(yōu)。蘋果黑星病在病癥初期特征不明顯，因此模型將蘋果黑星病葉與健康葉互相混淆的概率較高；其次，白粉病葉與健康葉的特征相似，模型也容易將它們錯(cuò)誤分類。但改進(jìn)ResNet18模型對(duì)這兩種識(shí)別分類錯(cuò)誤情況均有明顯改善，將黑星病葉與健康葉誤分的圖片數(shù)量從59張減少到23張，將白粉病葉和健康葉誤分的圖片數(shù)量從20張減少到8張。綜合來(lái)看，改進(jìn)ResNet18模型在蘋果葉片病害識(shí)別方面具有出色性能。

3 結(jié)論

本研究通過(guò)改進(jìn)ResNet18模型殘差結(jié)構(gòu)以及引入CA注意力機(jī)制和遷移學(xué)習(xí)，提出了一種改進(jìn)ResNet18模型，將其應(yīng)用于蘋果葉片病害的識(shí)別，取得了較好的效果，準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)分別達(dá)到97.96%、97.97%、97.86%、97.90%，分別比原ResNet18模型提高1.53、1.41、1.54、1.47個(gè)百分點(diǎn)，但模型參數(shù)量減少為原模型的50. 84%，僅為21.68 M。表明本研究提出模型在提升性能的同時(shí)降低了模型的復(fù)雜性，更有利于移動(dòng)端搭載和應(yīng)用。

蘋果葉片病害的種類繁多，但本研究所用數(shù)據(jù)集僅包含4種病害，限制了所提出模型的應(yīng)用廣度。接下來(lái)將收集包含更多蘋果葉片病害種類和病害癥狀的圖像樣本，豐富數(shù)據(jù)集，并進(jìn)一步優(yōu)化模型，提高模型的泛化能力，擴(kuò)大模型的適用范圍。另外，嘗試將優(yōu)化的模型運(yùn)用于實(shí)際生產(chǎn)中，通過(guò)搭建蘋果葉片病害識(shí)別平臺(tái)，實(shí)現(xiàn)對(duì)蘋果葉片病害的及時(shí)、準(zhǔn)確識(shí)別，并提供相關(guān)治療指導(dǎo)方案，這將對(duì)蘋果產(chǎn)業(yè)發(fā)展具有重要的現(xiàn)實(shí)意義。

基金項(xiàng)目：山東省重大科技創(chuàng)新工程項(xiàng)目“現(xiàn)代果園智慧種植裝備與大數(shù)據(jù)平臺(tái)研發(fā)及示范應(yīng)用”（2019JZZY010706）