基于快照集成卷積神經(jīng)網(wǎng)絡(luò)的蘋果葉部病害程度識別

劉 斌 徐皓瑋 李承澤 宋鴻利 何東健 張海曦

(1.西北農(nóng)林科技大學(xué)信息工程學(xué)院，陜西楊凌 712100；2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點實驗室，陜西楊凌 712100；3.西北農(nóng)林科技大學(xué)機械與電子工程學(xué)院，陜西楊凌 712100；4.陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點實驗室，陜西楊凌 712100)

0 引言

蘋果病害對其生長發(fā)育、產(chǎn)量、品質(zhì)影響甚大，非常容易造成無法挽回的經(jīng)濟(jì)損失。因此，精確的早期蘋果病害識別對降低蘋果葉部的發(fā)病率和保證蘋果產(chǎn)業(yè)的健康發(fā)展具有十分重要的意義。

現(xiàn)有的農(nóng)作物病害識別方法主要包括2種：一類是利用數(shù)字圖像處理技術(shù)通過背景分割、病斑分割、特征提取和分類等步驟實現(xiàn)對早期病害識別?；趥鹘y(tǒng)數(shù)字圖像處理技術(shù)的農(nóng)作物病害診斷方法取得了較好識別效果[1]，但在實際應(yīng)用方面仍存在一定的局限性。大量的圖像預(yù)處理工作費時費力，以及基于人工設(shè)計的特征忽略了病害圖像中的全局信息和上下文信息，容易產(chǎn)生語義鴻溝。這些局限性直接導(dǎo)致該方法不能很好地滿足早期農(nóng)作物病害識別的精度要求。另一類是基于深度學(xué)習(xí)的農(nóng)作物病害識別方法。隨著深度學(xué)習(xí)技術(shù)在計算機視覺領(lǐng)域的快速發(fā)展，越來越多的研究者關(guān)注深度學(xué)習(xí)在農(nóng)業(yè)領(lǐng)域的應(yīng)用[2]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)與傳統(tǒng)方法相比，能夠自動地提取魯棒性強的葉部病害特征[3]。許景輝等[4]針對田地背景下小樣本玉米葉部病害識別問題，構(gòu)建了基于遷移學(xué)習(xí)的CNN模型，實現(xiàn)了對玉米銹病和大斑病染病葉片圖像95.33%的平均識別準(zhǔn)確率。任守綱等[5]對于目前深度模型在識別病害的過程中易受環(huán)境因素干擾，在提取病害特征的過程中存在不確定性等問題，設(shè)計了一種基于反卷積引導(dǎo)的VGG網(wǎng)絡(luò)模型，實驗結(jié)果表明模型精度高達(dá)99.19%。孫云云等[6]采用AlexNet卷積神經(jīng)網(wǎng)絡(luò)對茶輪斑病、炭疽病和云紋葉枯病的染病圖像進(jìn)行識別，實驗結(jié)果顯示模型的識別精度達(dá)到94.29%。馬浚誠等[7]構(gòu)建了一個基于圖像處理的溫室黃瓜霜霉病診斷系統(tǒng)，采用的病斑分割方法能夠克服復(fù)雜背景和光照條件的影響，準(zhǔn)確地提取病斑圖像，黃瓜霜霉病識別準(zhǔn)確率達(dá)到90%。總體來說，目前對于病害程度的識別研究較少，識別準(zhǔn)確率有待提高。

本文將深度學(xué)習(xí)應(yīng)用于蘋果葉部病害程度的識別，提出一種基于快照集成的早期蘋果病害識別的卷積神經(jīng)網(wǎng)絡(luò)模型。以期提高蘋果葉部病害程度識別的準(zhǔn)確性，彌補傳統(tǒng)方法和單一模型的不足，滿足實際蘋果生長過程中對病害早期診斷的實際要求。

1 材料與方法

1.1 病害圖像采集與獲取

本文實驗采用的圖像數(shù)據(jù)為2018年AI Challenger農(nóng)作物病害檢測比賽中的蘋果病害數(shù)據(jù)集，并取樣一部分西北農(nóng)林科技大學(xué)白水蘋果試驗示范站蘋果葉部病害圖像作為補充。數(shù)據(jù)集最終包含簡單背景條件下健康葉部、黑星病和銹病3大類樣本共計2 011幅圖像，其中病害的程度分為一般和嚴(yán)重2種狀態(tài)。數(shù)據(jù)集中每幅圖像都包含一片蘋果葉子，即蘋果葉子占據(jù)著每幅圖像的主要位置。數(shù)據(jù)集中圖像文件大小主要集中于157～540 kB之間，尺寸約為256像素×352像素。數(shù)據(jù)集中包含健康葉片圖像671幅、黑星病早期圖像426幅、黑星病晚期圖像352幅、銹病早期圖像275幅和銹病晚期圖像287幅(圖像樣本如圖1所示)，可知該數(shù)據(jù)集存在數(shù)據(jù)分布不平衡的問題。

圖1 各類樣本圖像Fig.1 Various sample images

1.2 數(shù)據(jù)增強

提高神經(jīng)網(wǎng)絡(luò)模型泛化能力的最佳方法是采用更多的數(shù)據(jù)進(jìn)行訓(xùn)練，但由于獲取更多的具有可靠標(biāo)注的蘋果葉部病害圖像耗時費力，原始數(shù)據(jù)集包含的樣本圖像是非常有限的。對于該問題主流的解決方法是對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強，可以使有限數(shù)據(jù)產(chǎn)生相當(dāng)于更多數(shù)據(jù)價值的同時，不必大量增加原始數(shù)據(jù)量[8]。本文主要使用4類方法進(jìn)行數(shù)據(jù)增強：圖像旋轉(zhuǎn)與鏡像、圖像亮度與對比度調(diào)整、FANCY PCA[9]和MIXUP方法[10]?；谶@4類增強方法生成的樣本數(shù)據(jù)如圖2所示。增強后的數(shù)據(jù)集按比例3∶1∶1劃分為訓(xùn)練集、驗證集和測試集，各樣本集中的樣本數(shù)量情況如表1所示。

圖2 數(shù)據(jù)增強結(jié)果Fig.2 Results of data augmentation

表1 蘋果葉部病害數(shù)據(jù)集情況Tab.1 Apple leaf disease data set

1.3 基于快照集成的蘋果葉部病害程度識別模型

1.3.1基于卷積塊注意力模塊的注意力機制

由于蘋果葉片病害的病斑通常具有尺寸小、分布密集等特性，因此相比其他視覺分類任務(wù)，蘋果葉片病害識別任務(wù)的難度更大。針對上述問題，本文通過加入注意力機制能更有效地對細(xì)小差異病斑圖像進(jìn)行特征提取與分類，以此改進(jìn)模型對蘋果葉部病害的識別精度。

卷積塊注意力模塊(Convolutional block attention module，CBAM)是一個輕量級的注意機制模塊[11]，可以很容易嵌入到現(xiàn)有的主流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，并且不會帶來較多的額外運算量。CBAM同時采用了最大池化和平均池化兩種池化方式，并且通過特征通道和空間2個維度的信息來生成權(quán)重，實現(xiàn)對原特征的重標(biāo)定操作。假設(shè)給定一個特征圖X∈RH×W×C(其中H為圖像高度，W為圖像寬度，C為圖像通道數(shù))，卷積塊注意力模塊依次沿著特征通道和特征空間2個獨立的維度分別構(gòu)建出通道注意力圖MC∈R1×1×C和空間注意力圖MS∈RH×W×1，整體結(jié)構(gòu)如圖3所示。

圖3 CBAM模塊整體結(jié)構(gòu)圖Fig.3 Overall structure diagram of CBAM module

其實現(xiàn)過程為

(1)

式中 ?——矩陣點乘運算

X′——通道注意力模塊輸出結(jié)果與原特征圖進(jìn)行點乘后的輸出結(jié)果

X″——CBAM的最終輸出

圖4 CBAM各部分結(jié)構(gòu)Fig.4 Structure of each part in CBAM

通道注意力的計算過程為

(2)

式中σ(·)——S型函數(shù)

W0、W1——輸入共享的MLP權(quán)重

MLP(·)——多層感知機模塊

AvgPool(·)——平均池化層

MaxPool(·)——最大池化層

由于蘋果葉部病斑形態(tài)各異，并且同一片葉片上可能在多個位置出現(xiàn)小而密集的病斑，因此僅僅使用通道注意力進(jìn)行特征提取容易造成對小目標(biāo)信息的丟失。空間注意力模塊作為對通道注意力模塊的補充，主要用于獲取重要特征的空間位置，實現(xiàn)對特征間空間相關(guān)性的描述，最終實現(xiàn)對蘋果葉部病斑的準(zhǔn)確定位?？臻g注意力模塊的具體結(jié)構(gòu)如圖4b所示。

在計算空間注意力特征圖時，首先通過最大池化和平均池化操作沿特征通道軸方向匯聚特征圖的通道信息生成2組特征描述符，分別表示特征通道的最大池化特征和平均池化特征。然后將2個特征圖進(jìn)行串聯(lián)拼接并通過一個標(biāo)準(zhǔn)卷積層生成空間注意力特征圖MS(X)∈RH×W，從而實現(xiàn)對強化或抑制的空間位置的編碼?？臻g注意力計算公式為

(3)

式中f(·)——卷積運算

1.3.2焦點損失函數(shù)

蘋果葉部病害樣本存在獲取困難且分布不平衡的問題，因此模型對不同病害樣本的分類難度具有極大的差異性。上述問題原因在于訓(xùn)練過程中采用的原始交叉熵?fù)p失函數(shù)很難刻畫這種不均衡分布特征，因而導(dǎo)致分類效果較差。為了解決這個問題，本文引入了焦點損失函數(shù)(Focal loss)[13]，在一定程度上解決蘋果葉部病害數(shù)據(jù)分布不平衡問題。焦點損失函數(shù)是在交叉熵?fù)p失函數(shù)(Cross entropy)基礎(chǔ)上進(jìn)行修改得到的。多分類交叉熵?fù)p失公式為

CE(y,y′)=-∑y′ilbyi

(4)

式中 CE(·)——多分類交叉熵?fù)p失函數(shù)

y——樣本標(biāo)簽

y′——經(jīng)過Softmax激活函數(shù)的輸出概率

焦點損失函數(shù)本質(zhì)上是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上添加調(diào)節(jié)因子，其中γ通過降低易分類樣本的權(quán)重使得模型在訓(xùn)練時更加關(guān)注難分類的樣本。

FL(y,y′)=-∑αi(1-y′iyi)γlby′i

(5)

(6)

式中 FL(·)——焦點損失函數(shù)

αi——平衡因子，用來平衡各類樣本比例

ni——第i類樣本數(shù)量

N——數(shù)據(jù)集中樣本總數(shù)

1.3.3快照集成

由于單一卷積網(wǎng)絡(luò)模型在病害分類識別上的局限性和蘋果葉部病害病斑特征的復(fù)雜性，將多個能夠獨立進(jìn)行判別分析的網(wǎng)絡(luò)模型進(jìn)行集成獲得的效果一般會比單網(wǎng)絡(luò)模型效果好。然而，由于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)耗時耗力的特性，訓(xùn)練后集成不同模型的代價很高。

神經(jīng)網(wǎng)絡(luò)可能具有多個局部極小值，每個局部極小值對不同的特征賦予不同的權(quán)重，并包含一些有價值的信息。然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法往往收斂到某個局部極小值，導(dǎo)致信息缺失。在這種情況下，為了提高模型的性能，本文擬采用集成方式來整合不同極小值的信息。文獻(xiàn)[14]提出了一種在不增加訓(xùn)練代價的情況下實現(xiàn)多神經(jīng)網(wǎng)絡(luò)集成的方法。首先訓(xùn)練單個神經(jīng)網(wǎng)絡(luò)，沿其最優(yōu)路徑收斂到局部極小值并保存模型參數(shù)；此后，為了獲得重復(fù)的快速收斂性，采用余弦函數(shù)控制學(xué)習(xí)率，該策略被稱為余弦退火策略(Cosine annealing)，其學(xué)習(xí)率公式為

(7)

式中α(t)——第t次迭代時的學(xué)習(xí)率

α0——初始學(xué)習(xí)率

T——迭代次數(shù)M——循環(huán)次數(shù)

mod()——模運算函數(shù)

?」——向下取整操作符

結(jié)合圖5可以看出，在傳統(tǒng)的訓(xùn)練過程中學(xué)習(xí)率往往呈指數(shù)衰減趨勢，因此模型會逐漸找到局部最優(yōu)點。該過程中，由于學(xué)習(xí)率在初始階段具有較大的值，因此模型不會進(jìn)入陡峭的局部最優(yōu)點，當(dāng)學(xué)習(xí)率下降時會很快向平坦的局部最優(yōu)點移動。然而采用余弦退火策略的模型將經(jīng)歷多個學(xué)習(xí)率的退火循環(huán)周期，在收斂到多個局部最小值后，學(xué)習(xí)率將大大提高，并從極值點逃逸。模型的多樣性很大，具有不同的局部最優(yōu)點，所以集成后的模型效果會更好。

圖5 指數(shù)衰減策略與余弦退火策略Fig.5 Comparison of exponential decay strategy and cosine annealing strategy

這種優(yōu)化集成方法稱為快照集成(Snapshot ensembling)，與單一模型相比，通過快照集成方法獲得的多個集成子模型有以下2個性質(zhì)：①每個模型都有比較低的錯誤率。②模型兩兩之間對識別錯誤的例子沒有交集。基于這2個性質(zhì)就可以進(jìn)行模型集成。

經(jīng)過M次循環(huán)后，算法在訓(xùn)練過程中保存了M個快照模型

(8)

式中x——測試樣本

hM-i(x)——第M-i個快照模型經(jīng)過Softmax激活函數(shù)的輸出

hEnsemble——集成模型的輸出，是最后m個模型(m≤M)的簡單平均值

針對每幅圖像，將每個“快照”模型的概率預(yù)測進(jìn)行串聯(lián)，形成一個新的數(shù)據(jù)項?？紤]到使用XGBoost模型作為元模型可以從預(yù)測中提取有用的信息，將這些新數(shù)據(jù)構(gòu)成的特征集輸入到XGBoost模型中，以構(gòu)建最終的蘋果葉部病害程度識別模型。圖6為該模型的整體結(jié)構(gòu)(以3次循環(huán)為例)。

圖6 基于快照集成的蘋果葉部病害程度識別模型原理圖Fig.6 Diagram of apple leaf disease identification model based on snapshot ensembling

2 實驗

2.1 環(huán)境配置和超參數(shù)設(shè)置

實驗采用表1所示的蘋果葉部病害數(shù)據(jù)集，實驗環(huán)境配置如表2所示。

表2 實驗環(huán)境配置Tab.2 Experimental configuration

為了能快速計算導(dǎo)數(shù)以及使損失函數(shù)脫離鞍點和較差的局部最優(yōu)點，網(wǎng)絡(luò)參數(shù)更新方法采用隨機梯度下降(Stochastic gradient descent,SGD)[15],即每次計算梯度時隨機選擇樣本庫中的一個樣本(或少量樣本)進(jìn)行計算。但是若只采用SGD的訓(xùn)練方法，權(quán)值更新將完全依賴當(dāng)前批次，導(dǎo)致更新過程非常不穩(wěn)定，因此需要引入動量方法。動量方法權(quán)值更新過程為

(9)

式中α——學(xué)習(xí)率

β——動量系數(shù)，取0.9

vdw——動量 dw——權(quán)值衰減

為了評估模型的性能，采用多分類場景下的準(zhǔn)確率(Accuracy)為評價指標(biāo)。其他神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程所需超參數(shù)的設(shè)置為：基礎(chǔ)學(xué)習(xí)率設(shè)為0.1，批次數(shù)量為32，迭代次數(shù)設(shè)為60。為確保實驗的可復(fù)現(xiàn)性，隨機種子固定設(shè)置為42。此外，在輸入網(wǎng)絡(luò)前所有葉部病害圖像尺寸統(tǒng)一被裁剪為256像素×256像素。

2.2 最優(yōu)識別模型

蘋果葉部病害的大部分病斑形狀相似，且具有小而密集的特點，因此首先分析了不同卷積神經(jīng)網(wǎng)絡(luò)模型的效果對比，例如VGG19[16]、AlexNet[17]、ResNet101、ResNet152、GoogLeNet V2[18]、改進(jìn)DenNet121[19]、XDNet[20]和Inception-ResNet V2[21]。首先基于2.1節(jié)描述的實驗環(huán)境和數(shù)據(jù)增強后蘋果病害數(shù)據(jù)集進(jìn)行訓(xùn)練，然后比較上述模型在同等訓(xùn)練超參數(shù)設(shè)置時在測試集上的表現(xiàn)。本文采用測試集上對不同程度病害的識別準(zhǔn)確率和識別1幅蘋果葉部病害圖像所需的推理時間作為蘋果病害程度識別模型的測評指標(biāo)，最終結(jié)果如表3所示。

表3 各模型在測試集上的性能指標(biāo)Tab.3 Performance of selected models on test set

由實驗結(jié)果和表3可知，對銹病晚期識別準(zhǔn)確率僅比XDNet網(wǎng)絡(luò)低0.51個百分點的情況下，Inception-ResNet V2模型對其他病害程度識別準(zhǔn)確率和總體準(zhǔn)確率均為最佳，并在同等實驗條件下識別1幅病害圖像推理所耗時間最短，在蘋果病害程度識別任務(wù)中性能優(yōu)越。由于蘋果葉部不同的病害具有不同的特性，如銹病的病斑較小且處于早期時比較稀疏，大多低于28像素×28像素，晚期銹病的病斑又變得密集；黑星病的病斑大多高于46像素×56像素，通常比較稀疏，所以固定尺度的卷積核在感知不同尺寸的病斑時效果不佳。加之蘋果葉部病害識別是一個細(xì)粒度圖像分類任務(wù)，其子類別間類間差異較小，因此與普通分類任務(wù)相比本文的病害程度圖像分類難度更大。

由以上分析可知，使用單一尺度的卷積核來識別多尺度的病斑效果較差且效率較低。通過分析Inception-ResNet V2網(wǎng)絡(luò)的結(jié)構(gòu)可知，其中的Inception模塊選取了2種不同尺度(3×3和7×7) 的卷積核組合進(jìn)行多尺度特征提取的方式，這使得網(wǎng)絡(luò)能夠感知不同尺度的特征，因此能夠較好地感知不同尺寸的病斑，提高網(wǎng)絡(luò)的特征提取能力。同時，Inception-ResNet V2引入了殘差網(wǎng)絡(luò)跳躍連接的方法，加深網(wǎng)絡(luò)深度的同時避免了梯度消失、梯度爆炸的問題，進(jìn)一步提高了網(wǎng)絡(luò)性能。另外，Inception-ResNet V2網(wǎng)絡(luò)將使用的3×3和7×7卷積核進(jìn)行分解，在加深網(wǎng)絡(luò)的同時減少了涉及的參數(shù)量，加快了網(wǎng)絡(luò)的推理速度。

綜上所述，Inception-ResNet V2 由于其出色的特征提取能力與隨之帶來的較之其他網(wǎng)絡(luò)更高的識別準(zhǔn)確率，可以作為后續(xù)快照集成工作的基模型。

2.3 數(shù)據(jù)增強對模型識別性能的影響

以2.2節(jié)實驗結(jié)果中性能最優(yōu)的Inception-ResNet V2模型為基礎(chǔ)網(wǎng)絡(luò)模型，探究數(shù)據(jù)增強操作對最終分類效果性能的影響。模型在訓(xùn)練集和驗證集上的準(zhǔn)確率對比曲線如圖7所示。

圖7 準(zhǔn)確率對比曲線Fig.7 Comparison curves of accuracy before and after data augmentation

由圖7可知，在使用原始數(shù)據(jù)集進(jìn)行訓(xùn)練的過程中，網(wǎng)絡(luò)存在著嚴(yán)重的過擬合現(xiàn)象，且驗證集上識別準(zhǔn)確率只有83.17%。當(dāng)使用增強后的數(shù)據(jù)集樣本進(jìn)行訓(xùn)練后，可以發(fā)現(xiàn)過擬合現(xiàn)象有極大改善，驗證集上識別準(zhǔn)確率也顯著上升，達(dá)到了87.84%。

通過以上實驗，可以看出當(dāng)數(shù)據(jù)集樣本量較少時，模型的識別準(zhǔn)確率較低，并且模型容易過擬合，模型性能差；而隨著數(shù)據(jù)集樣本量的增大，過擬合現(xiàn)象逐漸消失，模型性能也逐漸得以提升，識別準(zhǔn)確率及模型的泛化能力也得到一定程度的提升。因此，基于數(shù)據(jù)增強方法去擴充蘋果病害樣本數(shù)量是解決模型過擬合和提高準(zhǔn)確率的一個有效方法。

2.4 卷積塊注意力模塊和焦點損失函數(shù)對模型性能的影響

圖8 蘋果葉部病害圖像類激活熱力圖Fig.8 Class activation maps of apple leaf diseases

在Inception-ResNet V2模型基礎(chǔ)上，進(jìn)一步驗證注意力模塊以及焦點損失函數(shù)對最終分類效果的影響。首先對其引入基于卷積塊注意力模塊的注意力機制(記為CBAM)，與原模型(記為Vanilla)的實驗結(jié)果進(jìn)行對比，驗證卷積塊注意力模塊是否對模型性能有提升效果。然后將原先的交叉熵?fù)p失函數(shù)(記為CE)更換為焦點損失函數(shù)(記為FL)，驗證其有效性。以測試集準(zhǔn)確率為評估指標(biāo)，最終消融實驗可得Vanilla+CE、Vanilla+FL、CBAM+CE和CBAM+FL的準(zhǔn)確率分別為88.32%、88.78%、88.91%和89.79%。

由消融實驗結(jié)果可知，引入CBAM模塊的Inception-ResNet V2模型比原模型的準(zhǔn)確率高1.59個百分點。另外，類激活圖(Class activation map，CAM)可視化有助于了解讓模型做出正確分類決策的蘋果葉部病害圖像的部位。因此，為了進(jìn)一步分析CBAM模塊對模型病害特征提取能力的提升效果，實驗提取了部分測試集圖像在經(jīng)過模型最后卷積層后的類激活圖，如圖8所示。可以看出，引入CBAM模塊后的Inception-ResNet V2模型可以有效捕捉到發(fā)病部位及提取病害特征，從而提高蘋果病害程度圖像識別這種細(xì)粒度分類任務(wù)下的模型性能。

當(dāng)使用原模型時，損失函數(shù)更換為焦點損失函數(shù)后準(zhǔn)確率相比交叉熵?fù)p失函數(shù)提升0.46個百分點，說明焦點損失函數(shù)的引入緩解了數(shù)據(jù)集樣本不平衡的問題。二者組合的準(zhǔn)確率相比基線模型(Baseline)提升了1.47個百分點，說明使用卷積塊注意力模塊和焦點損失函數(shù)對最終分類效果的提升有積極影響。

2.5 快照集成對模型性能的影響

選取2.4節(jié)中的改進(jìn)Inception-ResNet V2模型為研究對象，先將余弦退火策略中的學(xué)習(xí)率循環(huán)次數(shù)作為一個超參數(shù)(循環(huán)N次便保存N個快照模型)，以測試集準(zhǔn)確率為評估標(biāo)準(zhǔn)，探究快照集成對最終模型性能的影響。

圖9 不同循環(huán)次數(shù)下快照集成模型的測試集準(zhǔn)確率Fig.9 Accuracy on test set of snapshot ensemble model under different cycles

通過圖9可以看出，當(dāng)集成3個快照模型時整體模型的性能最好。說明合理地對快照模型的數(shù)量進(jìn)行調(diào)整也能夠改善最終集成模型的性能。集成模型的核心是要求各個子模型必須具有多樣性，且每個子模型本身要具有超過隨機猜測的準(zhǔn)確性。這個理論反映在本實驗中即為快照集成方法中的快照子網(wǎng)絡(luò)并不是越多越好，越多的快照表示相鄰2次保存操作間隔的時間越短，意味著保存的快照模型之間的相關(guān)性越高，集成模型的性能也就越差?？煺漳Ｐ偷臄?shù)量應(yīng)該根據(jù)使用的基礎(chǔ)模型和具體的任務(wù)進(jìn)行適當(dāng)調(diào)整，從而找到最佳循環(huán)次數(shù)。同時，循環(huán)次數(shù)為1表示只保存1個快照模型，這等同于使用單一模型進(jìn)行訓(xùn)練，此時的準(zhǔn)確率只有89.79%，相比集成最好結(jié)果(90.82%)降低了1.03個百分點，側(cè)面驗證了快照集成方法相比單一模型對模型性能有提升效果。另外，最好結(jié)果(90.82%)與單一Inception-ResNet V2模型的準(zhǔn)確率(88.32%)相比，提高了2.50個百分點，表明了注意力機制與快照集成等改進(jìn)方法的有效性。

3 結(jié)論

(1)以蘋果黑星病和銹病的早期與晚期病害圖像為研究對象，構(gòu)建了基于快照集成卷積神經(jīng)網(wǎng)絡(luò)的蘋果葉部病害程度識別模型，實現(xiàn)了對蘋果葉部病害程度高準(zhǔn)確率的識別。

(2)基于數(shù)字圖像處理技術(shù)對原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強，有效地緩解了過擬合現(xiàn)象且提升了識別準(zhǔn)確率。

(3)選取了與本文病害識別任務(wù)契合度最高的Inception-ResNet V2為基礎(chǔ)網(wǎng)絡(luò)，同時引入卷積塊注意力模塊(CBAM)和焦點損失函數(shù)，構(gòu)建快照集成模型，利用蘋果黑星病和銹病的早期和晩期病害數(shù)據(jù)集進(jìn)行了模型驗證，準(zhǔn)確率高達(dá)90.82%，與單一Inception-ResNet V2模型88.32%的準(zhǔn)確率相比，提高了2.50個百分點。實驗表明該集成模型具有高準(zhǔn)確率和良好的泛化能力。