基于小樣本學(xué)習(xí)的植物病害識別研究*

肖偉，馮全，張建華，楊森，陳佰鴻

(1.甘肅農(nóng)業(yè)大學(xué)機電工程學(xué)院，蘭州市，730070；2.中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京市，100081；3.甘肅農(nóng)業(yè)大學(xué)園藝學(xué)院，蘭州市，730070)

0 引言

在農(nóng)業(yè)種植中，病害是影響農(nóng)作物的產(chǎn)量和質(zhì)量的關(guān)鍵因素之一。當(dāng)病害發(fā)生時，若能快速準(zhǔn)確的識別病害類型并做出相應(yīng)的處理，可以為農(nóng)作物的保產(chǎn)、增產(chǎn)提供有力的支持。傳統(tǒng)對植物病害識別經(jīng)常依靠經(jīng)驗豐富的專家用眼睛進行識別，但依靠人眼識別植物病害會出現(xiàn)速度慢、效率低、準(zhǔn)確性低等問題。

近年來，以深度學(xué)習(xí)為代表的人工智能領(lǐng)域發(fā)展非常迅速，已經(jīng)滲透到農(nóng)業(yè)病害識別領(lǐng)域，其中使用最為廣泛的深度學(xué)習(xí)方法是深度卷積神經(jīng)網(wǎng)絡(luò)[1-3]，Mohanty等[4]在PlantVillage數(shù)據(jù)集上利用54 306張植物病害葉片圖像訓(xùn)練和測試，采用AlexNet和GoogLeNe兩個模型，得到最高準(zhǔn)確率為99.35%。Amara等[5]使用3 700張香蕉病害葉片圖像作為訓(xùn)練和測試，采用LeNet模型，準(zhǔn)確率達到99.72%。Brahimi等[6]利用14 828張西紅柿病害葉片圖像作為訓(xùn)練和測試，采用AlexNet和GoogLeNet模型，準(zhǔn)確率分別達到98.66%和99.18%。Liu等[7]利用13 689張?zhí)O果病害圖像作為訓(xùn)練和測試，采用AlexNet模型，準(zhǔn)確率達到97.62%。Dyrmann等[8]用22種雜草和農(nóng)作物品種共10 413張圖像的數(shù)據(jù)集訓(xùn)練測試建立模型，平均分類準(zhǔn)確率為86.2%。張建華等[9]在原有VGG-16模型基礎(chǔ)上不斷改進，提出了一種新的VGG棉花病害模型，準(zhǔn)確率達到89.51%。鄭一力等[10]利用大量的植物葉片圖像作為訓(xùn)練和測試，采用AlexNet和InceptionV3模型，準(zhǔn)確率分別達到95.31%和95.40%。

以上采用深度卷積網(wǎng)絡(luò)作為識別器的方法需要大量的數(shù)據(jù)樣本才能取得好的識別效果。但是在實踐中，一些病害樣本的采集成本較高，特別是不常見的病害，往往收集到幾張或者幾十張病害圖像，達不到深度網(wǎng)絡(luò)訓(xùn)練所需要的樣本數(shù)量，導(dǎo)致網(wǎng)絡(luò)不能充分訓(xùn)練，泛化效果不好，病害識別效果下降。雖然通過遷移學(xué)習(xí)可以在某種程度上減少訓(xùn)練的樣本數(shù)量，但是無法解決少量樣本訓(xùn)練導(dǎo)致模型容易過擬合的問題。

為了解決深度網(wǎng)絡(luò)數(shù)據(jù)依賴問題，在人類的快速學(xué)習(xí)能力啟發(fā)下，研究者提出了小樣本學(xué)習(xí)(few-shot learning)的概念，希望深度網(wǎng)絡(luò)能像人類一樣擁有從少量數(shù)據(jù)樣本中學(xué)習(xí)的能力。Vinyals等[11]提出匹配網(wǎng)絡(luò)(MatchingNet)，使用長短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)模型和注意力機制，在miniImageNet數(shù)據(jù)集上識別準(zhǔn)確率為46.60%。Sung等[12]提出關(guān)系網(wǎng)絡(luò)(RelationNet)模型，在miniImageNet數(shù)據(jù)集上識別準(zhǔn)確率為50.44%。近年來小樣本學(xué)習(xí)在農(nóng)業(yè)病害識別方面已經(jīng)開始得到應(yīng)用[13]。

本文為研究有效的少樣本植物病害識別方法，選取匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)3種典型算法作為小樣本學(xué)習(xí)框架，這3種網(wǎng)絡(luò)屬于元學(xué)習(xí)中基于距離度量的方法，具有識別準(zhǔn)確性較高的特點。在這些框架下，特征提取網(wǎng)絡(luò)分別采用Conv4、Conv6、ResNet10、ResNet18和ResNet34 5種淺層網(wǎng)絡(luò)，在PlantVillage數(shù)據(jù)集上分別采用5-way、1-shot和5-way、5-shot方式進行訓(xùn)練、測試。通過試驗分析了小樣本學(xué)習(xí)框架與不同特征提取網(wǎng)絡(luò)的配合特點，比較了學(xué)習(xí)框架與特征網(wǎng)絡(luò)不同組合方式對于植物病害葉片圖像識別準(zhǔn)確率的影響。

1 試驗材料和方法

1.1 試驗材料

PlantVillage是一個開放的植物病害圖像數(shù)據(jù)集，其中包含14種植物，共54 306張植物病害圖像，最多的類有5 507張樣本圖像，最少類的有152張。PlantVillage數(shù)據(jù)集的詳細信息見表1。由于本文采用的是小樣本學(xué)習(xí)方法，故采用了模擬小樣本的策略，即隨機從38個類別中的植物葉片圖像分別抽取20張，組成38×20的樣本集合模擬小樣本數(shù)據(jù)集。把該數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。

表1 PlantVillage數(shù)據(jù)集圖像信息Tab.1 Image information of PlantVillage data set

為了方便起見，將PlantVillage數(shù)據(jù)集的病害按英文字母排序，將位置處于1、3、5、…、37共19類病害作為訓(xùn)練集，包括了蘋果瘡痂病、蘋果銹病、藍莓健康葉、櫻桃白粉病、玉米銹病、玉米枯葉病、葡萄黑痘病、葡萄枯葉病、桃子細菌性斑點病、辣椒細菌性斑點病、土豆早疫病、土豆晚疫病、黃豆健康葉、草莓健康葉、番茄細菌性斑點病、番茄健康葉、番茄葉霉病、番茄二斑葉螨病、番茄花葉病。將字母排序位置處于2、6、10、…、38共10類病害作為驗證集，包括了蘋果黑腐病、櫻桃健康葉、玉米健康葉、葡萄健康葉、桃子健康葉、土豆健康葉、南瓜白粉病、番茄早疫病、番茄斑枯病、番茄黃曲葉病。測試集則由剩下位置的病害組成，包括蘋果健康葉、玉米灰斑病、葡萄黑腐病、橘子黃龍病、辣椒健康葉、樹莓健康葉、草莓葉焦病、番茄晚疫病、番茄輪斑病9種類型。

1.2 研究方法

1.2.1 匹配網(wǎng)絡(luò)(MatchingNet)

(1)

(2)

f，g——嵌入函數(shù)，一般有f=g。

1.2.2 原型網(wǎng)絡(luò)(ProtoNet)

在原型網(wǎng)絡(luò)方法中，使用卷積神經(jīng)網(wǎng)絡(luò)將數(shù)據(jù)樣本投影到一個特征空間。在這個特征空間中，將每個類別的數(shù)據(jù)樣本嵌入向量的均值作為原型，用新測試樣本與原型作比較，距離較近的為同類樣本，距離較遠的為異類樣本。原型網(wǎng)絡(luò)與匹配網(wǎng)絡(luò)有諸多相同之處，都是采用計算距離的方式來判斷圖像是否為同類。原型網(wǎng)絡(luò)創(chuàng)新之處使用k最近鄰(k-means)的思想對注意力機制進行替換，使用歐氏距離代替了余弦距離。原型網(wǎng)絡(luò)首先使用嵌入函數(shù)f將數(shù)據(jù)映射到特征空間中，然后為支持集中的每個類別計算原型

(3)

式中：Ck——類別k的原型；

fφ(xi)——樣本xi經(jīng)特征提取網(wǎng)絡(luò)得到的特征；

Sk——支持集S中類別為k的數(shù)據(jù)樣本集合。

(4)

1.2.3 關(guān)系網(wǎng)絡(luò)(RelationNet)

關(guān)系網(wǎng)絡(luò)有兩個模塊構(gòu)成，一個是特征嵌入模塊fφ(Embedding module)，另一個是關(guān)系模塊gφ(Relation module)。特征嵌入模塊由4個卷積層和2個最大池化層構(gòu)成，每個卷積層包含卷積核尺寸為3×3，其作用是將圖像特征生成樣本的特征向量。關(guān)系模塊含有2個卷積層和2個全連接層，該模塊負責(zé)計算查詢樣本和支持集樣本的相似度。如圖1為關(guān)系網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

圖1 關(guān)系網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 RelationNet structure

1.3 特征提取網(wǎng)絡(luò)

本文采用的特征提取網(wǎng)絡(luò)包括Conv4、Conv6[14]和ResNet網(wǎng)絡(luò)[15]。這些網(wǎng)絡(luò)在上述小樣本框架下，實現(xiàn)對病害識別特征的提取。Conv4網(wǎng)絡(luò)由4個卷積模塊組成，其中每個卷積模塊由卷積層、批歸一化層(Batch Normalization Layer)、LeaklyReLU層和最大池化層(Max Pooling layer)構(gòu)成。而Conv6網(wǎng)絡(luò)比Conv4網(wǎng)絡(luò)多了兩個額外卷積模塊，但這兩個卷積模塊并不含有池化層，其余組成都是一致的。ResNet是一種常用的高效卷積網(wǎng)絡(luò)，通過給非線性的卷積層增加直連邊的方式來提高信息的傳播效率。

1.4 試驗方法

小樣本學(xué)習(xí)分為元訓(xùn)練階段和元測試階段。在元訓(xùn)練階段，會在訓(xùn)練集中隨機抽取C個類別，每個類別抽取k張樣本，C×k張樣本作為訓(xùn)練階段模型的支持集(support set)輸入；再從這C個類別剩余的數(shù)據(jù)中抽取一批樣本作為模型的預(yù)測對象查詢集(query set)。通過訓(xùn)練讓模型從C×k張樣本中學(xué)會如何區(qū)分這C個類別，一個支持集和一個查詢集組成一個任務(wù)，這樣的任務(wù)被稱為C-way、k-shot問題。在元測試階段，按照同樣的方法，在測試集上抽取支持集和查詢集用于二次訓(xùn)練。本文的試驗方法采用了小樣本學(xué)習(xí)中最常采用的5-way、1-shot和5-way、5-shot的方式。

在元訓(xùn)練階段，每次訓(xùn)練都會在一般的病害訓(xùn)練集中采樣得到一系列不同任務(wù)，采樣得到的每一個任務(wù)都是不同類別的組合，去學(xué)習(xí)一般病害類別變化的情況下模型的泛化能力。這種機制使得模型學(xué)會不同任務(wù)中的共性部分，比如如何提取重要特征及比較樣本相似等，忘掉任務(wù)中非共性部分。通過這種學(xué)習(xí)機制學(xué)到的模型，模型的泛化能力比較強。在測試階段，測試集與訓(xùn)練集完全不同，但上個階段的訓(xùn)練使得模型已經(jīng)學(xué)習(xí)到了識別一般病害的知識，用該模型對要在測試集進行病害分類的模型進行初始化，在測試集上按照與元訓(xùn)練階段相同的抽樣方法，從測試集和驗證集上抽取多組任務(wù)，完成二次訓(xùn)練和測試?？梢钥闯鰞蓚€階段的訓(xùn)練使得模型完成了從一般病害到特定病害識別的進化。

圖2展示了5-way、1-shot學(xué)習(xí)任務(wù)的具體例子。可以觀察到在訓(xùn)練階段構(gòu)建了一系列任務(wù)來讓模型學(xué)習(xí)如何根據(jù)支持集來預(yù)測查詢集中的樣本標(biāo)簽。測試階段輸入數(shù)據(jù)形式與訓(xùn)練階段一致，但會在全新的類別上構(gòu)建支持集和查詢集。圖中第一行是隨機抽取的一個任務(wù)，將蘋果瘡痂病葉片、蘋果銹病葉片、櫻桃白粉病葉片、玉米銹病葉片、玉米枯葉病葉片5類病害葉片圖像作為訓(xùn)練的支持集，蘋果銹病葉片作為查詢集。通過學(xué)習(xí)支持集中的5張病害葉片圖像來對查詢集中新的病害葉片圖像進行預(yù)測然后分類。圖中第三行則是在測試階段抽取的一個任務(wù)，該任務(wù)將玉米灰斑病葉片、葡萄黑腐病葉片、橘子黃龍病葉片、草莓葉焦病葉片、番茄晚疫病葉片5類病害葉片圖像作為訓(xùn)練的支持集，番茄晚疫病葉片作為查詢集。與訓(xùn)練階段采用一致的學(xué)習(xí)方法來對查詢集中新的病害葉片圖像進行預(yù)測然后分類。

圖2 5-way、1-shot學(xué)習(xí)任務(wù)分類Fig.2 Classification of 5-way、1-shot learning tasks

2 試驗結(jié)果與分析

2.1 試驗平臺

試驗操作系統(tǒng)為Ubuntu16.04 LTS 64位系統(tǒng)，采用Pytorch深度學(xué)習(xí)開源框架，選用Python作為編程語言。硬件環(huán)境：計算機RAM為8 GB，搭載Intel(R)Core(TM)i7-8750H CPU@2.20 GHz處理器，GPU是NVIDIA GeForce GTX 1050 Ti。軟件環(huán)境：CUDA9.0，CUDNN7.0，Python3.5，Pytorch0.4.0。在元訓(xùn)練階段的訓(xùn)練集和元測試階段的測試集對任務(wù)的采樣次數(shù)均為600次。

2.2 病害識別測試結(jié)果

5-way、1-shot和5-way、5-shot條件下，在PlantVillage數(shù)據(jù)集上的病害識別試驗結(jié)果準(zhǔn)確率如表2。

表2 5-way、1-shot和5-way、5-shot試驗結(jié)果Tab.2 5-way、1-shot and 5-way、5-shot test results

2.3 病害識別效果分析

2.3.1 5-way、1-shot試驗結(jié)果分析

根據(jù)表2，匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)框架和5種特征提取網(wǎng)絡(luò)組合，對病害葉片識別平均準(zhǔn)確率分別為72.29%和72.43%，均達到72.00%以上，表明用一個數(shù)據(jù)樣本訓(xùn)練也能對病害識別取得較好的效果。關(guān)系網(wǎng)絡(luò)框架下和5種特征提取網(wǎng)絡(luò)組合，對病害葉片識別平均準(zhǔn)確率為69.45%，低于前兩種網(wǎng)絡(luò)。穩(wěn)定性角度看，匹配網(wǎng)絡(luò)與5種特征提取網(wǎng)絡(luò)組合，其識別精度在71.00%～74.00%之間，方差為0.42；原型網(wǎng)絡(luò)識別精度在67.00%～78.00%之間，方差為11.08；關(guān)系網(wǎng)絡(luò)識別精度在65.00%～74.00%之間，方差為6.85。相較于原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)，匹配網(wǎng)絡(luò)與各種特征提取網(wǎng)絡(luò)組合表現(xiàn)較穩(wěn)定。

通常情況下，深度卷積網(wǎng)絡(luò)隨著層數(shù)增加，其識別精度會隨之提高。但從表2中試驗結(jié)果可看出，在3種小樣本學(xué)習(xí)框架下，特征提取網(wǎng)絡(luò)層數(shù)增加與識別精度似乎沒有關(guān)系。相反，隨特征提取網(wǎng)絡(luò)層數(shù)增加，試驗結(jié)果的準(zhǔn)確率可能增加也可能減少。在匹配網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)框架下，當(dāng)特征提取網(wǎng)絡(luò)從Conv4變到Conv6時，其識別精度分別從73.13%下降到71.26%，73.01%下降到71.35%；在匹配網(wǎng)絡(luò)和原型網(wǎng)絡(luò)框架下，當(dāng)特征提取網(wǎng)絡(luò)從ResNet10變到ResNet18時，其識別精度分別從72.81%下降到72.11%，70.22%下降到67.88%。

表2試驗結(jié)果表明，匹配網(wǎng)絡(luò)作為小樣本學(xué)習(xí)框架時，匹配網(wǎng)絡(luò)+Conv4是表現(xiàn)最好的組合，病害識別準(zhǔn)確率為73.13%；原型網(wǎng)絡(luò)作為小樣本學(xué)習(xí)框架時，原型網(wǎng)絡(luò)+ResNet34是表現(xiàn)最好的組合，病害識別準(zhǔn)確率為77.60%；關(guān)系網(wǎng)絡(luò)作為小樣本學(xué)習(xí)框架時，關(guān)系網(wǎng)絡(luò)+Conv4是表現(xiàn)最好的組合，病害識別準(zhǔn)確率為73.01%，這表明不同的小樣本學(xué)習(xí)框架和不同的特征提取網(wǎng)絡(luò)合理組合能獲得較好病害識別效果。

2.3.2 5-way、5-shot試驗結(jié)果分析

表2試驗結(jié)果可以看出，相較于1-shot，訓(xùn)練樣本增加到5時，3種小樣本學(xué)習(xí)框架和5種特征提取網(wǎng)絡(luò)的組合對病害葉片識別都有不同程度的上升。匹配網(wǎng)絡(luò)框架下Conv4、Conv6、ResNet10、ResNet18和ResNet34模型分別提升了15.78%、13.30%、14.63%、15.98%、14.40%；原型網(wǎng)絡(luò)框架下Conv4、Conv6、ResNet10、ResNet18和ResNet34模型分別提升了16.05%、10.75%、14.75%、21.74%、12.06%；關(guān)系網(wǎng)絡(luò)框架下Conv4、Conv6、ResNet10、ResNet18和ResNet34模型分別提升了12.81%、11.41%、17.83%、13.26%、12.07%。說明增加訓(xùn)練的樣本數(shù)，對網(wǎng)絡(luò)提升病害葉片識別的準(zhǔn)確率有一定的幫助。在穩(wěn)定性方面，匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)框架下與5種特征提取網(wǎng)絡(luò)的組合，方差分別為2.23、4.56和2.75，相較于1-shot，5-shot條件下各種組合的方差維持在較小的范圍內(nèi)，具有較好的穩(wěn)定性。

表2中可以看出，植物病害葉片識別準(zhǔn)確率并不是隨特征提取網(wǎng)絡(luò)層數(shù)增加效果越佳，與1-shot表現(xiàn)一致。在匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)框架下，當(dāng)特征提取網(wǎng)絡(luò)從Conv4變到Conv6時，其識別精度分別從88.91%下降到84.56%，88.30%下降到84.93%，85.82%下降到82.76%。在匹配網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)框架下，當(dāng)特征提取網(wǎng)絡(luò)從ResNet18變到ResNet34時，其識別精度分別從88.09%下降到86.55%，82.12%下降到80.77%。

表2試驗結(jié)果表明，匹配網(wǎng)絡(luò)作為小樣本學(xué)習(xí)框架時，匹配網(wǎng)絡(luò)+Conv4是表現(xiàn)最好的組合，病害識別準(zhǔn)確率為88.91%；關(guān)系網(wǎng)絡(luò)作為小樣本學(xué)習(xí)框架時，關(guān)系網(wǎng)絡(luò)+Conv4是表現(xiàn)最好的組合，病害識別準(zhǔn)確率為85.82%；原型網(wǎng)絡(luò)作為小樣本學(xué)習(xí)框架時，原型網(wǎng)絡(luò)+ResNet34是表現(xiàn)最好的組合，病害識別準(zhǔn)確率為89.66%，該組合也是所有組合中的最優(yōu)組合。

試驗數(shù)據(jù)表明，1-shot和5-shot條件下，匹配網(wǎng)絡(luò)+conv6始終都是對病害識別準(zhǔn)確率最差的組合。原型網(wǎng)絡(luò)+ResNet34始終都是對病害識別準(zhǔn)確率最佳的組合。試驗結(jié)果表明小樣本學(xué)習(xí)框架和特征網(wǎng)絡(luò)組合有較強的穩(wěn)定性，最優(yōu)的組合暗示著模型有較強的學(xué)習(xí)特征能力。得出最優(yōu)的組合方式也為以后試驗研究特定的植物病害提供了一種思路。

3 結(jié)論

為驗證小樣本學(xué)習(xí)方法對植物病害識別的有效性，本文采用了匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)3種小樣本學(xué)習(xí)框架，選擇了Conv4、Conv6、ResNet10、ResNet18和ResNet34特征提取網(wǎng)絡(luò)進行了組合植物病害識別試驗。

1)3種小樣本學(xué)習(xí)方法對病害識別是有效的，1-shot條件下，匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)對植物葉片病害識別的平均準(zhǔn)確率分別為72.29%、72.43%、69.45%；在5-shot條件下，3種網(wǎng)絡(luò)識別的平均準(zhǔn)確率分別達到了87.11%、87.50%和82.92%。

2)5-shot比1-shot識別率分別提高了14.82%、15.07%和13.47%，說明訓(xùn)練樣本數(shù)量對識別率影響較大，應(yīng)盡量采用更多樣本進行訓(xùn)練。

3)各種組合中，原型網(wǎng)絡(luò)+ResNet34是表現(xiàn)最佳的組合方式，識別率達到89.66%。小樣本病害識別研究對于農(nóng)業(yè)生產(chǎn)具有重要價值，隨著越來越多更好的學(xué)習(xí)方法被提出，我們相信只需少量樣本訓(xùn)練出的模型識別性能是能夠逼近大樣本訓(xùn)練的深度模型的，這將大大降低學(xué)習(xí)成本，降低模型從樣本采集到訓(xùn)練和部署的時間。