基于計算機視覺的植物病害識別方法綜述

于明, 郭志永, 王巖

(1.河北工業(yè)大學人工智能與數(shù)據(jù)科學學院, 天津 300401; 2.天津商業(yè)大學信息工程學院, 天津 300134)

植物是人民生活資料中重要的原料來源,隨著人口的快速增加,對植物資源的依賴愈加明顯。然而植物在生長過程中面臨諸多威脅,如氣候變化、病蟲害發(fā)生和生物入侵等。其中,植物病害由于其突發(fā)性、傳染性和復雜性的特點,對植物生長影響最大。據(jù)統(tǒng)計,每年植物病害給全球經(jīng)濟造成的損失超過2 200億美元[1],因此,對植物病害進行有效防治刻不容緩,而植物病害的識別是其基礎和核心任務之一。

傳統(tǒng)的人工識別方法在植物病害診斷方面存在很多不足,最顯著的問題是準確性容易受到人為誤差、經(jīng)驗水平和測試精度等因素的影響。此外,由于缺乏專業(yè)的農(nóng)業(yè)技術人員,病害的快速診斷和有效治理也難以保證。

為了解決上述問題,研究人員開始將植物病理學和相關知識整合到圖像識別技術中,利用機器學習和計算機視覺技術來識別農(nóng)業(yè)病害。這些方法可以自動分析和處理大量與病害有關的圖像數(shù)據(jù),使用機器學習模型和分類器進行快速準確的病害識別,有效地降低了人為誤判的風險。這些技術的應用為農(nóng)業(yè)生產(chǎn)提供了有效的技術支持,提高了病害的檢測和治理效率。

植物病害識別涉及人工智能、植物病理學、計算機圖形學等多門學科,是具有跨學科性、系統(tǒng)相對分散的研究方向。將植物病害識別問題分為對病害類型的識別和對病害嚴重程度的識別,并分析它們的研究現(xiàn)狀。從視覺特征類型和學習方式兩個維度對植物病害識別方法做了更為系統(tǒng)和全面的梳理總結,然后介紹現(xiàn)有植物病害數(shù)據(jù)集,給出不同識別方法在主流數(shù)據(jù)集上的性能對比和分析,最后針對該領域存在的問題與挑戰(zhàn),對未來研究方向進行總結展望。

1 植物病害識別問題分類

植物病害識別的本質是圖像識別,目的是建立原始圖像與類別信息的映射關系。根據(jù)識別目標不同,可以將當前的植物病害識別問題分為:①對病害類型的識別;②對病害嚴重程度的識別。

1.1 對病害類型的識別

植物在種植時常采取單間種植方式,因此對特定植物的病害識別最為常見。Siricharoen等[2]對小麥葉銹病進行二分類識別,類別標簽只有健康和患病兩種,由于類別數(shù)目少,分類邊界是線性的,所建立的識別模型較為簡單。然而,植物在生長過程中遇到的病害類型是多樣的,文獻[3-4]分別針對小麥和葡萄柚的常見病害建立多分類模型,與識別單一病害的二分類模型相比,效率更高。

為進一步實現(xiàn)多類植物的病害識別,研究人員積極探索魯棒性更強的病害識別方法。Too等[5]在多類植物病害數(shù)據(jù)集Plant Village上評估深度卷積模型的性能,DenseNet以較少的參數(shù)量和計算時間實現(xiàn)了99.75%的測試準確率。神經(jīng)架構搜索可以不借助人工調試而自動化設計高性能深度神經(jīng)網(wǎng)絡,黃建平等[6]基于神經(jīng)架構搜索技術自動學習適合14種植物共26種病害識別的深度神經(jīng)網(wǎng)絡,在訓練樣本不平衡和平衡條件下的準確率達到98.96%和99.01%。以上工作在結構化環(huán)境[圖1(a)]下識別植物病害,由于背景單一,在結構化環(huán)境中,基于深度學習的多類植物病害識別準確率已經(jīng)達到95%以上,超過人類肉眼識別水平。

圖1 不同環(huán)境條件下的玉米病害樣本Fig.1 Maize disease samples under different conditions

當前的難點是在自然環(huán)境[圖1(b)]中準確識別病害類型。自然環(huán)境下復雜背景、光照變化、遮擋等因素會對識別主體的辨別性特征產(chǎn)生干擾。Khan等[7]提出融合色彩平衡和超分辨率的方法在復雜自然環(huán)境下識別番茄的常見病害,輸入圖像先經(jīng)過色彩平衡轉換以消除不均勻照明的影響,然后利用超像素創(chuàng)建緊湊區(qū)域,設計合適的閾值實現(xiàn)復雜背景和葉片分離,在組合數(shù)據(jù)集上實現(xiàn)93.12%的識別準確率。分割復雜背景是自然環(huán)境下病害識別的關鍵,現(xiàn)有方法對不同圖像分割的穩(wěn)定性存在差異,雖在一定程度上緩解了復雜背景的不利影響,但并未根本性地解決該問題。

1.2 對病害嚴重程度的識別

病害嚴重程度的識別對類別信息做了更細粒度的劃分,不僅識別出病害類型,更要對病害嚴重程度有較為可靠的判斷。不同嚴重程度的植物病害樣本如圖2所示,可見同一類病害圖像非常相似,且嚴重程度的區(qū)分沒有一個明確的標準,分類難度極大。

圖2 AI Challenger 2018中不同嚴重程度的植物病害 (圖片資源來自AI Challenger 2018數(shù)據(jù)集,數(shù)據(jù)集 網(wǎng)址: https://challenger.ai/dataset/pdd2018)Fig.2 Plant diseases of varying severity from AI Challenger 2018 (the image resources are from the AI Challenger 2018 dataset, located at: https://challenger.ai/dataset/pdd2018)

關輝等[8]利用傳統(tǒng)圖像處理的方法分割病斑區(qū)域,通過計算病斑與葉片的面積比例得出病害的嚴重程度。不同病害的光譜敏感波段不同,且光譜指數(shù)在不同嚴重程度下也表現(xiàn)出具有區(qū)分性的相關性關系。Mahlein等[9]利用傳感器獲取植物病害的高光譜圖像,在頻域空間內捕獲特征評估病害嚴重程度。上述方法在病害嚴重程度識別問題中取得一定成效,但決策病害嚴重程度的閾值邊界和光譜指數(shù)需要人為的選擇和調整,使得方法更多針對特定植物病害的嚴重程度進行評估,難以推廣到多類病害嚴重程度的識別任務中。

深度學習方法能從大量數(shù)據(jù)中學習不同樣本之間的區(qū)分性特征,成為處理上述問題的關鍵。Wang等[10]最早提出基于卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)進行植物病害嚴重程度的自動評估,使用不同的CNN模型對具有4種嚴重程度的蘋果黑腐病圖像進行識別,準確率達到90.4%。Guo等[11]基于Swin Transformer開發(fā)了一種植物病害識別系統(tǒng),用于評估病害的嚴重程度,與CNN模型不同,該系統(tǒng)采用視覺編碼器(Transformer)的方法,能夠更好地處理輸入數(shù)據(jù)之間的關系,有利于應對圖像噪聲,識別性能非常穩(wěn)定。病害類型識別和病害嚴重程度識別相互關聯(lián)。通常情況下,在對病害類型進行準確識別后,才能進一步評估病害的程度。隨著對病害類型識別的研究已經(jīng)達到一定高度,基于深度模型識別病害嚴重程度成為當前植物病害識別領域研究的熱點。

2 植物病害識別方法

目前已有大量有價值的植物病害識別方法,對促進農(nóng)業(yè)生產(chǎn)、生態(tài)環(huán)境保護和生命科學研究具有重要意義。對一個具體的植物病害識別系統(tǒng),最關鍵的是所提取的視覺特征,其次是根據(jù)數(shù)據(jù)分布的特點選取有效的機器學習方式?；诖?從特征類型、學習方式兩個維度對現(xiàn)有病害識別方法進行闡述。

2.1 特征類型

辨別性視覺特征是植物病害識別的關鍵。按照特征類型不同可以將病害識別分為:手工特征提取方法、深度特征提取方法和多源信息融合方法。

2.1.1 手工特征提取方法

手工特征主要指圖像中的形狀、顏色、紋理等淺層信息,常見的手工特征描述符包括:顏色直方圖、顏色矩、局部二值模式(local binary patterns, LBP)[12]、灰度共生矩陣(gray level co-occurrence matrix, GLCM)、方向梯度直方圖(histogram of oriented gradient, HOG)[13]等。如圖3所示,基于手工特征的病害識別主要包含以下步驟:①原始病害圖像先需要經(jīng)過預處理操作,以消除噪聲,增強有用的真實信息,接著利用算法分割出病斑區(qū)域,減少無用信息的干擾;②然后進行特征提取和特征選擇;③最后,根據(jù)特征訓練相應的分類器,利用分類器對植物病害進行識別分類。

SVM為支持向量機;K-means為K-均值聚類

在基于單一類型的手工特征識別階段,顏色是使用最廣泛的特征之一。Patil等[14]利用顏色矩表示圖像特征識別番茄葉部病害,雖驗證了顏色特征在病害識別中的可行性,但識別精度并不高。為增強感興趣區(qū)域,Ma等[15]采用最小誤差閾值法分割樹葉和背景,在RGB(red greeen blue)和HIS(hue intensity saturation)兩個表示空間統(tǒng)計顏色分布,診斷大豆的氮元素含量,然而該過程并不是完全自動的,需要根據(jù)顏色曲線進行人為的判斷。相較于顏色特征,紋理特征具有不依賴顏色或亮度既可反映圖像中像素同質現(xiàn)象的特點。張靜等[16]通過GLCM構建能量、慣性、熵和均勻性4種紋理特征參數(shù),將慣性值作為特征有效區(qū)分了黃瓜的斑疹病和角病斑病,但特征值的選擇經(jīng)歷了大量煩瑣的對比試驗。Ahmad等[17]則首次將定向局部五元模式(directional local quinary pattern, DLQP)作為紋理描述符識別植物病害,與LBP、局部三元模式(local ternary patterns, LTP)等其他描述符相比,識別效果更好,缺點是算子的復雜度相對較高。

考慮到特征之間的互補性,研究人員融合不同類型的手工特征識別植物病害。Hlaing等[18]基于尺度不變特征轉換(scale invariant feature transform, SIFT)建模紋理特征,從RGB通道中提取圖像的顏色信息,結合紋理和顏色特征對番茄病害進行識別。針對顏色特征受光線變化影響大的問題,Yao等[19]將病害斑點的形狀和紋理特征作為額外特征值,識別3種水稻常見病害的準確率達到97.2%。Awate等[20]則基于果實表面孔洞識別水果的外部疾病,結合顏色、形狀、紋理和結構4種特征類型,在有效識別水果疾病的同時實現(xiàn)了安卓端的配置應用。上述工作融合多種特征豐富了特征空間的多樣性和信息量,但更多的信息注入可能導致模型過度擬合,進而影響識別性能。

基于手工特征是早期病害識別的主要方法,這類方法適用于小樣本數(shù)據(jù),對硬件性能要求低、算法結構簡單。然而在現(xiàn)實應用過程中,針對某一數(shù)據(jù)的特點建立有效的判別性特征需要研究人員花費大量精力進行設計挑選,且利用的特征類型越多,特征工程越復雜。此外,這些淺層特征容易受到光照條件變化、復雜背景等因素影響,導致魯棒性降低和模型識別性能下降,限制了手工特征方法在該領域的進一步應用。

2.1.2 深度特征提取方法

植物病害識別主要采用卷積神經(jīng)網(wǎng)絡 提取圖像的深度特征。CNN模擬人腦分層處理信息的機制,逐層學習圖像特征,其底層是通用的淺層特征,如圖像的邊緣和紋理等,高層組合低層特征,生成具有語義信息的深度特征。用于病害識別的CNN前向傳播過程如圖4所示,輸入的圖像經(jīng)過多層卷積層和池化層提取出特征向量,輸入多個全連接層組成的分類器中預測病害類別。

圖4 用于病害識別的卷積神經(jīng)網(wǎng)絡結構 (圖片資源來自AI Challenger 2018數(shù)據(jù)集,數(shù)據(jù)集 網(wǎng)址: https://challenger.ai/dataset/pdd2018)Fig.4 CNN structure for disease identification (the image resources are from the AI Challenger 2018 dataset, located at: https://challenger.ai/dataset/pdd2018)

典型的CNN分類網(wǎng)絡包括VGG[21]、ShuffleNet[22]、ResNet[23]等。文獻[24-26]以微調的方式直接將現(xiàn)有的CNN模型用于植物病害識別,取得了不錯的識別效果,但此類方法未能根據(jù)病害圖像的特點對識別模型做出針對性的調整,因此性能并未達到最優(yōu)。為了更好地識別植物病害,現(xiàn)有方法主要從以下3個方向進行優(yōu)化。

(1)基于目標區(qū)域分割的方法。局部病斑對植物病害識別至關重要,因此,為獲取更有效的特征來源,病害圖像在送入CNN前常對病害區(qū)域或患病葉片進行分割。Islam等[27]使用Otsu算法分割水稻的病斑區(qū)域,利用CNN從病斑區(qū)域提取特征進行識別。Canny算子能有效檢測細微邊緣,Mangal等[28]利用Canny算子分割葉片,有利于識別癥狀不明顯的早期患病植物。Ashwinkumar等[29]采用Kapur閾值分割技術提取葉片感染部位,基于DenseNet提取病害部位特征并進行超參數(shù)優(yōu)化,識別4種番茄葉部病害的平均精確率達到98.5%。以上工作均采用傳統(tǒng)圖像處理方法分割患病葉片或病斑,在提高病害識別效果的同時,保證了運行效率,缺點是分割參數(shù)需手動調節(jié)且對圖像噪聲敏感,分割效果不穩(wěn)定。針對上述問題,Rashid等[30]提出一種用于馬鈴薯葉部病害識別的多級深度學習模型,該模型的一級基于YOLOV5算法訓練了一個目標檢測網(wǎng)絡,用于分割實時視頻和圖像中的馬鈴薯葉片,二級采用專門識別葉部病害的CNN在葉片數(shù)據(jù)上學習特征和分類。利用目標檢測網(wǎng)絡,該方法能針對圖像噪聲實現(xiàn)更穩(wěn)定的分割,但網(wǎng)絡訓練需要進行額外的數(shù)據(jù)標注,且其引入加大了模型的復雜度,不利于端到端模型的構建和識別速度的提升。

(2)基于多網(wǎng)絡集成的方法。由于結構或組織方式的差異,不同網(wǎng)絡模型能發(fā)揮不同的優(yōu)勢和功能。Sutaji等[31]集成MobileNet V2和Xception兩種卷積神經(jīng)網(wǎng)絡識別植物病害,該模型充分利用MobileNetV2的全連接特性和Xception的多尺度特征構建能力,相較于單個網(wǎng)絡的識別準確率分別提高1.8%和0.8%。于明等[32]構建了一個識別多類植物病害的雙流模型,模型利用兩個網(wǎng)絡分別從病斑圖像和原始圖像提取局部和全局特征,兩種特征充分融合后作為識別分類的依據(jù)。該方法通過兩個網(wǎng)絡提取互補特征改善識別性能,但是存在計算過程復雜,識別速度慢的問題。Turkoglu等[33]組合6個深度卷積網(wǎng)絡提取特征,以集成投票方式結合不同網(wǎng)絡的預測結果識別病害,雖改善了識別性能,但不同網(wǎng)絡提取的特征會存在大量冗余,效率較低。王芳元[34]提出的PlantNet模型在上游將AlexNet與Inception并行聯(lián)結構成一個投票網(wǎng)絡預測病害類型,投票網(wǎng)絡綜合兩個分支的分類結果,能夠彼此實現(xiàn)誤差糾正,魯棒泛化性更強,下游構建了多個加權孿生網(wǎng)絡,每個網(wǎng)絡針對單一病害類型進行嚴重程度評估,使得網(wǎng)絡能更加關注判別性細節(jié)信息,更有效地區(qū)分不同嚴重程度,其模型架構如圖5所示。與該方法類似,Li等[35]則先識別農(nóng)作物類型,再對病癥和病情做出診斷。上述兩種方法將識別過程看作多個階段,每個階段都有專門負責本階段分類任務的網(wǎng)絡模型,在分類標簽具有分級特點的病害識別任務中具有較好的識別性能,但是模型中的各個網(wǎng)絡需要單獨進行訓練,無法實現(xiàn)訓練過程上的端到端是其局限性。

圖5 PlantNet模型結構圖Fig.5 Framework of PlantNet

(3)基于注意力機制的方法。人類在快速掃描整張圖像后,會將注意力集中于圖像中的某些重點區(qū)域。受人類視覺注意力啟發(fā),研究人員將注意力機制引入計算機視覺,開發(fā)了不同類型的注意力模塊。病害識別任務中常見的注意力模塊如圖6所示。Gao等[36]提出了基于雙分支通道注意力模塊的植物病害識別模型,該模型利用兩個不同的一維卷積在雙分支中實現(xiàn)獨立的特征選擇和特征降維,在提高識別準確率的同時,減少了冗余特征的提取。Chen等[37]設計了基于通道注意力和空間注意力的SCAM模塊,以學習通道間關系和空間位置對輸入特征的重要性,該模塊被嵌入DenseNet中識別玉米病害,在復雜背景條件下實現(xiàn)了98.50%的識別準確率,但SCAM模塊將空間和通道注意力串行連接,出現(xiàn)了串行干擾問題。為避免串行干擾,王美華等[38]將空間注意力模塊和通道注意力模塊并行連接,提出并行混合注意力模塊I_CBAM,添加該模塊后的CNN模型以更小的內存消耗實現(xiàn)了更優(yōu)的識別效果。文獻[39-40]在殘差網(wǎng)絡中引入注意力機制,既保證了實時識別速度,又提升了模型的表達能力,進一步驗證了注意力機制的優(yōu)越性。

MLP為多層感知機;Linear為線性映射;Concat為拼接; Scaled Dot-Product Attention為縮放點積注意力;Q、K、V分別為多頭自 注意力計算中的查詢矩陣(Query)、鍵值矩陣(Key)和值矩陣(Value)

自注意力機制擁有強大的遠距離建模能力,與CNN結合能夠實現(xiàn)優(yōu)勢互補。Zhang等[41]提出殘差自校準和自注意力聚合網(wǎng)絡RCAA-Net識別植物病害,模型在殘差模塊中引入空洞卷積學習多尺度的特征表示,利用反卷積實現(xiàn)反饋校準以抑制深層背景噪聲,提高模型魯棒性,并通過自注意力模塊聚合不同尺度特征圖的語義信息,進一步提高模型的準確性。該模型利用CNN作為網(wǎng)絡淺層結構,以提取局部細節(jié)信息,在深層網(wǎng)絡中,使用自注意力模塊來構建不同位置病斑間的遠距離依賴關系。這是當前病害識別模型的一種流行做法,PlantXViT[42]和GeT[43]同樣是基于這種思想建立的病害識別模型,在不同的數(shù)據(jù)集上表現(xiàn)出優(yōu)異的識別性能,但是自注意力模塊計算相對復雜,會比較明顯的增加模型計算量,使得推理速度變慢。為了學習病害細微的表觀差異,Yu等[44]將Inception引入ViT(vision transformer),以強調細粒度特征的關注并建模局部上下文信息,改進后的ViT網(wǎng)絡在Plant Village、PlantDoc等數(shù)據(jù)集上的精度高于CNN與Transformer的混合模型。Wang等[45]則基于完全的自注意力模型Swin-Transformer識別黃瓜葉部病害,并通過逐步小補丁嵌入增強模型特征提取能力,由于自注意力機制具有更強的數(shù)據(jù)依賴性,該模型實現(xiàn)良好的識別性能需要預訓練權重遷移并對數(shù)據(jù)增強要求較高。

當前基于深度特征的病害識別方法大都以CNN為基礎。由于CNN的特征提取過程是自適應的,基于深度特征的病害識別方法能將特征學習和分類器訓練統(tǒng)一到一個框架內,實現(xiàn)端到端學習。此外,基于CNN的深度識別模型表現(xiàn)出良好的可拓展性,可以通過靈活的調整網(wǎng)絡結構,提高模型性能。基于自注意力機制的Transformer同樣具有上述優(yōu)勢,其出現(xiàn)為病害識別模型提供了新的架構選擇,在未來,探索利用Transformer構建病害識別模型或將Transformer與CNN結合有望進一步提升植物病害識別的性能。但是深度學習方法也存在一定的局限性,如數(shù)據(jù)需求量大、計算資源要求高和可解釋性差等。

2.1.3 多源信息融合方法

植物病害的發(fā)生往往具有周期性、地域性等特點。除了從病害圖像提取的視覺信息外,病害發(fā)生的時間、地理位置、環(huán)境參數(shù)等對疾病的分類識別同樣具有重要意義,這類信息被統(tǒng)稱為多源外部信息。

隨著農(nóng)業(yè)物聯(lián)網(wǎng)技術的快速發(fā)展,使用各式傳感器可以很方便地獲取溫度、濕度、pH等各類環(huán)境參數(shù)。農(nóng)業(yè)物聯(lián)網(wǎng)的可用性自然而然地催生了基于多源信息融合的病害識別方法。Zhao等[46]提出了一種融合多源信息進行植物病害識別的典型方案—多上下文融合網(wǎng)絡(multi-context fusion network, MCFN),MCFN的結構模型如圖7所示,該方法使用雙分支模型架構,視覺特征分支利用CNN從超過50 000個病害樣本中提取視覺特征,多源信息分支利用BoW編碼器對傳感器采集的上下文信息進行編碼,兩個分支輸出的特征向量經(jīng)全連接網(wǎng)絡實現(xiàn)特征融合并輸出類別預測,得益于多源信息的有效使用,該方法在復雜自然環(huán)境中識別植物病害具有很好的效果。Picon等[47]將作物的品種信息與CNN相結合,識別小麥、玉米、水稻等5種農(nóng)作物的常見病害,由于作物的品種信息作為先驗知識參與了識別過程,網(wǎng)絡可以更關注病害區(qū)分性特征的學習,降低了識別任務的復雜性,但是該方法人為編碼作物的品種信息,靈活性較差。CNN的全連接層聚集著圖像復雜的語義信息,基于此,Cruz等[48]提出框架的抽象級融合算法,為網(wǎng)絡的全連接層提供來自3個不同基線架構中的附加特征,該方法增強了全連接層的特征表示,識別橄欖快速衰退綜合征的準確率達到98.60%。張凈等[49]提出雙模態(tài)特征融合的農(nóng)作物病害識別算法,使用并行的循環(huán)神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡分別提取圖像和文本特征,并通過超圖神經(jīng)網(wǎng)絡編碼兩種特征之間的相關性,實現(xiàn)大田環(huán)境下作物病害的有效識別。

圖7 MCFN模型結構圖Fig.7 Framework of MCFN

單純依靠視覺特征的識別模型極易出現(xiàn)性能飽和?；诙嘣葱畔⑷诤系牟『ψR別方法能夠為模型提供更豐富的特征來源,是突破性能上限的可行方案。但是,此類方法在應用過程中仍存在一些問題:首先,獲取多源信息需要多功能相機和各類傳感器的部署參與,工程量大、硬件成本高。同時,不同類型的多源信息可能以多種模態(tài)形式存在(如圖像、文本、音頻等)。為了充分利用這些信息,要求研究人員具備多模態(tài)信息處理的能力并對不同信息進行有效編碼。

2.2 學習方式

在常規(guī)植物病害識別任務中,為了保證識別模型的性能,首先要求訓練樣本的數(shù)量必須足夠多,以確保模型能夠充分學習各種病害的特征。其次,訓練樣本和測試樣本應該服從相同的分布,以避免模型在測試時遇到未曾見過的樣本而出現(xiàn)偏差。然而在現(xiàn)實世界中,不同植物病害的收集難度不同,一些難收集類的樣本數(shù)量有限。此外,病害圖像數(shù)據(jù)又是開放的,新類別的樣本總在動態(tài)增加。針對以上問題,人們將機器學習方式中的遷移學習、小樣本學習、多任務學習、增量學習應用到病害識別領域。

2.2.1 常規(guī)植物病害識別

常規(guī)植物病害識別主要面向封閉數(shù)據(jù)集,滿足訓練樣本足夠多、訓練樣本和測試樣本服從獨立同分布。基于手工特征的植物病害識別方法由于樣本需求小,且所用的封閉數(shù)據(jù)集大都滿足數(shù)據(jù)獨立同分布的特點,因此基本上都屬于此類方法。

2.2.2 遷移學習

近年來,深度學習已經(jīng)成為植物病害識別領域的主流方法。由于目前缺乏公開的大規(guī)模病害數(shù)據(jù)集,這為深度模型的訓練帶來了挑戰(zhàn)。為了有效利用大規(guī)模的額外數(shù)據(jù)集,遷移學習被采用以增強模型性能。遷移學習將具有豐富樣本容量的數(shù)據(jù)集視為源域數(shù)據(jù)集,而將任務數(shù)據(jù)集視為目標域。識別模型在源域上完成預訓練后,被應用到目標域,從而實現(xiàn)知識遷移。在病害識別任務中,文獻[50-51]已經(jīng)證明遷移學習方式比“從頭開始”的常規(guī)學習方式更準確。

遷移學習的方式主要有兩種,一種固定模型特征提取部分的參數(shù),僅重新訓練分類頭;另一種則是對模型整體進行微調(fine-tuning)。其中,微調在目標數(shù)據(jù)集上重新調整網(wǎng)絡參數(shù),從而使特征學習更適用于當前任務,因此在病害識別中應用較為普遍。Zhou等[26]將3個預訓練CNN模型集成到一個框架下,在微調過程中引入空間和通道特征校準以突出判別特征并抑制冗余特征,使得方法針對不同病害數(shù)據(jù)具有良好的識別穩(wěn)定性。利用殘差塊批次歸一化和遷移學習的優(yōu)勢,Zhang等[25]改進了ResNet-50,提出修正殘差網(wǎng)絡(modified residual neural network,MRNN),MRNN以微調的方式進行訓練,訓練速度顯著提升。Lee 等[24]則通過實驗探究了預訓練數(shù)據(jù)集與任務數(shù)據(jù)集的相關性對微調過程的影響,同一個網(wǎng)絡模型分別在植物識別數(shù)據(jù)集PlantCLEF2015和通用數(shù)據(jù)集ImageNet上進行預訓練。對比其微調過程發(fā)現(xiàn),源域數(shù)據(jù)集與目標域數(shù)據(jù)集越相關,越有利于模型訓練收斂。

2.2.3 小樣本學習

在僅擁有少量訓練樣本的條件下,小樣本學習可以不借助額外的大規(guī)模數(shù)據(jù)集構建一個準確的識別模型。實現(xiàn)小樣本學習的途徑有數(shù)據(jù)增強、元學習和半監(jiān)督學習等。

小樣本學習的特點是缺乏有標記的訓練樣本,Roy等[52]采用生成對抗網(wǎng)絡(generative adversarial networks,GAN)擴充番茄病害數(shù)據(jù),將CNN與PCA結合并在擴充后的數(shù)據(jù)集上進行訓練,識別準確率提升明顯,但該方法在圖像生成之前需要對GAN進行有效訓練,過程相對復雜。Argüeso等[53]將元學習范式引入植物病害的小樣本識別研究中,具體操作是將Plant Village數(shù)據(jù)集分為源域和目標域,在源域上訓練了提取一般植物葉片特征的通用CNN,并將其轉移到新的目標域,在此基礎上引入對比損失和三元組損失進行優(yōu)化,每類僅使用90張圖像的測試準確率超過80%。以上方法采用有監(jiān)督的訓練方式,僅使用了少量標記樣本,Li等[54]提出一種半監(jiān)督小樣本分類方法,該方法用少量標記樣本和大量未標記樣本訓練模型,未標記樣本先送入預測模型進行預測,預測置信度較高的樣本被分配給一個偽標簽并參與模型微調,這被稱為一次半監(jiān)督小樣本分類過程。實驗表明,多次半監(jiān)督小樣本分類方法在Plant Village上平均識別準確率提高了4.6%。該方法充分利用了未標記數(shù)據(jù),能夠學習更豐富的特征表示,但構建預測模型同樣帶來了額外的工作量。

2.2.4 多任務學習

多任務學習可以在一個識別模型中同時掌握多個相關任務。在植物病害識別領域中,多任務學習常見于多類植物的病害識別和病害嚴重程度識別問題,以便同時獲取植物品種、病害類型和病害嚴重程度等屬性。Jiang等[55]提出一種多任務遷移學習方法,該方法利用識別模型的共享層學習水稻和小麥兩個數(shù)據(jù)集的公共特征,基于水稻病害識別和小麥病害識別兩個任務進行優(yōu)化,防止模型過度擬合,提高了泛化能力。Wang等[56]提出雙流線性池化模型(dual-stream hierarchical bilinear pooling, DHBP),DHBP基于多任務學習方式同時完成植物品種識別和病害診斷兩個子任務,識別準確率分別為84.71%和75.06%。為了識別和估計咖啡葉片上生物威脅(病蟲害)的嚴重程度,Esgario等[57]基于ResNet-50提出多任務病害識別框架,該框架由生物威脅識別和嚴重程度評估兩個子任務組成,兩個子任務共享卷積層結構,并擁有各自的全連接層和損失函數(shù),識別準確率分別為95.24%和86.51%。以上方法利用多個任務之間的相關性提高各個子任務的識別效果,但構建的模型相對復雜,推理過程需要更多的時間和計算資源,此外,任務間的相關性也導致模型難以針對單個任務進行優(yōu)化。

2.2.5 增量學習

在開放數(shù)據(jù)條件下,新的類別和類別中新的樣本持續(xù)產(chǎn)生,為避免新數(shù)據(jù)加入訓練使原有模型產(chǎn)生災難性知識遺忘,研究人員將增量學習用于植物病害識別任務。Ouadfel等[58]提出一種基于深度神經(jīng)網(wǎng)絡的植物病害分類增量學習方法,通過為深度網(wǎng)絡模型的分類頭預置多個節(jié)點以動態(tài)學習新類,聚類算法維護一個存儲器避免先前知識的災難性遺忘。Bhattarai等[59]研究發(fā)現(xiàn),卷積神經(jīng)網(wǎng)絡的全連接層對新類別樣本存在強烈偏差,基于此,提出了一個線性偏差校正模塊,將該模塊添加到最后一個全連接層后實現(xiàn)偏差校正,有助于識別新生的植物病害,但實驗發(fā)現(xiàn),該方法在數(shù)據(jù)不平衡條件下對增量數(shù)據(jù)識別效果較差。

2.3 病害識別方法小結

從特征類型來看,植物病害識別經(jīng)歷了由手工特征到深度特征的發(fā)展。深度特征方法在該過程中展現(xiàn)出更好的識別性能和魯棒泛化性,同時避免了繁瑣的手工特征設計,逐步取代手工特征方法。為了進一步提升模型識別性能,研究人員嘗試將多源信息與深度特征融合輔助識別,取得了有競爭性的識別效果,但多源信息的獲取需要復雜的硬件工程,應用較少。因此,當前主流的方法通過優(yōu)化深度識別模型結構以更有效地提取深度特征,實現(xiàn)植物病害的精準識別。

表1將不同特征類型的病害識別方法的優(yōu)缺點和適用場景進行對比總結。從學習方式來看,過去手工特征方法主要在常規(guī)識別范式下進行研究。隨著深度特征方法成為植物病害識別的主流方法,遷移學習受到了越來越多的關注。此外,由于一些植物病害樣本稀少、多屬性判別的需要和開放世界動態(tài)數(shù)據(jù)增加等問題,研究人員開始了基于小樣本學習、多任務學習和增量學習的植物病害識別研究,但目前這些方向大都處于起步階段,研究相對較少。表2將不同學習方式下的病害識別方法的優(yōu)缺點和適用場景進行對比。表3[5,9-11,14,17-18,20,24-26,30-33,37,39,42-47,49-60]則進一步從學習方式、識別目標和特征類型3個維度對具有代表性的病害識別方法進行總結。

表1 不同特征類型的病害識別方法對比

表2 不同學習方式下的病害識別方法對比

表3 代表性方法總結[5,9-11,14,17-18,20,24-26,30-33,37,39,42-47,49-60]

3 數(shù)據(jù)集和評價指標

3.1 數(shù)據(jù)集

植物病害識別方法的發(fā)展離不開數(shù)據(jù)集的支持。植物病害數(shù)據(jù)集可分為開源公共數(shù)據(jù)集和自定義數(shù)據(jù)集兩類。

與其他領域相比,用于植物病害識別的開源數(shù)據(jù)集相對較少。Plant Village和AI Challenger 2018是常用的兩個數(shù)據(jù)集。其中,Plant Village[61]在實驗室環(huán)境下采集到54 303張病害圖像,涉及16種農(nóng)作物,共38個病害類別。AI Challenger 2018是全球AI挑戰(zhàn)賽植物病理學識別賽道中用到的比賽數(shù)據(jù)集。該數(shù)據(jù)集共包含標注過的訓練集圖像32 768張,驗證集圖像4 992張和不含標注信息的測試集圖像9 027張,其中的大部分圖像來自Plant Village。數(shù)據(jù)集的特點是進一步區(qū)分了病害的嚴重程度,將10類農(nóng)作物的病害圖像細分到61個類別,分類難度更大。其他一些可用的開源公共數(shù)據(jù)集包括XDB[62]、PlantDoc[63]、Plant_Leaves[64]、LWDCD 2020[65]等。表4[61-65]對上述數(shù)據(jù)集進行了歸納總結。

表4 植物病害公共開源數(shù)據(jù)集[61-65]

用于植物病害識別的自定義數(shù)據(jù)集有很多,Wu等[66]自定義數(shù)據(jù)集識別玉米北葉枯病,該數(shù)據(jù)集共包含病變圖像3 741張,健康圖像2 526張。Xiao等[67]利用數(shù)碼相機采集圖像,構建的草莓病害數(shù)據(jù)集有2 385張圖像,涉及草莓的5種常見疾病。李博等[68]在茶葉病害識別中用到的自定義數(shù)據(jù)集有1 827張圖像,包含8種茶樹病害和健康茶葉共9個類別的樣本?？梢园l(fā)現(xiàn),與公共數(shù)據(jù)集相比,自定義數(shù)據(jù)集規(guī)模相對較小,只涉及一種或幾種植物的病害類型,因此常被構建用于更具體的病害識別任務。

3.2 評價指標

與其他識別任務類似,植物病害識別主要采用準確率(Accuracy)、精確率(Precision)、召回率(Recall)和F1值(F1-Score)作為評價指標。

表5[5,51,69-73]、表6[21-23,32,35-36,38,41]分別展示了不同病害識別方法在Plant Village和AI Challenger 2018上的性能對比。在Plant Village數(shù)據(jù)集上,先進的病害識別方法的識別準確率普遍達到99%以上,DCGAN-PILAE取得最佳識別性能,Top-1準確率達到100%。在AI Challenger 2018數(shù)據(jù)集上,所有方法的Top-1準確率有了明顯下降,而Top-5準確率保持在較高水平,說明誤判主要集中于區(qū)分病害的嚴重程度。MCPE(multiclass plant EnsembleNet)在該數(shù)據(jù)集上取得最佳識別性能,Top-1準確率達到93.66%。

表5 不同方法在Plant Village 上的性能比較[5,51,69-73]

表6 不同方法在AI Challenger 2018 上的 性能比較[21-23,32,35-36,38,41]

以上最優(yōu)方法均在深度學習方法的基礎上對識別模型做了改進,DCGAN-PILAE通過深度生成對抗網(wǎng)絡合成新樣本以克服數(shù)據(jù)不平衡問題,改善識別性能。MCPE集成多個分類網(wǎng)絡進行多階段的病害識別,使得每個階段的網(wǎng)絡模型能夠捕獲更細微的視覺特征差異。

4 結論與展望

植物病害對全球農(nóng)業(yè)造成嚴重的不利影響。病害識別有利于及時發(fā)現(xiàn)植物病害,避免病害的擴散和加重,對減少農(nóng)業(yè)損失具有重要意義。首先介紹不同類型的病害識別問題,然后從特征類型和學習方式兩個維度總結和分析了植物病害識別的研究進展。研究表明,盡管計算機視覺在病害識別領域取得巨大進展,顯示出良好的應用前景,但仍然存在一些問題與挑戰(zhàn),針對這些問題與挑戰(zhàn),對未來的發(fā)展方向展望如下。

(1)構建大規(guī)模高質量數(shù)據(jù)集。當前,深度學習方法是植物病害識別的主流方法,大多數(shù)研究將Plant Village用于模型訓練和評估,但該數(shù)據(jù)集的規(guī)模遠不及ImageNet這類通用數(shù)據(jù)集,無法滿足深度模型訓練的需要。此外,Plant Village中的數(shù)據(jù)是在實驗室條件下拍攝的,這使得在該數(shù)據(jù)集上訓練的模型在復雜自然條件下識別精度低,魯棒性差。因此,積極搭建數(shù)據(jù)共享平臺以整合公共數(shù)據(jù)資源,構建自然條件下的大規(guī)模、高質量植物病害數(shù)據(jù)集是未來該領域研究的基礎性工作。

(2)綜合多種表型特征進行識別。當前植物病害主要基于葉面表型特征進行識別,特征來源單一。未來結合患病植株不同部位的表型特征進行綜合分析,有望進一步提升病害識別的準確性。

(3)模型輕量化?，F(xiàn)有的植物病害識別為了追求更高的識別精度,對深度識別模型不斷拓展,進一步加大了識別模型的體積,這不利于模型在資源有限和實時性要求較高的移動端進行部署。為此,積極探索輕量化的識別模型和有效的輕量化手段十分重要。