采用雙模態(tài)聯(lián)合表征學習方法識別作物病害

王春山，趙春江，吳華瑞※，周 冀，李久熙，朱華吉

（1.北京農業(yè)信息技術研究中心，北京 100097； 2.河北農業(yè)大學信息科學與技術學院，保定 071001；3.國家農業(yè)信息化工程技術研究中心，北京 100097；4.河北省農業(yè)大數據重點實驗室，保定 071001；5.河北農業(yè)大學機電工程學院，保定 071001）

0 引 言

中國有害生物多發(fā)，常見農作物病害775種，分布范圍廣、成災頻率高、突發(fā)性強[1-2]。近年來，平均每年病害發(fā)生面積超過2.66億公頃次，給中國農業(yè)生產造成了重大損失[3-4]。傳統(tǒng)的病害診斷主要通過農學專家或者技術員根據經驗進行識別和評估，存在耗時、費力且效率低的問題，難以適應病害快速防治的實時性與準確性要求。近年來，深度卷積神經網絡的發(fā)展推動了大規(guī)?；鶞蕯祿鏘mageNet上通用視覺識別的快速進步[5-6]。在已有的研究中，基于卷積神經網絡的模型和算法已被證明可用于解決病害識別問題，因此越來越多的研究聚焦于作物病害檢測和分類，并取得了一定的成功[7]。為了保障深度網絡模型的識別性能，許多研究都采用了包含大量病害圖像的公開數據集或者自采大量病害圖像構建的數據集。Mohanty等[8]

收集了包含14類作物、26種病害的PlantVillage 數據集，共54 306幅農作物葉部的病害圖像，并利用AlexNet和GoogleNet深度網絡將對象分為38個對應類別，準確率高達 99.35%。文獻[9]則收集了蘋果、土豆等 25類蔬果的87 848張葉部病害圖片，用以驗證VGGNet模型識別性能，準確率達到 99.53%。為進一步保障深度網絡有效訓練，Wu等[10]收集了102類農作物害蟲共計75 222張圖像，并對19 000多張照片進行框標注，用以訓練ResNet分類器與YOLOv3檢測網絡結合模型，有效驗證了深度網絡在農作物蟲害分類及識別的顯著效益。DeChant等[11]構建了識別玉米北方葉枯病的卷積神經網絡模型，該模型的識別準確率為96.7%，使用的數據集包含18 222張圖像，其中有10 5705個病斑標注。

上述研究為利用進行農作物葉部病害識別提供了參考和可行性，但高性能深度學習模型對數據依賴嚴重，如果數據集規(guī)模太小，深度學習模型無法完全捕捉到與每一類相關的特征和變化，進而影響識別性能[12-14]。而農業(yè)應用場景環(huán)境復雜且時空范圍廣闊，農作物病害圖像數據采集和標注充滿不確定性和高難度性，嚴重制約了現(xiàn)有病害識別的應用[15]。解決小樣本任務的一個常見思路是從相關領域的海量標注數據中學習知識結構和模型參數，然后在小規(guī)模數據集上進行識別微調[16-20]。許景輝等[21]為解決小樣本復雜田間背景下的玉米病害圖像識別，提出了一種基于遷移學習的卷積神經網絡玉米病害圖像識別模型。為了提高模型的性能，Chen等[22]在ImageNet上預先訓練的VGGNet和Inception模塊，在公共數據集上的驗證準確率不低于91.83%。趙立新等[23]利用遷移學習算法并輔以數據增強技術，實現(xiàn)了棉花葉部病蟲害圖像準確分類。研究表明遷移學習在提高識別精度、降低過擬合、解決數據缺乏方面的有效性[24-25]，但其并不能從根本上解決數據樣本少的問題。這就使得深度卷積神經網絡進行病害識別陷入數據困境。一方面深度學習建立在大量有標注的圖像數據訓練的基礎上，而采集到時空分布廣泛的、大規(guī)模的病害圖像并進行準確標注，在技術上或經濟上往往是不可行的[26]。另一方面，其他模態(tài)的病害描述信息廣泛存在，比如，病害特征的文本描述、環(huán)境特征等，但是這些模態(tài)信息在病害識別過程中尚未得到有效利用[27-28]。

綜上所述，在使用圖像進行病害識別時，現(xiàn)有方法忽略了病害描述文本信息的有效利用，人們對病害做出的文本描述往往包含豐富的語義信息，這種文本模態(tài)的信息可以與病害圖像模態(tài)信息形成互補，在一定程度上彌補圖像訓練樣本不足的問題。盡管這個問題已經引起了研究者的注意并開展了相應的研究，但是仍需要進一步深入的探索多模態(tài)之間表征學習的機制和效果。本文在病害圖像的基礎上嵌入病害特征的文本描述作為病害識別的先驗知識，提出了圖像與文本雙模態(tài)聯(lián)合表征學習的作物病害識別模型（bimodalNet），以期融合不同模態(tài)之間的共性和特性，更好的解決開放環(huán)境下病害識別問題。

1 數據集

1.1 數據來源

本文使用數據集均來自小湯山國家精準農業(yè)示范基地和北京平谷桃智能化生產示范基地，自采集數據包括：番茄白粉病、番茄早疫病、黃瓜白粉病、黃瓜病毒病、黃瓜霜霉病、桃炭疽病共 6種病害葉片的圖像數據共1 834張，每張圖像配合一句文本描述，作為圖像-文本對，具體數量如表1所示?？紤]到真實應用情況，在圖像數據集采集過程中分早晨（7:00－8:00），中午（11:00－12:00），傍晚（17:00－18:00）3個時間段進行拍攝，采集地點為設施溫室；為了避免單一文本描述風格影響實際使用效果，文本數據集由 5名植保專家對照原始圖像進行描述，圖像-文本對示例如表2所示，最終按照7:2:1比例劃分原始數據集為訓練集、驗證集和測試集。

表1 數據集樣本數量Table 1 Number of data set samples

表2 圖像-文本對示例Table 2 Image-text pair example

1.2 數據預處理

在本研究中，由于數據集的全部圖像采集自不同設備，因此需要對原始圖像進行統(tǒng)一裁剪，將圖像大小統(tǒng)一調整像素至224×224，本研究對病害圖像的文本描述均為中文，在輸入網絡之前需要對中文文本進行歸一化、分詞、構建詞表、文本向量化等操作，其中分詞使用jieba分詞工具，綜合考慮原始文本的初始文本長度以及切分后文本的病害特征保留程度，并且經過大量試驗驗證，向量化的文本長度為20個字符時效果最佳，原始文本超過此長度則切除，不足此長度則補充為0。

2 雙模態(tài)聯(lián)合表征學習的作物病害識別模型構建

2.1 模型結構

在分類任務中，圖像分類器提取圖像數據的形狀、顏色、紋理特征，文本分類器提取文本數據的文本含義以及上下文關系特征。設計雙模態(tài)病害識別模型（bimodalNet）的初衷是結合圖像模態(tài)和文本模態(tài)兩個模態(tài)的病害特征，不同模態(tài)之間優(yōu)勢互補，最終可以使模態(tài)結合后的效果超過任意單一模態(tài)達到的效果。雙模態(tài)病害識別模型由圖像模態(tài)分支和文本模態(tài)分支兩部分組成，其網絡結構圖如圖1所示。網絡結構由圖像分支和文本分支兩部分組成，其中圖像分支采用卷積神經網絡（ResNet18），文本分支采用循環(huán)神經網絡（TextRNN），網絡的輸入為圖像文本對，兩個分支的輸出概率分別對應相加作為整體網絡的最終輸出，最終網絡綜合了圖像分支和文本分支各自的優(yōu)勢，彌補了各分支的不足。

2.2 圖像模態(tài)分支

卷積神經網絡在提取圖像特征中展現(xiàn)了其獨特的優(yōu)越性，針對目標圖像的紋理、顏色、形狀等特征進行卷積輸出抽象特征，最后將特征輸入分類器得到其分類概率。在圖像模態(tài)分支中給定圖像-文本對中圖像Ii和標簽，經過特征提取后得到圖像模態(tài)分支的輸出，如式（1）所示。

式中C(·)為卷積神經網絡的提取結果，F(xiàn)[·]為 Softmax函數，代表病害圖像在圖像模態(tài)分支中的預測概率。

2.3 文本模態(tài)分支

由于圖像數據形式與文本數據形式之間有很大不同，使用卷積神經網絡進行病害描述文本的特征提取并不能達到理想的效果，但是使用循環(huán)神經網絡能夠更好地進行病害描述文本的特征提取，在文本數據預處理過程中將描述短文本轉化為詞向量，使用循環(huán)神經網絡進行特征提取不僅可以提取文本中的上下文關系特征，也考慮了詞向量本身的特征表達。給定預處理后的詞向量Ti和標簽，在詞向量經過循環(huán)神經網絡過程中，循環(huán)神經網絡將獲取詞向量的上下文信息Ti-1和Ti+1，在詞向量以及其上下文信息的共同作用下得到文本模型分支的輸出，如式（2）所示。

式中F[·]為 softmax 函數，R(·)為全連接層，代表病害描述文本種類在文本模態(tài)分支中的預測概率。

2.4 雙模態(tài)特征聯(lián)合

卷積神經網絡和循環(huán)神經網絡分別從不同的角度提取圖像-文本對中不同模態(tài)的特征，進行特征融合后可以結合兩種模態(tài)的特征，進而使大概率分類值與小概率分類值之間的差值進一步增大，從而使聯(lián)合分類器的分類置信度增加。聯(lián)合輸出公式如式（3）所示。

其特征聯(lián)合的損失函數Lossjoint如式（4）所示。

式中C為病害類別總數。

3 試驗設計與結果分析

3.1 試驗環(huán)境

本研究試驗與對照組試驗均在 Ubuntu18.04環(huán)境下進行，處理器為Intel core i9 9820X，內存為64G，顯卡為GeForce RTX 2080Ti 11G DDR6，采用深度學習框架Pytorch，配合Cuda10.1進行訓練，試驗設計和對照過程中訓練集和驗證集的網絡批處理大?。˙atch-size）分別設置為16和32，所有網絡模型迭代次數均為50。

3.2 試驗評價指標

本研究從識別準確率（Accuracy）、識別精確率（Precision）、模型靈敏度（Recall）、模型特異性（Specificity）和F1值5個方面進行模型之間的比較，其具體公式參見公式（5）～（9）。

式中TP是實際為特定類別并且被分類器正確分類的個體數量；FP為不屬于特定類別但是被分類器錯誤分類的個體數量；TN為不屬于特定類別并且被分類器正確分類的個體數量；FN為屬于特定類別但是被分類器錯誤分類的個體數量。

3.3 試驗結果

3.3.1 單圖像分支對比

在本節(jié)中選用了不同結構的特征提取網絡，并且相同網絡結構中進行了多種層數的嘗試，目的是選取出僅進行特征提取便能對本數據集進行良好分類的網絡結構，其中 VGG16、VGG19、ResNet18、ResNet101、DenseNet121、DenseNet169、MobileNet、SqueezeNet、AlexNet作為圖像對照組，優(yōu)化器采用Adam，學習率為0.000 1，其訓練集訓練中的準確率曲線和損失曲線如圖2所示。訓練過程中引入驗證集，保存驗證集中最高準確率輪數下的模型參數作為最終模型參數。模型在測試集結果對比如表3所示。

表3 圖像分支對照組測試集結果對比Table 3 Comparison results of image branch control group test set%

由表3可知，在所有圖像分支對照組中，DenseNet169、DenseNet121、ResNet18、ResNet101、VGG16的F1值都超過了80%，其中DenseNet169最高為87.12%，其測試結果的混淆矩陣如圖3 所示，其中可以發(fā)現(xiàn)番茄白粉病和黃瓜霜霉病的錯誤率最高。并且由圖2可以發(fā)現(xiàn)使用卷積神經網絡可以提取病害圖像的特征病進行分類，并且深度網絡訓練中的準確率和損失值均比輕量級網絡取得的效果較好，說明隨著網絡的加深其特征提取能力進一步增強，由于數據集和網絡結構的限制，過深的網絡（如ResNet101）會出現(xiàn)梯度消失問題從而使得分類效果并不及同結構淺層網絡，分析分類結果發(fā)現(xiàn)由于番茄白粉病和黃瓜霜霉病數據集中存在較多病害正反面圖像，單獨使用卷積神經網絡進行特征提取并不能完全提取到病害葉片正反面的信息，相反黃瓜病毒病和桃子炭疽病的特征表現(xiàn)十分明顯，使用卷積神經網絡能準確的提取到病害特征。由此可見，當病害特征明顯時，卷積神經網絡可以較好的提取到病害的圖像特征。但是當病害特征不顯著、不突出時，卷積神經網絡并不能從圖像單一模態(tài)中學習到足夠的特征實現(xiàn)分類。

3.3.2 單文本分支對比

與圖像分支同理，在本節(jié)中依然使用經典文本特征提取網絡進行網絡結構的選取，分別使用TextCNN、TextRNN、TextRNN+Attention、TextRCNN作為文本對照組[29-32]，優(yōu)化器采用 Adam，學習率為0.000 1，為了防止過擬合設置dropout為0.3，輸入文本向量長度為 20，其訓練集準確率曲線和損失曲線如圖4所示，并且引入驗證集，保存驗證集中最高準確率輪數下的模型作為最終模型。模型在測試集結果對比如表4所示。

表4 文本分支對照組測試集（歸一化數據）結果對比Table 4 Comparison results of text branch control group test set(normalized data)%

由表4可以看出，在所有文本分支對照組的結果對比中四種網絡的F1值均超過了90%，說明使用循環(huán)神經網絡可以很好的提取病害描述文本的特征并進行分類。由圖4可以看出，文本分支對照組網絡在訓練集中準確率上升趨勢和損失值下降趨勢均較圖像分支對照組網絡具有較大優(yōu)勢，并且在4種網絡中TextRCNN由于兼顧了卷積神經網絡和循環(huán)神經網絡的特點，在向量化文本數據中取得了最好的效果，其測試結果的混淆矩陣如圖5所示。從圖5可發(fā)現(xiàn)黃瓜霜霉病的錯誤率最高，通過分析數據集中病害描述文本發(fā)現(xiàn)，在描述病斑時，訓練集和驗證集描述為多邊形病斑，而測試集描述為正方形病斑，并且在其他種類的測試中也出現(xiàn)了類似情況，因此可以得出結論：不準確的病害癥狀描述會導致錯誤的診斷結果。

3.3.3 雙模態(tài)聯(lián)合分支對比結果

僅使用圖像進行病害識別對于病害特征表現(xiàn)不明顯的情況效果不佳，僅使用文本進行病害診斷對于存在錯誤描述的情況表現(xiàn)不佳。本節(jié)將使用雙模態(tài)聯(lián)合訓練進行病害識別，在雙模態(tài)聯(lián)合分支對照組網絡選取中綜合考慮整體模型的大小與模型的準確率，選擇圖像分支與文本分支中的不同網絡進行組合，其雙模態(tài)聯(lián)合分支對照組網絡分別為 ResNet18 + TextRCNN、ResNet18 +TextRNN、DenseNet121 + TextRCNN、DenseNet121 +TextRNN_Attention、Mobilenet+TextRCNN、VGG16 +TextCNN，優(yōu)化器采用Adam，學習率為0.000 1，在優(yōu)化器優(yōu)化過程中采用圖像分類器和文本分類器單獨優(yōu)化策略，使兩個模態(tài)的分類器都能達到其最優(yōu)的效果，最后將兩個模態(tài)得到的結果結合得到聯(lián)合分類結果，其訓練集訓練過程中的準確率曲線和損失曲線如圖6所示，并且引入驗證集，保存驗證集中最高準確率輪數下的模型作為最終模型。模型在測試集識別結果如表5所示。

由表5可以看出，在雙模態(tài)聯(lián)合分支對照組試驗中使用了圖像模態(tài)分支中F1值高的深度網絡（DenseNet121、ResNet18和 VGG16）和淺層網絡（MobileNet）分別與文本模態(tài)分支中的不同網絡組合，其得到的分類結果F1值均超過了95%，并且由圖6可以看出，雙模態(tài)聯(lián)合對照組網絡中訓練集準確率上升趨勢和損失值下降趨勢較圖像分支和文本分支對照組均有明顯提升，取得最佳識別效果的雙模態(tài)聯(lián)合模型為ResNet18+TextRNN，其識別結果混淆矩陣如圖7所示，從圖7中可以看出只有黃瓜霜霉病有錯誤分類出現(xiàn)，其余種類由于圖像模態(tài)和文本模態(tài)的互補性均能正確分類。并且分析錯誤分類圖像和文本描述，均為病害葉片特征不明顯，且描述出現(xiàn)錯誤導致，但是總體上雙模態(tài)聯(lián)合模型可以達到雙模態(tài)之間特征互補使分類正確率提高。

表5 雙模態(tài)聯(lián)合分支對照組測試集結果對比Table 5 Comparison results of bimodal joint branch control grouptest set%

將圖像模態(tài)模型、文本模態(tài)模型和雙模態(tài)聯(lián)合模型取得的最優(yōu)模型在訓練過程中的準確率顯示為圖8，由于在訓練開始時模型準確率變化較大，因此在剛開始的幾輪訓練結束時得到的準確率較低，因此被認定為異常值，其中準確率最低的異常值為模型的第一輪訓練結束時的準確率，可以發(fā)現(xiàn)雙模態(tài)聯(lián)合模型的中位數和最高值在3個模型中取得了最大，圖像模態(tài)模型在訓練開始時準確率較其他兩種模態(tài)高，但是其擬合的最終準確率為最低，文本模態(tài)模型在訓練開始時準確率較其他兩種模態(tài)低，但是其模型收斂幅度較大，平均比較3種訓練方式的初始準確率，最終準確率，以及模型收斂過程中的準確率提升速度，雙模態(tài)聯(lián)合模型取得了最佳效果。

4 討 論

當前，依靠大規(guī)模的數據集和手動注釋是農業(yè)深度學習應用的常見做法[33-34]。PlantVillage數據集是一個很好的例子，數據集包括54 303張健康和不健康的葉片圖像，按物種和疾病分為 38類。在真實的田間條件下，Wiesner-Hanks等[35]采集了18 222張玉米枯葉病圖像，標注病斑105 705個，整個數據集創(chuàng)建從2015年至2017年歷時3 a。陳雷等[36]建立的大田作物病害識別研究圖像數據集，共有水稻、小麥和玉米3種大田作物的15種病害圖像，時間跨度為2013到2018。由此可見，通過擴展數據集提升病害識別模型的性能代價較大。單純依靠擴大病害圖像數據集的規(guī)模面臨如下挑戰(zhàn)：一是病害發(fā)生的時空跨度大，難以大范圍的收集病害圖像并進行人工標注；二是同一種病害在不同的作物種類、發(fā)病部位、成長階段、栽培環(huán)境下的病癥表現(xiàn)差異較大，圖像難以涵蓋某一種病害的全部特征。但是，正如本研究的結果所表明的，圖像-文本雙模態(tài)聯(lián)合表征學習方法允許從少樣本中學習，而且識別性能相比較單純依靠圖像有所提高，因此在解決少樣本的病害圖像識別任務方面，“圖像+文本”的雙模態(tài)聯(lián)合表征學習是一個可行的解決方案。

在本研究中使用了圖像模態(tài)和文本模態(tài)之間特征互補，使模型可以達到圖像模態(tài)修正文本模態(tài)錯誤描述，文本模態(tài)修正圖像模態(tài)特征模糊的效果，總體上可以提高復雜環(huán)境下作物病害識別的準確率，也可以降低病害圖像的大量采集帶來的人力和物力消耗。但是本文提出的方法仍存在如下的不足，1）在雙模態(tài)聯(lián)合進行病害分類過程中需要某一模態(tài)的分類置信度足夠高；2）模型由圖像和文本兩個分支并行抽取特征，將學習到的特征分別映射到各自獨立的特征空間中，因此特征融合并沒有增加語義解釋性。為了克服上述的局限性，在后期的研究中，一方面應提高模型對于兩個模態(tài)分類置信度均不高的情況的適應能力，以提高模型的魯棒性；另一方面應該研究不同模態(tài)數據向同一特征空間映射的方法，以便增強不同模態(tài)特征之間相關性與互補性的語義解釋。在本文中采用的數據集涉及3種作物共6類病害，并且每類病害訓練集為 200張左右，樣本量少也導致了圖像模態(tài)的識別效果差，而文本對病害特征的描述相對精確，噪聲低（與圖像模態(tài)數據相比不包含復雜的背景信息），因此，在訓練集規(guī)模相同的條件下，文本模態(tài)的識別效果比圖像模態(tài)優(yōu)異。構建準確、可信的模型是實現(xiàn)作物病害智能識別落地的關鍵，因此在研究基于雙模態(tài)聯(lián)合表征學習提高識別準確率的同時，解決識別結果的語義解釋性也是亟需解決的問題。

5 結 論

本文構建了圖像與文本雙模態(tài)聯(lián)合表征學習的作物病害識別模型（bimodalNet）。該模型是一種通用的框架，由圖像分支和文本分支兩部分構成。在實際使用過程中可以使用任何優(yōu)異的卷積神經網絡結構和循環(huán)神經網絡結構進行替換，以達到最佳的識別效果。本文中采用了雙模態(tài)結合后識別效果最佳的ResNet18與TextRNN分別作為圖像分支和文本分支。雙模態(tài)聯(lián)合表征學習模型充分利用了病害圖像特征與文本描述之間的相關性和互補性，在開放環(huán)境作物病害小樣本數據集中取得了超過圖像模態(tài)單獨訓練和文本模態(tài)單獨訓練的效果，最優(yōu)模型組合（ResNet18+TextRNN）在測試集的準確率、精確率、靈敏度、特異性和F1值分別為99.47%、98.51%、98.61%、99.68%和98.51%。另外，由于一些病害在初期葉片正面的癥狀相似，難以區(qū)分，但在葉片反面存在可區(qū)分的特征，因此本文收集了病害葉片的正反面作為病害發(fā)生時的特征學習。本文工作為實際農業(yè)場景下，基于多模態(tài)聯(lián)合表征學習的小樣本作物病害識別提供可行方案。