基于CNN和Transformer的綠豆干旱脅迫識(shí)別模型

收稿日期：2024-04-07

基金項(xiàng)目：國(guó)家食用豆產(chǎn)業(yè)技術(shù)體系崗位科學(xué)家項(xiàng)目（CARS-09-G13）；江蘇省種業(yè)揭榜掛帥項(xiàng)目[JBGS（2021）004]；江蘇省研究生實(shí)踐創(chuàng)新計(jì)劃項(xiàng)目（SJCX24_2146）

作者簡(jiǎn)介：蔣東山（1998-），男，江蘇南京人，碩士，研究方向?yàn)樯疃葘W(xué)習(xí)、計(jì)算機(jī)視覺。（E-mail）dongshanJiang2022@163.com。劉金洋為共同第一作者。

通訊作者：高尚兵，（E-mail）11060036@hyit.edu.cn；袁星星，（E-mail）20090049@jaas.ac.cn

摘要：為了解決傳統(tǒng)綠豆干旱脅迫識(shí)別方法存在識(shí)別率低、時(shí)效性差的問題，本研究建立了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）和轉(zhuǎn)換器（Transformer）的綠豆干旱脅迫識(shí)別模型Mungbean-droughtNet。該模型采用雙分支結(jié)構(gòu)，利用全局特征提取模塊（GFEM）分支和局部特征提取模塊（LFEM）分支分別從輸入圖像提取局部特征和全局特征。最后利用多層感知器（MLP）模塊將局部特征和全局特征進(jìn)行融合，實(shí)現(xiàn)分類。在實(shí)際數(shù)據(jù)分析中，共采集14536張干旱脅迫下的綠豆葉綠素?zé)晒鈭D像，分為HR、R、MR、S、HS和對(duì)照6類。利用Mungbean-droughtNet模型對(duì)葉綠素?zé)晒鈭D像數(shù)據(jù)集進(jìn)行分析，結(jié)果表明，Mungbean-droughtNet模型對(duì)測(cè)試集中葉綠素?zé)晒鈭D像的平均識(shí)別準(zhǔn)確率為95.57%，平均精度為98.18%，平均召回率為98.40%，平均F1分?jǐn)?shù)為98.28%。和目前先進(jìn)模型EfficientNetV2和SwinTransformer相比，Mungbean-droughtNet模型準(zhǔn)確率分別提高了3.56個(gè)百分點(diǎn)和2.62個(gè)百分點(diǎn)，表現(xiàn)出更強(qiáng)的魯棒性和更好的識(shí)別效果。本研究結(jié)果為綠豆干旱脅迫研究和耐旱基因挖掘提供了基礎(chǔ)。

關(guān)鍵詞：綠豆；干旱脅迫；卷積神經(jīng)網(wǎng)絡(luò)；轉(zhuǎn)換器；圖像識(shí)別；葉綠素?zé)晒鈭D像

中圖分類號(hào)：S522文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1000-4440（2025）01-0087-14

DroughtstressrecognitionmodelofmungbeanbasedonCNNandTransformer

JIANGDongshan^{1，2，3}，LIUJinyang^2，3，ZHANGHaomiao^1，2，LIShicong²，LUOZaiqiu¹，YUJiyuan^1，2，LIJie^1，2，CHENXin²，YUANXingxing^2，4，GAOShangbing^1，4

（1.FacultyofComputerandSoftwareEngineering，HuaiyinInstituteofTechnology，Huai’an223003，China;2.InstituteofEconomicCrops，JiangsuAcademyofAgriculturalSciences，Nanjing210014，China）

Abstract：Toaddresstheissuesoflowrecognitionrateandpoortimelinessintraditionalmethodsforidentifyingdroughtstressinmungbeans，thisstudyestablishedamungbeandroughtstressrecognitionmodelnamedMungbean-droughtNetbasedonconvolutionalneuralnetwork（CNN）andtransformer.Themodelemployedadual-branchstructure，utilizedtheglobalfeatureextractionmodule（GFEM）branchandthelocalfeatureextractionmodule（LFEM）branchtoextractlocalandglobalfeaturesfromtheinputimages，respectively.Finally，multilayerperceptron（MLP）modulewasusedtofusethelocalandglobalfeaturesforclassification.Intheactualdataanalysis，atotalof14536chlorophyllfluorescenceimagesofmungbeansunderdroughtstresswerecollectedandclassifiedintosixcategories，includingHR，R，MR，S，HSandthecontrolgroup.TheMungbean-droughtNetmodelwasappliedtoanalyzethechlorophyllfluorescenceimagedataset，theresultsshowedthattheMungbean-droughtNetmodelachievedanaveragerecognitionaccuracyof95.57%，anaverageprecisionof98.18%，anaveragerecallratioof98.40%，andanaverageF1-scoreof98.28%forthechlorophyllfluorescenceimagesinthetestset.ComparedwiththecurrentadvancedmodelsEfficientNetV2andSwinTransformer，theaccuracyoftheMungbean-droughtNetmodelincreasedby3.56percentagepointsand2.62percentagepoints，respectively，demonstratingstrongerrobustnessandbetterrecognitionperformance.Thisstudyprovidesafoundationforresearchonmungbeandroughtstressandtheexcavationofdrought-resistantgenes.

Keywords：mungbean；droughtstress；convolutionalneuralnetwork；transformer；imagerecognition；chlorophyllfluorescenceimage

綠豆[Vignaradiata（L.）Wilczek]屬豆科豇豆屬一年生直立草本植物，在中國(guó)有2000多年的栽培史，是重要的雜糧作物^[1]。綠豆富含維生素、礦物質(zhì)和活性物質(zhì)，具有抗菌、抗腫瘤、降血壓和解毒等作用，屬于藥食同源作物^[2]。然而，在中國(guó)北方干旱半干旱區(qū)，綠豆栽培區(qū)常受到干旱的影響，干旱已成為綠豆生長(zhǎng)過(guò)程中的主要非生物脅迫。研究結(jié)果表明，中國(guó)每年因干旱造成的損失約占各類自然災(zāi)害損失總額的70%，直接經(jīng)濟(jì)損失占國(guó)民生產(chǎn)總值的3%～6%^[3-4]。目前，傳統(tǒng)的干旱診斷方法如土壤水分監(jiān)測(cè)和農(nóng)業(yè)氣象預(yù)報(bào)等，主要基于對(duì)土壤和氣象的間接監(jiān)測(cè)，易出現(xiàn)準(zhǔn)確性低和滯后問題^[5]。此類方法往往依賴專家經(jīng)驗(yàn)，難以實(shí)現(xiàn)自動(dòng)化和智能化，因而在大規(guī)模監(jiān)測(cè)和應(yīng)用中受到限制。葉綠素?zé)晒鈪?shù)作為植物響應(yīng)環(huán)境變化的內(nèi)在指標(biāo)，被廣泛用于植物逆境脅迫的研究，通過(guò)分析葉綠素?zé)晒鈪?shù)的變化評(píng)估植物干旱脅迫狀態(tài)是一種可靠的方法^[6]。

為解決傳統(tǒng)方法識(shí)別準(zhǔn)確率低、時(shí)效性差等問題，國(guó)內(nèi)外學(xué)者將機(jī)器學(xué)習(xí)技術(shù)引入生物和非生物脅迫識(shí)別中。岳煥然等^[7]提取了不同干旱脅迫狀態(tài)的玉米圖像的顏色和紋理特征，并利用BP神經(jīng)網(wǎng)絡(luò)對(duì)玉米干旱脅迫狀態(tài)進(jìn)行識(shí)別，研究結(jié)果表明，該模型對(duì)玉米干旱脅迫狀態(tài)的識(shí)別準(zhǔn)確率均超過(guò)90%。Naik等^[8]分別將10種機(jī)器學(xué)習(xí)方法用于大豆缺鐵黃化病的識(shí)別，結(jié)果表明，模型的平均識(shí)別精度為96%。龍燕等^[9]結(jié)合狄利克雷分布（LDA）、支持向量機(jī)（SVM）和K近鄰（KNN）算法，以及葉綠素?zé)晒鈪?shù)和熒光圖像特征，構(gòu)建番茄苗期干旱脅迫狀態(tài)識(shí)別模型，結(jié)果表明其識(shí)別準(zhǔn)確率可達(dá)97.8%。Zhou等^[10]將葉綠素?zé)晒饧夹g(shù)和支持向量機(jī)（SVM）、徑向基函數(shù)（RBF）、BP神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法相結(jié)合，成功識(shí)別植物體內(nèi)水分含量和氮素水平。

盡管機(jī)器學(xué)習(xí)算法在分析生物和非生物脅迫的研究中取得了顯著成果，但其仍存在無(wú)法自動(dòng)提取特征及難以處理海量圖像的問題^[11]。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，為解決圖像特征自動(dòng)提取和海量圖像處理的難題，人們開始尋求精度更高、更自動(dòng)化的圖像識(shí)別技術(shù)用于干旱診斷。以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為代表的深度學(xué)習(xí)技術(shù)，因其卓越的圖像識(shí)別能力和分辨能力，已被廣泛用于產(chǎn)量估算^[12]、病蟲害檢測(cè)^[13-15]、作物品種分類^[16]等多個(gè)領(lǐng)域。近年來(lái)，CNN在生物和非生物脅迫診斷中被廣泛應(yīng)用^[17]。趙奇慧等^[18]采集了共2000張番茄葉片圖像，利用MaskR-CNN進(jìn)行葉片分割，結(jié)合DenseNet169網(wǎng)絡(luò)對(duì)番茄干旱脅迫狀態(tài)進(jìn)行識(shí)別，研究結(jié)果表明，該模型在測(cè)試集上的識(shí)別準(zhǔn)確率高達(dá)94.68%。利用AlexNet、GoogLeNet和InceptionV3模型對(duì)玉米、秋葵和大豆的干旱脅迫狀況進(jìn)行識(shí)別，研究結(jié)果表明，GoogLeNet模型的準(zhǔn)確率最高^[19-20]。劉芳軍等^[21]提出了一種基于改進(jìn)ResNet18模型的胡麻干旱脅迫狀態(tài)識(shí)別方法，該方法識(shí)別準(zhǔn)確率高達(dá)98.67%，且能夠滿足在嵌入式設(shè)備上實(shí)時(shí)檢測(cè)的要求。Xia等^[22]發(fā)現(xiàn)，在識(shí)別番茄光譜數(shù)據(jù)方面，多層感知器分類器（MLPC）算法和一對(duì)多分類器（ORC）算法的性能優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)算法。Kuo等^[23]提出了1D-ResGC-Net模型，其中包含殘差全局上下文（ResGC）模塊，用于處理番茄葉片的可見光和近紅外光譜數(shù)據(jù)，從而實(shí)現(xiàn)對(duì)番茄干旱脅迫的早期識(shí)別。

干旱脅迫會(huì)影響植物的光合作用，因此可以利用葉綠素?zé)晒饧夹g(shù)檢測(cè)植物的光合作用，從而評(píng)估植物的干旱脅迫狀態(tài)。研究結(jié)果表明，最大光量子效率（Fv/Fm）與植物的光合作用密切相關(guān)，是植物響應(yīng)干旱脅迫的重要參數(shù)^[24-31]。Bresson等^[32]研究發(fā)現(xiàn)，在干旱脅迫的第14d，轉(zhuǎn)基因植株葉片與野生型植株葉片的Fv/Fm值差異顯著。而且，F(xiàn)v/Fm參數(shù)還與植株在干旱條件下的生存率有關(guān)。梁歡等^[33]使用葉綠素?zé)晒鈪?shù)對(duì)不同品種的紫花苜蓿幼苗的抗旱性進(jìn)行了比較，在109份紫花苜蓿中，篩選出了14份抗旱性強(qiáng)且光合效率高的種質(zhì)。

綜上所述，深度學(xué)習(xí)技術(shù)結(jié)合葉綠素?zé)晒鈭D像能夠準(zhǔn)確反映葉片光合特征的時(shí)空異質(zhì)性，從而有效鑒定綠豆的抗旱性，同時(shí)還能及時(shí)準(zhǔn)確地識(shí)別出綠豆受到的干旱脅迫程度，為采取措施緩解旱情提供依據(jù)。目前，對(duì)綠豆的研究主要集中在病蟲害防治及產(chǎn)量提升等方面^[34-36]，而結(jié)合深度學(xué)習(xí)技術(shù)和葉綠素?zé)晒鈭D像鑒定綠豆干旱脅迫狀態(tài)的研究較少。本研究擬以230份綠豆種質(zhì)資源為試驗(yàn)材料，構(gòu)建數(shù)據(jù)集，設(shè)計(jì)一種準(zhǔn)確率高、時(shí)效性強(qiáng)的綠豆干旱脅迫識(shí)別網(wǎng)絡(luò)模型，為監(jiān)測(cè)綠豆生長(zhǎng)發(fā)育情況和綠豆品種選育提供有效工具。

1材料與方法

1.1試驗(yàn)設(shè)計(jì)

試驗(yàn)所用綠豆種質(zhì)資源來(lái)源于江蘇省農(nóng)業(yè)科學(xué)院經(jīng)濟(jì)作物研究所豆類研究室。2023年10月至11月，在江蘇省農(nóng)業(yè)科學(xué)院經(jīng)濟(jì)作物研究所智能溫室中對(duì)230份綠豆種質(zhì)資源進(jìn)行干旱脅迫處理。有研究結(jié)果表明，利用高含量的聚乙二醇6000（≥20%）模擬干旱脅迫，植物的光合作用會(huì)受到影響^[37-38]。具體步驟如下：選取無(wú)破損、大小一致、飽滿的綠豆種子，用20％過(guò)氧化氫溶液對(duì)綠豆種子進(jìn)行消毒；將種子播種于10cm×10cm的塑料盆中，適量澆水并記錄發(fā)芽情況；待水培至第5d，綠豆種子長(zhǎng)出新葉，將40mL20%的聚乙二醇6000溶液加入培養(yǎng)液中，觀察綠豆幼苗的生長(zhǎng)情況。另設(shè)對(duì)照，在培養(yǎng)液中加入40mL水。在干旱脅迫處理的第5d，每份綠豆種質(zhì)資源的干旱脅迫處理和對(duì)照各取3株幼苗，置于葉綠素?zé)晒獬上裣到y(tǒng)（FluorCam）的置物臺(tái)上。通過(guò)FluorCam7軟件進(jìn)行葉綠素?zé)晒鈭D像的采集和數(shù)據(jù)分析。

1.2數(shù)據(jù)預(yù)處理

利用FluorCam7.0軟件對(duì)采集到的熒光圖像進(jìn)行預(yù)處理，包括感興趣區(qū)域選擇（ROI）、背景分割、閾值設(shè)定、圖像裁剪與歸一化處理等。通過(guò)感興趣區(qū)域選擇提取圖像的關(guān)鍵特征，減少無(wú)關(guān)信息的干擾。為葉綠素?zé)晒鈪?shù)（Fv/Fm）設(shè)定1個(gè)閾值區(qū)間，保留處于區(qū)間內(nèi)的像素點(diǎn)。將葉綠素?zé)晒鈭D像裁剪為224×224像素，并進(jìn)行歸一化處理^[39]。預(yù)處理后的圖像數(shù)據(jù)集按照8∶1∶1的數(shù)量比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

1.3干旱脅迫等級(jí)劃分

干旱脅迫對(duì)抗旱能力較強(qiáng)的綠豆品種的影響較小，抗旱能力較強(qiáng)的綠豆品種適應(yīng)性和耐受力較強(qiáng)。最大光量子效率（Fv/Fm）可以間接評(píng)估綠豆對(duì)干旱脅迫的響應(yīng)程度，F(xiàn)v/Fm值越小表示綠豆抗旱性越弱，干旱對(duì)植物的影響越大。通過(guò)分析綠豆幼苗的葉綠素?zé)晒鈭D片，可以鑒定綠豆的抗旱能力，從而確定綠豆受到的干旱脅迫等級(jí)，并篩選出抗旱的種質(zhì)資源。本研究基于最大光化學(xué)效率Fv/Fm值，結(jié)合文獻(xiàn)[40]中的分級(jí)方法，評(píng)估綠豆抗旱性，并進(jìn)行相應(yīng)的脅迫等級(jí)劃分，具體分級(jí)標(biāo)準(zhǔn)如表1所示，不同抗旱性的葉綠素?zé)晒鈭D像如圖1所示。

1.4數(shù)據(jù)增強(qiáng)

在深度學(xué)習(xí)中，增加樣本數(shù)量能夠提升模型效果，增強(qiáng)模型的泛化能力。因此，為了提高模型的泛化能力和魯棒性，本研究采用數(shù)據(jù)增強(qiáng)技術(shù)^[41]對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充。數(shù)據(jù)增強(qiáng)技術(shù)包括平移和翻轉(zhuǎn)、裁剪和縮放、添加噪聲點(diǎn)、添加遮罩、二值化^[42]。如表2所示，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集包含14536張圖片，其中訓(xùn)練集有11630張圖片，驗(yàn)證集有1453張圖片，測(cè)試集有1453張圖片。數(shù)據(jù)增強(qiáng)后的葉綠素?zé)晒鈭D像如圖2所示。

如圖3所示，在原始數(shù)據(jù)集中，抗旱性極強(qiáng)（HR）的綠豆圖像有156張，經(jīng)數(shù)據(jù)增強(qiáng)后，圖像數(shù)量增加到1092張；在原始數(shù)據(jù)集中，抗旱性強(qiáng)（R）的綠豆圖像有561張，經(jīng)數(shù)據(jù)增強(qiáng)后，圖像數(shù)量增加到3928張；原始數(shù)據(jù)集中抗旱性中等（MR）的綠豆圖像有530張，經(jīng)數(shù)據(jù)增強(qiáng)后，圖像數(shù)量增加到3711張；在原始數(shù)據(jù)集中，抗旱性弱（S）的綠豆圖像有250張，經(jīng)數(shù)據(jù)增強(qiáng)后，圖像數(shù)量增加到1751張圖像；在原始數(shù)據(jù)集中，抗旱性極弱（HS）的綠豆圖像有156張，經(jīng)數(shù)據(jù)增強(qiáng)后，圖像數(shù)量增加到1085張圖像；在原始數(shù)據(jù)集中，無(wú)干旱脅迫對(duì)照的綠豆圖像有424張，經(jīng)數(shù)據(jù)增強(qiáng)后，圖像數(shù)量增加到2969張圖像。

1.5Mungbean-droughtNet模型框架

采用Mungbean-droughtNet模型對(duì)數(shù)據(jù)增強(qiáng)后的葉綠素?zé)晒鈭D像進(jìn)行特征提取和識(shí)別。Mungbean-droughtNet模型結(jié)構(gòu)如圖4所示，該模型為雙分支結(jié)構(gòu)，包括全局特征提取模塊（Globalfeatureextractionmodule，GFEM）分支和局部特征提取模塊（Localfeatureextractionmodule，LFEM）分支。LFEM分支包括A模塊、B模塊和可分離卷積等；GFEM模塊包括殘差模塊、全局到局部的裂變和聚合（Global-to-localaggregationandfission，GLAF）模塊和視覺轉(zhuǎn)換器（Visiontransformer）模塊；MLP模塊包括2個(gè)全連接層和1個(gè)Tanh激活函數(shù)。上述2個(gè)分支分別對(duì)同一圖像進(jìn)行全局特征提取和局部特征提取，從而更好地捕捉上下文信息。最后使用MLP模塊進(jìn)行特征融合并分類。

LFEM分支包含4個(gè)A模塊和11個(gè)B模塊，主要用于葉綠素?zé)晒鈭D像的局部特征提取。A模塊的主要功能是降低特征圖的空間維度，同時(shí)采用可分離卷積將普通卷積分解為深度卷積和逐點(diǎn)卷積，這樣可以在保證特征提取能力的同時(shí)，顯著減少模型的參數(shù)量。B模塊通過(guò)聚焦更多有用信息從而優(yōu)化特征。LFEM分支采用不同模塊串聯(lián)堆疊的方式，這種設(shè)計(jì)既能有效降低參數(shù)量，又保證了模型能夠提取葉綠素?zé)晒鈭D像中的細(xì)微特征。

GFEM分支主要由殘差模塊、GLAF模塊以及Visiontransfomer模塊構(gòu)成。初始卷積核對(duì)輸入圖像進(jìn)行初步特征提取，并通過(guò)下采樣降低特征圖的維度。在GFEM中，共有2個(gè)殘差模塊，每個(gè)殘差模塊均由2個(gè)1×1卷積核和1個(gè)3×3的卷積核串聯(lián)組成。在第1個(gè)殘差模塊中，第1層和第2層卷積核的數(shù)量均為64個(gè)，而第3層卷積核的數(shù)量為256個(gè)；第2個(gè)殘差模塊各層卷積核數(shù)量為第1個(gè)殘差模塊的2倍。引入2個(gè)殘差模塊有助于充分利用網(wǎng)絡(luò)的深度，讓模型能夠?qū)W習(xí)更多復(fù)雜的葉綠素?zé)晒鈭D像特征，從而提高模型的性能。GLAF模塊通過(guò)整合不同通道的注意力特征，增強(qiáng)了信息交互能力。經(jīng)過(guò)GLAF模塊整合后的注意力特征再通過(guò)Visiontransformer模塊進(jìn)行處理，進(jìn)一步提取全局特征。綜上，GFEM分支先利用殘差模塊增強(qiáng)網(wǎng)絡(luò)深度，然后通過(guò)GLAF模塊整合不同通道的注意力特征，最后利用Visiontransformer模塊進(jìn)一步關(guān)注圖像的關(guān)鍵特征，這種結(jié)構(gòu)可以從時(shí)間和空間維度上增強(qiáng)模型交互能力，從而提升對(duì)葉綠素?zé)晒鈭D像的處理效果。

在分支的末端，將GFEM模塊提取到的192維全局特征與LFEM模塊提取到的2048維局部特征進(jìn)行融合，得到2240維的完整特征向量。接著，利用包含2個(gè)全連接層和1個(gè)Tanh激活函數(shù)的MLP分類模塊不斷調(diào)整權(quán)重和閾值，使Mungbean-droughtNet模型能夠從葉綠素?zé)晒鈭D像中提取更多差異性特征，從而提升網(wǎng)絡(luò)性能。

1.5.1殘差連接由于深度網(wǎng)絡(luò)容易出現(xiàn)梯度消失和梯度爆炸等問題，因此采用殘差連接來(lái)加深網(wǎng)絡(luò)深度，提升模型的性能。殘差連接的核心思想是在網(wǎng)絡(luò)的某些層中，將輸入信號(hào)直接連接到輸出，從而實(shí)現(xiàn)跳躍連接。跳躍連接可以加速模型的訓(xùn)練，從而降低訓(xùn)練難度。其結(jié)構(gòu)圖如圖5所示，計(jì)算公式如下：

Xl+1=X+F（X）（1）

式中，X表示前一層的輸入信號(hào)，Xl+1表示當(dāng)前層的特征映射。

1.5.2全局到局部的裂變和聚合（GLAF）模塊如圖6所示，在GLAF模塊中，特征向量首先經(jīng)過(guò)2個(gè)3×3的卷積層處理，得到低層的特征映射。然后采用雙分支結(jié)構(gòu)分別提取局部注意力特征和全局注意力特征。其中，全局平均池化層用于去除多余的空間信息，保留全部的全局注意力特征，點(diǎn)卷積則用于降低特征圖的維度。最后，引入非線性激活函數(shù)Sigmoid，增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力。

1.5.3視覺轉(zhuǎn)換器模塊為了彌補(bǔ)卷積神經(jīng)網(wǎng)絡(luò)只能關(guān)注局部特征的不足，在Mungbean-droughtNet模型中引入視覺轉(zhuǎn)換器（Visiontransformer）模塊對(duì)綠豆葉綠素?zé)晒鈭D像進(jìn)行全局特征提取。如圖7所示，Visiontransformer模塊主要包括切片編碼層、轉(zhuǎn)換器（Transformer）模塊以及多層感知器（MLP）模塊。首先，切片編碼層將輸入圖像分割成多個(gè)切片。然后，將展平后的多個(gè)切片經(jīng)過(guò)特征映射，得到多個(gè)token編碼，并與位置編碼進(jìn)行拼接，從而將局部特征信息轉(zhuǎn)化為全局特征信息，輸入到Transformer模塊中。最后，將編碼后的結(jié)果傳入Transformer模塊進(jìn)行進(jìn)一步處理。

2結(jié)果與分析

2.1試驗(yàn)環(huán)境

為了驗(yàn)證Mungbean-droughtNet模型對(duì)不同綠豆干旱脅迫等級(jí)圖像的識(shí)別能力，本研究在pytorch2.0.1框架上，使用制作的綠豆葉綠素?zé)晒鈭D像數(shù)據(jù)集進(jìn)行試驗(yàn)。試驗(yàn)平臺(tái)的軟硬件信息如表3所示。

2.2試驗(yàn)參數(shù)與訓(xùn)練策略

根據(jù)綠豆在不同干旱脅迫下的熒光特征調(diào)整Mungbean-droughtNet模型的訓(xùn)練參數(shù)，以此確保試驗(yàn)結(jié)論的可靠性和真實(shí)性。在試驗(yàn)過(guò)程中，使用Adam優(yōu)化器更新網(wǎng)絡(luò)的權(quán)重，最小化損失函數(shù)。選擇交叉熵?fù)p失函數(shù)來(lái)衡量模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的差異，學(xué)習(xí)率設(shè)置為0.0001，批量大?。˙atchsize）為16，最大迭代次數(shù)為300。

2.3評(píng)價(jià)指標(biāo)

本研究使用多個(gè)常用的評(píng)價(jià)指標(biāo)來(lái)衡量Mungbean-droughtNet模型的識(shí)別性能，包括準(zhǔn)確率（Accuracy）、精度（Precision）、召回率（Recall）和F1分?jǐn)?shù)（F1-score）。準(zhǔn)確率為模型正確識(shí)別的樣本數(shù)占總樣本數(shù)的比例。精度為模型識(shí)別的正樣本中，實(shí)際正樣本的占比。召回率為實(shí)際正樣本中，模型正確識(shí)別的正樣本的占比。F1分?jǐn)?shù)綜合考慮了精度和召回率的表現(xiàn)，其計(jì)算方法如公式（2）～（5）所示。

此外，為了更加直觀地展示模型對(duì)各個(gè)類別圖像的識(shí)別準(zhǔn)確性，本研究采用了混淆矩陣?；煜仃嚨男斜硎绢A(yù)測(cè)的抗旱等級(jí)，列表示實(shí)際的抗旱等級(jí)，主對(duì)角線上的數(shù)值表示該模型對(duì)該類別圖像的識(shí)別精度。主對(duì)角線上的數(shù)值越大，表明模型對(duì)該類別圖像的識(shí)別精度越高。

Accuracy=TP+TNTP+TN+FP+FN（2）

Precision=TPTP+FP（3）

Recall=TPTP+FN（4）

F1-score=2×Precision×RecallPrecision+Recall（5）

式（2）～式（5）中，TP表示正樣本被正確識(shí)別的數(shù)量；FP表示負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的數(shù)量；FN表示正樣本被錯(cuò)誤識(shí)別為負(fù)樣本的數(shù)量；TN表示負(fù)樣本被正確識(shí)別的數(shù)量。

2.4Mungbean-droughtNet識(shí)別性能

在綠豆葉綠素?zé)晒鈭D像數(shù)據(jù)集上驗(yàn)證Mungbean-droughtNet模型的有效性和適應(yīng)性。如表4所示，在驗(yàn)證集上，Mungbean-droughtNet模型的平均精度為97.60%，平均召回率為96.58%，平均F1分?jǐn)?shù)為97.60%。如表5所示，在測(cè)試集上，Mungbean-droughtNet模型的平均精度為98.18%，平均召回率為98.40%，平均F1分?jǐn)?shù)為98.28%，通過(guò)對(duì)比分析，可以發(fā)現(xiàn)Mungbean-droughtNet模型在驗(yàn)證集和測(cè)試集上的總體性能差異不大，表明Mungbean-droughtNet具有良好的泛化性能。同時(shí)使用混淆矩陣對(duì)Mungbean-droughtNet模型在驗(yàn)證集上每種抗旱等級(jí)的識(shí)別結(jié)果進(jìn)行可視化分析。如圖8所示，混淆矩陣的主對(duì)角線值都達(dá)到了最大，且在抗旱性極弱（HS）和對(duì)照上的識(shí)別精度都達(dá)到了100%，這表明Mungbean-droughtNet模型具有良好的識(shí)別性能。

Mungbean-droughtNet模型的參數(shù)量為107.04M，計(jì)算復(fù)雜度為9.27GMac（Mac表示乘積累加操作數(shù)）。訓(xùn)練集包含11630張圖片，經(jīng)過(guò)300次迭代后，總訓(xùn)練時(shí)間為17.5h。測(cè)試集包含1453張圖片，總的測(cè)試時(shí)間為24s，平均每張圖片的識(shí)別時(shí)間大約為0.016s。

2.5Mungbean-droughtNet與其他模型的性能比較

在相同數(shù)據(jù)集和試驗(yàn)參數(shù)的基礎(chǔ)上，將Mungbean-droughtNet模型與基于CNN的模型和基于Transformer的模型進(jìn)行比較，從而探索本研究提出的模型與現(xiàn)有模型在農(nóng)業(yè)圖像識(shí)別中的性能差異。

本研究選取的基于CNN的網(wǎng)絡(luò)模型包含經(jīng)典模型ResNet50、ConvNext以及輕量級(jí)模型MobileNetV2、ShuffleNetV2和EfficientNetV2。如表6所示，本研究提出的Mungbean-droughtNet模型在驗(yàn)證集上的識(shí)別準(zhǔn)確率最高，為95.57%，分別比ResNet50、ConvNext、MobileNetV2、ShuffleNetV2以及EfficientNetV2高1.11個(gè)百分點(diǎn)、4.13個(gè)百分點(diǎn)、1.35個(gè)百分點(diǎn)、3.56個(gè)百分點(diǎn)和3.56個(gè)百分點(diǎn)。Mungbean-droughtNet模型的精度、召回率和F1分?jǐn)?shù)均優(yōu)于表6中的其他模型。

選取4個(gè)常用的基于Transformer的模型和Mungbean-droughtNet模型進(jìn)行對(duì)比，選取的模型為ViT、Deit、MobileViT和SwinTransformer。如表6所示，Mungbean-droughtNet模型的總體性能最佳。與基于Transformer的模型SwinTransformer相比，Mungbean-droughtNet模型準(zhǔn)確率提高了2.62個(gè)百分點(diǎn)，精度提高了2.12個(gè)百分點(diǎn)，召回率提高了3.04個(gè)百分點(diǎn)，F(xiàn)1分?jǐn)?shù)提高了2.62個(gè)百分點(diǎn)。試驗(yàn)結(jié)果證明了本研究提出方法的有效性和創(chuàng)新性。此外，本研究還分析了不同模型在訓(xùn)練過(guò)程中的準(zhǔn)確率和損失值曲線，如圖9所示，性能排名第2的模型EfficientNetV2的準(zhǔn)確率曲線和損失值曲線在270次迭代和280次迭代中逐漸收斂，排名第3的模型ResNet50的準(zhǔn)確率曲線和損失值曲線在280次迭代和260次迭代中逐漸收斂。而Mungbean-droughtNet模型的準(zhǔn)確率曲線和損失值曲線均在250次迭代中逐漸收斂。結(jié)果表明，與其他深度學(xué)習(xí)模型相比，Mungbean-droughtNet模型對(duì)綠豆葉綠素?zé)晒鈹?shù)據(jù)集的識(shí)別性能更好，收斂速度更快。

利用訓(xùn)練得到的最優(yōu)的9個(gè)模型權(quán)重繪制混淆矩陣圖。如圖10所示，其中ResNet50、MobileNetV2、EfficientNetV2和SwinTransformer模型混淆矩陣的主對(duì)角線數(shù)值較高，表明ResNet50、MobileNetV2、EfficientNetV2和SwinTransformer對(duì)各類抗旱等級(jí)的識(shí)別性能均較好。將圖8和圖10進(jìn)行對(duì)比，對(duì)于HR、R、S、HS類別，Mungbean-droughtNet模型混淆矩陣主對(duì)角線上數(shù)值高于或等于其他模型，僅對(duì)于MR類別，Mungbean-droughtNet模型混淆矩陣主對(duì)角線上數(shù)值低于EfficientNetV2模型。總體而言，Mungbean-droughtNet模型對(duì)各類抗旱等級(jí)綠豆的識(shí)別性能均優(yōu)于其他模型。

為了增加模型預(yù)測(cè)的可信度，本研究在測(cè)試集的每類圖像中各挑選了1張難以區(qū)分的圖像用于測(cè)試，并利用經(jīng)過(guò)預(yù)訓(xùn)練的10個(gè)模型權(quán)重對(duì)圖像類別進(jìn)行識(shí)別。每個(gè)模型的識(shí)別結(jié)果如圖11所示，10個(gè)模型對(duì)對(duì)照?qǐng)D像識(shí)別準(zhǔn)確率均高達(dá)100%。對(duì)HR、R、MR、S、HS類別圖像進(jìn)行識(shí)別，ResNet50、ShuffleNetV2、EfficientNetV2、ConvNext、ViT、Deit、SwinTransformer以及MobileViT均有2個(gè)或以上的識(shí)別錯(cuò)誤，其中MobileNetV2將真實(shí)標(biāo)簽為MR的類別錯(cuò)誤識(shí)別為S類別。而Mungbean-droughtNet模型對(duì)HR、R、MR、S、HS5個(gè)類別的識(shí)別準(zhǔn)確率分別高達(dá)98.8%、97.9%、99.0%、99.8%、99.6%。由此可見，本研究提出的Mungbean-droughtNet模型對(duì)綠豆抗旱等級(jí)的識(shí)別性能最佳。

2.6消融試驗(yàn)

為了研究模塊（GLAF模塊、Transformer模塊）數(shù)對(duì)模型性能的影響，在自建數(shù)據(jù)集上設(shè)計(jì)了一系列消融試驗(yàn)。此外，本研究還測(cè)試了不同卷積內(nèi)核的大小對(duì)A模塊性能的影響，從而選擇最佳的卷積內(nèi)核大小。

2.6.1全局和局部的注意力特征（GLAF）模塊數(shù)的消融試驗(yàn)GLAF模塊用于提取初級(jí)特征圖的局部注意力特征和全局注意力特征。過(guò)多的模塊會(huì)產(chǎn)生冗余信息，不僅增加了模型的參數(shù)量和大小，還會(huì)增加模型運(yùn)行時(shí)間。而模塊數(shù)量過(guò)少，則難以捕捉完整的特征信息，從而導(dǎo)致模型的準(zhǔn)確率降低。在保持其他參數(shù)不變的情況下，將模型的GLAF模塊數(shù)分別設(shè)置為4、5、6，各訓(xùn)練了300次。如表7所示，當(dāng)GLAF模塊數(shù)為5時(shí)，模型的各項(xiàng)指標(biāo)均最優(yōu)。和GLAF模塊數(shù)為4相比，GLAF模塊數(shù)為5的模型精度、召回率、F1分?jǐn)?shù)分別高了1.31個(gè)百分點(diǎn)、1.53個(gè)百分點(diǎn)、1.43個(gè)百分點(diǎn)。因此，將GLAF模塊的數(shù)量設(shè)置為5，雖然犧牲一定的參數(shù)量，但是獲得了最佳模型性能。

2.6.2轉(zhuǎn)換器（Transformer）模塊數(shù)的消融試驗(yàn)視覺轉(zhuǎn)換器（Visiontransformer）模塊中每個(gè)轉(zhuǎn)換器模塊都包含自注意力機(jī)制，能夠幫助模型捕捉葉綠素?zé)晒鈭D像中不同位置之間的長(zhǎng)距離依賴關(guān)系。在實(shí)際特征分析中，通過(guò)堆疊多個(gè)Transformer模塊，模型能夠逐步整合更廣泛的上下文信息。為了驗(yàn)證不同數(shù)量的Transformer對(duì)模型性能的影響，將Transformer模塊數(shù)分別設(shè)置為2、3、4，并對(duì)模型性能進(jìn)行對(duì)比。如表8所示，當(dāng)Transformer模塊數(shù)為2時(shí)，模型的平均精度高達(dá)98.18%，比Transformer模塊數(shù)為3、4時(shí)分別高了2.47個(gè)百分點(diǎn)、0.63個(gè)百分點(diǎn)。綜上，Transformer模塊數(shù)為2時(shí)，模型各方面的性能最佳，且模型體積最小。

2.6.3卷積核大小的消融試驗(yàn)卷積核的大小影響了卷積層的感受野和特征提取能力，可分離卷積是A模塊的核心組成部分，為了探究可分離卷積的卷積核大小對(duì)A模塊的影響，本研究將卷積核的大小分別設(shè)置為3×3、5×5、7×7，并訓(xùn)練了300次。如表9所示，卷積核為5×5、7×7的模型的整體性能明顯不如卷積核為3×3的模型，且卷積核為5×5、7×7的模型很難提取到更多有效的特征。由此，最終選擇3×3的卷積核。

3討論

為了解決傳統(tǒng)綠豆干旱脅迫狀態(tài)診斷方法具有的識(shí)別率低、及時(shí)性差等問題，本研究提出了一種準(zhǔn)確率更高、魯棒性更強(qiáng)的綠豆干旱脅迫識(shí)別模型Mungbean-droughtNet。Mungbean-droughtNet模型對(duì)綠豆干旱脅迫下的葉綠素?zé)晒鈭D像數(shù)據(jù)集具有較好的識(shí)別性能，識(shí)別準(zhǔn)確率最高可達(dá)到98.14%，平均精度為98.18%，平均召回率為98.40%，平均F1分?jǐn)?shù)為98.28%。相比于其他方法，Mungbean-droughtNet模型識(shí)別精度最高，魯棒性最強(qiáng)，訓(xùn)練損失值最低，能夠準(zhǔn)確識(shí)別6類干旱脅迫，具有廣闊的應(yīng)用前景。并且該模型可以在移動(dòng)端和嵌入式設(shè)備上應(yīng)用。

本研究仍存在需要改進(jìn)之處，主要包括以下幾個(gè)方面：（1）在參數(shù)量方面仍有優(yōu)化空間，可以進(jìn)一步優(yōu)化為輕量級(jí)網(wǎng)絡(luò)；（2）由于目前缺乏公開的作物干旱脅迫熒光數(shù)據(jù)集，Mungbean-droughtNet模型只能在自建數(shù)據(jù)集上驗(yàn)證其性能，無(wú)法在其他數(shù)據(jù)集上驗(yàn)證其泛化能力。未來(lái)可以通過(guò)增加數(shù)據(jù)集中每個(gè)類別的圖像數(shù)量，使數(shù)據(jù)集更加全面。在保證模型精度的同時(shí)，利用剪枝算法或者量化感知訓(xùn)練等方法對(duì)模型進(jìn)行裁剪，減少模型體積，進(jìn)一步提升網(wǎng)絡(luò)速度。

參考文獻(xiàn)：

[1]李茉莉，孫桂華，趙陽(yáng).小雜糧作物的開發(fā)價(jià)值及戰(zhàn)略意義[J].園藝與種苗，2005（2）：123-124.

[2]鄭卓杰.中國(guó)食用豆類學(xué)[M].北京：中國(guó)農(nóng)業(yè)出版社，1997.

[3]《氣候變化國(guó)家評(píng)估報(bào)告》編寫委員會(huì).氣候變化國(guó)家評(píng)估報(bào)告[M].北京：科學(xué)出版社，2007.

[4]翟盤茂，王萃萃，李威.極端降水事件變化的觀測(cè)研究[J].氣候變化研究進(jìn)展，2007，3（3）：144-148.

[5]OCHSNERTE，COSHMH，CUENCARH，etal.Stateoftheartinlarge-scalesoilmoisturemonitoring[J].SoilScienceSocietyofAmericaJournal，2013，77（6）：1888-1919.

[6]金祎婷，劉文輝，劉凱強(qiáng)，等.全生育期干旱脅迫對(duì)‘青燕1號(hào)’燕麥葉綠素?zé)晒鈪?shù)的影響[J].草業(yè)學(xué)報(bào)，2022，31（6）：112-126.

[7]岳煥然，李茂松，安江勇.基于顏色和紋理特征的玉米干旱識(shí)別[J].中國(guó)農(nóng)學(xué)通報(bào)，2018，34（24）：18-28.

[8]NAIKHS，ZHANGJ，LOFQUISTA，etal.Areal-timephenotypingframeworkusingmachinelearningforplantstressseverityratinginsoybean[J].PlantMethods，2017，13：1-12.

[9]龍燕，馬敏娟，王英允，等.利用葉綠素?zé)晒鈩?dòng)力學(xué)參數(shù)識(shí)別苗期番茄干旱脅迫狀態(tài)[J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（11）：172-179.

[10]ZHOUCY，LEJ，HUADX，etal.Imaginganalysisofchlorophyllfluorescenceinductionformonitoringplantwaterandnitrogentreatments[J].Measurement，2018，136（6）：1-9.

[11]ANJ，LIW，LIM，etal.Identificationandclassificationofmaizedroughtstressusingdeepconvolutionalneuralnetwork[J].Symmetry，2019，11（2）：256.

[12]XIEW，WEIS，ZHENGZ，etal.Acnn-basedlightweightensemblemodelfordetectingdefectivecarrots[J].BiosystemsEngineering，2021，208（2）：287-299.

[13]KAMILARISA，PRENAFETA-BOLDFX.Deeplearninginagriculture：asurvey[J].ComputersandElectronicsinAgriculture，2018，147：70-90.

[14]ZHANGX，XUNY，CHENY.Automatedidentificationofcitrusdiseasesinorchardsusingdeeplearning[J].BiosystemsEngineering，2022，223：249-258.

[15]ABADEADS，PORTOLF，F(xiàn)ERREIRAPA，etal.NemaNet：aconvolutionalneuralnetworkmodelforidentificationofsoybeannematodes[J].BiosystemsEngineering，2022，213：39-62.

[16]KOZOWSKIM，GRECKIP，SZCZYPINSKIPM.Varietalclassificationofbarleybyconvolutionalneuralnetworks[J].BiosystemsEngineering，2019，184：155-165.

[17]LECUNY，BENGIOY，HINTONG.Deeplearning[J].Nature，2015，521（7553）：436-444.

[18]趙奇慧，李莉，張淼，等.基于遷移學(xué)習(xí)的溫室番茄葉片水分脅迫診斷方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，51（增刊1）：340-347.

[19]OCHSNERTE，COSHMH，CUENCARH，etal.Stateoftheartinlarge-scalesoilmoisturemonitoring[J].SoilScienceSocietyofAmericaJournal，2013，77（6）：1888-1919.

[20]CHANDELSN，CHAKRABORTYKS，RAJWADEAY，etal.Identifyingcropwaterstressusingdeeplearningmodels[J].NeuralComputingandApplications，2020，33（10）：5353-5367.

[21]劉芳軍，李玥，武凌，等.基于改進(jìn)ResNet18的胡麻干旱脅迫識(shí)別與分類研究[J].江西農(nóng)業(yè)大學(xué)學(xué)報(bào)，2023，45（6）：1517-1527.

[22]XIAJ，ZHANGWY，ZHANGWX，etal.Acloudcomputing-basedapproachusingthevisiblenear-infraredspectrumtoclassifygreenhousetomatoplantsunderwaterstress[J].ComputersandElectronicsinAgriculture，2021，181：105966.

[23]KUOCE，TUYK，F(xiàn)ANGSL，etal.Earlydetectionofdroughtstressintomatofromspectroscopicdata：anovelconvolutionalneuralnetworkwithfeatureselection[J].ChemometricsandIntelligentLaboratorySystems，2023，239：104869.

[24]CHENDJ，NEUMANNK，F(xiàn)RIEDELS，etal.Dissectingthephenotypiccomponentsofcropplantgrowthanddroughtresponsesbasedonhigh-throughputimageanalysis[J].ThePlantCell，2014，26（12）：4636.

[25]KAUTZB，NOGAG，HUNSCHEM.Sensingdrought-andsalinity-imposedstressesontomatoleavesbymeansoffluorescencetechniques[J].PlantGrowthRegulation，2014，73（3）：279-288.

[26]MISHRAKB，IANNACONER，PETROZZAA，etal.Engineereddroughttoleranceintomatoplantsisreflectedinchlorophyllfluorescenceemission[J].PlantScience，2012，182：79-86.

[27]WANGY，ANY，YUJ，etal.DifferentresponsesofphotosystemⅡandantioxidantstodroughtstressintwocontrastingpopulationsofsourjujubefromtheLoessPlateau，China[J].EcologicalResearch，2016，31（6）：761-775.

[28]GUOYY，YUHY，KONGDS，etal.EffectsofdroughtstressongrowthandchlorophyllfluorescenceofLyciumruthenicummurr.seedlings[J].Photosynthetica，2016，54（4）：524-531.

[29]LOTFIR，PESSARAKLIM，GHARAVI-KOUCHEBAGHP，etal.Physiologicalresponsesofbrassicanapustofulvicacidunderwaterstress：chlorophyllafluorescenceandantioxidantenzymeactivity[J].CropJournal，2015，3（5）：434-439.

[30]SHARMADK，ANDERSENSB，OTTOSENCO，etal.WheatcultivarsselectedforhighFv/Fmunderheatstressmaintainhighphotosynthesis，totalchlorophyll，stomatalconductance，transpirationanddrymatter[J].PhysiologiaPlantarum，2015，153（2）：284-298.

[31]HUMPLIKJF，LAZARD，F(xiàn)URSTT，etal.Automatedintegrativehigh-throughputphenotypingofplantshoots：acasestudyofthecold-toleranceofpea（PisumsativumL.）[J].PlantMethods，2015，11：1-11.

[32]BRESSONJ，VASSEURF，DAUZATM，etal.Interacttosurvive：phyllobacteriumbrassicacearumimprovesArabidopsistolerancetoseverewaterdeficitandgrowthrecovery[J].PLoSOne，2014，9（9）：e107607.

[33]梁歡，韋寶，陳靜，等.基于葉綠素?zé)晒鈪?shù)的紫花苜蓿種質(zhì)苗期抗旱性評(píng)價(jià)[J].草地學(xué)報(bào)，2020，28（1）：45-55.

[34]余驥遠(yuǎn)，高尚兵，李潔，等.基于MS-PLNet和高光譜圖像的綠豆葉斑病病級(jí)分類[J].江蘇農(nóng)業(yè)科學(xué)，2023，51（6）：178-186.

[35]李莉，萬(wàn)正煌，陳宏偉，等.不同群體密度對(duì)綠豆農(nóng)藝性狀和產(chǎn)量的影響[J].農(nóng)業(yè)科學(xué)與技術(shù)，2010，11（7）：62-65.

[36]王小英，王孟，王斌，等.不同氮肥用量對(duì)綠豆主要農(nóng)藝性狀及產(chǎn)量的影響[J].中國(guó)農(nóng)學(xué)通報(bào)，2020，36（17）：95-98.

[37]馮蕊，周琪，吳令上，等.PEG6000模擬干旱脅迫對(duì)鐵皮石斛幼苗生理和葉綠素?zé)晒馓匦缘挠绊慬J].浙江農(nóng)林大學(xué)學(xué)報(bào)，2024，41（1）：132-144.

[38]浦嬋，董文淵，張孟楠，等.聚乙二醇6000模擬干旱脅迫及復(fù)水對(duì)黃竹幼苗抗性生理特性的影響[J].東北林業(yè)大學(xué)學(xué)報(bào)，2018，46（8）：31-37.

[39]姚松林.基于卷積神經(jīng)網(wǎng)絡(luò)的荔枝病蟲害圖像識(shí)別技術(shù)研究[J].電腦編程技巧與維護(hù)，2023，12：133-135.

[40]李靜，徐其江.干旱脅迫對(duì)綠豆農(nóng)藝性狀及產(chǎn)量的影響研究[J].新疆農(nóng)墾科技，2017，40（7）：8-11.

[41]馮曉碩，沈樾，王冬琦.基于圖像的數(shù)據(jù)增強(qiáng)方法發(fā)展現(xiàn)狀綜述[J].計(jì)算機(jī)科學(xué)與應(yīng)用，2021，11（2）：13.

[42]溫艷蘭，陳友鵬，王克強(qiáng)，等.基于機(jī)器視覺的病蟲害檢測(cè)綜述[J].中國(guó)糧油學(xué)報(bào)，2022，37（10）：271-279.

（責(zé)任編輯：成紓寒）