• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)GoogLeNet的玉米葉片病害識別及其可解釋性研究

    2025-01-19 00:00:00牛潘婷張寶林潘麗杰郭建鵬
    關(guān)鍵詞:遷移學(xué)習(xí)圖像處理深度學(xué)習(xí)

    摘要:

    為加強(qiáng)農(nóng)作物病害的識別,減少病害發(fā)生的頻率與強(qiáng)度,提高農(nóng)作物產(chǎn)量與品質(zhì),基于遷移學(xué)習(xí)構(gòu)建5種深度學(xué)習(xí)網(wǎng)絡(luò),對玉米葉片銹病、大小斑病和灰斑病進(jìn)行識別分類研究。通過對比AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2深度學(xué)習(xí)網(wǎng)絡(luò),GoogLeNet的識別準(zhǔn)確率最高,達(dá)到96.3%,模型收斂效果最好。通過進(jìn)一步優(yōu)化GoogLeNet模型架構(gòu),在inception模塊中插入卷積注意力模塊CBAM,使用LeakyReLU激活函數(shù)替換ReLU函數(shù),改進(jìn)后網(wǎng)絡(luò)通道注意力增強(qiáng),測試集的識別準(zhǔn)確率達(dá)到99.0%,識別準(zhǔn)確率提高2.7%。采用CAM和LIME算法對模型的可解釋性分析,改進(jìn)后網(wǎng)絡(luò)的可解釋性增強(qiáng),更好地關(guān)注葉片病害部分。

    關(guān)鍵詞:深度學(xué)習(xí);玉米葉片病害;遷移學(xué)習(xí);可解釋性;圖像處理

    中圖分類號:TP391.4; S435.131

    文獻(xiàn)標(biāo)識碼:A

    文章編號:2095-5553 (2025) 01-0204-09

    Identification and explainability of maize leaf diseases based on

    improved GoogLeNet

    Niu Panting1, Zhang Baolin1, 2, 3, Pan Lijie1, Guo Jianpeng1

    (1. College of Chemistry and Environmental Sciences, Inner Mongolia Normal University, Hohhot, 010020, China;

    2. Inner Mongolia Key Laboratory of Environmental Chemistry, Hohhot, 010020, China;

    3. Inner Mongolia Water-saving Agriculture Engineering Research Center, Hohhot, 010020, China)

    Abstract:

    In order to strengthen the identification of crop diseases, reduce the frequency and intensity of disease occurrence, and increase crop yield and quality, five kinds of deep learning frameworks based on transfer learning was used to identify and classify maize leaf diseases, including corn rust, leaf blight and gray spot. Compared with AlexNet, VGG19, ResNet50, GoogLeNet and MobileNetV2 deep learning networks, the recognition accuracy of GoogLeNet is the highest by 96.3%, and the model convergence effect is the best. By further optimizing the GoogLeNet model architecture, the Convolutional Block Attention Module (CBAM) is inserted into the inception module, and the LeakyReLU activation function is used to replace the ReLU function. After the improvement, the network channel attention is strengthened, the recognition accuracy of the test dataset reaches 99.0%, and the recognition accuracy is increased by 2.7%. CAM(Class Activation Mapping) and LIME(Local Interpretable Model-Agnostic Explanations) algorithms are used to analyze the model interpretability, the interpretability of the improved network shows higher explainability, with more attention on disease affected leaf regions.

    Keywords:

    deep learning; maize leaf disease; transfer learning; explainability; image processing

    0"引言

    玉米是我國的重要糧食作物,種植范圍廣、面積大。玉米葉部病害危害較重,影響玉米的產(chǎn)量和質(zhì)量[1]。要在保護(hù)生態(tài)的基礎(chǔ)上提高病蟲害防治水平,需要優(yōu)化病害識別方法與技術(shù),以減少病害發(fā)生頻率與強(qiáng)度。因此,農(nóng)作物病蟲害的無損檢測是精準(zhǔn)農(nóng)業(yè)、智慧農(nóng)業(yè)發(fā)展的必然需求。

    由于深度學(xué)習(xí)具有自主學(xué)習(xí)和特征提取等優(yōu)點(diǎn),在圖像識別、語義分割等領(lǐng)域取得了重大突破,也成為農(nóng)業(yè)植物保護(hù)和環(huán)境保護(hù)的研究熱點(diǎn)[2]。深度學(xué)習(xí)的出現(xiàn)為病蟲害防治提出了新的思路與方法,農(nóng)作物病蟲害識別已進(jìn)入第3個階段,即基于深度學(xué)習(xí)的人工智能階段。學(xué)者們將以AlexNet[3]、VGG[4]、GoogLeNet[5]、ResNet[6]、DenseNet[7]、MobileNet[8]等為代表的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到農(nóng)作物病蟲害識別、監(jiān)測中,取得了不錯的效果?;贕oogLeNet搭建的蘋果樹葉片病害診斷模型在葉片病害識別精確率達(dá)98.4%[9]。李恩霖等[10]采用遷移學(xué)習(xí)構(gòu)建了5種卷積神經(jīng)網(wǎng)絡(luò),CNN的病蟲害識別模型在玉米3種病害上表現(xiàn)出良好的效果,準(zhǔn)確率達(dá)99.73%。許景輝等[11]采用遷移學(xué)習(xí)方法,基于VGG16構(gòu)建了新的全連接層,實(shí)現(xiàn)了大斑病與玉米銹病的智能識別。李靜等[12]通過改進(jìn)GoogLeNet模型,對玉米螟蟲害圖像識別準(zhǔn)確率達(dá)到96.44%。楊長磊等[13]采用遷移學(xué)習(xí),改進(jìn)MobileNet,在5萬余張農(nóng)作物圖像上進(jìn)行訓(xùn)練,病害識別準(zhǔn)確率達(dá)到了99.67%。Mohanty等[14]利用GoogleNet識別14種作物的26種疾病,準(zhǔn)確率達(dá)到99.35%。

    雖然深度學(xué)習(xí)在圖像分類、語義分割、視頻處理和關(guān)鍵點(diǎn)檢測等多個領(lǐng)域都取得了優(yōu)秀的成果,但在可解釋性方面,與機(jī)器學(xué)習(xí)算法相比,深度學(xué)習(xí)有很大的滯后性,給研究帶來了很大的阻礙[15]。深度學(xué)習(xí)網(wǎng)絡(luò)的可解釋性是指理解網(wǎng)絡(luò)的決策過程和內(nèi)部機(jī)制的能力[16]。在深度學(xué)習(xí)中,網(wǎng)絡(luò)通常由許多層和節(jié)點(diǎn)組成,層和節(jié)點(diǎn)之間的關(guān)系非常復(fù)雜,使得人們很難理解網(wǎng)絡(luò)的決策過程和內(nèi)部機(jī)制。因此,深度學(xué)習(xí)網(wǎng)絡(luò)模型的可解釋性一直是一個熱門話題。近年來,研究人員提出了許多方法以增強(qiáng)深度學(xué)習(xí)的可解釋性。2016年,Zhou等[17]提出CAM算法,在圖像分類任務(wù)中生成熱力圖,對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行了可解釋與顯著性分析,同時展現(xiàn)了可幫助圖像分類模型解決定位問題的能力。2017年,根據(jù)CAM算法衍生出的Grad-CAM[18],對CAM進(jìn)行優(yōu)化改進(jìn),可以分析深度學(xué)習(xí)網(wǎng)絡(luò)的任意一層。LIME算法[19]是基于局部代理模型來對單個樣本進(jìn)行解釋,與網(wǎng)絡(luò)無關(guān),可用性很高。然而,在目前的植物病害識別領(lǐng)域中,模型在特征提取階段學(xué)習(xí)到了什么,依據(jù)什么進(jìn)行分類依舊是一種“黑盒”問題,可解釋性分析罕見報(bào)導(dǎo)。黑盒問題導(dǎo)致深度學(xué)習(xí)在玉米病害識別分類的可解性研究很少,亟需進(jìn)行研究探索,助力人工智能在農(nóng)業(yè)領(lǐng)域的應(yīng)用和智慧農(nóng)業(yè)的發(fā)展。

    本文以玉米葉片銹病、大小斑病和灰斑病為研究對象,采用遷移學(xué)習(xí)構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2五種卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行玉米葉片病害的識別、分類評估,選出最佳模型并進(jìn)行優(yōu)化,為病害監(jiān)督管理方面提出新的方法;進(jìn)而利用CAM、LIME算法對模型的可解釋性進(jìn)行探索,觀察網(wǎng)絡(luò)在圖像分類任務(wù)中的學(xué)習(xí)情況,對深度學(xué)習(xí)網(wǎng)絡(luò)的“學(xué)習(xí)”內(nèi)容進(jìn)行分析,明確網(wǎng)絡(luò)模型改進(jìn)的方向。基于深度學(xué)習(xí)技術(shù)的玉米病害葉片分類監(jiān)測和可解釋性研究,將有助于玉米病害的識別,做到及時防治,提高作物產(chǎn)量和品質(zhì)。

    1"材料與方法

    1.1"數(shù)據(jù)集構(gòu)建

    數(shù)據(jù)圖像是訓(xùn)練模型的基礎(chǔ),數(shù)據(jù)集越大,網(wǎng)絡(luò)模型學(xué)習(xí)到的圖像特征越全面,在測試集上運(yùn)行效果更好。本研究的數(shù)據(jù)集由公開數(shù)據(jù)集、實(shí)地拍攝和網(wǎng)絡(luò)下載的圖像構(gòu)成。實(shí)地拍攝圖像和網(wǎng)絡(luò)下載圖像有大量的無關(guān)信息,需要進(jìn)行數(shù)據(jù)的預(yù)處理,增強(qiáng)圖像分類識別的有效性。采用GrabCut進(jìn)行圖像分割,去除圖像中的無關(guān)信息(如雜草、土壤、莖稈等)(圖1),得到健康玉米葉片圖像554張、玉米銹病圖像1239張、大小斑病圖像1094張、玉米灰斑病圖像555張,共計(jì)3442張圖像數(shù)據(jù)。同時,通過數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集。為防止數(shù)據(jù)樣本不均衡、數(shù)據(jù)樣本差距較大等導(dǎo)致的一系列問題,在進(jìn)行數(shù)據(jù)擴(kuò)充時,對玉米灰斑病和健康圖像進(jìn)行多次擴(kuò)充。經(jīng)過數(shù)據(jù)擴(kuò)充后,玉米健康葉片圖像為3324張,玉米銹病圖像3717張,大小斑病圖像3330張,玉米灰斑病圖像3286張,共計(jì)13657張(表1)。按8∶2的比例隨機(jī)劃分?jǐn)?shù)據(jù)集為訓(xùn)練集與測試集。

    1.2"研究方法

    由于深度學(xué)習(xí)在眾多領(lǐng)域的成功應(yīng)用,國內(nèi)外學(xué)者將深度學(xué)習(xí)與農(nóng)業(yè)領(lǐng)域相結(jié)合,其中CNN得到廣泛應(yīng)用。CNN基本結(jié)構(gòu)包括卷積層(Conv)、池化層(Pooling)、激活函數(shù)(ReLU)、歸一化層(BN)和全連接層(FC)。對于農(nóng)作物病蟲害圖像,可以通過卷積層運(yùn)算提取特征,應(yīng)用池化層減少數(shù)據(jù)處理量并保留有用特征,通過完全連接層權(quán)重矩陣重建局部特征[2]。遷移學(xué)習(xí)是將在某個任務(wù)上訓(xùn)練出來的網(wǎng)絡(luò)模型參數(shù),經(jīng)過微調(diào)后直接運(yùn)用到新的任務(wù)中,可減少網(wǎng)絡(luò)模型訓(xùn)練時間,使模型的泛化能力得到提高[20]。遷移學(xué)習(xí)的訓(xùn)練成本低,在沒有深度學(xué)習(xí)機(jī)器的情況下也可以進(jìn)行。遷移學(xué)習(xí)也可運(yùn)用于小數(shù)據(jù)集,解決部分?jǐn)?shù)據(jù)不足或原有數(shù)據(jù)少的問題?;诖耍眠w移學(xué)習(xí)構(gòu)建深度學(xué)習(xí)模型。

    1.2.1"技術(shù)路線

    使用Python語言,基于Pytorch框架搭建網(wǎng)絡(luò)模型。采用遷移學(xué)習(xí)方法,構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2模型,并對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。采用相同的數(shù)據(jù),相同的超參數(shù)設(shè)計(jì)進(jìn)行訓(xùn)練,篩選出運(yùn)行效果最好的網(wǎng)絡(luò)模型并進(jìn)行優(yōu)化。通過比較模型改進(jìn)前后的混淆矩陣、識別準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和語義特征降維可視化,分析模型優(yōu)化效果。最后,對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行可解釋性分析,將其作為重要的指標(biāo)之一進(jìn)行網(wǎng)絡(luò)評價。技術(shù)路線如圖2所示。

    1.2.2"激活函數(shù)

    在很多模型中使用ReLU作為激活函數(shù),如果輸入激活函數(shù)是大于0的信號,信號就將向后傳遞,其他輸出為0。ReLU是當(dāng)前使用最頻繁的激活函數(shù)。

    f(x)=

    xxgt;0

    0x≤0

    (1)

    LeakyReLU是ReLU激活函數(shù)的一種變形,是為了解決ReLU激活函數(shù)的神經(jīng)元“死亡”問題提出的。LeakyReLU與ReLU的輸出僅在xlt;0時有差異,在ReLU中輸入小于0時,輸出為0;而LeakyReLU輸入小于0時,輸出為負(fù)值,梯度非常小。這樣,當(dāng)LeakyReLU激活函數(shù)輸入小于0的信號時,也能夠通過計(jì)算得到梯度。

    f(x)=

    xx≥0

    axxlt;0

    (2)

    1.2.3"神經(jīng)網(wǎng)絡(luò)模型評價指標(biāo)

    基于深度學(xué)習(xí)的農(nóng)作物病蟲害監(jiān)測識別中,常用于評價分類模型的指標(biāo)主要有準(zhǔn)確率、靈敏度、召回率、精確率和F1分?jǐn)?shù)等[21]

    1) "識別準(zhǔn)確率。

    準(zhǔn)確率(Accuracy)是正確預(yù)測占所有預(yù)測的比例,計(jì)算如式(3)所示。

    Accuracy=TN+TPTN+TP+FN+FP

    (3)

    式中:

    TP——被網(wǎng)絡(luò)模型預(yù)測為正類的正樣本;

    TN——被網(wǎng)絡(luò)模型預(yù)測為負(fù)類的負(fù)樣本;

    FP——被網(wǎng)絡(luò)模型預(yù)測為正類的負(fù)樣本;

    FN——被網(wǎng)絡(luò)模型預(yù)測為負(fù)類的正樣本。

    2) "精確率。

    精確率(Precision)是對網(wǎng)絡(luò)模型判斷出的所有正例(TP+FP)來說,真正例(TP)占的比例,計(jì)算如式(4)所示。

    Precision=TPTP+FP

    (4)

    3) "召回率。

    召回率(Recall)又稱查全率,表示的是分類器中判定為真的正例占總正例的比率,計(jì)算如式(5)所示。

    Recall=TPTP+FN

    (5)

    4) "F1分?jǐn)?shù),計(jì)算如式(6)所示。

    F1-Score=2×Precision×RecallPrecision+Recall

    (6)

    1.2.4"神經(jīng)網(wǎng)絡(luò)模型可解釋性

    識別準(zhǔn)確率不是評價網(wǎng)絡(luò)模型的唯一指標(biāo),模型具有良好的可解釋性也是必要的。在深度學(xué)習(xí)發(fā)展中一直有一個困擾人們的問題,就是“黑盒”難題。在深度學(xué)習(xí)中,常用的CNN普遍被認(rèn)為是個黑盒,可解釋性不高。復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致模型有很大的不透明性,可解釋性相較于機(jī)器學(xué)習(xí)很差[22]。

    在圖像分類任務(wù)中,第一個步驟是對數(shù)據(jù)集進(jìn)行訓(xùn)練,第二個步驟是對數(shù)據(jù)集進(jìn)行測試,而不管是訓(xùn)練還是測試,網(wǎng)絡(luò)結(jié)構(gòu)的內(nèi)容都是不透明的。只知道模型從訓(xùn)練中學(xué)到特征,再應(yīng)用到測試集,得到數(shù)據(jù)的分類結(jié)果;但不知道網(wǎng)絡(luò)模型究竟提取了何種特征,按照何種特征進(jìn)行分類,有哪些側(cè)重點(diǎn)。因此,對模型的可解釋性進(jìn)行研究,有助于對模型進(jìn)行評估,發(fā)現(xiàn)模型的不足。對于模型的可解釋性分析,可分為敏感性分析和梯度分析。敏感度分析就是分析模型對哪個特征更為敏感、更感興趣;梯度分析就是將數(shù)據(jù)集中的特征通過梯度變化,來說明數(shù)據(jù)集中的哪些特征是分類的依據(jù)。目前,網(wǎng)絡(luò)可解釋性研究的常用的方法包括CAM、LIME、Grad-CAM[23]、SmoothGrad[24]等。本文使用CAM、LIME對模型進(jìn)行可解釋性研究,并將可解釋性作為模型的重要評價指標(biāo)。CAM是類激活圖算法,計(jì)算簡單,可以有效地反映網(wǎng)絡(luò)在輸入中關(guān)注的特征,并繪制出相應(yīng)的熱力圖,可以發(fā)現(xiàn)模型在原圖的注意力,關(guān)注哪些區(qū)域。LIME算法是一種局部可解釋性模型算法,主要用于文本類與圖像類模型中,具有很強(qiáng)的通用性,性能優(yōu)越。

    2"結(jié)果與分析

    2.1"基于遷移學(xué)習(xí)的玉米葉片病害識別

    2.1.1"試驗(yàn)超參數(shù)設(shè)置

    采用遷移學(xué)習(xí)方法構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2進(jìn)行訓(xùn)練,對ImageNet圖像識別大賽網(wǎng)絡(luò)的權(quán)重參數(shù)進(jìn)行微調(diào)網(wǎng)絡(luò)。在訓(xùn)練網(wǎng)絡(luò)時,學(xué)習(xí)率過高網(wǎng)絡(luò)不穩(wěn)定,過低模型收斂很慢。采用學(xué)習(xí)率衰減法,每經(jīng)過10次迭代,學(xué)習(xí)率減半。模型Batchsize設(shè)置為64,采用Adam進(jìn)行參數(shù)優(yōu)化。

    2.1.2"模型性能評價

    1) "模型穩(wěn)定性。

    深度學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)可以反映模型在訓(xùn)練過程中的穩(wěn)定性。如果訓(xùn)練集和測試集的損失函數(shù)值都趨于穩(wěn)定,表明模型訓(xùn)練穩(wěn)定;比較模型在訓(xùn)練集與測試集上的訓(xùn)練結(jié)果,二者間差距越小,說明模型在數(shù)據(jù)集上的表現(xiàn)越穩(wěn)定。根據(jù)模型在測試集上損失的變化可知,AlexNet的收斂最差,曲線波動最大,穩(wěn)定性不好(圖3)。通過比較不同模型在訓(xùn)練集和測試集上的誤差,可知全部網(wǎng)絡(luò)整體誤差很小(表2)。GoogLeNet與VGG19模型的泛化能力較好,誤差很小,模型表現(xiàn)良好。MobileNetV2的曲線波動很小,收斂效果優(yōu)于AlexNet、VGG19和ResNet50。比較模型在訓(xùn)練集與測試集的損失,可以發(fā)現(xiàn)ResNet50模型損失最小,AlexNet損失最大,說明AlexNet模型穩(wěn)定性最差。

    2) "模型分類能力。

    根據(jù)模型損失函數(shù)的變化(圖3),可以發(fā)現(xiàn)GoogLeNet的性能優(yōu)于其他模型,收斂效果和損失上表現(xiàn)較優(yōu)。AlexNet損失函數(shù)曲線在epoch=29和epoch=33時驟減,導(dǎo)致曲線波動很大,其原因可能是學(xué)習(xí)率設(shè)置不合理,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練的收斂效果不好。VGG19和GoogLeNet在識別準(zhǔn)確率上相差不大,但VGG19在損失上表現(xiàn)較差,兩個網(wǎng)絡(luò)運(yùn)行效果遠(yuǎn)優(yōu)于其他網(wǎng)絡(luò)。在擴(kuò)充數(shù)據(jù)集上,GoogLeNet模型的損失值遠(yuǎn)小于其他網(wǎng)絡(luò),識別準(zhǔn)確率優(yōu)于其他網(wǎng)絡(luò)(圖4、表3),沒有出現(xiàn)過擬合的現(xiàn)象,模型運(yùn)行效果最好。

    根據(jù)模型分類混淆矩陣(圖5),可以觀察到單個病害的識別效果,識別效果最好的是玉米銹病,其次是健康葉片,大小斑病和灰斑病分類效果較差。VGG19的運(yùn)行效果也很優(yōu)秀,存在單個病害識別優(yōu)于GoogLeNet網(wǎng)絡(luò)的現(xiàn)象。

    2.2"基于改進(jìn)GoogLeNet算法的玉米葉片病害識別

    2.2.1"模型架構(gòu)改進(jìn)

    根據(jù)不同模型在數(shù)據(jù)集上的表現(xiàn)(表3),GoogLeNet性能最為優(yōu)秀,收斂效果好,準(zhǔn)確率最高,達(dá)到96.3%。因此,對GoogLeNet改進(jìn),推出一個更為優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)。GoogLeNet采用的inceptionModule結(jié)構(gòu),較好地解決了增加網(wǎng)絡(luò)深度帶來的梯度消失問題,同時采用了不同尺寸的卷積核和池化層來解決網(wǎng)絡(luò)規(guī)模可能造成的過擬合問題。

    在改進(jìn)GoogLeNet時,引入注意力機(jī)制。注意力機(jī)制可以讓網(wǎng)絡(luò)更加關(guān)注重要的特征,從而提高網(wǎng)絡(luò)性能,增強(qiáng)圖像分類識別效果。常用的注意力機(jī)制模塊有SENet、CBAM、ECA和RFB等。CBAM[25]是常用于圖像分類的注意力機(jī)制,可以增強(qiáng)模型的表達(dá)能力,幫助網(wǎng)絡(luò)更好地捕捉圖像中的重要特征,提高模型的性能。CBAM有兩個并行的塊:通道注意力模塊和空間注意力模塊(圖6)。通道注意力模塊通過學(xué)習(xí)特定通道的重要性來加權(quán)每個通道的特征圖,空間注意力模塊通過自適應(yīng)地調(diào)整不同空間位置的特征響應(yīng)來提高模型的空間感知能力。CBAM可以自適應(yīng)地學(xué)習(xí)哪些特征最重要,并將其加權(quán)到模型中。加入CBAM模塊后,可以在通道維度和空間維度上進(jìn)行特征的重要性評估和特征的重新縮放,更好地捕捉具有不同大小和位置的對象,提高對圖像細(xì)節(jié)的感知,更好地捕捉圖像中的重要特征,提高網(wǎng)絡(luò)性能。采用CBAM注意力機(jī)制進(jìn)行網(wǎng)絡(luò)優(yōu)化,在GoogLeNet中加入注意機(jī)制,以改進(jìn)網(wǎng)絡(luò)性能。

    在inception模塊中加入CBAM模塊,ReLU激活函數(shù)可能會出現(xiàn)Dead ReLU情形,因此采用LeakyReLU激活函數(shù)替代ReLU激活函數(shù)。LeakyReLU激活函數(shù)比ReLU函數(shù)更加穩(wěn)定,可以解決神經(jīng)元的“死亡”問題,相對于ReLU激活函數(shù)有更快的收斂速度。

    在新的網(wǎng)絡(luò)模型中,在GoogLeNet的每個inception Module中添加CBAM模塊,以增強(qiáng)模型的注意力,增強(qiáng)特征表達(dá)能力,以提高模型分類準(zhǔn)確率和泛化能力。同時,將模型中的ReLU激活函數(shù)替換為LeakyReLU激活函數(shù),改進(jìn)后GoogLeNet的inception結(jié)構(gòu)如圖7(b)所示。

    2.2.2"模型性能改進(jìn)

    1) "模型穩(wěn)定性。

    模型改進(jìn)前后穩(wěn)定性變化較大,網(wǎng)絡(luò)模型運(yùn)行曲線可以反映出模型在訓(xùn)練過程中的穩(wěn)定性。改進(jìn)后的GoogLeNet模型損失函數(shù)曲線波動更小,收斂效果更好,模型的穩(wěn)定性更好(圖8)。同時,對比訓(xùn)練集與測試集測試誤差(表4)可知,改進(jìn)后的GoogLeNet模型在訓(xùn)練集與測試集上的表現(xiàn)差距相較改進(jìn)前更小,說明改進(jìn)后GoogLeNet網(wǎng)絡(luò)模型在數(shù)據(jù)集上的表現(xiàn)更穩(wěn)定。

    2) "模型準(zhǔn)確率。

    將通過添加注意力機(jī)制和替換激活函數(shù)后的新模型,應(yīng)用于試驗(yàn)數(shù)據(jù),采用與之前試驗(yàn)相同的參數(shù)設(shè)計(jì),對比改進(jìn)前后模型運(yùn)行的效果。可以看出,改進(jìn)后的GoogLeNet在識別準(zhǔn)確率方面的表現(xiàn)遠(yuǎn)優(yōu)于優(yōu)化前的模型(圖9)。根據(jù)改進(jìn)后GoogLeNet的混淆矩陣(圖10),可以看出模型對所有的玉米病害的識別性能都有所提升,其中,玉米大小斑病的提升效果最好,灰斑病與大小斑病錯誤識別的情形明顯減少。

    對比模型改進(jìn)前后的模型評價指標(biāo)(表5),可以發(fā)現(xiàn),改進(jìn)后的GoogLeNet在識別準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)上均優(yōu)于改進(jìn)前的GoogLeNet。模型的精確率提高了,錯誤率降低了,網(wǎng)絡(luò)模型分類效果明顯有提升;F1分?jǐn)?shù)增加,說明網(wǎng)絡(luò)模型分類效果變好。改進(jìn)后GoogLeNet模型的性能參數(shù)平均為99.0%,接近于1,模型達(dá)到穩(wěn)態(tài),模型性能良好。改進(jìn)后GoogLeNet模型的性能遠(yuǎn)優(yōu)于優(yōu)化前的網(wǎng)絡(luò)模型。

    3) "特征可視化。

    對訓(xùn)練好的模型進(jìn)行語義特征降維可視化研究,通過測試集數(shù)據(jù)的降維可視化,觀察模型將不同數(shù)據(jù)劃分到什么位置,有助于理解模型在面對圖像進(jìn)行了怎樣的判斷。將數(shù)據(jù)投影到二維空間,可以觀察到模型的聚類情況,采用t-SNE(t-Distributed Stochastic Neighbor Embedding)函數(shù)對測試集的數(shù)據(jù)圖像降維可視化(圖11)??梢园l(fā)現(xiàn),測試集的數(shù)據(jù)圖像的可分性很好,同類別之間間隔小,不同類之間間隔大。同時,也可以發(fā)現(xiàn)模型對灰斑病與大小斑病的分類存在混淆情況,分類效果遠(yuǎn)不如玉米的健康葉片,造成這一情況的主要原因可能是因?yàn)橛衩兹~片灰斑病與大小斑病的病狀存在相似性。

    2.2.3"數(shù)據(jù)集大小對模型的影響

    為探究數(shù)據(jù)集的大小對模型訓(xùn)練的影響,利用擴(kuò)充前的原始數(shù)據(jù)(3442張)與數(shù)據(jù)增強(qiáng)后的擴(kuò)充數(shù)據(jù)(13657張)分別進(jìn)行試驗(yàn)。采用提出的新模型進(jìn)行對比,學(xué)習(xí)率設(shè)置為當(dāng)test_loss經(jīng)過8次迭代沒有減小時,學(xué)習(xí)率減小為原學(xué)習(xí)率的10%;Batchsize設(shè)置為64;采用Adam進(jìn)行優(yōu)化參數(shù)??梢园l(fā)現(xiàn),擴(kuò)充數(shù)據(jù)集運(yùn)行的結(jié)果遠(yuǎn)優(yōu)于原始數(shù)據(jù)集,可知數(shù)據(jù)集的擴(kuò)充會使模型在測試集上表現(xiàn)更好(圖12)。

    2.3"模型可解釋性研究

    采用CAM算法對AlexNet、VGG19、ResNet50、GoogLeNet、MobileNetV2和改進(jìn)GoogLeNet算法進(jìn)行可解釋分析,可以發(fā)現(xiàn)改進(jìn)后的網(wǎng)絡(luò)可解釋性更好(圖13)。模型在提高網(wǎng)絡(luò)準(zhǔn)確率的同時,增強(qiáng)了神經(jīng)網(wǎng)絡(luò)模型的可解釋性。注意力機(jī)制可以將網(wǎng)絡(luò)的決策集中在輸入的特定區(qū)域或局部,改進(jìn)GoogLeNet算法可以更好地關(guān)注圖像中的病害部分。

    同時,AlexNet網(wǎng)絡(luò)的可解釋性相對于其他網(wǎng)絡(luò)較差,模型的重點(diǎn)關(guān)注區(qū)域錯誤。因?yàn)樵贏lexNet網(wǎng)絡(luò)深層次結(jié)構(gòu)中,存在大量的卷積層和池化層,使得網(wǎng)絡(luò)中的每一個神經(jīng)元都難以解釋其具體的作用和含義,使AlexNet網(wǎng)絡(luò)的可解釋性較差。對所提出的改進(jìn)GoogLeNet網(wǎng)絡(luò)進(jìn)行LIME可解釋分析(圖14),綠色區(qū)域代表圖像當(dāng)前的類別一致,紅色則相反,玉米大小斑病病狀區(qū)域被識別出,LIME算法進(jìn)行可解釋分析效果良好。

    3"討論

    3.1"注意力機(jī)制對模型性能的影響

    在網(wǎng)絡(luò)結(jié)構(gòu)中加入注意力機(jī)制可以提升模型的精度、泛化能力和網(wǎng)絡(luò)可解釋性。注意力機(jī)制可以幫助網(wǎng)絡(luò)消除輸入中的噪聲和干擾,增強(qiáng)網(wǎng)絡(luò)可解釋性。根據(jù)模型優(yōu)化前后的運(yùn)行結(jié)果、混淆矩陣和語義降維可視化,可以發(fā)現(xiàn)改進(jìn)的算法在識別精度與算法性能方面都遠(yuǎn)優(yōu)于優(yōu)化前的網(wǎng)絡(luò)。改進(jìn)后,識別準(zhǔn)確率提高2.7%,模型收斂效果更好,穩(wěn)定性有所增高。在深度學(xué)習(xí)網(wǎng)絡(luò)中添加注意力機(jī)制可以提升精度,這與其他學(xué)者的研究結(jié)果一致。在YOLOv5s的骨干網(wǎng)絡(luò)中加入CBAM注意力機(jī)制模塊,提高了識別精度,實(shí)現(xiàn)對溫室番茄快速識別[26]。YOLOv5s引入優(yōu)化后的CBAM模塊與改進(jìn)前相比農(nóng)作物病蟲害識別中精度提高了5%[27]。在輕量化Efficient網(wǎng)絡(luò)中引入CBAM模塊,在水稻常見病害數(shù)據(jù)集上的識別準(zhǔn)確率95.63%,提高了1.75%[28]。綜上所述,在網(wǎng)絡(luò)中添加注意力機(jī)制模塊確實(shí)可以避免無關(guān)信息的干擾,提升模型的性能,增強(qiáng)模型的特征提取能力,保留圖像的關(guān)鍵特征,提高模型分類能力。研究中,將CBAM模塊添加到inception模塊中提高了模型的表達(dá)能力、泛化能力和精度。

    CNN的淺層卷積提取的都是顏色、紋理、邊緣和斑塊等特征,可以依據(jù)實(shí)際任務(wù)進(jìn)行改進(jìn)優(yōu)化神經(jīng)網(wǎng)絡(luò)。inception模塊能夠提取不同尺度的特征圖,而CBAM模塊能夠自適應(yīng)地對不同通道和空間位置進(jìn)行注意力加權(quán),能夠使得網(wǎng)絡(luò)更加關(guān)注重要的特征,加強(qiáng)特征圖的表達(dá)能力,提升模型的泛化能力。在后續(xù)研究中,可以嘗試在GoogLeNet模型的其他地方插入CBAM模塊,或者替換GoogLeNet中前幾層的卷積層。

    3.2"激活函數(shù)對模型性能的影響

    在優(yōu)化GoogLeNet模型時,引入LeakyReLU激活函數(shù),因?yàn)樵趯?shí)際訓(xùn)練中發(fā)現(xiàn)ReLU會出現(xiàn)神經(jīng)元死亡情況。采用LeakyReLU激活函數(shù)可以規(guī)避ReLU的“死亡”問題,提高網(wǎng)絡(luò)性能。LeakyReLU的引入使得梯度在小于0的區(qū)域不為0,從而減少訓(xùn)練過程中的抖動,使得訓(xùn)練更加穩(wěn)定。李靜等[12]基于GoogLeNet優(yōu)化識別玉米螟蟲研究中,將ReLU更換為Sigmoid激活函數(shù)。但是張瑞青等[29]基于AlexNet模型進(jìn)行改進(jìn)識別花生莢果等級的研究中,分析討論了激活函數(shù)的影響,發(fā)現(xiàn)更換為LeakyReLU激活函數(shù)時網(wǎng)絡(luò)模型訓(xùn)練提升效果微弱。本文采用LeakyReLU激活函數(shù),沒有做不同激活函數(shù)對模型運(yùn)行結(jié)果的影響,有待于進(jìn)一步研究。

    3.3"玉米葉片病害誤判的原因分析

    通過各種不同模型的運(yùn)行結(jié)果、混淆矩陣的比較,可以發(fā)現(xiàn)每個模型中玉米銹病的識別準(zhǔn)確率都高于另外兩種病害。對模型進(jìn)行語義降維可視化,發(fā)現(xiàn)玉米大小斑病與灰斑病有相互誤判的情況。其原因可能是數(shù)據(jù)圖像存在錯標(biāo)、病害情形復(fù)雜,存在混合病害,識別難度大,又或者因?yàn)榛野卟∨c大小斑病的發(fā)病性狀有相似性。灰斑病發(fā)病時,癥狀起初為橢圓形至矩圓形灰色至淡褐色,邊緣不太明顯,后期會變?yōu)楹稚“邊^(qū)域多局限于平行的葉脈之間[30]。玉米大小斑病發(fā)病癥狀呈橢圓形、近球形、柱形或倒棍棒形,中間或中間稍下處最寬,兩端漸細(xì)小,褐色至深褐色。由此可知大小斑病與灰斑病癥狀有相似性,可能導(dǎo)致模型在這兩種病害上的識別分類精度不如玉米銹病。

    3.4"玉米葉片病害識別模型可解釋性

    通過對所有搭建的網(wǎng)絡(luò)進(jìn)行CAM熱力圖進(jìn)行可解釋研究,發(fā)現(xiàn)改進(jìn)后的模型網(wǎng)絡(luò)可解釋性更好,這與其他學(xué)者研究一致。優(yōu)化后的網(wǎng)絡(luò)在提高網(wǎng)絡(luò)準(zhǔn)確率的同時,增強(qiáng)了網(wǎng)絡(luò)的可解釋性。王昕等[27]對優(yōu)化后的YOLOv5算法通過Grad-CAM進(jìn)行了可解釋分析,發(fā)現(xiàn)優(yōu)化前后的網(wǎng)絡(luò)關(guān)注點(diǎn)不同,優(yōu)化前的網(wǎng)絡(luò)更關(guān)注局部卷積,優(yōu)化后的網(wǎng)絡(luò)可以很好地將局部卷積與全局部卷積結(jié)合。于雪瑩等[31]通過采用特征圖和熱力圖對CBAM-ResNet進(jìn)行可視化分析,了解模型對蘋果病害的識別機(jī)制。通過分析與對比,優(yōu)化后的網(wǎng)絡(luò)可以更好地注意病害部分,降低對背景的關(guān)注。注意力機(jī)制模塊可以更加準(zhǔn)確地關(guān)注輸入數(shù)據(jù)的重要特征,增強(qiáng)網(wǎng)絡(luò)可解釋性。本研究對網(wǎng)絡(luò)進(jìn)行了LIME算法可解釋性研究,發(fā)現(xiàn)本研究的可解釋性、可行性很好。LIME算法有很強(qiáng)的通用性,但是運(yùn)行速度比CAM慢。因?yàn)長IME算法通過干擾數(shù)據(jù)樣本的輸入變量去理解預(yù)測是如何變化來理解分類模型,本研究中數(shù)據(jù)樣本的輸入變量為圖像中的每個像素[32]。

    在玉米病害圖像識別分類任務(wù),對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行可解釋分析,可以發(fā)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)模型在數(shù)據(jù)圖像上的注意力,在關(guān)注什么區(qū)域,依據(jù)什么特征進(jìn)行分類。對深度學(xué)習(xí)模型進(jìn)行可解釋分析,有助于進(jìn)一步對模型的評估,也可以發(fā)現(xiàn)模型的缺點(diǎn),思考模型為什么分類錯誤,并提出改進(jìn)優(yōu)化方向。在后續(xù)研究中,為提高深度學(xué)習(xí)網(wǎng)絡(luò)的可解釋性,可以嘗試一些特殊的技術(shù)和方法,例如可視化、解釋性對抗訓(xùn)練和局部敏感性分析等,可以多采用一些可解釋性算法對深度學(xué)習(xí)圖像分類任務(wù)進(jìn)行分析。

    4"結(jié)論

    1) 基于AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2,通過遷移學(xué)習(xí)方法構(gòu)建5種深度學(xué)習(xí)網(wǎng)絡(luò),對3種玉米葉片病害進(jìn)行識別分類,研究表明GoogLeNet的識別準(zhǔn)確率最高,達(dá)到96.3%。

    2) 通過在inception模塊中加入CABM改進(jìn)GoogLeNet,深度學(xué)習(xí)網(wǎng)絡(luò)在數(shù)據(jù)測試集上最高識別準(zhǔn)確率達(dá)到99.0%,較改進(jìn)前提高2.7%。研究表明在GoogLeNet中添加CBAM注意力機(jī)制模塊,提升了模型的穩(wěn)定性與識別精度,可以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)特征表示,提高識別準(zhǔn)確率。

    3) 網(wǎng)絡(luò)的可解釋分析表明改進(jìn)后的網(wǎng)絡(luò)對葉片病害部分更加關(guān)注,決策依據(jù)集中于病害區(qū)域,使可解釋性得到增強(qiáng)。因此,模型的可解釋性分析可以作為改進(jìn)網(wǎng)絡(luò)的參考。

    參"考"文"獻(xiàn)

    [1]

    劉麗娟, 劉仲鵬, 張麗梅. 基于圖像處理技術(shù)的玉米葉部病害識別研究[J]. 吉林農(nóng)業(yè)科學(xué), 2014, 39(1): 61-65.

    Liu Lijuan, Liu Zhongpeng, Zhang Limei. Studies on image processing of maize leaf diseases [J]. Journal of Jilin Agricultural Sciences, 2014, 39(1): 61-65.

    [2]

    翟肇裕, 曹益飛, 徐煥良, 等. 農(nóng)作物病蟲害識別關(guān)鍵技術(shù)研究綜述[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2021, 52(7): 1-18.

    Zhai Zhaoyu, Cao Yifei, Xu Huanliang, et al. Review of key techniques for crop disease and pest detection [J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 1-18.

    [3]

    Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks [C].Advances in Neural Information Processing Systems, 2012.

    [4]

    Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. arXiv preprint arXiv: 1409. 1556, 2014.

    [5]

    Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions [C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015.

    [6]

    He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

    [7]

    Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks [C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

    [8]

    Howard A, Zhu M, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications [J]. arXiv preprint arXiv: 1704. 04861, 2017.

    [9]

    宋晨勇, 白皓然, 孫偉浩, 等. 基于GoogLeNet改進(jìn)模型的蘋果葉病診斷系統(tǒng)設(shè)計(jì)[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2021, 42(7): 148-155.

    Song Chenyong, Bai Haoran, Sun Weihao, et al. Design of apple leaf disease diagnosis system based on GoogLeNet improved model [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(7): 148-155.

    [10]

    李恩霖, 謝秋菊, 蘇中濱, 等. 基于深度學(xué)習(xí)的玉米葉片病斑識別方法研究[J]. 智慧農(nóng)業(yè)導(dǎo)刊, 2021, 1(10): 1-10.

    Li Enlin, Xie Qiuju, Su Zhongbin, et al. Research on maize leaf disease spot recognition based on deep learning [J]. Journal of Smart Agriculture, 2021, 1(10): 1-10.

    [11]

    許景輝, 邵明燁, 王一琛, 等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2020, 51(2): 230-236.

    Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236.

    [12]

    李靜, 陳桂芬, 安宇. 基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的玉米螟蟲害圖像識別[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào), 2020, 41(3): 110-116.

    Li Jing, Chen Guifen, An Yu. Image recognition of pyrausta nubilalis based on optimized convolutional neural network [J]. Journal of South China Agricultural University, 2020, 41(3): 110-116.

    [13]

    楊長磊, 李彩林, 王佳文, 等. 基于改進(jìn)深度神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病害識別研究[J]. 農(nóng)業(yè)與技術(shù), 2021, 41(6): 1-3.

    [14]

    Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016, 7: 1419.

    [15]

    楊朋波, ?;w, 張彪, 等. 面向圖像分類的深度模型可解釋性研究綜述[J]. 軟件學(xué)報(bào), 2023, 34(1): 230-254.

    Yang Pengbo, Sang Jitao, Zhang Biao, et al. Survey on interpretability of deep models for image classification [J]. Journal of Software, 2023, 34(1): 230-254.

    [16]

    陳沖, 陳杰, 張慧, 等. 深度學(xué)習(xí)可解釋性綜述[J]. 計(jì)算機(jī)科學(xué), 2023, 50(5): 52-63.

    Chen Chong, Chen Jie, Zhang Hui, et al. A Review of interpretability in deep learning [J]. Computer Science, 2023, 50(5): 52-63.

    [17]

    Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization [C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

    [18]

    Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [C]. 2017 IEEE International Conference on Computer Vision (ICCV), 2017.

    [19]

    Ribeiro M T, Singh S, Guestrin C. “Why should i trust you?” explaining the predictions of any classifier [C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016: 1135-1144.

    [20]

    莊福振, 羅平, 何清, 等. 遷移學(xué)習(xí)研究進(jìn)展[J]. 軟件學(xué)報(bào), 2015, 26(1): 26-39.

    Zhuang Fuzhen, Luo Ping, He Qing, et al. Survey on transfer learning research [J]. Journal of Software, 2015, 26(1): 26-39.

    [21]

    Ishengoma F S, Rai I A, Said R N. Identification of maize leaves infected by fall armyworms using UAV-based imagery and convolutional neural networks [J]. Computers and Electronics in Agriculture, 2021, 184: 106124.

    [22]

    蘇炯銘, 劉鴻福, 項(xiàng)鳳濤, 等. 深度神經(jīng)網(wǎng)絡(luò)解釋方法綜述[J]. 計(jì)算機(jī)工程, 2020, 46(9): 1-15.

    Su Jiongming, Liu Hongfu, Xiang Fengtao, et al. Survey of interpretation methods for deep neural networks [J]. Computer Engineering, 2020, 46(9): 1-15.

    [23]

    Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [C]. IEEE International Conference on Computer Vision. IEEE, 2017.

    [24]

    Smilkov D, Thorat N, Kim B, et al. SmoothGrad: Removing noise by adding noise [J]. arXiv Preprint arXiv: 1706. 03825, 2017.

    [25]

    Woo S, Park J, Lee J, et al. CBAM: Convolutional block attention module [C]. Proceedings of the 15th European Conference on Computer Vision (ECCV), 2018.

    [26]

    張俊寧, 畢澤洋, 閆英, 等. 基于注意力機(jī)制與改進(jìn)YOLO的溫室番茄快速識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(5): 236-243.

    Zhang Junning, Bi Zeyang, Yan Ying, et al. Fast recognition of greenhouse tomato targets based on attention mechanism and improved YOLO [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(5): 236-243.

    [27]

    王昕, 董琴, 楊國宇. 基于優(yōu)化CBAM改進(jìn)YOLOv5的農(nóng)作物病蟲害識別[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2023, 32(7): 261-268.

    Wang Xin, Dong Qin, Yang Guoyu. YOLOv5 improved by optimized CBAM for crop pest identification [J]. Computer Systems amp; Applications, 2023, 32(7): 261-268.

    [28]

    衛(wèi)雅娜, 王志彬, 喬曉軍, 等. 基于注意力機(jī)制與EfficientNet的輕量化水稻病害識別方法[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(11): 172-181.

    Wei Yana, Wang Zhibin, Qiao Xiaojun, et al. Lightweight rice disease identification method based on attention mechanism and EfficientNet [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(11): 172-181.

    [29]

    張瑞青, 李張威, 郝建軍, 等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)花生莢果等級圖像識別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020,36(23): 171-180.

    Zhang Ruiqing, Li Zhangwei, Hao Jianjun, et al. Image recognition of peanut pod grades based on transfer learning with convolutional neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(23): 171-180.

    [30]

    周慧升. 玉米灰斑病的發(fā)生及綜合防治[J]. 云南農(nóng)業(yè), 2020(8): 56-58.

    [31]

    于雪瑩, 高繼勇, 王首程, 等. 基于生成對抗網(wǎng)絡(luò)和混合注意力機(jī)制殘差網(wǎng)絡(luò)的蘋果病害識別[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(6): 166-174.

    Yu Xueying, Gao Jiyong, Wang Shoucheng, et al. Apple disease recognition based on wassersteingenerative adversarialnetworks and hybrid attention mechanism residual network [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(6): 166-174.

    猜你喜歡
    遷移學(xué)習(xí)圖像處理深度學(xué)習(xí)
    機(jī)器學(xué)習(xí)在圖像處理中的應(yīng)用
    電子制作(2018年18期)2018-11-14 01:48:20
    模糊圖像處理,刑事偵查利器
    圖像處理技術(shù)的實(shí)戰(zhàn)應(yīng)用
    基于多特征融合的跨域情感分類模型研究
    奇異值分解與移移學(xué)習(xí)在電機(jī)故障診斷中的應(yīng)用
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    一種基于遷移極速學(xué)習(xí)機(jī)的人體行為識別模型
    国产一区二区三区综合在线观看| av不卡在线播放| 一边亲一边摸免费视频| 夫妻午夜视频| 久久久精品区二区三区| 久久精品人人爽人人爽视色| 国产精品熟女久久久久浪| 精品国产国语对白av| 2018国产大陆天天弄谢| 国产又爽黄色视频| 久久人人97超碰香蕉20202| 天天躁夜夜躁狠狠躁躁| 另类精品久久| 免费看av在线观看网站| 老司机靠b影院| 高清欧美精品videossex| 一区二区三区乱码不卡18| 亚洲天堂av无毛| 亚洲精品第二区| 色播在线永久视频| 亚洲国产精品一区三区| 国产高清国产精品国产三级| 精品久久久精品久久久| tube8黄色片| 久久国产精品大桥未久av| 视频区图区小说| 日本爱情动作片www.在线观看| 国产精品国产三级国产专区5o| 日韩一区二区视频免费看| 高清黄色对白视频在线免费看| 国产97色在线日韩免费| 女人爽到高潮嗷嗷叫在线视频| 老汉色∧v一级毛片| 亚洲精品av麻豆狂野| 久久精品国产亚洲av涩爱| 久久久欧美国产精品| 黄色视频不卡| 岛国毛片在线播放| 高清视频免费观看一区二区| 久久久久精品人妻al黑| 最近最新中文字幕大全免费视频 | 热re99久久精品国产66热6| 亚洲国产看品久久| 久久99一区二区三区| 一本色道久久久久久精品综合| 大片免费播放器 马上看| 婷婷成人精品国产| 国产精品蜜桃在线观看| 在线观看www视频免费| 18禁观看日本| 亚洲成人免费av在线播放| 国产亚洲精品第一综合不卡| 一区二区日韩欧美中文字幕| 十八禁网站网址无遮挡| 亚洲av日韩精品久久久久久密 | 亚洲第一av免费看| 18禁国产床啪视频网站| av有码第一页| 欧美日韩一区二区视频在线观看视频在线| av网站免费在线观看视频| 亚洲人成电影观看| 如日韩欧美国产精品一区二区三区| 国产黄色免费在线视频| 久久99一区二区三区| 中文精品一卡2卡3卡4更新| 日本欧美国产在线视频| 精品一品国产午夜福利视频| av.在线天堂| 国产成人欧美在线观看 | 亚洲 欧美一区二区三区| 中文字幕高清在线视频| 女人精品久久久久毛片| 午夜激情久久久久久久| 亚洲一区中文字幕在线| kizo精华| 日本午夜av视频| 色视频在线一区二区三区| 999精品在线视频| 亚洲久久久国产精品| 如日韩欧美国产精品一区二区三区| 国产一区二区 视频在线| 一边摸一边做爽爽视频免费| 日本黄色日本黄色录像| 少妇人妻 视频| 91精品国产国语对白视频| 国产欧美日韩一区二区三区在线| 色94色欧美一区二区| 一区二区av电影网| 国产男女内射视频| 中文精品一卡2卡3卡4更新| 亚洲av福利一区| 免费av中文字幕在线| 国产精品欧美亚洲77777| 国产一区亚洲一区在线观看| 欧美精品av麻豆av| 搡老乐熟女国产| 亚洲国产欧美网| 亚洲美女搞黄在线观看| 高清黄色对白视频在线免费看| 高清av免费在线| 久久久久国产精品人妻一区二区| 人妻一区二区av| 国产精品无大码| xxxhd国产人妻xxx| 日本91视频免费播放| 亚洲七黄色美女视频| 久久久国产一区二区| 一级a爱视频在线免费观看| 久久久欧美国产精品| 街头女战士在线观看网站| 免费观看性生交大片5| 999精品在线视频| 人妻一区二区av| 五月开心婷婷网| 人体艺术视频欧美日本| 亚洲精品日韩在线中文字幕| 免费人妻精品一区二区三区视频| 别揉我奶头~嗯~啊~动态视频 | 天天影视国产精品| 亚洲欧美成人精品一区二区| 19禁男女啪啪无遮挡网站| 亚洲欧美一区二区三区黑人| 日本午夜av视频| 一级毛片电影观看| 丁香六月欧美| 欧美精品高潮呻吟av久久| 91精品三级在线观看| 2021少妇久久久久久久久久久| 王馨瑶露胸无遮挡在线观看| 在线 av 中文字幕| 国产乱来视频区| 妹子高潮喷水视频| 欧美精品高潮呻吟av久久| 老鸭窝网址在线观看| 欧美日韩视频高清一区二区三区二| 18禁动态无遮挡网站| 久久国产精品大桥未久av| 中文精品一卡2卡3卡4更新| 亚洲精品成人av观看孕妇| 国产精品二区激情视频| e午夜精品久久久久久久| 国语对白做爰xxxⅹ性视频网站| 在线亚洲精品国产二区图片欧美| 久久午夜综合久久蜜桃| 成人手机av| 欧美日韩一级在线毛片| 免费观看性生交大片5| 十八禁高潮呻吟视频| 男女免费视频国产| 国产成人av激情在线播放| 久久精品国产a三级三级三级| 免费女性裸体啪啪无遮挡网站| 免费久久久久久久精品成人欧美视频| 久久久久久久国产电影| 日韩人妻精品一区2区三区| 国产成人av激情在线播放| 精品亚洲乱码少妇综合久久| 纵有疾风起免费观看全集完整版| 黄色毛片三级朝国网站| 久热这里只有精品99| 制服诱惑二区| 成年人午夜在线观看视频| 亚洲,欧美精品.| 久久精品久久久久久噜噜老黄| 午夜福利影视在线免费观看| 18禁国产床啪视频网站| 狂野欧美激情性xxxx| 久久人人爽人人片av| 啦啦啦 在线观看视频| 爱豆传媒免费全集在线观看| 超碰97精品在线观看| 90打野战视频偷拍视频| 精品一区在线观看国产| 久久久国产欧美日韩av| 最新的欧美精品一区二区| 久久97久久精品| 午夜福利视频在线观看免费| 国产一区二区三区av在线| 99久久99久久久精品蜜桃| 秋霞伦理黄片| 日韩伦理黄色片| av不卡在线播放| 国产成人一区二区在线| 777米奇影视久久| 婷婷色av中文字幕| 亚洲七黄色美女视频| 久久人人爽av亚洲精品天堂| 亚洲国产看品久久| 国产极品粉嫩免费观看在线| 久久久久国产精品人妻一区二区| 免费观看人在逋| 成人影院久久| 国产亚洲av片在线观看秒播厂| 欧美在线一区亚洲| 久久久久久久精品精品| 午夜免费观看性视频| 最黄视频免费看| 久久精品亚洲熟妇少妇任你| 亚洲成av片中文字幕在线观看| 亚洲av男天堂| 久久人人爽人人片av| 久久国产精品大桥未久av| 亚洲av电影在线进入| 欧美日韩亚洲综合一区二区三区_| 国产亚洲午夜精品一区二区久久| 亚洲av在线观看美女高潮| 18禁国产床啪视频网站| 丝袜喷水一区| 在线观看一区二区三区激情| avwww免费| 久久人妻熟女aⅴ| 久久久精品国产亚洲av高清涩受| 啦啦啦在线免费观看视频4| 女人被躁到高潮嗷嗷叫费观| 秋霞伦理黄片| 中文字幕另类日韩欧美亚洲嫩草| 日本一区二区免费在线视频| 777米奇影视久久| 国产成人av激情在线播放| 一本大道久久a久久精品| 亚洲av综合色区一区| 久久人人97超碰香蕉20202| 亚洲成色77777| 欧美日韩福利视频一区二区| 亚洲色图综合在线观看| 啦啦啦啦在线视频资源| 18禁国产床啪视频网站| 大香蕉久久成人网| 亚洲精品国产色婷婷电影| 超碰成人久久| 伊人久久大香线蕉亚洲五| 一本一本久久a久久精品综合妖精| a级毛片在线看网站| 在线亚洲精品国产二区图片欧美| 亚洲图色成人| 欧美黄色片欧美黄色片| 亚洲国产精品一区二区三区在线| 最近最新中文字幕免费大全7| 欧美激情高清一区二区三区 | av一本久久久久| 国产精品一区二区精品视频观看| 人妻 亚洲 视频| 午夜日本视频在线| 久久影院123| 一区二区三区激情视频| 午夜福利,免费看| 日本av免费视频播放| 久久青草综合色| 男人舔女人的私密视频| 国产高清不卡午夜福利| 最新在线观看一区二区三区 | 黑人欧美特级aaaaaa片| 免费看av在线观看网站| 黄色视频不卡| 操出白浆在线播放| 制服人妻中文乱码| 国产乱来视频区| 精品少妇黑人巨大在线播放| 亚洲一卡2卡3卡4卡5卡精品中文| 少妇猛男粗大的猛烈进出视频| 999精品在线视频| 亚洲,欧美,日韩| 欧美人与性动交α欧美精品济南到| 一区二区三区四区激情视频| 精品人妻一区二区三区麻豆| 国产欧美亚洲国产| 亚洲人成电影观看| 综合色丁香网| 久久精品国产a三级三级三级| 国产熟女欧美一区二区| 免费不卡黄色视频| 女性被躁到高潮视频| 成人午夜精彩视频在线观看| 超色免费av| 日本av手机在线免费观看| 人人妻,人人澡人人爽秒播 | avwww免费| 汤姆久久久久久久影院中文字幕| 91老司机精品| 中文字幕制服av| 黑丝袜美女国产一区| 在线观看三级黄色| 免费黄色在线免费观看| 老汉色av国产亚洲站长工具| 亚洲欧洲国产日韩| 欧美 亚洲 国产 日韩一| 午夜福利一区二区在线看| 亚洲精品,欧美精品| 国产1区2区3区精品| 久久久国产欧美日韩av| 久久免费观看电影| 亚洲精品久久午夜乱码| 亚洲少妇的诱惑av| 高清黄色对白视频在线免费看| 久久热在线av| 亚洲精品中文字幕在线视频| 90打野战视频偷拍视频| 亚洲av福利一区| 建设人人有责人人尽责人人享有的| 大香蕉久久网| 久久久久视频综合| 一级a爱视频在线免费观看| 欧美日本中文国产一区发布| 中国三级夫妇交换| 精品少妇一区二区三区视频日本电影 | 久久天堂一区二区三区四区| 久久精品久久久久久噜噜老黄| 日本欧美国产在线视频| 亚洲,欧美精品.| 亚洲国产av新网站| 欧美精品亚洲一区二区| 久久久国产精品麻豆| 精品午夜福利在线看| 欧美国产精品va在线观看不卡| 免费少妇av软件| 亚洲一码二码三码区别大吗| 中文字幕精品免费在线观看视频| 欧美日韩综合久久久久久| 啦啦啦视频在线资源免费观看| 久久亚洲国产成人精品v| 国产精品免费大片| avwww免费| 精品久久久久久电影网| 国产精品久久久久久精品电影小说| 亚洲成人国产一区在线观看 | 亚洲激情五月婷婷啪啪| 国产精品久久久久成人av| 久久女婷五月综合色啪小说| 在线观看免费高清a一片| 人人妻人人爽人人添夜夜欢视频| 久久人人爽av亚洲精品天堂| 黄色怎么调成土黄色| 午夜福利乱码中文字幕| 国产精品免费大片| 精品一品国产午夜福利视频| 国产精品免费大片| h视频一区二区三区| 最近最新中文字幕免费大全7| 免费黄网站久久成人精品| 国产精品国产三级专区第一集| 99久久综合免费| 十八禁高潮呻吟视频| 亚洲精品第二区| av有码第一页| 欧美人与性动交α欧美精品济南到| 欧美日韩视频高清一区二区三区二| 在线亚洲精品国产二区图片欧美| 国产福利在线免费观看视频| 国产亚洲欧美精品永久| 亚洲欧美一区二区三区国产| 欧美黑人欧美精品刺激| 极品人妻少妇av视频| 老司机影院成人| 亚洲成av片中文字幕在线观看| 一边亲一边摸免费视频| 国产精品久久久久久精品古装| 国产成人精品久久二区二区91 | 91精品国产国语对白视频| 在线观看一区二区三区激情| 大香蕉久久成人网| 亚洲自偷自拍图片 自拍| 亚洲精品久久成人aⅴ小说| 成人国产麻豆网| 国产 精品1| 99re6热这里在线精品视频| 一本色道久久久久久精品综合| 老司机影院成人| 亚洲久久久国产精品| 99热网站在线观看| 老汉色∧v一级毛片| 最近中文字幕2019免费版| 国产精品三级大全| 中文字幕亚洲精品专区| 日韩av不卡免费在线播放| www日本在线高清视频| 中文字幕人妻丝袜一区二区 | 亚洲国产精品国产精品| 香蕉丝袜av| 卡戴珊不雅视频在线播放| avwww免费| 波多野结衣一区麻豆| 不卡av一区二区三区| 两个人免费观看高清视频| 精品久久蜜臀av无| 狠狠精品人妻久久久久久综合| 国产成人精品无人区| 久久青草综合色| 久久精品aⅴ一区二区三区四区| 一区二区三区精品91| av女优亚洲男人天堂| 国产1区2区3区精品| 9色porny在线观看| 最近最新中文字幕免费大全7| 国产亚洲午夜精品一区二区久久| 亚洲专区中文字幕在线 | netflix在线观看网站| 在线观看一区二区三区激情| 亚洲美女视频黄频| 黄色 视频免费看| 一级片免费观看大全| 亚洲国产最新在线播放| 欧美激情高清一区二区三区 | 美女大奶头黄色视频| 我要看黄色一级片免费的| 精品国产一区二区三区久久久樱花| 精品卡一卡二卡四卡免费| 国产成人精品福利久久| 最近中文字幕高清免费大全6| 欧美黑人欧美精品刺激| xxxhd国产人妻xxx| 久久鲁丝午夜福利片| 久久久久久久精品精品| av有码第一页| 精品国产国语对白av| 免费高清在线观看日韩| 久久精品国产综合久久久| 国产精品.久久久| 在线观看免费高清a一片| av有码第一页| 最近手机中文字幕大全| 在线看a的网站| 一本久久精品| 男女免费视频国产| 777久久人妻少妇嫩草av网站| 国产精品 国内视频| 狂野欧美激情性bbbbbb| 亚洲精品日韩在线中文字幕| 妹子高潮喷水视频| 亚洲天堂av无毛| 飞空精品影院首页| 亚洲av成人精品一二三区| 国产深夜福利视频在线观看| 成人国语在线视频| 免费少妇av软件| 高清av免费在线| 精品人妻在线不人妻| 丰满乱子伦码专区| 人妻一区二区av| 午夜免费鲁丝| 色94色欧美一区二区| 亚洲国产欧美网| 精品国产露脸久久av麻豆| 亚洲自偷自拍图片 自拍| 中文字幕人妻丝袜制服| 9热在线视频观看99| 麻豆av在线久日| 国产精品国产三级国产专区5o| 国产精品成人在线| 久久久久久久国产电影| 七月丁香在线播放| 欧美av亚洲av综合av国产av | 男女床上黄色一级片免费看| 高清不卡的av网站| 国产av精品麻豆| 2021少妇久久久久久久久久久| 高清黄色对白视频在线免费看| 老司机在亚洲福利影院| av在线观看视频网站免费| 国产精品久久久久久精品古装| 别揉我奶头~嗯~啊~动态视频 | 精品国产超薄肉色丝袜足j| 亚洲天堂av无毛| 国产在线一区二区三区精| 日韩大片免费观看网站| h视频一区二区三区| av天堂久久9| 亚洲精品美女久久久久99蜜臀 | 亚洲美女搞黄在线观看| 国产精品亚洲av一区麻豆 | 午夜免费鲁丝| 99国产综合亚洲精品| 国产精品嫩草影院av在线观看| 亚洲一区二区三区欧美精品| 国产成人欧美| 日日撸夜夜添| 一区福利在线观看| 久久人人爽av亚洲精品天堂| 色94色欧美一区二区| 欧美国产精品va在线观看不卡| a级毛片在线看网站| 亚洲熟女毛片儿| 婷婷色综合大香蕉| 精品亚洲成国产av| 国产精品欧美亚洲77777| 亚洲精品美女久久久久99蜜臀 | tube8黄色片| 男女边吃奶边做爰视频| 在线精品无人区一区二区三| 嫩草影院入口| 成人毛片60女人毛片免费| 一边摸一边做爽爽视频免费| 操出白浆在线播放| 欧美精品高潮呻吟av久久| 夫妻午夜视频| 日本黄色日本黄色录像| 美国免费a级毛片| av网站免费在线观看视频| 久久精品久久久久久久性| 国产国语露脸激情在线看| 一个人免费看片子| 欧美精品av麻豆av| av有码第一页| 欧美日韩av久久| 91aial.com中文字幕在线观看| 韩国精品一区二区三区| 一级片'在线观看视频| 欧美激情 高清一区二区三区| 亚洲成人手机| 欧美精品人与动牲交sv欧美| 欧美亚洲日本最大视频资源| 亚洲av男天堂| 少妇被粗大的猛进出69影院| 国产成人a∨麻豆精品| 亚洲七黄色美女视频| 久久人人爽人人片av| 免费在线观看黄色视频的| 日韩视频在线欧美| 91老司机精品| 人体艺术视频欧美日本| 免费黄色在线免费观看| 国产极品粉嫩免费观看在线| 欧美在线黄色| 我的亚洲天堂| 男女之事视频高清在线观看 | 亚洲av在线观看美女高潮| 大片电影免费在线观看免费| 亚洲久久久国产精品| 欧美日韩国产mv在线观看视频| 一级,二级,三级黄色视频| 自线自在国产av| 一边亲一边摸免费视频| 老汉色av国产亚洲站长工具| 成人18禁高潮啪啪吃奶动态图| 国产成人精品福利久久| 久久久久精品性色| 日本午夜av视频| 欧美av亚洲av综合av国产av | 美女脱内裤让男人舔精品视频| 亚洲欧美一区二区三区国产| 操出白浆在线播放| 午夜福利乱码中文字幕| 男男h啪啪无遮挡| 久久免费观看电影| 久久久久久久国产电影| 国产精品 欧美亚洲| 国产在线免费精品| 国产片特级美女逼逼视频| 香蕉国产在线看| 亚洲成人免费av在线播放| 欧美精品av麻豆av| 国产精品av久久久久免费| 亚洲欧美激情在线| 99久久精品国产亚洲精品| 亚洲人成网站在线观看播放| 午夜日韩欧美国产| av.在线天堂| 国产精品一二三区在线看| 亚洲免费av在线视频| 国产伦理片在线播放av一区| 人妻人人澡人人爽人人| 久久99精品国语久久久| 91成人精品电影| 精品一区二区三区av网在线观看 | 国产免费视频播放在线视频| 交换朋友夫妻互换小说| 午夜精品国产一区二区电影| 国产激情久久老熟女| 国产在线免费精品| 久热爱精品视频在线9| 99久久精品国产亚洲精品| 久久av网站| av不卡在线播放| 制服诱惑二区| 国产日韩欧美在线精品| 久久久久久久精品精品| 中文天堂在线官网| 男人舔女人的私密视频| 免费av中文字幕在线| 国产精品一区二区在线观看99| 久热爱精品视频在线9| 日日撸夜夜添| 久久久久精品人妻al黑| 久久久久网色| 国产极品粉嫩免费观看在线| 热99久久久久精品小说推荐| 咕卡用的链子| 成人黄色视频免费在线看| 欧美97在线视频| 丁香六月欧美| 色精品久久人妻99蜜桃| 精品亚洲成a人片在线观看| 丰满迷人的少妇在线观看| 国产免费福利视频在线观看| 亚洲国产欧美日韩在线播放| 2018国产大陆天天弄谢| 久久久久久久久久久免费av| 青春草国产在线视频| 各种免费的搞黄视频| 十八禁网站网址无遮挡| 亚洲欧美一区二区三区国产| 十分钟在线观看高清视频www| 捣出白浆h1v1| 97人妻天天添夜夜摸| 日韩制服骚丝袜av| 亚洲,欧美,日韩| 成年人午夜在线观看视频| 亚洲国产av影院在线观看| 亚洲第一青青草原| 2021少妇久久久久久久久久久| 日本一区二区免费在线视频| 久久久精品免费免费高清| 最近手机中文字幕大全| 看非洲黑人一级黄片| 宅男免费午夜| 一边摸一边抽搐一进一出视频|