雙分支網(wǎng)絡(luò)的蘋果葉部病害識別

陸仲達(dá)，張春達(dá)，張佳奇，王子菲，許軍華

1.齊齊哈爾大學(xué) 機(jī)電工程學(xué)院，黑龍江 齊齊哈爾161000

2.齊齊哈爾大學(xué) 計(jì)算機(jī)與控制工程學(xué)院，黑龍江 齊齊哈爾161000

植物病害是危害世界農(nóng)業(yè)發(fā)展的主要因素，每年都會造成嚴(yán)重的經(jīng)濟(jì)損失，隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，植物病害識別受到了越來越多學(xué)者的關(guān)注。目前植物病害識別已經(jīng)成為模式識別以及現(xiàn)代化農(nóng)業(yè)發(fā)展的重要研究領(lǐng)域。早期的植物病害識別是人工從圖片中提取病變區(qū)域，根據(jù)分割出的植物病斑，采用均值聚類（-means clustering algorithm）、人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）以及支持向量機(jī)（support vector machine，SVM）的方法進(jìn)行病害診斷。但是由于植物病斑的復(fù)雜性，提取出有效的病斑特征也并不容易。即使提取到有效的病斑特征進(jìn)行診斷，也會因方法本身而出現(xiàn)識別率低、泛化能力弱的缺點(diǎn)。2012 年AlexNet 的提出使深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）更加廣泛地應(yīng)用于圖像識別領(lǐng)域，在其基礎(chǔ)上VGG-16、GooLeNet、ResNet 等更多優(yōu)良的模型被提出。張建華等人采用遷移學(xué)習(xí)的方式對VGG-16 進(jìn)行調(diào)整，實(shí)現(xiàn)了對油茶的病害識別。胡志偉等人提出注意力機(jī)制和殘差相結(jié)合的ARNet 實(shí)現(xiàn)了對番茄的病害識別。王昌龍等人提出病斑灰度圖和LBP（local binary pattern）特征圖相結(jié)合的雙通道卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對南瓜的病害識別。上述方法對植物病害識別均取得了較好的效果，但對于復(fù)雜背景環(huán)境和病斑相似性引起的類內(nèi)、類間差距仍有進(jìn)一步研究的空間。

為了更好地解決此問題，本文在雙線性卷積神經(jīng)網(wǎng)絡(luò)B-CNN（bilinear CNN）基礎(chǔ)上，提出了一種新型蘋果葉部病害識別方法DBNet（dual branch network），用于識別蘋果葉部5 種較為常見、發(fā)病率較高的花葉病、銹病、灰斑病、斑點(diǎn)落葉病和褐斑病。DBNet 包含多尺度聯(lián)合分支（multi-scale branch，MS）以及多維度注意力分支（multi-dimensional attention branch，DA）。多尺度聯(lián)合分支（MS）通過對Inception結(jié)構(gòu)進(jìn)行改進(jìn)，從而提取不同感受野的圖像特征，并通過跨層連接從而融合不同層級的特征信息。多維度注意力分支（DA）是在SENet的基礎(chǔ)上，提出的一種新型注意力機(jī)制，該機(jī)制能夠提取3個不同維度的注意力特征。然后DBNet 將兩個分支的多尺度特征和多維度特征進(jìn)行融合，并在西北農(nóng)林大學(xué)發(fā)布的蘋果葉部病害數(shù)據(jù)集上取得了較高的識別精度。

1 雙分支網(wǎng)絡(luò)的蘋果葉部病害識別方法

由于復(fù)雜背景和病斑相似性的影響，給蘋果葉部病害識別造成了較大困難，本文提出了一種新型雙分支網(wǎng)絡(luò)的蘋果葉部病害識別方法（DBNet）。接下來對DBNet 網(wǎng)絡(luò)結(jié)構(gòu)、多尺度聯(lián)合分支（MS）的模型構(gòu)建、多維度注意力分支（DA）的原理進(jìn)行詳細(xì)研究。

1.1 DBNet網(wǎng)絡(luò)結(jié)構(gòu)

蘋果葉部病害識別是對同一基礎(chǔ)類別進(jìn)行更加細(xì)致的子類劃分。受病斑相似性影響子類與子類之間的類間差距細(xì)微，并且受復(fù)雜背景環(huán)境的影響，導(dǎo)致子類的類內(nèi)差距較大。如圖1 可知，銹病、灰斑病和斑點(diǎn)落葉病的病斑間顏色、紋理相似，導(dǎo)致類間差距較小，并由于不同的拍攝條件以及背景的復(fù)雜性，同種子類間會受到單張葉片和一簇葉片的影響，導(dǎo)致類內(nèi)差距較大。使卷積神經(jīng)網(wǎng)絡(luò)在識別過程中有較大概率出現(xiàn)誤判的情況。

圖1 蘋果葉部病害圖像Fig.1 Leaf disease diagram of apple

B-CNN 主要用于細(xì)粒度圖像分類任務(wù)，與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，其特殊之處在于該架構(gòu)采用分流結(jié)構(gòu)，具有兩個分支，每個分支采用基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，兩分支為對稱結(jié)構(gòu)或不對稱結(jié)構(gòu)均可。特征提取結(jié)束后，采用雙線性池化操作實(shí)現(xiàn)特征融合。B-CNN 采用雙分支的結(jié)構(gòu)能夠提取到更多物體特征和局部特征，但并未考慮到注意力機(jī)制以及多尺度信息對網(wǎng)絡(luò)性能的影響。本文在B-CNN 的基礎(chǔ)上，提出了一種新型雙分支卷積神經(jīng)網(wǎng)絡(luò)模型（DBNet）。DBNet 網(wǎng)絡(luò)設(shè)計(jì)的出發(fā)點(diǎn)是緩解復(fù)雜背景環(huán)境和病斑相似性對病害識別造成的不良影響，因此設(shè)計(jì)了雙分支結(jié)構(gòu)，且各分支的權(quán)值不共享。其網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵在于采用雙分支網(wǎng)絡(luò)提取更多有效的病斑的特征，且由于各分支網(wǎng)絡(luò)結(jié)構(gòu)不同，提取到的特征也不盡相同。多尺度聯(lián)合分支（MS）采用標(biāo)準(zhǔn)卷積與空洞卷積等不同卷積核并行的方式獲得不同的感受野，從而既可以提取全局的整體信息，又可以提取局部的細(xì)節(jié)信息。多維度注意力分支（DA）采用標(biāo)準(zhǔn)卷積和注意力機(jī)制相結(jié)合的方式，在病害識別時，使網(wǎng)絡(luò)更加關(guān)注圖像的病斑區(qū)域，關(guān)注病害之間存在的微小差異，從而提升網(wǎng)絡(luò)識別的準(zhǔn)確率。DBNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，其中?表示Concat 連接，?表示“*”，⊕表示“+”，F(xiàn)C 表示全連接層，Softmax 表示一種激活函數(shù)。

圖2 DBNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 DBNet network structure

DBNet網(wǎng)絡(luò)結(jié)構(gòu)可以分為三部分，多尺度聯(lián)合分支（MS）、多維度注意力分支（DA）以及最后的特征融合部分。輸入一張尺寸為3×224×224 的病害圖像，該圖像分別通過MS 分支和DA 分支提取特征。兩分支均采用VGG-16 作為基礎(chǔ)網(wǎng)絡(luò)，并根據(jù)兩分支在DBNet 中的不同功能，對VGG-16 網(wǎng)絡(luò)進(jìn)行調(diào)整。MS 分支通過不同尺寸的卷積核來獲取不同感受野下的圖像特征，并將提取到的特征進(jìn)行聚合，同時通過跨層連接與淺層網(wǎng)絡(luò)的低等級圖像信息連接，獲取多級特征，從而達(dá)到多尺度信息融合的目的。DA分支是通過在通道、寬、高三個維度的注意力機(jī)制，將空間注意力和通道注意力相結(jié)合，對特征圖每個位置進(jìn)行三維的注意力調(diào)整，使卷積神經(jīng)網(wǎng)絡(luò)能夠更好地關(guān)注到圖像的顯著性病斑區(qū)域。最后，MS 分支和DA 分支提取到的特征經(jīng)過全局平均池化，在減少模型參數(shù)的同時，采用Concat 方式進(jìn)行特征融合，最終采用Softmax 函數(shù)實(shí)現(xiàn)蘋果葉部病害識別。

1.2 多尺度聯(lián)合分支（MS）

由于植物不同病害的病斑圖像會有所差異，例如蘋果葉部的花葉病、褐斑病與銹病、灰斑病、斑點(diǎn)落葉病有所區(qū)別，前兩者的病斑區(qū)域遍布整張葉片，而后三者的病斑區(qū)域只占據(jù)葉片中的一小部分。并且由于單張葉片和一簇葉片等復(fù)雜背景的影響，對同種類病害圖像識別也會造成較大困難。僅在一個卷積分支下來獲取多尺度物體的特征并不是最優(yōu)的方法。因此構(gòu)建MS 分支最主要的目的是通過使用不同尺寸的卷積核，獲取不同的感受野，當(dāng)圖像中病斑信息分布比較分散時，大核卷積能夠獲得更多的全局特征，而病斑信息分布比較集中時，小核卷積能夠獲得更多的局部特征。MS 分支模塊結(jié)構(gòu)如圖3 所示，表示通道數(shù)，表示寬度，表示高度，表示空洞率，?表示Concat連接，⊕表示“+”。MS 分支可以分為多尺寸卷積和跨層連接兩部分。多尺寸卷積部分由6 個不同大小的卷積核組成，分別由1×1 和3×3 卷積，空洞率為2、3 的空洞卷積以及1×3、3×1不對稱卷積組成。

圖3 MS 分支結(jié)構(gòu)圖Fig.3 MS branch structure

其中，空洞卷積是在標(biāo)準(zhǔn)卷積基礎(chǔ)上添加了一個空洞率的超參，在實(shí)現(xiàn)時可采用數(shù)字0 對卷積核進(jìn)行填充。如圖4（a）所示：3×3 的標(biāo)準(zhǔn)卷積空洞率為1，感受野為3×3；空洞率為2 的卷積是在3×3 標(biāo)準(zhǔn)卷積中用一個0 進(jìn)行填充，感受野為5×5；空洞率為3 的卷積是在3×3 標(biāo)準(zhǔn)卷積中用兩個0 進(jìn)行填充，感受野為7×7。深度卷積神經(jīng)網(wǎng)絡(luò)中通常會采用下采樣的方式增加感受野，但會降低圖像分辨率，造成空間細(xì)節(jié)信息的丟失。而空洞卷積通過設(shè)置空洞率來擴(kuò)大感受野，并且設(shè)置不同的空洞率還能夠捕獲多尺度的上下文信息。由圖4（a）可知，空洞率為2、3 的空洞卷積在不增加額外參數(shù)的基礎(chǔ)上，將3×3 卷積的感受野擴(kuò)大為5×5 和7×7，捕獲了圖像的多尺度信息。

標(biāo)準(zhǔn)的×卷積可以分解成為兩個1×和×1 不對稱卷積，×標(biāo)準(zhǔn)卷積計(jì)算量為×，分解為不對稱卷積后計(jì)算量變?yōu)?×。不對稱卷積1×3 和3×1 最初是為了減少計(jì)算量而設(shè)計(jì)，但會存在少量的精度損失，于是將3×3 卷積與1×3、3×1 卷積的結(jié)果相加，在原來3×3 卷積的基礎(chǔ)上，又額外學(xué)習(xí)了水平核和垂直核，如圖4（b）所示。其核心思想是采用3 個并行層，將輸入特征與標(biāo)準(zhǔn)卷積和兩個不對稱卷積進(jìn)行運(yùn)算，再利用卷積的可加性，將不對稱卷積等效地融合到標(biāo)準(zhǔn)卷積中，可以將3 個卷積核視為一個增強(qiáng)的卷積核，即通過不對稱卷積增強(qiáng)標(biāo)準(zhǔn)卷積的核骨架。

圖4 空洞卷積和非對稱卷積Fig.4 Dilated convolution and asymmetric convolutions

多尺寸卷積部分的具體操作如下所示：

式中，表示不同類型卷積操作；表示輸入；sum 表示加和操作；?表示Concat連接。

MS 分支的輸入圖像尺寸為××，通道數(shù)為，通過6 種不同大小的卷積核生成4 組特征圖，考慮到計(jì)算量以及多尺度信息冗余的影響，將每種卷積核的數(shù)量設(shè)置為/4，然后經(jīng)過Concat 連接，將4 組通道數(shù)為/4 的特征圖聚合，得到特征圖的通道數(shù)為，與原輸入尺寸相同。

跨層連接是將卷積神經(jīng)網(wǎng)絡(luò)低層和高層的信息相結(jié)合，既保留了低等級的紋理信息，也提升了卷積神經(jīng)網(wǎng)絡(luò)高等級的語義信息。如圖5 所示，跨層連接將卷積神經(jīng)網(wǎng)絡(luò)上層輸出的特征圖與卷積神經(jīng)網(wǎng)絡(luò)下層輸出的特征圖連接，通道數(shù)會變?yōu)樵瓉淼? 倍，并將此特征圖做為下一層的輸入。

圖5 跨層連接Fig.5 Skip connections

1.3 多維度注意力分支（DA）

與傳統(tǒng)圖像分類相比，部分植物不同種類病害之間的差距僅包含在微小的局部細(xì)節(jié)當(dāng)中，同時又受到背景和病斑形狀的影響，使識別難度增強(qiáng)。MS分支通過多尺度信息的融合，能夠處理復(fù)雜背景、病斑分布不均等產(chǎn)生的類內(nèi)差距，對于部分病斑之間微小的類間差距，作用效果并不明顯，而且在下采樣的過程中還會造成重要的局部信息丟失。本文在SENet 的基礎(chǔ)上，提出了一種新型注意力機(jī)制——多維度注意力，并通過多維度注意力機(jī)制構(gòu)建了多維度注意力分支（DA）。DA 分支采用注意力機(jī)制來對圖像中病斑區(qū)域進(jìn)行定位，從而得到更多有效的病斑特征，也可緩解因圖像尺寸改變帶來的不利影響。多維度注意力模塊結(jié)構(gòu)如圖6 所示。其中，表示通道數(shù)，表示高度，表示寬度，1×1 conv 表示1×1 卷積，Softmax()表示對某一維度進(jìn)行Softmax 激活操作，?表示“*”，⊕表示“+”。

圖6 DA 分支注意力模塊結(jié)構(gòu)圖Fig.6 DA branch attention module structure

DA 分支模塊輸入尺寸為××的特征圖，經(jīng)過1×1 卷積后，分別在通道、高度、寬度3 個維度進(jìn)行Softmax 操作，如式（2）所示，x表示不同狀態(tài)下輸入，表示卷積操作，Softmax()表示對某一維度進(jìn)行Softmax 運(yùn)算：

在經(jīng)過Softmax 運(yùn)算后分別乘以一個維度比重系數(shù)，該系數(shù)表示各自維度所占的比重，從而得到各維度注意力所占總體的比重。式（3）中A表示不同維度注意力，sum 表示加和操作：

然后，將不同維度注意力相加，與輸入圖像相乘，獲得注意力特征，最終與輸入圖像累加得到更顯著的圖像特征：

DA 分支注意力模塊原理如圖7 所示。其中，輸入矩陣(××)大小為2×3×4，各元素值為：

圖7 多維度注意力原理圖Fig.7 Diagram of multi-dimensional attention

空間注意力是將特征圖在(,)兩個維度的每個位置進(jìn)行調(diào)整，通道注意力是對通道維度進(jìn)行調(diào)整。多維度注意力模塊則是將卷積神經(jīng)網(wǎng)絡(luò)中特征圖視為一個三維矩陣，且各位置元素間相互獨(dú)立。通過對Softmax 函數(shù)分別計(jì)算3 個維度、、的注意力矩陣，但由于3 個維度、、尺寸并不相同，使得各維度所占總體的比重也并不相同，并且隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷加深，3 個維度、、還會變化，因此還需乘以一個維度比重系數(shù)如式（3）所示。在淺層卷積神經(jīng)網(wǎng)絡(luò)中，由于圖像的寬度、高度較大，通道數(shù)較少，寬、高兩個維度起主要作用。隨著卷積神經(jīng)網(wǎng)絡(luò)下采樣的進(jìn)行，通道數(shù)不斷增多，寬度、高度不斷減小，因此在深層卷積神經(jīng)網(wǎng)絡(luò)中通道維度起主要作用。因此，DA 分支的注意力機(jī)制還能夠隨著網(wǎng)絡(luò)層數(shù)的不斷加深，而改變各維度注意力所占比重。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)采用西北農(nóng)林大學(xué)開源的蘋果葉部病害數(shù)據(jù)集如圖1 所示，數(shù)據(jù)集采用BM-500GE 彩色相機(jī)，在室外環(huán)境和實(shí)驗(yàn)室環(huán)境進(jìn)行拍攝，共26 377 張圖片，其中花葉病4 875 張、褐斑病5 655 張、銹病5 694張、灰斑病4 810 張、斑點(diǎn)落葉病5 343 張。將數(shù)據(jù)集的70%作為訓(xùn)練，30%作為測試，訓(xùn)練集與測試集之比為7∶3，并保持訓(xùn)練集與測試集數(shù)據(jù)分布相同，具體數(shù)據(jù)分布如表1 所示，訓(xùn)練集18 462 張圖片，驗(yàn)證集7 915 張圖片。實(shí)驗(yàn)環(huán)境具體配置如表2 所示，采用32 GB 顯存NVIDIA Tesla V100 顯卡，深度學(xué)習(xí)框架采用PaddlePaddle 1.8.4 版本。

表1 數(shù)據(jù)分布表Table 1 Data distribution

表2 實(shí)驗(yàn)環(huán)境配置表Table 2 Experiment environment

實(shí)驗(yàn)參數(shù)設(shè)置如表3 所示。輸入圖像尺寸為224×224，采用GPU 加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度，選擇自適應(yīng)矩估計(jì)算法（adaptive moment estimation，Adam）作為模型參數(shù)優(yōu)化器（optimizer），學(xué)習(xí)率（learningrate）為0.001，損失函數(shù)采用交叉熵?fù)p失（cross entropy loss），神經(jīng)網(wǎng)絡(luò)每批次（batchsize）訓(xùn)練60 張圖片，訓(xùn)練周期（epoch)為30 輪。

表3 實(shí)驗(yàn)參數(shù)表Table 3 Experiment parameters

2.2 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提DBNet 方法的有效性，將此方法與常用的卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet、VGG-16、ResNet-50、B-CNN 進(jìn)行對比分析。在蘋果葉部病害數(shù)據(jù)集上，對每個模型從頭開始訓(xùn)練，直至模型收斂，并保證每個模型的訓(xùn)練條件相同。模型訓(xùn)練過程中，訓(xùn)練集每完成一次訓(xùn)練迭代，對驗(yàn)證集進(jìn)行一次測試，能夠更直觀地顯示模型在訓(xùn)練過程中的性能的變化。圖8 表示不同網(wǎng)絡(luò)模型在蘋果葉部病害數(shù)據(jù)集上損失函數(shù)及準(zhǔn)確率的變化情況。其中Loss 表示損失函數(shù)，Epoch 表示訓(xùn)練周期，Accuracy（acc）代表準(zhǔn)確率。

圖8 不同網(wǎng)絡(luò)模型訓(xùn)練結(jié)果Fig.8 Results of different network models

由圖8 可知，DBNet、AlexNet、VGG-16、ResNet-50、B-CNN 在30 輪訓(xùn)練周期內(nèi)，模型均達(dá)到收斂。雖然DBNet 模型相較于其他模型具有更多的注意力模塊以及多尺度部分，但并沒有影響到模型損失函數(shù)的下降速度和收斂速度。通過訓(xùn)練集和驗(yàn)證集的訓(xùn)練結(jié)果可知，在蘋果葉部病害數(shù)據(jù)中，DBNet 并沒有因自身模型結(jié)構(gòu)產(chǎn)生嚴(yán)重的過擬合現(xiàn)象。

DBNet、AlexNet、VGG-16、ResNet-50、B-CNN 網(wǎng)絡(luò)模型準(zhǔn)確率如表4 所示。本文提出的DBNet 在蘋果葉部病害數(shù)據(jù)集上取得了最高97.662%的識別精度，與AlexNet、VGG-16、ResNet-50、B-CNN 相比識別精度分別提升了0.107 64、0.054 07、0.046 49、0.031 2。驗(yàn)證了DBNet 方法在蘋果葉部病害識別方面的有效性。

表4 網(wǎng)絡(luò)模型準(zhǔn)確率Table 4 Accuracy of network models

圖9 表示不同模型在蘋果葉部病害數(shù)據(jù)上準(zhǔn)確率變化情況。圖中各網(wǎng)絡(luò)模型整體呈上升趨勢，在前20 個訓(xùn)練周期內(nèi)，各網(wǎng)絡(luò)模型準(zhǔn)確率波動幅度較大，在后10 個訓(xùn)練周期內(nèi)，準(zhǔn)確度明顯提高，并逐漸趨于穩(wěn)定。AlexNet 包含5 個卷積層和3 個全連接層，網(wǎng)絡(luò)深度為8 層，在數(shù)據(jù)集上準(zhǔn)確率僅為86.898%。VGG-16網(wǎng)絡(luò)深度為16層，與AlexNet準(zhǔn)確率相比提升了0.053 57，說明網(wǎng)絡(luò)深度對準(zhǔn)確率影響較大。實(shí)驗(yàn)更深的ResNet-50 網(wǎng)絡(luò)，準(zhǔn)確率與VGG-16 相比提升了0.007 58，提升幅度不高，因此網(wǎng)絡(luò)深度達(dá)到一定層次后，再次加深神經(jīng)網(wǎng)絡(luò)，效果并沒有預(yù)計(jì)的可觀，但隨著網(wǎng)絡(luò)模型深度的增加，模型會更加復(fù)雜。實(shí)驗(yàn)兩條VGG-16 組成的B-CNN 網(wǎng)絡(luò)，與準(zhǔn)確率最高的單分支網(wǎng)絡(luò)ResNet-50 相比，提升了0.015 29，說明雙分支網(wǎng)絡(luò)在蘋果葉部病害識別任務(wù)上，要優(yōu)于單分支網(wǎng)絡(luò)。雙分支網(wǎng)絡(luò)能夠提取到更多的圖像特征。實(shí)驗(yàn)本文提出的DBNet，其包含MS分支和DA 分支，與B-CNN 的兩條VGG-16 分支相比，能夠更好地緩解復(fù)雜背景環(huán)境和病斑相似性帶來的不利影響，準(zhǔn)確率也達(dá)到了97.662%。

圖9 不同網(wǎng)絡(luò)模型準(zhǔn)確率變化對比Fig.9 Comparison of accuracy changes of different network models

同時為驗(yàn)證DBNet 模型的復(fù)雜程度，本文從模型參數(shù)（Params）、浮點(diǎn)運(yùn)算次數(shù)（FLOPs）以及CPU 預(yù)測時間三方面對其進(jìn)行分析，如表5 所示。AlexNet受網(wǎng)絡(luò)深度影響，模型參數(shù)、浮點(diǎn)運(yùn)算次數(shù)、預(yù)測時間都是最少的，但其準(zhǔn)確率也受到了影響。ResNet-50 采用了瓶頸模塊，與VGG-16 相比減少了參數(shù)量，B-CNN 則由于雙分支網(wǎng)絡(luò)以及雙線性池化使模型過于復(fù)雜。本文的DBNet 雖采用兩個VGG-16 作為基礎(chǔ)網(wǎng)絡(luò)，但DBNet 中的DA 分支將VGG-16 中的普通卷積替換為深度可分離卷積，MS 分支則采用淺層信息與深層信息相結(jié)合的跨層連接，極大減少了模型參數(shù)以及浮點(diǎn)運(yùn)算次數(shù)，降低了預(yù)測時間。

表5 網(wǎng)絡(luò)復(fù)雜度Table 5 Network complexity

2.3 消融實(shí)驗(yàn)

為驗(yàn)證不同組合的卷積類型對MS 分支的影響，設(shè)置9 組消融實(shí)驗(yàn)，結(jié)果如表6 所示：當(dāng)單個3×3 卷積核增加至多卷積核，MS 分支中網(wǎng)絡(luò)寬度的增加，準(zhǔn)確率呈上升趨勢；并設(shè)置3 種不同空洞率的空洞卷積實(shí)驗(yàn)對網(wǎng)絡(luò)的影響，當(dāng)空洞率=4 時，準(zhǔn)確率有所下降，最終選擇空洞率=2,3 的空洞卷積；3×1 和1×3的不對稱卷積增加網(wǎng)絡(luò)的非線性，提高了模型的表達(dá)能力，并額外學(xué)習(xí)了水平核與垂直核的特征，增加了捕獲特征的多樣性，從而提高了分類精度。

表6 MS 消融實(shí)驗(yàn)Table 6 MS ablation experiments

為驗(yàn)證MS 分支和DA 分支對DBNet網(wǎng)絡(luò)性能的影響，分別設(shè)置四種網(wǎng)絡(luò)結(jié)構(gòu)VGG+VGG、VGG+MS、VGG+DA、MS+DA 的消融實(shí)驗(yàn)。經(jīng)過30 輪訓(xùn)練，四種網(wǎng)絡(luò)結(jié)構(gòu)在驗(yàn)證集準(zhǔn)確率變化如圖10 所示。VGG+MS 結(jié)構(gòu)和VGG+DA 結(jié)構(gòu)準(zhǔn)確率均優(yōu)于VGG+VGG 結(jié)構(gòu)，MS+DA 結(jié)構(gòu)準(zhǔn)確率最高，說明MS分支和DA 分支對蘋果葉部病害識別具有促進(jìn)作用。

圖10 四種結(jié)構(gòu)準(zhǔn)確率變化Fig.10 Accuracy of four structures

VGG+VGG、VGG+MS、VGG+DA、MS+DA 四種網(wǎng)絡(luò)結(jié)構(gòu)對不同蘋果葉部病害識別情況如表7 所示。VGG+MS 結(jié)構(gòu)對五種蘋果葉部病害識別的準(zhǔn)確度均高于VGG+VGG 結(jié)構(gòu)，說明MS 分支能夠提取多尺度特征，有效緩解復(fù)雜背景環(huán)境以及病斑形狀分布不均帶來的不利影響。VGG+DA 結(jié)構(gòu)對于銹病、灰斑病、斑點(diǎn)落葉病識別精度較高，說明DA 分支能夠運(yùn)用多維注意力機(jī)制，有效緩解病斑相似性帶來的不利影響。因此，本文最終結(jié)合MS 分支和DA 分支構(gòu)成了DBNet，能夠有效地提升識別精度，并緩解復(fù)雜背景環(huán)境和病斑相似性帶來的不利影響。

表7 消融實(shí)驗(yàn)Table 7 Ablation experiments %

為驗(yàn)證DBNet 網(wǎng)絡(luò)性能，與其他葉部病害識別模型進(jìn)行對比，如表8 所示，其準(zhǔn)確率相較于其他四種方法分別提升了0.028 43、0.024 12、0.014 4、0.012 5。結(jié)果顯示，本文提出的DBNet 模型在蘋果葉部病害識別方面具有一定先進(jìn)性。

表8 模型對比實(shí)驗(yàn)Table 8 Contrast experiment of models

3 結(jié)束語

本文提出了一種雙分支網(wǎng)絡(luò)的蘋果葉部病害識別方法，該方法能夠有效結(jié)合病斑圖像的多尺度特征以及多維注意力特征，從而有效緩解復(fù)雜背景環(huán)境以及病斑相似性給蘋果葉部病害識別帶來的不利影響。并通過實(shí)驗(yàn)驗(yàn)證該方法具有較高的識別精度。同時在研究過程中提出了一種新型注意力機(jī)制，能夠提取通道、寬、高三個維度的注意力特征。并考慮在未來工作中，將多維注意力機(jī)制引入語義分割等其他計(jì)算機(jī)視覺任務(wù)中。