基于可分離擴(kuò)張卷積和通道剪枝的番茄病害分類(lèi)方法

姜晟久 鐘國(guó)韻

摘要： 為了實(shí)現(xiàn)番茄病害的快速檢測(cè)，針對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)病害分類(lèi)方法參數(shù)量大、對(duì)算力要求高的問(wèn)題，提出了一種基于可分離擴(kuò)張卷積和通道剪枝的番茄病害分類(lèi)方法?；贛obileNet v2，提出了一種可分離擴(kuò)張卷積塊，在不增加網(wǎng)絡(luò)參數(shù)的情況下，擴(kuò)大網(wǎng)絡(luò)的感受野，提升網(wǎng)絡(luò)提取番茄葉部病害特征的能力。然后替換PReLU激活函數(shù)，避免產(chǎn)生梯度彌散問(wèn)題。同時(shí)能夠更好地處理圖像，提高網(wǎng)絡(luò)對(duì)番茄葉部病害負(fù)值特征信息的提取能力，具有更好的魯棒性。最后，使用通道剪枝技術(shù)，引入縮放因子聯(lián)合權(quán)重?fù)p失函數(shù)，分辨相對(duì)不重要的通道，并對(duì)其進(jìn)行裁剪，再對(duì)剪枝后的網(wǎng)絡(luò)進(jìn)行微調(diào)并重復(fù)以上步驟，在大幅減少網(wǎng)絡(luò)參數(shù)量的同時(shí)，不影響網(wǎng)絡(luò)的性能。在數(shù)據(jù)集上的結(jié)果表明，研究方法在網(wǎng)絡(luò)參數(shù)量?jī)H為0.7 M的情況下，準(zhǔn)確率達(dá)到了96.44%，精確率達(dá)到了96.36%。與目前主流輕量化網(wǎng)絡(luò)MobileNet v3、GhostNet、ShuffleNet v2相比，模型準(zhǔn)確率分別提高了0.45、0.77、0.24百分點(diǎn)，同時(shí)模型參數(shù)量分別僅為以上模型的12.96%、13.46%、30.43%，模型更輕量且準(zhǔn)確率更高。

關(guān)鍵詞： 番茄病害；可分離擴(kuò)張卷積；通道剪枝；MobileNet v2

中圖分類(lèi)號(hào)：TP391.41 ?文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2024）02-0182-08

農(nóng)作物病蟲(chóng)害是制約我國(guó)農(nóng)業(yè)生產(chǎn)的主要災(zāi)害之一，嚴(yán)重影響農(nóng)作物的產(chǎn)量和質(zhì)量，其中災(zāi)難性農(nóng)作物病蟲(chóng)害的發(fā)生加劇了糧食供應(yīng)的短缺［1］。番茄作為重要的蔬菜，被廣泛種植于世界各地，我國(guó)便是番茄種植大國(guó)之一［2］。在栽培或收獲后的貯藏期間，番茄容易感染由一系列致病真菌、線蟲(chóng)、細(xì)菌或病毒引起的200多種疾?。?］。因此，及時(shí)診斷和防治番茄病害，對(duì)于保證番茄的高產(chǎn)有著重要意義。

近年來(lái)，圖像處理和計(jì)算機(jī)視覺(jué)方法被應(yīng)用到番茄葉片圖像獲取中［4-5］，可進(jìn)一步用于番茄病害的檢測(cè)等。這些方法使用傳統(tǒng)方法或深度學(xué)習(xí)方法提取葉片圖像特征。李超等針對(duì)葉片病斑與織物疵點(diǎn)相似的特點(diǎn)，提出了基于窗閾值中心對(duì)稱局部二值模式的方法對(duì)作物病斑進(jìn)行檢測(cè)［6］。師韻等針對(duì)葉片圖像的非線性，提出了一種基于二維子空間學(xué)習(xí)維數(shù)約簡(jiǎn)的方法對(duì)蘋(píng)果葉部病害進(jìn)行識(shí)別［7］。馬浚誠(chéng)等使用機(jī)器學(xué)習(xí)方法，針對(duì)黃瓜霜霉病提出了一種基于條件隨機(jī)場(chǎng)的圖像分割方法來(lái)對(duì)其進(jìn)行診斷，以期滿足設(shè)施蔬菜葉部病害診斷的需求［8］。趙建敏等結(jié)合最大類(lèi)間方差法（OSTU）與支持向量機(jī) （SVM）算法來(lái)識(shí)別馬鈴薯病害，首先使用小波變換對(duì)圖像進(jìn)行去噪，然后使用OSTU閾值算法分割圖像，最后利用SVM分類(lèi)器進(jìn)行識(shí)別［9］。不過(guò)，傳統(tǒng)方法要求對(duì)數(shù)據(jù)進(jìn)行符合傳統(tǒng)方法的預(yù)處理，同時(shí)也要花費(fèi)大量人力對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，因此依靠傳統(tǒng)方法得到的網(wǎng)絡(luò)魯棒性不強(qiáng)，其應(yīng)用有一定局限性。

隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已經(jīng)成為植物病害識(shí)別的主要方法，葉中華等采用單次多邊框（SSD）目標(biāo)檢測(cè)模型，實(shí)現(xiàn)了對(duì)復(fù)雜背景農(nóng)作物圖像病害區(qū)域的預(yù)測(cè)［10］。王林柏等提出了一種基于ResNet50為主干的特征提取網(wǎng)絡(luò)，加入了空間金字塔池化（SPP）模塊，通過(guò)提高特征提取能力來(lái)識(shí)別馬鈴薯的葉片病害［11］。顧興健等設(shè)計(jì)了一種多尺度網(wǎng)絡(luò)，使用多尺度特征提取模塊、分類(lèi)與橋接模塊和反卷積模塊，從多尺度實(shí)現(xiàn)對(duì)葉片病斑的分割與識(shí)別［12］。黃英來(lái)等提出一種基于ResNet-50的改進(jìn)模型，對(duì)玉米葉片病害圖像進(jìn)行分類(lèi)，取得了較好效果［13］。

綜上所述，為了實(shí)現(xiàn)對(duì)番茄病害的高準(zhǔn)確率、快速識(shí)別，本研究提出一種可分離擴(kuò)張卷積塊，以MobileNet v2模型為主體框架，使用可分離擴(kuò)張卷積塊替換一部分卷積塊，以擴(kuò)大感受野，同時(shí)保持計(jì)算量不變來(lái)提高精確度，并替換激活函數(shù)來(lái)提取負(fù)值特征。此外，使用通道剪枝技術(shù)使模型變得更輕量化，為防治番茄病害提供技術(shù)支持。

1 材料與方法

1.1 試驗(yàn)數(shù)據(jù)集

本研究所用試驗(yàn)數(shù)據(jù)取自Kaggle平臺(tái)的公開(kāi)數(shù)據(jù)集，由QASIM KHAN整理公開(kāi)數(shù)據(jù)集 Plant Village和中國(guó)臺(tái)灣的番茄葉片數(shù)據(jù)集得到。本研究所使用的數(shù)據(jù)集包含超過(guò)2萬(wàn)張番茄葉片圖像，其中包括感染細(xì)菌性斑點(diǎn)病、早疫病、晚疫病、葉霉病、白粉病、斑枯病、二斑葉螨病、輪斑病、花葉病、黃化曲葉病的番茄及健康番茄葉片共11種番茄葉片類(lèi)型，詳見(jiàn)圖1。

1.2 數(shù)據(jù)預(yù)處理

由于計(jì)算機(jī)處理圖像的算力有瓶頸，無(wú)法只通過(guò)盲目輸入大量訓(xùn)練圖像來(lái)對(duì)深度卷積模型進(jìn)行訓(xùn)練，因此先要對(duì)圖像進(jìn)行預(yù)處理來(lái)減少后續(xù)訓(xùn)練所需的算力。首先需要對(duì)病斑葉片圖像進(jìn)行增強(qiáng)、降噪、歸一化等預(yù)處理［14-17］。大部分圖片的原始尺寸是256×256 像素，但是還有部分圖像大于或小于該規(guī)格，同時(shí)考慮到圖像大小應(yīng)與網(wǎng)絡(luò)的輸入大小匹配，因此將圖像尺寸統(tǒng)一先進(jìn)行放大后再隨機(jī)裁剪為224×224 像素，最后對(duì)部分不均衡樣本進(jìn)行隨機(jī)翻轉(zhuǎn)、隨機(jī)角度旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作。

1.3 試驗(yàn)環(huán)境

本研究使用的是Windows 10 22H2計(jì)算機(jī)，中央處理器（CPU）為AMD Ryzen 5600，圖形處理器（GPU）為GeForce RTX 3060（12 GB），內(nèi)存為 32 GB。以Python 3.8+CUDA 11.0+Pytorch 1.8.1作為環(huán)境設(shè)置。每個(gè)模型的訓(xùn)練輪次為50次，以Adam作為優(yōu)化器對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行評(píng)估并對(duì)參數(shù)進(jìn)行優(yōu)化［18］。初始學(xué)習(xí)速率為0.01，每經(jīng)過(guò)10輪，學(xué)習(xí)率下降為原來(lái)的50%。

1.4 評(píng)價(jià)指標(biāo)

本研究采用準(zhǔn)確率、精確率來(lái)評(píng)價(jià)模型分類(lèi)的性能指標(biāo)，同時(shí)使用模型參數(shù)量、浮點(diǎn)計(jì)算量來(lái)評(píng)價(jià)模型的復(fù)雜度和模型的輕量化程度。

準(zhǔn)確率的計(jì)算方法見(jiàn)公式（1），即所有預(yù)測(cè)正確的樣本（TP+FN）占總樣本（TP+FP+TN+FN）的比例。雖然準(zhǔn)確率可以作為樣本總體分類(lèi)正確率的標(biāo)準(zhǔn)，但是當(dāng)樣本的類(lèi)別不平衡時(shí)，就無(wú)法作為有效的評(píng)價(jià)指標(biāo)。因此在樣本類(lèi)別不夠均衡的情況下，高準(zhǔn)確率的結(jié)果沒(méi)有任何意義，此時(shí)準(zhǔn)確率就會(huì)失效。

Acc= TP+FN TP+FP+TN+FN 。 ?（1）

精確率的計(jì)算方法見(jiàn)公式（2），即正確預(yù)測(cè)為正（TP）占全部預(yù)測(cè)為正（TP+FP）的比例。精確率是一個(gè)在正樣本分類(lèi)結(jié)果中的正確率指標(biāo)，準(zhǔn)確率則是一個(gè)在所有樣本分類(lèi)結(jié)果中的正確率指標(biāo)。

prec= TP TP+FP 。 ?（2）

模型參數(shù)量是指模型所占存儲(chǔ)空間和每次訓(xùn)練所占用的存儲(chǔ)空間，如果模型太大，設(shè)備內(nèi)存小，也無(wú)法在小內(nèi)存設(shè)備使用大模型。

1.5 相關(guān)模型及其結(jié)構(gòu)

1.5.1 MobileNet v2模型［19］ MobileNet v2是谷歌團(tuán)隊(duì)在2018年提出的輕量級(jí)CNN，是專(zhuān)門(mén)為移動(dòng)終端和資源受限環(huán)境量身定制的網(wǎng)絡(luò)結(jié)構(gòu)。在保持相同精度的同時(shí)，它能顯著減少操作次數(shù)和內(nèi)存需求。MobileNet v2在MobileNet v1的基礎(chǔ)上提出了一些改進(jìn)，在提升準(zhǔn)確率的同時(shí)也提升了速度。該模型的最大特點(diǎn)就是深度可分離卷積和倒殘差結(jié)構(gòu)，相比之前的MobileNet v1版本，引入了深度可分離卷積，對(duì)于算力的要求大幅減少，同時(shí)網(wǎng)絡(luò)也更加簡(jiǎn)單，可以很好地應(yīng)用在移動(dòng)設(shè)備上，或者任何自身算力不高的設(shè)備上。同時(shí)在MobileNet v2中引入了一個(gè)更好的模塊——倒殘差結(jié)構(gòu)。對(duì)層之間的線性瓶頸進(jìn)行試驗(yàn)驗(yàn)證，結(jié)果表明，使用線性層是至關(guān)重要的，因?yàn)樗梢苑乐狗蔷€性破壞太多信息。

1.5.2 深度可分離卷積 MobileNet v2相較于其他輕量化網(wǎng)絡(luò)的特點(diǎn)就是深度可分離卷積。深度可分離卷積的工作原理是利用拆分思想，把普通的卷積拆分成2種獨(dú)立的卷積——深度卷積和點(diǎn)卷積。深度卷積區(qū)別于普通卷積，在進(jìn)行深度卷積時(shí)通道為單通道。深度卷積能夠保證圖像特征深度不變，同時(shí)讓卷積操作在各個(gè)通道都發(fā)生，使得最后得到特征圖的通道和最初輸入的一樣。不過(guò)這樣的操作會(huì)帶來(lái)一個(gè)不好的后果，即通道數(shù)一直不變，從特征圖獲得的信息也不夠多，獲得的信息也不夠有效。點(diǎn)卷積的設(shè)計(jì)就是為了解決這一問(wèn)題。之所以取名為點(diǎn)卷積，是因?yàn)樗且粋€(gè)1×1的卷積，其作用是用來(lái)改變特征圖的維度。通過(guò)深度可分離卷積來(lái)拆分普通卷積能夠顯著減少整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算深度和整體尺寸。

假定標(biāo)準(zhǔn)卷積的大小為DK×DK×M，總數(shù)有N個(gè)，因此進(jìn)行1次標(biāo)準(zhǔn)卷積計(jì)算的參數(shù)量是DK×DK×M×N，如果要進(jìn)行DW×DH次運(yùn)算，那么就可以得到標(biāo)準(zhǔn)卷積的計(jì)算量為

DK×DK×M×N×DW×DH。 ?（3）

1次深度卷積加上1次點(diǎn)卷積構(gòu)成了1次深度可分離卷積。假設(shè)深度卷積的大小是DK×DK×M，點(diǎn)卷積的大小是1×1×M，總數(shù)是N個(gè)，那么進(jìn)行1次深度可分離卷積計(jì)算的參數(shù)量為DK×DK×M+M×N。進(jìn)行1次深度可分離卷積的計(jì)算量就是進(jìn)行1次深度卷積計(jì)算加上1次點(diǎn)卷積計(jì)算。因此，如果進(jìn)行DW×DH次運(yùn)算，就可以得到深度可分離卷積的計(jì)算量，詳見(jiàn)公式（4）：

DK×DK×M×DW×DH+M×N×DW×DH。 ?（4）

參數(shù)量下降為公式（5）：

DK×DK×M+M×N DK×DK×M×N = 1 N + 1 D2K 。 ?（5）

計(jì)算量下降為公式（6）：

DK×DK×M×DW×DH+M×N×DW×DH DK×DK×M×N×DW×DH = 1 N + 1 D2K 。 ?（6）

而在大部分使用過(guò)程中，采取的卷積核大小為3×3，那么帶入公式（5）、公式（6）可知，進(jìn)行1次深度可分離卷積的參數(shù)量和計(jì)算量約為標(biāo)準(zhǔn)卷積的1/9。

1.5.3 倒殘差結(jié)構(gòu) 倒殘差結(jié)構(gòu)就是在線性瓶頸層中加入了ResNet的殘差連接，能夠更好地回傳梯度和特征重用。倒殘差結(jié)構(gòu)與傳統(tǒng)的殘差結(jié)構(gòu)相反，傳統(tǒng)的殘差結(jié)構(gòu)先使用1×1的卷積層進(jìn)行降維，再進(jìn)行3×3的卷積操作，最后使用1×1的卷積層恢復(fù)到原來(lái)的維度；倒殘差結(jié)構(gòu)先使用點(diǎn)卷積提升維度，然后通過(guò)深度卷積減小計(jì)算量，最后再利用點(diǎn)卷積下降至初始維度，如此一來(lái)，倒殘差結(jié)構(gòu)可以提高內(nèi)存使用效率。深度卷積的設(shè)計(jì)無(wú)法改變通道維度，如果上一層通道維度過(guò)低，就會(huì)導(dǎo)致效果不佳，為了改善這個(gè)問(wèn)題，在每個(gè)深度卷積之前都使用點(diǎn)卷積來(lái)提升維度，以增強(qiáng)特征的表達(dá)能力。這種結(jié)構(gòu)的另一個(gè)優(yōu)點(diǎn)是允許使用更小的輸入和輸出維度，可以減少相關(guān)參數(shù)量和網(wǎng)絡(luò)運(yùn)算復(fù)雜程度，從而減少運(yùn)行時(shí)間，實(shí)現(xiàn)模型的輕量化。倒殘差結(jié)構(gòu)如圖2所示。

1.6 基于可分離擴(kuò)張卷積和通道剪枝的模型設(shè)計(jì)

1.6.1 可分離擴(kuò)張卷積 盡管深度可分離卷積解決了普通卷積計(jì)算量過(guò)大的問(wèn)題，但與普通卷積類(lèi)似，同樣具有會(huì)丟失部分信息的缺點(diǎn)。Lei等將擴(kuò)張卷積引入到分類(lèi)任務(wù)，并取得了很好的效果［20］。擴(kuò)張卷積最初被應(yīng)用在圖像分割領(lǐng)域，為了解決多尺度的問(wèn)題。擴(kuò)張卷積的作用是在捕捉到更多全局信息的同時(shí)，不增大特征圖的大小。擴(kuò)張卷積就是通過(guò)在矩陣2個(gè)元素中增加0元素來(lái)擴(kuò)大卷積核，它和普通卷積的不同點(diǎn)就是存在0元素，因?yàn)?元素不參與運(yùn)算，因此可以獲得更大的特征圖而不增加計(jì)算量。圖3表示由擴(kuò)張卷積得到的感受野。圖3-a為1個(gè)經(jīng)過(guò)3×3的標(biāo)準(zhǔn)卷積后得到的感受野；圖3-b為1個(gè)經(jīng)過(guò)大小為3×3，但擴(kuò)張值為1的擴(kuò)張卷積后得到的感受野；圖3-c為1個(gè)經(jīng)過(guò)大小3×3，但擴(kuò)張值為2的擴(kuò)張卷積后得到的感受野?？梢钥闯?，擴(kuò)張卷積能夠在參數(shù)量不變的情況下，獲得比普通卷積更大的感受野。

使用擴(kuò)張卷積核代替普通卷積核的等效卷積核大小計(jì)算方法見(jiàn)公式（7）：

k′=k+（k-1）×（r-1）。 ?（7）

式中：k′是等效卷積核大?。籯是卷積核大?。籸是擴(kuò)張率。

RFi+1=RFi+（k′-1）×Si。 ?（8）

式中：RFi+1是當(dāng)前層的感受野；RFi是上一層的感受野；Si是之前所有層的步長(zhǎng)的乘積。

受Lei等的研究結(jié)果［20］的啟發(fā)，本研究提出一種可分離擴(kuò)張卷積塊來(lái)有效捕獲特征圖并保留更多信息，其結(jié)構(gòu)如圖4所示。本研究使用擴(kuò)張卷積核替代深度可分離卷積中的普通卷積核，以擴(kuò)大感受野，在不增加計(jì)算量的情況下獲得更大的感受野，保留更多信息。擴(kuò)張卷積雖然能夠在不增加計(jì)算量的情況下擴(kuò)大感受野，但Wang等研究發(fā)現(xiàn)，過(guò)多使用相同擴(kuò)張率的擴(kuò)張卷積將導(dǎo)致信息不連續(xù)，反而丟失一部分細(xì)節(jié)信息［21］。因此，本研究應(yīng)用HDC規(guī)則，使用不同的擴(kuò)張率，從而在獲得更廣闊的信息時(shí)，防止獲得的信息不相關(guān)和產(chǎn)生部分信息無(wú)故損失等問(wèn)題。同時(shí)為了保證獲取的信息足夠有效，本研究將可分離擴(kuò)張卷積塊應(yīng)用在模型的前幾層，因?yàn)榇藭r(shí)特征圖的信息相對(duì)多且有效。

在進(jìn)行1次標(biāo)準(zhǔn)卷積計(jì)算時(shí)，假定初始高、寬、通道數(shù)大小為h×w×c1的特征圖I，I和大小是k×k×c1×c2的卷積核K采用標(biāo)準(zhǔn)卷積計(jì)算，計(jì)算得到大小是（h-k+1）×（w-k+1）×c2的特征圖O，O=K×I，相關(guān)公式如下：

O（y，x，j）=∑ m i=1 ∑ s u，v=1 K（u，v，i，j）I（y+u-1，x+v-1，i）。 （9）

式中：O（y，x，j）為第j個(gè)特征圖中點(diǎn)（y，x）的值；K（u，v，i，j） 為第j個(gè)卷積核為第i個(gè)通道上點(diǎn)（u，v）的值；I（y，x，i）為第i個(gè)輸入通道上點(diǎn)（y，x）的值。

通過(guò)公式（9）可得，要進(jìn)行k×k×c1次運(yùn)算才能得到1個(gè)結(jié)果，要進(jìn)行計(jì)算的公式為k×k×c1×（h-k+1）×（w-k+1）×c2，所有參數(shù)大小為k×k×c1×c2。

可分離擴(kuò)張卷積使用擴(kuò)張卷積替換標(biāo)準(zhǔn)卷積，給定與標(biāo)準(zhǔn)卷積一致的特征圖I。使用擴(kuò)張率為r，與標(biāo)準(zhǔn)卷積一致的卷積核K采用標(biāo)準(zhǔn)卷積計(jì)算時(shí)，得到大小為（h-k′+1）×（w-k′+1）×c2的特征圖O′。

O′（y，x，j）=∑ m i=1 ∑ s u，v=1 K（u，v，i，j）I［y+u+（u-1）（r-1）-1，x+v+（v-1）（r-1）-1，i］。 （10）

由公式（10）可知，擴(kuò)張卷積層的總計(jì)算量為 k×k×c1×（h-k′+1）×（w-k′+1）×c2，總參數(shù)量為k×k×c1×c2。在不進(jìn)行填充的情況下，擴(kuò)張率r≥2的擴(kuò)張卷積與標(biāo)準(zhǔn)卷積相比，能夠在參數(shù)量相同的情況下，使計(jì)算量更小，且感受野更大。進(jìn)行填充時(shí)，輸出的特征圖大小均為h×w×c1時(shí)，擴(kuò)張卷積與標(biāo)準(zhǔn)卷積的計(jì)算量和參數(shù)量相同。

1.6.2 通道剪枝 網(wǎng)絡(luò)剪枝是神經(jīng)網(wǎng)絡(luò)模型壓縮最常用的方法之一，通過(guò)刪減不重要的部分，能夠有效緩解過(guò)擬合問(wèn)題來(lái)減少計(jì)算量、縮小網(wǎng)絡(luò)模型［22］。網(wǎng)絡(luò)剪枝有2種，一種是結(jié)構(gòu)化剪枝，一種是非結(jié)構(gòu)化剪枝，其中非結(jié)構(gòu)化剪枝直接修剪參數(shù)，完全不受任何約束限制，是壓縮網(wǎng)絡(luò)大小的最佳方式之一，非常方便快捷，能夠在不影響性能的同時(shí)大量修剪網(wǎng)絡(luò)大小。而結(jié)構(gòu)化剪枝是對(duì)網(wǎng)絡(luò)的中間層進(jìn)行修改，這樣不僅參數(shù)量更少，更易儲(chǔ)存，同時(shí)計(jì)算量更少，運(yùn)算所需內(nèi)存更少。Zhuang等提出了一種基于網(wǎng)絡(luò)原有BN層的剪枝［23］，通過(guò)裁剪每一層的通道數(shù)，達(dá)到模型壓縮的目的，詳見(jiàn)圖5。

針對(duì)BN層重新訓(xùn)練來(lái)進(jìn)行剪枝。首先對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行稀疏化訓(xùn)練，對(duì)于BN層進(jìn)行L1正則化，就能夠起到稀疏訓(xùn)練的作用。通過(guò)使BN層的指標(biāo)接近0來(lái)進(jìn)行剪枝。然后增加新指標(biāo)γ，將指標(biāo)對(duì)應(yīng) 每個(gè)通道，然后與每個(gè)通道的輸出相乘。綜合得

到權(quán)重和設(shè)定的指標(biāo)后，再進(jìn)行稀疏正則化。最后，對(duì)于指標(biāo)相對(duì)小的通道進(jìn)行裁剪。公式（11）為稀疏訓(xùn)練中的Loss函數(shù)：

L=∑ （x，y） l［f（x，W），y］+λ∑ γ∈Γ g（γ）。 ?（11）

式中：（x，y）代表一組訓(xùn)練數(shù)據(jù)，x代表輸入圖像，y代表輸入圖像對(duì)應(yīng)的類(lèi)別標(biāo)簽；f代表訓(xùn)練網(wǎng)絡(luò)中的前向傳播函數(shù)；W代表網(wǎng)絡(luò)中的可訓(xùn)練權(quán)重值；l代表單個(gè)樣本的損失函數(shù)；λ代表用于控制稀疏正則化項(xiàng)的權(quán)重；γ代表通道的縮放因子；Γ代表所有通道縮放因子的集合；g代表稀疏懲罰函數(shù)，用于推動(dòng)縮放因子向零靠近。

BN層的計(jì)算過(guò)程見(jiàn)公式（12）：

= zin-μB ?σ2B+ε ?；zout=γ+β。 ?（12）

式中：代表批量歸一化層對(duì)zin進(jìn)行歸一化后輸出的結(jié)果；zin批量歸一化層的輸入；B代表當(dāng)前一組數(shù)據(jù)；μ代表均值；σ代表標(biāo)準(zhǔn)差；ε代表一個(gè)常數(shù)，防止除零錯(cuò)誤；zout代表批量歸一化層的輸出，也是下一個(gè)卷積層的輸入；β代表可訓(xùn)練的偏移因子，對(duì)應(yīng)于每個(gè)卷積通道。在歸一化后對(duì)輸出進(jìn)行線性平移。

1.6.3 激活函數(shù) 激活函數(shù)是使用更簡(jiǎn)單的數(shù)學(xué)運(yùn)算來(lái)預(yù)測(cè)決定神經(jīng)元對(duì)網(wǎng)絡(luò)的輸入是否重要。ReLU激活函數(shù)由于只有一定數(shù)量的神經(jīng)元被激活，因此與sigmoid、tanh函數(shù)相比，ReLU函數(shù)的計(jì)算效率要高得多。同時(shí)它是線性變化的，且直接不處理負(fù)值，這樣就使得梯度下降更精準(zhǔn)地收斂到最小值。相應(yīng)的副作用是會(huì)導(dǎo)致部分神經(jīng)元保持不變，就會(huì)產(chǎn)生不更新和變化的死亡神經(jīng)元。因此PReLU激活函數(shù)誕生了，其旨在解決軸左半部分梯度變?yōu)榱愕膯?wèn)題［24］，數(shù)學(xué)形式如下：

f（yi）=max（0，yi）+aimin（0，yi）。 ?（13）

式中：yi為非線性函數(shù)f在第i個(gè)通道的輸入；ai負(fù)責(zé)控制負(fù)半軸的斜率，當(dāng)ai=0時(shí)，PReLU就變成了ReLU。

函數(shù)圖像如圖6所示，因此本研究在深度擴(kuò)張分離卷積塊中使用PReLU激活函數(shù)替換ReLU函數(shù)來(lái)提升網(wǎng)絡(luò)對(duì)于負(fù)值特征信息的提取能力。

2 結(jié)果與分析

因?yàn)榇蟛糠治墨I(xiàn)使用的番茄病害數(shù)據(jù)集或多或少有差異，因而在本試驗(yàn)中，為了保持統(tǒng)一，各個(gè)模型都使用本研究中的數(shù)據(jù)集。本 研究展示的結(jié)果

都是基于本研究數(shù)據(jù)集訓(xùn)練的模型產(chǎn)生的。表1展示了測(cè)試集上各模型的整體性能，可以看出，本研究使用的基于可分離擴(kuò)張卷積和通道剪枝的模型獲得了比原始MobileNet v2更高的準(zhǔn)確率和精確率。本研究提出的改進(jìn)模型準(zhǔn)確率、精確率分別達(dá)到了96.44%、96.36%，相比原模型分別提高了1.35、1.75百分點(diǎn)。

為了證明本研究改進(jìn)算法的可行性和優(yōu)越性，將其與目前的輕量級(jí)模型進(jìn)行對(duì)比，使用番茄病害數(shù)據(jù)集進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中，在每個(gè)訓(xùn)練輪次之后記錄訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集上的識(shí)別準(zhǔn)確率和損失值，這樣可以觀察訓(xùn)練情況，保證每個(gè)模型在收斂條件下完成訓(xùn)練。將每個(gè)模型在驗(yàn)證數(shù)據(jù)集上的訓(xùn)練結(jié)果繪制為曲線（圖7）。由于生成的曲線圖有噪聲，因此需要對(duì)曲線進(jìn)行平滑處理，以減少噪聲的干擾，這樣能夠使每個(gè)模型的識(shí)別效果更直觀。

用本研究提出的可分離擴(kuò)張卷積塊替換模型原有的卷積，由表2可知，在不影響模型大小的情況下，準(zhǔn)確率提升了1.15百分點(diǎn)，將激活函數(shù)替換為PReLU后，準(zhǔn)確率提升了1.04百分點(diǎn)，這是因?yàn)橹参锊『ν憩F(xiàn)為顏色、紋理、形狀等復(fù)合特征，可分離擴(kuò)張卷積塊提取到了更多信息，進(jìn)而提取了多種病害特征，增強(qiáng)了網(wǎng)絡(luò)病害識(shí)別能力。

根據(jù)本研究模型的分類(lèi)結(jié)果計(jì)算出的混淆矩 陣進(jìn)行誤差分析，結(jié)果如圖8所示。其中混淆矩陣的橫坐標(biāo)代表真實(shí)值，縱坐標(biāo)代表預(yù)測(cè)值，細(xì)菌性斑點(diǎn)病的實(shí)際測(cè)試樣本有731個(gè)，正確分類(lèi)樣本有704個(gè)，其余樣本被錯(cuò)誤分類(lèi)為早疫病、健康、晚疫病、葉霉病、二斑葉螨病、輪斑病和黃化曲葉病。細(xì)菌性斑點(diǎn)病的分類(lèi)準(zhǔn)確率為96.40%，同理可知，其他類(lèi)型病害的分類(lèi)準(zhǔn)確率分別為95.01%、96.28%、97.12%、94.32%、98.62%、98.89%、99.59%、98.78%、98.02%、89.66%?？梢宰⒁獾剑捎诩?xì)菌性斑點(diǎn)病、葉霉病的病理特征較類(lèi)似，因此分類(lèi)錯(cuò)誤率相對(duì)較高。本研究方法對(duì)于識(shí)別番茄病害的準(zhǔn)確率較高，能夠在現(xiàn)實(shí)中很好地應(yīng)用于快速病害檢測(cè)。

3 結(jié)論

針對(duì)番茄病害泛濫、受災(zāi)損失大的問(wèn)題，本研究提出了基于可分離擴(kuò)張卷積和通道剪枝的番茄病害分類(lèi)模型，在卷積結(jié)構(gòu)和激活函數(shù)上對(duì)原模型進(jìn)行了改進(jìn)，同時(shí)使用剪枝技術(shù)對(duì)模型進(jìn)行壓縮。通過(guò)對(duì)比試驗(yàn)可知，在同等條件下，本研究方法比原模型在準(zhǔn)確率上提升了1.75百分點(diǎn)，且模型參數(shù)量減少了80%，浮點(diǎn)計(jì)算量減少了58%。在更輕量的情況下，對(duì)番茄病害的分類(lèi)效果更好。

參考文獻(xiàn)：

［1］ 翟肇裕，曹益飛，徐煥良，等. 農(nóng)作物病蟲(chóng)害識(shí)別關(guān)鍵技術(shù)研究綜述［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（7）：1-18.

［2］譚海文，吳永瓊，秦 莉，等. 我國(guó)番茄侵染性病害種類(lèi)變遷及其發(fā)生概況［J］. 中國(guó)蔬菜，2019（1）：80-84.

［3］Singh V K，Singh A K，Kumar A. Disease management of tomato through PGPB：current trends and future perspective［J］. 3 Biotech，2017，7（7）：1-10.

［4］Luna R，Dadios E P， Bandala A A . Automated image capturing system for deep learning-based tomato plant leaf disease detection and recognition［C］//TENCON 2018-2018 IEEE Region 10 Conference. Jeju，South Korea. IEEE，2018：1414-1419.

［5］Zhang Y，Song C L，Zhang D W. Deep learning-based object detection improvement for tomato disease［J］. IEEE Access，2020，8：56607-56614.

［6］李 超，彭進(jìn)業(yè)，孔韋韋，等. 基于局部二值模式的作物葉部病斑檢測(cè)［J］. 計(jì)算機(jī)工程與應(yīng)用，2017，53（24）：233-237.

［7］師 韻，黃文準(zhǔn)，張善文. 基于二維子空間的蘋(píng)果病害識(shí)別方法［J］. 計(jì)算機(jī)工程與應(yīng)用，2017，53（22）：180-184.

［8］馬浚誠(chéng)，溫皓杰，李鑫星，等. 基于圖像處理的溫室黃瓜霜霉病診斷系統(tǒng)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（2）：195-202.

［9］趙建敏，薛曉波，李 琦. 基于機(jī)器視覺(jué)的馬鈴薯病害識(shí)別系統(tǒng)［J］. 江蘇農(nóng)業(yè)科學(xué)，2017，45（2）：198-202.

［10］ 葉中華，趙明霞，賈 璐. 復(fù)雜背景農(nóng)作物病害圖像識(shí)別研究［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（增刊1）：118-124，147.

［11］ 王林柏，張 博，姚竟發(fā)，等. 基于卷積神經(jīng)網(wǎng)絡(luò)馬鈴薯葉片病害識(shí)別和病斑檢測(cè)［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2021，42（11）：122-129.

［12］顧興健，朱劍峰，任守綱，等. 多尺度U網(wǎng)絡(luò)實(shí)現(xiàn)番茄葉部病斑分割與識(shí)別［J］. 計(jì)算機(jī)科學(xué)，2021，48（增刊2）：360-366，381.

［13］黃英來(lái)，艾 昕. 改進(jìn)殘差網(wǎng)絡(luò)在玉米葉片病害圖像的分類(lèi)研究［J］. 計(jì)算機(jī)工程與應(yīng)用，2021，57（23）：178-184.

［14］Saleem M H，Potgieter J，Arif K M. Plant disease detection and classification by deep learning［J］. Plants，2019，8（11）：468.

［15］Dhiman P，Kukreja V，Manoharan P，et al. A novel deep learning model for detection of severity level of the disease incitrus fruits［J］. Electronics，2022，11（3）：495.

［16］Guan X. A novel method of plant leaf disease detection based on deep learning and convolutional neural network［C］//2021 6th international conference on intelligent computing and signal processing. Xian，China：IEEE，2021：816-819.

［17］Loti N N A，Noor M R M，Chang S W. Integrated analysis of machine learning and deep learning in chili pest and disease identification［J］. Journal of the Science of Food and Agriculture，2020，101（9）：3582-3594.

［18］Zhang Z. Improved Adam optimizer for deep neural networks［C］//2018 IEEE/ACM 26th international symposium on quality of service. Canada：ACM，2018：1-2.

［19］Sandler M，Howard A，Zhu M，et al. Mobilenet v2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF conference on computer vision and pattern recognition. Salt Lake City，USA：IEEE，2018：4510-4520.

［20］Lei X Y，Pan H G，Huang X D. A dilated CNN model for image classification［J］. IEEE Access，2019，7：124087-124095.

［21］Wang P，Chen P，Yuan Y，et al. Understanding convolution for semantic segmentation［C］//2018 IEEE winter conference on applications of computer vision. Nevada，USA：IEEE，2018：1451-1460.

［22］姜曉勇，李忠義，黃朗月，等. 神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)研究綜述［J］. 應(yīng)用科學(xué)學(xué)報(bào)，2022，40（5）：838-849.

［23］Zhuang L，Li J G，Shen Z Q，et al. Learning efficient convolutional networks through network slimming［C］//Proceedings of the IEEE International Conference on Computer Vision. Venice，Italy，2017：2736-2744.

［24］He K M，Zhang X Y，Ren S Q，et al. Delving deep into rectifiers：surpassing human-level performance on imagenet classification［J］. IEEE Computer Society，2015：1026-1034.

［25］Howard A，Sandler M，Chen B，et al. Searching for Mobilenet v3［C］//2019 IEEE/CVF International conference on computer vision. South Korea：IEEE，2020：1314-1324.

［26］Ma N，Zhang X，Zheng H T，et al. Shufflenet v2：practical guidelines for efficient cnn architecture design［C］//Proceedings of the European conference on computer vision. Munich，Germany：IEEE，2018：116-131.

［27］Han K，Wang Y，Tian Q，et al. Ghostnet：more features from cheap operations［C］//2020 IEEE/CVF conference on computer vision and pattern recognition. Seattle，USA：IEEE，2020：1580-1589.

收 稿日期：2023-03-06

基金項(xiàng)目：國(guó)家自然科學(xué)基金（編號(hào)：62162002）；江西省主要學(xué)科學(xué)術(shù)和技術(shù)帶頭人領(lǐng)軍人才項(xiàng)目（編號(hào)：20225BCJ22004）。

作者簡(jiǎn)介：姜晟久（2000—），男，湖南新化人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺(jué)及其應(yīng)用。E-mail：2021110251@ecut.edu.cn。

通信作者：鐘國(guó)韻，博士，教授，碩士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像音視頻處理。E-mail：gyzhong@ecut.edu.cn。