基于改進YOLOv4算法的蘋果葉片病害檢測方法

趙嘉威 田光兆 邱暢 劉欽 陳晨 謝尚杰

摘要：準確識別蘋果葉片病害種類以進行及時防治對于蘋果增量增產(chǎn)具有重要的意義，為解決同時檢測蘋果葉片多種病害目標結(jié)果不準確的問題，提出一種改進的YOLOv4目標檢測算法（MC-YOLOv4）對蘋果葉片常見的5種病害（斑點落葉病、褐斑病、灰斑病、花葉病、銹?。┻M行檢測。為方便遷移到移動終端，首先，該算法將YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)中的主干特征提取網(wǎng)絡(luò)CSPDarknet53換成了輕量級的MobileNetV3網(wǎng)絡(luò)，并在加強特征提取網(wǎng)絡(luò)結(jié)構(gòu)中引入深度可分離卷積代替?zhèn)鹘y(tǒng)卷積；其次，為提高檢測精度，將卷積注意力機制模塊CBAM融合至PANet結(jié)構(gòu)中，可增強對有用特征信息的提??；最后，為了使錨框更適應(yīng)本研究的數(shù)據(jù)集，通過K-means聚類算法將模型的錨框信息更新。結(jié)果表明，MC-YOLOv4模型在檢測中的平均精度為97.25%，單張圖像平均檢測時間為13.3 ms，權(quán)重文件大小為55.5 MB。MC-YOLOv4模型對于同時檢測蘋果葉片多種病害目標的問題上具有識別速度快、識別精準度高、可靠性強等特點，該研究為蘋果葉片的病害檢測提供了一種更優(yōu)的方法，有助于實現(xiàn)精準施藥，提高蘋果的產(chǎn)量和品質(zhì)。

關(guān)鍵詞：MC-YOLOv4算法；蘋果；葉片病害檢測；卷積神經(jīng)網(wǎng)絡(luò)；注意力機制

中圖分類號：TP391.4??文獻標志碼：A??文章編號：1002-1302（2023）09-0193-06

基金項目：國家自然科學基金青年科學基金（編號：31401291）。

作者簡介：趙嘉威（1999—），男，吉林長春人，碩士研究生，主要從事農(nóng)業(yè)智能裝備研究。E-mail：zjw991012@126.com。

通信作者：田光兆，博士，副教授，研究生導師，主要從事農(nóng)業(yè)智能裝備研究。E-mail：tgz@njau.edu.cn。

蘋果作為世界性果品，老少皆宜，具有富含維生素、生態(tài)適應(yīng)性強等特點，受到了世界大多數(shù)人的喜愛。據(jù)國家統(tǒng)計局統(tǒng)計，2020年我國蘋果產(chǎn)量為4 406.61萬t，占世界蘋果總產(chǎn)量50%以上，是最大的蘋果生產(chǎn)和消費國［1］。但中國蘋果的優(yōu)果率卻不高，低品質(zhì)果品積壓滯銷，高品質(zhì)果品不能滿足消費需求。蘋果的果實品質(zhì)主要受到病蟲害的影響，實現(xiàn)高效的病蟲害識別是病蟲害防護的基礎(chǔ)，對提高蘋果的產(chǎn)量和品質(zhì)具有重要意義［2］。

近年來，傳感器技術(shù)、計算機技術(shù)、視覺檢測技術(shù)等先進技術(shù)的發(fā)展與應(yīng)用極大地加快了我國農(nóng)業(yè)自動化、智能化的發(fā)展［3-6］，其中深度學習技術(shù)發(fā)展飛快，眾多基于深度學習技術(shù)的檢測算法用于植物病蟲害的檢測［7-8］。在蘋果葉片病害檢測的問題上也有一些學者使用了基于深度學習的目標檢測算法對病害進行識別。Zhong等基于DenseNet-121深度卷積網(wǎng)絡(luò)，提出了回歸、多標簽分類和focus loss function 共3種識別蘋果葉片病害的方法，3種方法的準確率分別為93.51%、93.31%和93.71%［9］。該研究雖然將蘋果葉片分為6類進行檢測，但卻只針對3種葉片病害，缺少普適性，且最終的識別準確率不高；Bi等通過使用MobileNet模型實現(xiàn)對蘋果葉片2種病害進行識別，與一般的深度學習模型相比，它是一個輕量級的模型，可以很容易地部署在移動設(shè)備上，但該研究的平均精確度只有73.50%，且每幅圖像的平均處理時間為 0.22 s，處理效率不高［10］。

針對以上問題，為了使蘋果病害檢測方法兼具檢測效率和檢測精度，本研究選擇YOLOv4算法作為基礎(chǔ)并對其進行改進。原始YOLOv4算法對于多目標的檢測能力有限，當病害種類密集時，容易出現(xiàn)漏檢、錯檢現(xiàn)象［11］。且YOLOv4算法的網(wǎng)絡(luò)結(jié)構(gòu)比較復雜，效率較低，所以將YOLOv4的主干特征提取網(wǎng)絡(luò)CSPDarknet53替換為輕量級MobileNetV3網(wǎng)絡(luò)，并在加強特征提取網(wǎng)絡(luò)結(jié)構(gòu)中引入深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，為提高檢測精度，將卷積注意力機制模塊CBAM融合至PANet結(jié)構(gòu)中，最后通過K-means聚類算法將模型的錨框信息更新。綜合以上方法提出了MC-YOLOv4算法用于同時檢測蘋果葉片多種病害目標。

1?材料與方法

1.1?數(shù)據(jù)采集

本研究所用的數(shù)據(jù)來源于 AI Studio 工程開源數(shù)據(jù)庫，選擇26 376張?zhí)O果葉片病害圖像作為初始數(shù)據(jù)，其中包含5類常見的蘋果葉片病害（斑點落葉病、褐斑病、灰斑病、花葉病、銹?。?，各類病害圖像在5 000張左右。

1.2?數(shù)據(jù)預(yù)處理

為提升模型的魯棒性，利用 python 對初始數(shù)據(jù)集進行增廣處理，包括亮度變化、對比度變化、加入噪聲、鏡像翻轉(zhuǎn)和旋轉(zhuǎn)固定角度等。從原始數(shù)據(jù)集26 376張?zhí)O果葉片病害圖像中挑選出特征明顯的5類病害圖像各300張進行上述幾種方式的數(shù)據(jù)增強，最終得到5類蘋果葉片病害圖像各600張的增強數(shù)據(jù)集。用標注工具Labelimg對3 000張病害圖像按Pascal voc數(shù)據(jù)集的標注格式逐一標注，其中斑點落葉病標注為AAB，褐斑病為ABB，灰斑病為AGS，花葉病為AM，銹病為AR，生成.xml類型的標注文件。按7 ∶?2 ∶?1的比例隨機將標注好的3 000張病害圖像分為訓練集、驗證集和測試集。為使圖像便于輸入模型，將圖像尺寸調(diào)整為 416×416。

1.3?蘋果葉片病害檢測算法

1.3.1?YOLOv4算法?目前，廣泛應(yīng)用于深度學習的目標檢測算法主要有兩大類：第1類是二階段目標檢測算法，代表算法有R-CNN［12］系列等，二階段目標檢測算法會先生成一系列候選框，再通過CNN進行樣本分類，具有很高的檢測精度，但是檢測速度并不快；第2類是一階段目標檢測算法，代表算法有YOLO［13］系列、SSD［14］系列、Retina-Net等，一階段目標檢測算法直接回歸物體的類別概率和位置坐標值，相對于二階段目標檢測算法檢測速度更快，但檢測精度較低［15-19］。

為了平衡檢測精度和檢測速度，Bochkovskiy等在2020年提出了YOLO系列第4代YOLOv4目標檢測算法［20］。YOLOv4由主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、預(yù)測網(wǎng)絡(luò)三大部分組成。主干特征提取網(wǎng)絡(luò)使用CSPDarknet53結(jié)構(gòu)，頸部網(wǎng)絡(luò)使用SPP模塊、PANet結(jié)構(gòu)，預(yù)測網(wǎng)絡(luò)依舊使用YOLO Head。

1.3.2?用MobileNetV3替換主干特征提取網(wǎng)絡(luò)?MobileNetV3是最新版的MobileNet網(wǎng)絡(luò)，在其網(wǎng)絡(luò)結(jié)構(gòu)中引入了bneck結(jié)構(gòu)。bneck結(jié)構(gòu)圖如圖1所示，其綜合了MobileNetV2的具有線性瓶頸的逆殘差結(jié)構(gòu)，即先對輸入進來的特征圖進行1×1的卷積提升維度，使其通道數(shù)得到擴張，并具有殘差邊；MobileNetV1的深度可分離卷積，對比常規(guī)的卷積操作，深度可分離卷積節(jié)省了12倍的計算成本，是MobileNetV1網(wǎng)絡(luò)能夠輕量化的關(guān)鍵因素；引入了輕量級的注意力機制模型用來調(diào)整每個通道的權(quán)重，其包括Squeeze和Excitation兩大部分；使用 H-Swish 激活函數(shù)代替了Swish激活函數(shù)，減少了所需的計算量［21］。Swish激活函數(shù)如式（1）所示。

其中，Sigmoid函數(shù)如式（2）所示。

H-Swish激活函數(shù)如式（3）所示。

其中，ReLU6函數(shù)如式（4）所示。

1.3.3?引入CBAM卷積注意力機制模塊?為防止替換主干特征提取網(wǎng)絡(luò)后會影響整個模型的精度，在模型PANet結(jié)構(gòu)中的2次上采樣和2次下采樣后分別插入注意力機制模塊，以加強對輸入特征圖的特征提取。注意力機制模塊的作用就是讓卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)注意重要的特征。一般而言，可分為通道注意力機制和空間注意力機制。CBAM卷積注意力機制模塊很好地將通道注意力機制模塊和空間注意力機制模塊進行了結(jié)合，可以取得更好的效果，其結(jié)構(gòu)如圖2所示。

CBAM結(jié)構(gòu)的上半部分為CAM通道注意力機制模塊，其結(jié)構(gòu)如圖3所示。CAM結(jié)構(gòu)將輸入進來的特征圖F（C×H×W）并行地經(jīng)過基于特征圖高度（H）和特征圖寬度（W）的全局最大池化和全局平均池化，得到2個C×1×1的特征圖，再將得到的特征圖送入共享的全連接層進行處理，先壓縮通道數(shù)為C/r （r為減少率），激活函數(shù)為ReLU，再將通道數(shù)擴張回C，得到2個激活后的結(jié)果，進行加和操作和sigmoid操作，此時獲得了輸入特征每一個通道的權(quán)值MC。將這個權(quán)值再與輸入特征的對應(yīng)元素相乘，得到SAM的輸入特征圖F′（C×H×W），完成通道注意力操作。

CBAM的下半部分為SAM空間注意力機制模塊，其結(jié)構(gòu)如圖4所示。將F′（C×H×W）經(jīng)過基于通道數(shù)的全局最大池化和全局平均池化，得到2個H×W×1的特征圖，將2個特征圖進行通道拼接再經(jīng)過1個7×7卷積操作，降維成H×W×1，最后經(jīng)過sigmoid得到輸入特征每一通道的權(quán)值（MS）。再將其與輸入特征 的對應(yīng)元素相乘，得到最終的特征圖F″（C×H×W），完成空間注意力操作。

1.3.4?K-means錨框重新聚類?錨框的選擇是準確預(yù)測目標的重要前提之一。YOLOv4模型使用的錨框是基于COCO數(shù)據(jù)集聚類得到，但COCO數(shù)據(jù)集包含了80個類，不同類別的錨框尺寸不一，所以YOLOv4模型的錨框尺寸也有很大差距。本研究針對蘋果葉片病害數(shù)據(jù)集，只包含5個類，多數(shù)錨框尺寸應(yīng)該偏小。為了使MC-YOLOv4目標檢測網(wǎng)絡(luò)能夠更加準確地預(yù)測待檢目標位置，本研究利用K-means 聚類算法對已經(jīng)標注好的蘋果葉片病害數(shù)據(jù)集重新聚類，最終得到9個錨框，分別為（8，13）、（12，13）、（17，13）、（15，19）、（19，28）、（27，23）、（39，41）、（69，69）、（322，278），更新后的錨框有利于提高蘋果葉片病害的識別精度。改進后YOLOv4（MC-YOLOv4）的網(wǎng)絡(luò)結(jié)構(gòu)模型如圖5所示。

2?結(jié)果與分析

2.1?試驗環(huán)境與參數(shù)設(shè)置

本研究用的訓練平臺硬件：Intel Core i5-12400F CPU@4.4 GHz；GeForce RTX 1080Ti 11G GPU；運行內(nèi)存為16 G；操作系統(tǒng)為Windows10 64位；深度學習框架選用PyTorch；編程語言為Python；CUDA及GPU加速庫Cudnn的版本為11.0和7.6.5。

對于MC-YOLOv4模型，訓練過程中的Batchsize設(shè)置為32，最大學習率設(shè)置為0.001，動量設(shè)置為0.937，用Adam優(yōu)化器進行優(yōu)化，用Focal loss平衡正負樣本，正負樣本平衡參數(shù)設(shè)置為0.25。

2.2?評價指標

對于蘋果葉片病害的識別，需考慮檢測網(wǎng)絡(luò)的精度與效率。本研究用平均精度（AP）、平均精度mAP、單張圖像檢測速度（單位ms）、權(quán)重文件大小作為評價指標。AP與模型的準確率（P）和召回率（R）有關(guān)，其計算公式見式（5）～式（8）。

式中：TP為模型檢測正確的數(shù)量；FP為模型檢測錯誤與目標分類錯誤的數(shù)量；FN為模型漏檢的數(shù)量；N為類別的數(shù)量。

2.3?模型訓練結(jié)果

使用MC-YOLOv4模型在蘋果葉片病害數(shù)據(jù)集上進行訓練和測試，結(jié)果如圖6所示。

由圖6可知，MC-YOLOv4網(wǎng)絡(luò)模型隨著迭代次數(shù)的增加，驗證集損失值和訓練集損失值也在不斷減小。在迭代150次后，驗證集損失值逐漸大于訓練集損失值，有一定的過擬合現(xiàn)象發(fā)生，但兩者相差并不大，且兩者逐漸趨于平穩(wěn)，模型收斂。

對本研究模型MC-YOLOv4、原始YOLOv4模型、Faster R-CNN［22］模型、原始SSD模型分別迭代2 000次，表1為以上4種模型訓練結(jié)果對比。與原始YOLOv4模型對比，本研究模型MC-YOLOv4平均精度提高1.88百分點，單張圖像檢測時間減少16.9 ms，權(quán)重文件大小減少188.5 MB；與Faster R-CNN 模型對比，本研究模型MC-YOLOv4平均精度提高4.36百分點，單張圖像檢測時間減少61.1 ms，權(quán)重文件大小減少52.5 MB；與原始SSD模型對比，本研究模型MC-YOLOv4平均精度提高5.31百分點，單張圖像檢測時間減少2.4 ms，權(quán)重文件大小減少37.1 MB。在5類蘋果葉片病害檢測的平均精度上，本研究模型MC-YOLOv4較其他模型都有較明顯的提升，花葉病和銹病的平均精度更是高達99.88%和97.66%。

2.4?消融試驗結(jié)果

MC-YOLOv4算法在原始YOLOv4算法的基礎(chǔ)上替換了主干特征提取網(wǎng)絡(luò)，同時插入了CBAM卷積注意力機制模塊。為了能夠更清晰地分析本研究提出的改進YOLOv4算法（MC-YOLOv4）對原始YOLOv4算法產(chǎn)生的影響，分別進行4組試驗，具體試驗結(jié)果如表2所示。

試驗1為原始YOLOv4算法，該算法對蘋果葉片5種病害的平均精度為95.37%，單張圖像檢測時間為30.2 ms，權(quán)重文件大小為244 MB；試驗2為只引入CBAM模塊后的算法，由于添加了注意力機制模塊，增強了對有用特征信息的提取，所以該算法的平均精度提升1.13百分點，同時因為注意力機制模塊也會增加一定的計算量，所以單張圖像檢測時間增加0.7 ms，權(quán)重文件大小增加2 MB；試驗3為只替換主干特征提取網(wǎng)絡(luò)的算法，由于MobileNet網(wǎng)絡(luò)具有更小的體積、更高的精準度和更少的計算量，所以該算法的平均精度提升1.05百分點，單張圖像檢測時間減少17.9 ms，權(quán)重文件大小減少190.2 MB；試驗4為引入CBAM模塊和替換主干特征提取網(wǎng)絡(luò)的算法，即本研究算法MC-YOLOv4結(jié)合了CBAM模塊和MobileNet網(wǎng)絡(luò)的優(yōu)勢，該算法的平均精度提升1.88百分點，單張圖像檢測時間減少16.9 ms，權(quán)重文件大小減少188.5 MB。

2.5?葉片病害檢測試驗

為了測試不同的模型對于蘋果葉片多病害目標同時檢測的表現(xiàn)情況，隨機從蘋果葉片5種病害的數(shù)據(jù)集中選擇9張病害圖像拼接成1張圖像進行檢測，圖7為不同模型對于蘋果葉片多病害目標同時檢測的3組試驗結(jié)果。試驗的置信度設(shè)置為0.5，圖中虛線方框為人工標注的模型漏檢的病害目標，三角形框為人工標注的模型錯檢的病害目標，其他實線方框為模型的識別結(jié)果。其中，MC-YOLOv4 模型在3組試驗中未出現(xiàn)漏檢、錯檢現(xiàn)象，單幅圖像平均檢測時間為13.82 ms；原始YOLOv4模型漏檢2處病害目標，錯檢2處病害目標，單幅圖像平均檢測時間為30.27 ms；Faster R-CNN 模型漏檢5處病害目標，錯檢1處病害目標，單幅圖像平均檢測時間為75.10 ms；SSD模型漏檢45處病害目標，錯檢2處病害目標，單幅圖像平均檢測時間為16.36 ms。試驗結(jié)果表明，MC-YOLOv4模型對于同時檢測蘋果葉片多種病害目標上具有識別速度快、識別精準度高、可靠性強等優(yōu)勢。

3?結(jié)論

本研究在YOLOv4算法的基礎(chǔ)上進行改進，提出了MC-YOLOv4目標檢測算法。將YOLOv4的主干特征提取網(wǎng)絡(luò)CSPDarknet53替換為輕量級MobileNetV3網(wǎng)絡(luò)，并在加強特征提取網(wǎng)絡(luò)結(jié)構(gòu)中引

入深度可分離卷積代替?zhèn)鹘y(tǒng)卷積減少了模型的計算量，加快了模型的檢測速度；將卷積注意力機制模塊CBAM融合至PANet結(jié)構(gòu)中，提高了模型的檢測精度；利用K-means聚類算法對錨框信息進行更新，以適應(yīng)本研究的蘋果葉片病害數(shù)據(jù)集。

基于采集和數(shù)據(jù)增強后的3 000張圖片，分別使用MC-YOLOv4、YOLOv4、Faster R-CNN、SSD模型進行試驗。結(jié)果表明，MC-YOLOv4目標檢測算法的平均精度為97.25%，單張圖像檢測時間為13.3 ms，權(quán)重文件大小為55.5 MB，各項參數(shù)皆優(yōu)于其他網(wǎng)絡(luò)模型。

通過消融試驗更清晰地分析本研究提出的改進YOLOv4算法（MC-YOLOv4）對原始YOLOv4算法產(chǎn)生的影響。4種目標檢測算法的對比試驗結(jié)果表明，MC-YOLOv4算法在同時檢測蘋果葉片多種病害目標上具有明顯的速度和精度優(yōu)勢。

參考文獻：

［1］王?璇，劉軍弟，邵礫群，等. 我國蘋果產(chǎn)業(yè)年度發(fā)展狀況及其趨勢與建議［J］. 中國果樹，2018（3）：101-104，108.

［2］李保華，王彩霞，董向麗.我國蘋果主要病害研究進展與病害防治中的問題［J］. 植物保護，2013，39（5）：46-54.

［3］顧寶興，劉?欽，田光兆，等. 基于改進YOLOv3的果樹樹干識別和定位［J］. 農(nóng)業(yè)工程學報，2022，38（6）：122-129.

［4］張?漫，季宇寒，李世超，等. 農(nóng)業(yè)機械導航技術(shù)研究進展［J］. 農(nóng)業(yè)機械學報，2020，51（4）：1-18.

［5］袁祥州，黃恩臨. 歐盟智慧農(nóng)業(yè)發(fā)展經(jīng)驗及其借鑒［J］. 世界農(nóng)業(yè)，2022（5）：27-36.

［6］Xu J Y，Gu B X，Tian G Z. Review of agricultural IoT technology［J］. Artificial Intelligence in Agriculture，2022，6：10-22.

［7］余?凱，賈?磊，陳雨強，等. 深度學習的昨天、今天和明天［J］. 計算機研究與發(fā)展，2013，50（9）：1799-1804.

［8］張慧春，周宏平，鄭加強，等. 植物表型平臺與圖像分析技術(shù)研究進展與展望［J］. 農(nóng)業(yè)機械學報，2020，51（3）：1-17.

［9］Zhong Y，Zhao M. Research on deep learning in apple leaf disease recognition［J］. Computers and Electronics in Agriculture，2020，168：105146.

［10］Bi C K，Wang J M，Duan Y L，et al. MobileNet based apple leaf diseases identification［J］. Mobile Networks and Applications，2022，27（1）：172-180.

［11］文?斌，曹仁軒，楊啟良，等. 改進YOLOv3算法檢測三七葉片病害［J］. 農(nóng)業(yè)工程學報，2022，38（3）：164-172.

［12］Girshick R，Donahue J，Darrell T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］//2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：580-587.

［13］Redmon J，Divvala S，Girshick R，et al. You only look once：unified，real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition，2016：779-788.

［14］Liu W，Anguelov D，Erhan D，et al. SSD：single shot MultiBox detector［M］//Computer vision-ECCV 2016.Cham：Springer International Publishing，2016：21-37.

［15］王相友，李晏興，楊振宇，等. 基于改進YOLOv4模型的馬鈴薯中土塊石塊檢測方法［J］. 農(nóng)業(yè)機械學報，2021，52（8）：241-247，262.

［16］李菊霞，李艷文，牛?帆，等. 基于YOLOv4的豬只飲食行為檢測方法［J］. 農(nóng)業(yè)機械學報，2021，52（3）：251-256.

［17］劉莫塵，高甜甜，馬宗旭，等. 基于MSRCR-YOLOv4-tiny的田間玉米雜草檢測模型［J］. 農(nóng)業(yè)機械學報，2022，53（2）：246-255，335.

［18］王巧華，顧?偉，蔡沛忠，等. 基于改進YOLOv4的群體棉種雙面破損檢測方法［J］. 農(nóng)業(yè)機械學報，2022，53（1）：389-397.

［19］吳?雪，宋曉茹，高?嵩，等. 基于深度學習的目標檢測算法綜述［J］. 傳感器與微系統(tǒng)，2021，40（2）：4-7，18.

［20］Bochkovskiy A， Wang C Y， Liao H Y M. Yolov4： optimal speed and accuracy of object detection［EB/OL］. （2004-01-09）［2022-09-10］.https：//arxiv.org/abs/2004.10934.

［21］張兆國，張振東，李加念，等. 采用改進Yolov4模型檢測復雜環(huán)境下馬鈴薯［J］. 農(nóng)業(yè)工程學報，2021，37（22）：170-178.

［22］Ren S Q，He K M，Girshick R，et al. Faster R-CNN：towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.