基于Tiny-YOLO的蘋果葉部病害檢測(cè)

邸 潔 曲建華

(山東師范大學(xué)商學(xué)院，250358，濟(jì)南)

1 引 言

蘋果種植在中國有著兩千多年的發(fā)展歷史，種植面積逐年擴(kuò)大，世界蘋果總產(chǎn)量的65%來自中國.在國家經(jīng)濟(jì)政策的支持下，傳統(tǒng)蘋果產(chǎn)業(yè)逐步向現(xiàn)代化發(fā)展，中國逐漸發(fā)展為世界蘋果產(chǎn)業(yè)強(qiáng)國[1].但同時(shí)，蘋果種植產(chǎn)業(yè)快速發(fā)展的背后，病害防治一直是困擾果農(nóng)的重要難題之一[2,3].大多數(shù)情況下，果農(nóng)識(shí)別蘋果病害是通過參照已有經(jīng)驗(yàn)、對(duì)照書籍、查詢互聯(lián)網(wǎng)或者請(qǐng)教專業(yè)技術(shù)人員等方式，而僅通過以上方式，不僅不利于及時(shí)有效地識(shí)別病害，甚至可能會(huì)引起某些人為判斷的誤差.現(xiàn)實(shí)生產(chǎn)中，對(duì)蘋果病害的有效自動(dòng)檢測(cè)，不僅能實(shí)時(shí)監(jiān)測(cè)蘋果健康狀況，還能幫助果農(nóng)正確判斷蘋果病害，從而進(jìn)行及時(shí)防治，避免大面積病害情況的出現(xiàn)，這對(duì)促進(jìn)蘋果健康生長以及增加果農(nóng)經(jīng)濟(jì)收益具有重要意義.

蘋果病害多達(dá)數(shù)百種，主要分布在果實(shí)、葉片、枝干、根部等部位，而常常首先出現(xiàn)在葉部[4].葉片具有易觀察、易采集、易處理的特點(diǎn)，是人們識(shí)別病害的重要參照.所以，對(duì)蘋果葉部病害進(jìn)行有效的自動(dòng)檢測(cè)具有重要研究意義.但由于葉片紋理復(fù)雜多變，差異性極難判斷，造成目前許多研究方法的檢測(cè)效果并不理想.

目前，國內(nèi)外研究人員在蘋果葉部病害檢測(cè)方面已經(jīng)取得了很多研究成果.李宗儒等人[5]建立BP網(wǎng)絡(luò)模型，實(shí)現(xiàn)了低分辨率下蘋果葉部病害圖像的智能識(shí)別和診斷；Rong-Ming H U等人[6]提出基于高光譜圖像的蘋果葉病斑提取的研究方法，采用傳統(tǒng)的光譜特征和面向?qū)ο蟮奶卣鞣椒◤母吖庾V圖像中提取蘋果葉病斑；Omrani E等人[7]提出了基于人工神經(jīng)網(wǎng)絡(luò)(ANN)和支持向量機(jī)(SVMS)的計(jì)算方法，用于實(shí)現(xiàn)三種蘋果葉片病害的檢測(cè)；王梅嘉[8]建立了基于Android平臺(tái)的遠(yuǎn)程識(shí)別系統(tǒng)，以手機(jī)作為病葉圖像獲取的客戶端，滿足了蘋果遠(yuǎn)程識(shí)別的需要；孫素云[9]提出了基于圖像處理和支持向量機(jī)的蘋果葉部病害的分類研究方法，在圖像分割方法和特征提取方法上做出了改進(jìn)；胡秋霞[10]針對(duì)實(shí)驗(yàn)過程中SVM模型參數(shù)難確定的問題，依次提出基于遺傳算法和基于粒子群算法的改進(jìn)SVM模型，進(jìn)一步實(shí)現(xiàn)了蘋果葉部病害的有效識(shí)別；曲峰[11]綜合運(yùn)用基于奇異值分解的圖像處理技術(shù)和基于Android平臺(tái)的遠(yuǎn)程識(shí)別系統(tǒng)，提高了蘋果葉部病害識(shí)別和定位的檢測(cè)效果.然而，目前多數(shù)聚焦蘋果葉部病害檢測(cè)的研究在圖像處理、特征提取、分類等方面的操作過于繁瑣復(fù)雜，導(dǎo)致時(shí)效性不佳，故仍需繼續(xù)探索更為優(yōu)化的蘋果葉部病害檢測(cè)方法.

自60年代目標(biāo)檢測(cè)技術(shù)開始出現(xiàn)，國內(nèi)外研究者始終致力于新技術(shù)的不斷研究.Krizhevsky等人[12]在2012年ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽(ILSVRC)上提出了AlexNet架構(gòu)后，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法逐漸成為主流[13,14].深度學(xué)習(xí)方法不再通過人工進(jìn)行特征提取，而是采用分層特征提取的方法，該方法與人的視覺機(jī)理更加相近，檢測(cè)精度更高.近年來，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)研究層出不窮，果蔬農(nóng)作物病害檢測(cè)領(lǐng)域的應(yīng)用不斷被提出：周云成等人[15]為實(shí)現(xiàn)番茄不同器官的快速、準(zhǔn)確檢測(cè)，在VGG Net的基礎(chǔ)之上，對(duì)其結(jié)構(gòu)優(yōu)化調(diào)整，構(gòu)建了10種不同番茄器官分類的網(wǎng)絡(luò)模型，識(shí)別準(zhǔn)確率可達(dá)93.61%；楊國國等人[16]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，對(duì)茶園環(huán)境下的害蟲進(jìn)行快速、準(zhǔn)確的定位和識(shí)別，準(zhǔn)確率達(dá)到91.50%；Sardogan等人(Sardogan, Melike & Tuncer, Adem & Ozen, Yunus. (2018). Plant Leaf Disease Detection and Classification Based on CNN with LVQ Algorithm. 382-385. 10.1109/UBMK.2018.8566635)基于CNN模型和LVQ(learning vector quantization)算法實(shí)現(xiàn)了對(duì)5種番茄葉病的分類與檢測(cè)，平均識(shí)別率達(dá)到86%；徐冬[17]提出了一種基于K-means方法的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了對(duì)5種大豆病害的自動(dòng)檢測(cè)識(shí)別，準(zhǔn)確率達(dá)到96.70%；張善文等人[18]針對(duì)傳統(tǒng)識(shí)別方法中檢測(cè)易受葉片形態(tài)、光照和圖像背景影響的問題，改進(jìn)了LeNet卷積神經(jīng)網(wǎng)絡(luò)的模型架構(gòu)，實(shí)現(xiàn)了對(duì)6種黃瓜病害的有效識(shí)別，平均識(shí)別率可達(dá)90.32%；Liu B等人(Bin L,Yun Z,Dongjian H,et al.Identification of apple leaf diseases based on deep convolutional neural Networks.Symmetry, 2017, 10(1))設(shè)計(jì)了一種基于AlexNet的深度學(xué)習(xí)模型，能較好地解決蘋果葉片病害的識(shí)別問題，總體精度達(dá)到97.62%；Yu H J 等人(Yu H J,Son C H.Apple leaf disease identification through region-of-interest-aware deepconvolutional neural network.2019.)提出了一種基于感興趣區(qū)域(region-of-interest-aware)的蘋果葉病識(shí)別新方法，平均準(zhǔn)確率達(dá)到84.3%；楊晉丹等人[19]通過改變網(wǎng)絡(luò)深度與卷積核尺寸，設(shè)計(jì)出9種CNN結(jié)構(gòu)模型，并選用4種采樣層構(gòu)建方法，對(duì)多組草莓白粉病病害數(shù)據(jù)集進(jìn)行識(shí)別，正確識(shí)別率達(dá)到98.61%；薛月菊等人[20]為解決芒果重疊或遮擋部分難檢測(cè)的問題，提出一種結(jié)合密集連接的改進(jìn)的Tiny-YOLO芒果檢測(cè)網(wǎng)絡(luò)，準(zhǔn)確率達(dá)到97.02%；謝忠紅等人[21]針對(duì)菠菜新鮮度檢測(cè)精度偏低的問題，將基于高光譜和深度學(xué)習(xí)技術(shù)的網(wǎng)絡(luò)模型用于圓葉菠菜新鮮度的識(shí)別，正確率最高達(dá)到了80.99%.深度學(xué)習(xí)方法在果蔬農(nóng)作物的病害檢測(cè)方面的廣泛應(yīng)用，使得自動(dòng)檢測(cè)方法取得了階躍性發(fā)展.

深度學(xué)習(xí)時(shí)代的目標(biāo)檢測(cè)方法主要體現(xiàn)為兩大類[22]：一類是基于區(qū)域生成的目標(biāo)檢測(cè)方法，該類方法在圖像上生成許多可能含有目標(biāo)區(qū)域的候選框，對(duì)每一個(gè)邊框提取特征、訓(xùn)練分類器，分兩步實(shí)現(xiàn)目標(biāo)物體的目標(biāo)檢測(cè)；另一類是基于回歸的目標(biāo)檢測(cè)方法，該類方法將檢測(cè)問題作為回歸問題來處理，直接預(yù)測(cè)出邊框的坐標(biāo)、所包含物體的置信度和物體出現(xiàn)的概率，一步實(shí)現(xiàn)目標(biāo)物體的目標(biāo)定位和類別識(shí)別.基于區(qū)域生成的目標(biāo)檢測(cè)方法，在檢測(cè)精度上更占優(yōu)；而基于回歸的目標(biāo)檢測(cè)方法，在檢測(cè)速度上更占優(yōu)，并在實(shí)時(shí)檢測(cè)、智能應(yīng)用方面很受歡迎.

為解決蘋果葉片紋理復(fù)雜多變、病害識(shí)別困難等現(xiàn)實(shí)問題，快速、有效地實(shí)現(xiàn)蘋果葉部病害的自動(dòng)檢測(cè)，本文選取一種基于回歸的目標(biāo)檢測(cè)方法——Tiny-YOLO，將其應(yīng)用于蘋果葉部病害檢測(cè)，以期兼顧良好的檢測(cè)速度和檢測(cè)精度.

2 數(shù)據(jù)與方法

2.1實(shí)驗(yàn)數(shù)據(jù)本文實(shí)驗(yàn)數(shù)據(jù)取自PlantVillage數(shù)據(jù)庫(https://plantvillage.org/)，隨機(jī)選取數(shù)據(jù)庫中大小相同、圖像清晰的四類常見蘋果葉部圖片作為本文實(shí)驗(yàn)數(shù)據(jù)集.數(shù)據(jù)集經(jīng)人工篩選，避免了單一性、重復(fù)性和錯(cuò)誤性等問題，保證了實(shí)驗(yàn)數(shù)據(jù)集的質(zhì)量.圖片數(shù)據(jù)包括：蘋果黑星病300張、蘋果黑腐病300張、蘋果雪松銹病275張、健康葉片529張，共計(jì)1 404張圖片(葉片示例如圖1所示，葉片主要特征如表1所示).將圖片按8∶2的比例隨機(jī)劃分成訓(xùn)練集和測(cè)試集.

在對(duì)圖片數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)號(hào)后，逐一對(duì)葉片樣本進(jìn)行人工標(biāo)注.標(biāo)注過程中，不考慮莖部，標(biāo)注框的上下左右均緊貼葉片外側(cè)邊界，以盡量避免標(biāo)注誤差.

圖1 蘋果葉部病害圖像

表1 蘋果葉部病害特征對(duì)照表

2.2環(huán)境和工具服務(wù)器平臺(tái)配置為

Windows 7 Ultimate 64bit SP1，Intel Core i7-8700K @ 3.70GHz，64GB RAM，Intel SSDSCKKW256H6，Nvidia GeForce GTX 1 080 Ti GPU.

本文所使用工具為

LabelImg，Matlab，Microsoft Visio 2013.

2.3Tiny-YOLO網(wǎng)絡(luò)將目標(biāo)檢測(cè)問題作為回歸問題解決是YOLO的核心思想所在.該算法下，圖片將被分為S×S個(gè)網(wǎng)格(grid cell)，每個(gè)網(wǎng)格預(yù)測(cè)B個(gè)邊界框(bounding boxes)，每個(gè)邊界框包括5個(gè)預(yù)測(cè)值： (x,y)表示預(yù)測(cè)邊界框相對(duì)于網(wǎng)格邊界的中心坐標(biāo)，(w,h)表示預(yù)測(cè)邊界框的寬和高，置信度(confidence)則有兩方面含義：一是邊界框包含目標(biāo)的可能性，二是邊界框的預(yù)測(cè)準(zhǔn)確性，其值用預(yù)測(cè)框與實(shí)際邊界框之間的聯(lián)合部分的交集IOU(intersection over union，IOU)來表示：

(1)

每個(gè)網(wǎng)格的條件類別概率與置信度相乘，得到某個(gè)預(yù)測(cè)框中所含物體具體類別的置信度：

(2)

以此為基礎(chǔ)，在圖片檢測(cè)過程中選擇合適的候選區(qū)域進(jìn)行預(yù)測(cè)，從而獲取候選區(qū)域的最佳位置和分類.盡管YOLO取得了速度上的進(jìn)步，但在目標(biāo)定位上變得不夠準(zhǔn)確，導(dǎo)致精度不高[23].

YOLOv2基于原始YOLO的優(yōu)勢(shì)，進(jìn)一步提高了檢測(cè)性能.提出新的網(wǎng)絡(luò)結(jié)構(gòu)——Darenet-19和一系列的優(yōu)化策略，如批量標(biāo)準(zhǔn)化、高分辨率分類器、維度聚類、直接位置預(yù)測(cè)等.

Tiny-YOLO是在Darenet-19的結(jié)構(gòu)基礎(chǔ)上設(shè)計(jì)的微型“加速版”網(wǎng)絡(luò)(網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示)，其縮減了模型的復(fù)雜度和訓(xùn)練參數(shù)的數(shù)目，大大提高了訓(xùn)練速度，使其達(dá)到244幀/s，相當(dāng)于YOLOv2檢測(cè)速度的1.5倍.

圖2 Tiny-YOLO 網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)及結(jié)果分析

3.1實(shí)驗(yàn)過程蘋果葉部病害目標(biāo)檢測(cè)實(shí)驗(yàn)過程如圖3所示.先從網(wǎng)站獲取并篩選蘋果葉部圖片，而后進(jìn)行數(shù)據(jù)集劃分及樣本標(biāo)注.之后分別使用訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集對(duì)模型進(jìn)行充分的訓(xùn)練與測(cè)試，得到Tiny-YOLO蘋果葉部病害檢測(cè)模型.對(duì)模型進(jìn)行驗(yàn)證實(shí)驗(yàn)，探究實(shí)驗(yàn)效果.

圖3 Tiny-YOLO訓(xùn)練流程

3.2評(píng)價(jià)指標(biāo)本文選擇平均精度均值(mAP，mean average precision)、重疊度(IoU，intersection over union)、召回率recall、每秒幀率(FPS， frame per second)作為蘋果葉部病害檢測(cè)模型的評(píng)價(jià)指標(biāo).

1) 準(zhǔn)確率(Precision)：也稱正確率，表示識(shí)別結(jié)果中被正確識(shí)別的A物體的個(gè)數(shù)占所有被識(shí)別為A物體的個(gè)數(shù)的比例，mAP就是對(duì)所有類別的正確率求平均的結(jié)果.

(3)

2) 召回率(recall)：也稱查全率，表示識(shí)別結(jié)果中被正確識(shí)別的A物體的個(gè)數(shù)占測(cè)試集中所有A物體的個(gè)數(shù)的比例.

(4)

3) 重疊率(IoU)：是指A物體的預(yù)測(cè)框與原標(biāo)注框的重合程度.

(5)

4) 每秒幀率(FPS)：是評(píng)估速度的常用指標(biāo)，就是指每秒內(nèi)可以處理的圖片數(shù)量.

3.3結(jié)果與分析Tiny-YOLO在訓(xùn)練過程中的平均損失值變化如圖4所示.總體來看，迭代初期，模型迅速擬合，損失值快速減小，隨著迭代次數(shù)不斷的增加，損失值在來回震蕩的過程中逐漸趨于平穩(wěn)，最終平均損失值約為0.006.由此可知，Tiny-YOLO模型對(duì)于蘋果葉部病害訓(xùn)練數(shù)據(jù)集具有良好的訓(xùn)練效果.

圖4 Tiny-YOLO的平均損失值變化圖

經(jīng)測(cè)試，Tiny-YOLO的mAP為99.86 %，Average IoU為83.54%，Recall為0.99，檢測(cè)速度為280 FPS，能夠?qū)崿F(xiàn)蘋果葉部病害的實(shí)時(shí)、有效檢測(cè).

Tiny-YOLO的蘋果葉部病害檢測(cè)效果如圖5所示.由圖5可看出，Tiny-YOLO的定位框能夠契合目標(biāo)樣本.

圖5 Tiny-YOLO檢測(cè)效果圖

4 結(jié)論與展望

為解決蘋果葉部病害復(fù)雜難識(shí)別、檢測(cè)速度難以提升等問題，本文將Tiny-YOLO網(wǎng)絡(luò)模型應(yīng)用于蘋果葉部病害檢測(cè).實(shí)驗(yàn)結(jié)果顯示，Tiny-YOLO蘋果葉部病害檢測(cè)模型的mAP為99.86 %，Average IoU為83.54%，檢測(cè)速度達(dá)280 FPS.實(shí)驗(yàn)結(jié)果表明，Tiny-YOLO模型能夠較好地實(shí)現(xiàn)蘋果葉部病害的快速、有效檢測(cè).

本文的研究內(nèi)容只是基于簡單背景下的蘋果葉部病害目標(biāo)檢測(cè)，在接下來的研究中，將進(jìn)一步與蘋果種植基地或相關(guān)部門合作，進(jìn)行實(shí)地拍攝，獲取更多蘋果葉部病害圖片，豐富并細(xì)化蘋果葉部病害種類，從而基于已有研究成果探索復(fù)雜背景下蘋果葉部病害的自動(dòng)檢測(cè).