便攜式柑橘蟲害實時檢測系統(tǒng)的研制與試驗

王林惠，蘭玉彬，劉志壯，岳學軍，鄧述為，郭宜娟

（1. 湖南科技學院智能制造學院，永州 425199；2. 華南農業(yè)大學電子工程學院、人工智能學院，廣州 510642； 3. 國家精準農業(yè)航空施藥技術國際聯(lián)合研究中心，廣州 510642）

0 引言

柑橘是中國重要的經濟類果樹，現(xiàn)如今適宜種植柑橘的地域范圍不斷擴大，然而柑橘蟲害的頻繁發(fā)生，極大增加了柑橘栽培難度。柑橘紅蜘蛛和蚜蟲是影響柑橘生長的主要蟲害，各柑橘產區(qū)均有分布。目前柑橘樹蟲害防治主要以大范圍大劑量噴灑農藥為主[1]，環(huán)境污染嚴重，且果品上的農藥殘留對消費者的健康產生較大影響。因此，根據果園中不同位置的蟲害危害等級信息進行精準噴施，對于節(jié)約資源、保護環(huán)境、提高果品品質和果農增收意義重大[2]。然而果樹蟲害級別定量化測評及實時檢測技術達不到變量噴施的要求，成為限制精確噴施農藥的瓶頸問題。因此，研究果樹蟲害信息的快速定量化獲取關鍵技術對于實現(xiàn)航空噴霧自動化、無人化具有十分重要的意義。

傳統(tǒng)蟲害檢測方法包括聲學檢測法[3]、電子鼻技術[4-5]、光譜成像技術[6-8]和可見光圖像處理技術[9-11]等，前三種方法在復雜的果園環(huán)境中的使用具有局限性。隨著計算機硬件更新?lián)Q代和深度學習等智能化技術在物體檢測與識別領域取得突破性發(fā)展，采用數(shù)字圖像技術精準分析蟲害圖像，了解蟲害的危害程度逐漸成為趨勢[12-13]。如李衡霞等[14]提出一種基于深度卷積神經網絡的油菜蟲害檢測方法，實現(xiàn)了對蚜蟲、菜青蟲幼蟲、菜蝽、跳甲、猿葉甲等5種油菜害蟲的快速準確檢測，平均準確率達94.12%；Kuzuhara等[15]提出一種基于改進卷積神經網絡（Convolutional Neural Networks，CNN）的蟲害兩階段檢測和識別方法，采用Xception模型對CNN輸出結果再識別。但上述蟲害檢測案例均只停留在模型構建方面，未實現(xiàn)具體應用。為此，He等[16]設計了一款油菜害蟲成像系統(tǒng)，并結合SSD模型研發(fā)了配套的安卓應用程序，可結合無人機與物聯(lián)網技術實現(xiàn)油菜蟲害監(jiān)測。類似于He等設計的檢測系統(tǒng)已有諸多案例[17-19]，但均存在的問題是采集與處理分離，均需將采集的圖像以無線通信方式上傳至服務器處理后獲得結果，且未結合位置信息，無法實現(xiàn)地圖級查詢和顯示。

針對以上問題，本文以柑橘樹為研究對象，以柑橘紅蜘蛛和蚜蟲為檢測對象，結合深度學習中快速區(qū)域卷積神經網絡（Faster Region Convolutional Neural Networks，F(xiàn)aster R-CNN)模型和嵌入式物聯(lián)網技術，研究一種基于可見光圖像信息的便攜式柑橘蟲害實時檢測儀，并結合云端服務器，實現(xiàn)紅蜘蛛和蚜蟲嚴重程度的地圖級可視化顯示。為實現(xiàn)柑橘園蟲害信息的實時快速獲取，果園精細管理、精準施肥施藥、噴霧機械的優(yōu)化設計提供理論依據。

1 材料與方法

1.1 系統(tǒng)構成與工作原理

根據智慧農場和農業(yè)物聯(lián)網設計思想，系統(tǒng)由感知層、網絡層和應用層組成，系統(tǒng)結構如圖1所示。感知層以該檢測儀為主，負責蟲害圖像數(shù)據采集；網絡層為檢測儀和云服務器、云服務器和用戶端之間的數(shù)據進行編碼、認證和傳輸；應用層主要提供蟲害的位置分布，實時顯示各個位置的詳細蟲害信息和危害程度，并實現(xiàn)地圖級直觀顯示效果。整個系統(tǒng)各層緊密協(xié)作、分工明確，構成一套完整的柑橘蟲害實時檢測系統(tǒng)。

利用模塊化設計思想，檢測儀包括處理器、高清攝像頭（分辨率：支持 1 280×960像素，型號：RER-USB4KHDR01，廠商：銳爾威視）、北斗（Beidou Navigation Satellite System, BDS）定位模塊、Wi-Fi通信模塊以及顯示模塊。系統(tǒng)實物如圖2所示。其中處理器選用K210 AI芯片（RISC-V架構，64位雙核；SiPEED，中國）。該實物采用手持桿的設置方式，一方面可以方便用戶握持和攜帶，增加了裝置的便攜性，另一方面將攝像頭的鏡頭設置在凹槽內，可避免攝像頭被刮花。

檢測儀軟件工作流程如圖3所示。通過攝像頭獲取蟲害圖像信息，經預處理后，利用K210內嵌的已訓練好的Faster-RCNN進行有無病蟲害的識別，對于有病蟲害的圖像，再進行特征提取和分類，識別蟲害類型和危害等級。通過BDS模塊獲取位置信息，并與蟲害識別結果輸出顯示，最后通過無線通信模塊將檢測信息發(fā)送至服務器，方便用戶對蟲害發(fā)展趨勢進行預測，進而方便進行蟲害整體管控和預防。

1.2 基于Faster-RCNN的柑橘蟲害識別模型訓練

Faster-RCNN最早在2016年由Ross B. Girshick提出，是二階段目標檢測模型中最具代表性的方法[20]，擁有較好的特征提取能力和識別能力，且模型精簡，適合做移動端目標檢測，因此本文選擇Faster-RCNN作為蟲害檢測模型。

Faster-RCNN框架由RCNN[21]、Fast-RCNN[22]逐步發(fā)展而來，網絡結構可分為卷積層、區(qū)域生成網絡、感興趣區(qū)域池化層以及分類器。Faster-RCNN結構設計如圖4所示。

卷積層提取輸入圖像特征，生成特征圖；采用區(qū)域候選網絡（Region Proposal Network, RPN）方式生成候選區(qū)域：首先生成大量錨框，然后裁剪過濾，并利用軟最大化（Softmax）函數(shù)分類判斷其是否屬于前背景，同時用邊框回歸優(yōu)化錨框，形成候選區(qū)。值得注意的是Faster-RCNN將傳統(tǒng)選擇搜索區(qū)域生成網絡提升為 RPN方式，通過RPN獲取準確度更高的候選區(qū)，降低了時間成本[23]；感興趣區(qū)域池化層變換建議區(qū)域尺寸，得到尺寸固定的特征圖，該特征圖作為全鏈接層輸入項；分類層將固定大小的特征圖進行全鏈接操作，利用Softmax函數(shù)和邊框回歸進行分類和修正。

1.2.1 數(shù)據采集與標準數(shù)據集制作

數(shù)據集圖像采集地點位于湖南省永州市新田縣富硒臍橙種植基地，采樣時間為2020年10月13日，該時間是紅蜘蛛和蚜蟲的高發(fā)期。采樣時以該蟲害檢測儀作為采樣工具，以單棵柑橘樹為基本單位獲取圖像數(shù)據，共采集柑橘樹100棵?；诓蓸泳庑钥紤]，采樣點選擇柑橘樹中間處前（A）、后（C）、左（D）、右（B）和頂部（E）共5個位置，采樣示意圖如圖5所示。兩種蟲害分別采集圖像500張，預處理后圖像尺寸統(tǒng)一調整為240×240像素。為了提高網絡模型的檢測精度，對數(shù)據集圖像采取裁剪、旋轉、平移等方式進行數(shù)據增強，將兩種蟲害數(shù)據集分別擴增到1 000張圖像。

采用LabelImg（v1.8.3）工具對預處理后的蟲害圖像進行標注，并生成xml數(shù)據源文件。將標注后的2000張樣本圖像分成訓練集、驗證集和測試集3個部分，按照8:1:1的比例隨機劃分。

1.2.2 模型超參數(shù)選擇

學習率是Faster-RCNN重要的超參數(shù)，優(yōu)選合適的學習率可使損失函數(shù)快速收斂，避免震蕩和減少耗時。本文采用指數(shù)標尺選取0.001、0.01和0.1共3組學習率，經多次試驗得知最佳學習率為0.001。同樣地，批量化尺寸（Batch Size）參數(shù)也會影響模型的性能及速度。經對比試驗確定了Batch Size最佳值為32。損失函數(shù)用來評價模型的預測值和真實值不一樣的程度。通常損失函數(shù)值越小，模型的性能越好。對于本文涉及蟲害分類問題，選擇交叉熵損失函數(shù)較為合適，計算公式如下：

式中i表示第i個樣本，f為模型輸出函數(shù)，j為求和變量，K為樣本總數(shù)。同時，一、二階矩估計的指數(shù)衰減率分別設為0.9和0.999，L2正則化系數(shù)設為5×10-5。

1.2.3 特征提取網絡優(yōu)選

經典Faster-RCNN模型的特征提取網絡層為VGG16，但其參數(shù)量過于龐大。然而，MobileNet的結構輕量化特征突出，在嵌入式系統(tǒng)要求模型精簡化的前提下優(yōu)勢明顯。因此，為突出MobileNet在嵌入式終端蟲害檢測的優(yōu)越性，選擇GoogleNet 系列的InceptionV3網絡模型、MobileNet模型以及VGG16，并結合Faster-RCNN框架在數(shù)據集上分別訓練，對比三種模型的檢測效果。

1.2.4 模型訓練環(huán)境

硬件配置：處理器為單核Intel E5-2660，內存大小為32 GB，圖形處理器為1080ti顯卡。

軟件環(huán)境：操作系統(tǒng)為 Ubuntu 16.04，集成開發(fā)環(huán)境為 Anaconda3，采用TensorFlow作為深度學習框架。

1.2.5 模型評價指標

為了客觀評價不同特征網絡的性能，本文從算法運行速度、模型參數(shù)量、正確率（Accuracy，ACC）和平均精準率（Mean Average Precision，mAP）4個角度進行評價。

通常分類器在訓練和預測一幅圖像需要的時間為計算時間。為了減少誤差，采用多幅圖像的計算時間取平均值（Mean Time, MT）作為速度指標。

模型參數(shù)量是嵌入式設備運行深度學習模型的重要指標之一。將每一層的權重參數(shù)相加得到參數(shù)總量，其中模型參數(shù)采用浮點型存儲，按4個字節(jié)計算，即可得到模型參數(shù)量。

正確率指被正確分類的樣本數(shù)除以總樣本數(shù)，通常來說，正確率越高，分類器越好。為此，假設真正（True Positive，TP）表示將正樣本預測為正樣本數(shù)；真負（True Negative，TN）表示將負樣本預測為負樣本數(shù)；假正（False Positive，F(xiàn)P）)表示將負樣本預測為正樣本數(shù)；假負（False Negative，F(xiàn)N）表示將正樣本預測為負樣本數(shù)。則正確率公式可表示如下：

某些情況下正確率高并不足以說明算法的性能優(yōu)異，因此引入mAP作為衡量指標。在物體識別中，每一類均可根據精度（Precision）和召回率（Recall）繪制一條精度-召回率（Precision-Recall，PR）曲線，AP則是該曲線下的面積，而mAP即為平均AP，是對多個驗證集個體求平均AP值，其計算公式如下：

式中QR代表驗證集個數(shù)，q為某一個驗證集。

1.3 用戶端可視化軟件設計

前端采用vue.js框架，結合elements-ui編寫界面，導入Google地圖，以熱力圖顯示不同位置量化后的蟲害情況；后端采用springboot框架，阿里云作為服務器，MySQL作為蟲害數(shù)據庫。設計模式采用模型（Model）、視圖（View）和控制器（Controller）實現(xiàn)三層架構（持久層、業(yè)務層、表示層），方便拓展。用戶端主界面顯示如圖6所示。

1.4 系統(tǒng)整體評價指標

識別準確率（True Positive Rate，TPR）用來表征檢測儀對不同害蟲識別的精準度，是指被預測正確的正樣本占實際總樣本的百分比，計算公式如下：

計數(shù)準確率（Counting Accuracy，CA）指標主要用于記錄檢測儀蟲害種類識別正確且計數(shù)正確的情況，其中，計數(shù)正確是指統(tǒng)計樣本中某一類蟲害的數(shù)量與該樣本中該類蟲害實際數(shù)量一致的情況。為此，本文假設蟲害種類識別正確且計數(shù)正確的樣本數(shù)占總樣本數(shù)的百分比為PP，蟲害種類識別正確但計數(shù)不正確的樣本數(shù)占總樣本數(shù)的百分比為PN，則計數(shù)準確率公式如下：

2 結果與分析

2.1 柑橘蟲害識別模型訓練結果分析

2.1.1 模型訓練過程分析

選取兩種害蟲訓練集和驗證集樣本數(shù)據，訓練150次。分別記錄前20次，前50次，50～100次以及100～150次時損失（Loss）函數(shù)變化，如圖7所示。

在前10次迭代中訓練集和驗證集的Loss迅速下降，然后10次迭代之后逐漸趨于平穩(wěn)，說明已經不能再獲取更多的特征。在50次迭代之后，訓練集的Loss不變，而驗證集Loss緩慢上升，說明出現(xiàn)了過擬合的現(xiàn)象，即模型為了更加擬合訓練集的特征而變得過度嚴格，反而使模型偏離實際。為了防止過擬合現(xiàn)象發(fā)生，應該選取合適的迭代次數(shù)，或采用權值衰減方法，即每次迭代過程中采用某個小因子降低權值。

將訓練集樣本圖像分別輸入訓練次數(shù)為1、2、3、4、5、10、15、20、25、50、75、100、125、150的Faster-RCNN網絡模型中，對兩種害蟲檢測分類的正確率曲線如圖8所示。從正確率來看，在網絡模型穩(wěn)定后，紅蜘蛛的訓練效果較好，正確率達到了92.3%，蚜蟲的正確率為91.1%，主要原因是紅蜘蛛從形態(tài)上看比較固定，而蚜蟲形態(tài)多變，模型泛化能力稍有不足。

2.1.2 特征網絡優(yōu)選結果及分析

取兩種害蟲的訓練集樣本，選擇GoogleNet系列InceptionV3網絡模型、MobileNet模型以及VGG16，對比分析三種模型的檢測效果。不同特征提取網絡的Loss值隨迭代次數(shù)增加的曲線變化如圖9所示。

從Loss曲線的形態(tài)來看，MobileNet和GoogleNet的Loss曲線都能夠快速收斂，且穩(wěn)定后MobileNet的Loss值小于0.1，而GoogleNet的Loss值穩(wěn)定在0.1以上。VGG16的Loss值收斂最慢，在經過接近1 000次迭代后最終穩(wěn)定在0.2左右。

以平均精準率mAP、正確率ACC、模型參數(shù)量和速度作為評價指標，取兩種害蟲的驗證集樣本，對3個模型的性能進行定量分析的結果如表1所示。

表1 不同特征提取網絡性能參數(shù)對比 Table 1 Comparison of performance parameters of different feature networks

由表1可知，其中MobileNet的參數(shù)量最小，約為VGG16參數(shù)量的1/38，僅為15.147 M；MobileNet的mAP和ACC指標分別為86.40%、91.07%，兩者雖然均低于VGG16，但高于GoogleNet；從模型檢測速率來看，MobileNet的計算時間平均值為286 ms，遠低于VGG16的679 ms和GoogleNet的459 ms。綜上可知，MobileNet的正確率和平均精準度均低于VGG16，但前者在內存空間上占絕對優(yōu)勢。綜合考慮處理效率和準確率的前提下，采用MobileNet作為柑橘蟲害檢測模型的特征提取網絡。

2.2 柑橘蟲害實時檢測儀檢測結果分析

將上述訓練好的模型導入K210 AI處理器，取兩種害蟲的測試集樣本，分別記錄PP、PN、NN值，結果如表2所示。

表2 檢測儀檢測結果 Table 2 Detector experimental results

從成功識別的角度來看，紅蜘蛛和蚜蟲的識別準確率較高，分別為91.0%和89.0%，說明樣本特征選取正確。從計數(shù)準確率角度來看，紅蜘蛛的CA值為90.1%，蚜蟲CA值為43.8%，主要原因在于蚜蟲比較密集且相互遮擋，存在重疊現(xiàn)象，做標注時難以將所有害蟲標注出來，造成訓練時部分蚜蟲樣本成為負樣本，準確率降低。LCD顯示屏可視化檢測結果如圖10所示。

從兩種蟲害的數(shù)量特性來看，紅蜘蛛的密度較小，因而計數(shù)結果較為準確。而蚜蟲密度大，在葉脈和莖上可能存在數(shù)十個蚜蟲，而且存在互相遮蓋、對焦困難等問題，導致計數(shù)準確率低。因而在訓練類似蚜蟲的密集害蟲模型時，應當盡量選擇目標完整、遮擋少、背景單一的圖片進行訓練，減少誤差。

2.3 蟲害分布可視化熱力圖測試結果分析

為便于用戶直觀查看果園蟲害分布情況，客戶端從云數(shù)據庫讀取保存的蟲害檢測數(shù)據，包括蟲害類型、檢測點經緯度信息、數(shù)量、危害程度等，其中將單棵柑橘樹上采樣到的某一類蟲害總數(shù)作為熱力值，并在開發(fā)的客戶端軟件上實現(xiàn)地圖級熱力值顯示，實現(xiàn)直觀的蟲害分布可視化效果。如圖11所示為湖南省永州市新田縣富硒臍橙種植基地某區(qū)域內的紅蜘蛛和蚜蟲分布熱力圖。

由圖11可知，該熱力圖可視化了果園內柑橘紅蜘蛛和蚜蟲的分布狀況，效果良好，可直觀展示目標區(qū)域內的蟲害嚴重狀況，以便為農藥噴灑作業(yè)提供精準信息服務。

3 結 論

本文以柑橘紅蜘蛛和蚜蟲為研究對象，設計了一套基于深度卷積神經網絡的柑橘蟲害實時檢測系統(tǒng)。通過驗證系統(tǒng)的有效性，得出結論如下：

1）通過對VGG16、GoogleNet和MoblieNet的參數(shù)量、準確率和執(zhí)行效率等指標的對比分析，優(yōu)選了MoblieNet作為柑橘蟲害圖像特征提取網絡，參數(shù)量可減少至15.147 M，平均精準率和正確率分別高達86.40%和91.07%，有利于在嵌入式系統(tǒng)運行蟲害檢測模型。

2）利用Faster R-CNN實現(xiàn)了紅蜘蛛、蚜蟲的分類和計數(shù)，識別準確率分別達到91.0%和89.0%，單幀圖像平均處理速度低至286 ms。檢測系統(tǒng)根據目標圖像中蟲害數(shù)量計算危害程度，按照正常、輕度、中度、重度4個等級判定柑橘蟲害的嚴重程度，形成了蟲害識別與級別定量化測評軟件。

3）利用北斗模塊獲取采樣點位置信息，進一步處理，形成了可視化的蟲害熱力圖?？蔀楦涕賵@蟲害信息快速獲取，果園精細管理和噴霧機械的優(yōu)化設計提供有益參考。