基于輕量化神經(jīng)網(wǎng)絡的葡萄葉部病害檢測裝置研制

許文燕

(1.廣州南洋理工職業(yè)學院智能工程學院,廣東廣州 510925; 2.華南理工大學機械與汽車工程學院,廣東廣州 510641)

目前,隨著果園葡萄種植模式不斷復雜化、精細化,葡萄樹生長過程中所遇到的病蟲害情況也越來越復雜。如何快速、準確地檢測葡萄葉部病害并采取相關防治措施及時止損[1-3],對于提高葡萄的品質與產(chǎn)量至關重要。隨著計算機視覺技術的不斷發(fā)展,果園病蟲害檢測技術也取得了長足進步。常見的果園病蟲害檢測方法主要分為傳統(tǒng)機器視覺方法與深度學習方法兩大類。傳統(tǒng)機器視覺方法一般需要人工提取病蟲害顏色、紋理、輪廓等特征[4-7],并對這些特征進行稀疏編碼后采用特征分類器進行分類[8-9]。此類方法往往存在識別種類少、識別精度低等問題[10],因此難以大規(guī)模推廣應用。如王利偉等利用數(shù)字圖像處理提取15個葡萄病害區(qū)域形狀、紋理、顏色等特征輸入到支持向量機進行葡萄葉部病害的識別,識別準確率可達90%以上[6]。鄭建華等綜合利用RGB顏色矩、HSV顏色直方圖特征、GLCM紋理特征、HOG特征共4種特征集訓練SVM獲得了93.41%的識別準確率[7]。張梓婷等提出了一種基于k-means++聚類與圖像分塊的農(nóng)作物葉片病害異常檢測方法,對馬鈴薯、玉米、蘋果葉片檢測精度可達 89%以上[11]。傳統(tǒng)機器視覺方法識別精度非常依賴特征工程,對于相似病蟲害往往難以識別[12]。

然而,深度學習技術卻能夠自動提取相似病蟲害深度特征進行識別,識別準確率高、泛化能力強,近年來被廣泛應用在果園病蟲害識別領域[13]。如樊湘鵬等基于遷移學習和改進VGG16模型檢測葡萄葉部病害,并將其部署在手機APP上,平均識別精度達95.67%[14]。何欣等提出了一種基于多尺度殘差神經(jīng)網(wǎng)絡的葡萄葉片病害識別方法,使用Mask R-CNN提取葡萄葉片部位,并加入多尺度卷積等多種策略提升網(wǎng)絡特征提取能力,最終輸入到Multi-Scale ResNet中進行識別,準確率可達90.83%[15]。劉闐宇等提出了一種多角度建議區(qū)域的Faster-RCNN準確定位圖像中葡萄葉片病害部位并進行識別的方法,并在真實場景下進行檢測識別效果較好[16]。喬虹等利用Faster R-CNN算法對葡萄葉片病害進行動態(tài)檢測,檢測準確率達到了90.9%[17]。上述研究采用各自模型取得較好研究效果的同時,也存在模型網(wǎng)絡結構復雜、參數(shù)量龐大、運算量要求高等缺點[18-21]。因此,目前迫切需要對它們進行優(yōu)化改進,以滿足在內(nèi)存、算力資源受限的嵌入式設備上運用的要求[22]。

針對SqueezeNet網(wǎng)絡結構中Fire模塊數(shù)量過多、卷積核尺寸過大而導致模型運行效率低的問題[23-27],進行優(yōu)化改進以提高其在嵌入式設備上的運行效率,然后將改進網(wǎng)絡作為葡萄病害識別模型,擬研制一種便攜式果園葡萄病害快速識別與檢測裝置,以期為果園病蟲害信息快速獲取與智能化管理提供技術與裝備支持。

1 材料與方法

1.1 研究路線

基于改進SqueezeNet的葡萄葉部病害識別與檢測技術路線如圖1所示。該路線包括數(shù)據(jù)獲取、數(shù)據(jù)預處理、數(shù)據(jù)集制作、模型設計、模型訓練以及在移動設備上進行模型部署。一般來講,采集的圖像數(shù)據(jù)中或多或少都會存在部分缺失、分布不均衡、分布異常、混有無關緊要的數(shù)據(jù)等問題[28],通常都需要對其進行數(shù)據(jù)預處理,即剔除無效數(shù)據(jù)、標準化、數(shù)據(jù)增強以及數(shù)據(jù)標注等操作,以滿足模型訓練要求。然后,將預處理過的數(shù)據(jù)按照一定比例隨機劃分數(shù)據(jù)集。在識別模型選取方面,以SqueezeNet模型為基礎進行輕量化改進并訓練,將訓練完成后的模型進行量化并導出部署在移動設備,最終完成深度學習模型在果園病蟲害檢測方面的落地應用。

1.2 試驗數(shù)據(jù)

1.2.1 數(shù)據(jù)獲取 從AI Challenger 2018農(nóng)作物病害數(shù)據(jù)集中獲取3 144張葡萄葉片樣本。其中,健康葉片336張,病害葉片2 808張(表1)。考慮到葡萄健康葉片數(shù)量過少,另外,從廣州市從化區(qū)(113.59°E,23.55°N)世外萄園中,利用飛螢8 SE相機(分辨率1 280像素×720像素)人工拍攝了366張真實環(huán)境下的葡萄健康葉片圖像(圖2),總計3 510張樣本圖像。在全部樣本圖像中,包含了健康、黑腐病、褐斑病以及輪斑病4種葡萄葉片。

表1 葡萄葉片樣本數(shù)量

1.2.2 數(shù)據(jù)增強 考慮到各類病害樣本數(shù)量分布不均,為防止模型產(chǎn)生過擬合問題,采用數(shù)據(jù)增強技術[29],對各類樣本增加水平、垂直翻轉、隨機添加噪聲等操作(圖3),將圖像樣本由原來的3 510張增加到21 060張。因數(shù)據(jù)增強前后圖像大小存在差異,使用MATLAB自編函數(shù)將其統(tǒng)一調(diào)整至224像素×224像素。

1.2.3 數(shù)據(jù)集制作 將數(shù)據(jù)增強后的樣本按 8 ∶1 ∶1 的比例隨機劃分成訓練集、驗證集以及測試集(表2)。其中,驗證集主要用于模型的交叉驗證[28],測試集則用于評估最終模型的泛化能力[30]。

表2 各數(shù)據(jù)集樣本數(shù)量

1.3 模型設計與改進

1.3.1 基礎模型 近年來,隨著深度學習技術的不斷發(fā)展,卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)也由原來的8層AlexNet[18]增加到16層VGG-16[19],再到后來的22層的GoogLeNet[20]、101層的ResNet-101[31]以及201層的DenseNet-201[32]等。為了提高模型識別精度,科研人員往往采用更深的網(wǎng)絡結構。但是這些臃腫而龐大的模型難以在算力資源受限的移動設備上運用[21-22]。為了使深度學習模型能夠真正運用到嵌入式設備上,許多科研人員也做了大量的模型輕量化研究[20-21,23,29,33-34]。例如Iandola在2016年提出了一種輕量化的神經(jīng)網(wǎng)絡模型SqueezeNet[35],其結構見圖4。SqueezeNet模型在識別精度與AlexNet相當?shù)耐瑫r它的參數(shù)量僅僅是AlexNet的1/50。因此,本研究以經(jīng)典的SqueezeNet模型為基礎,對其做進一步改進優(yōu)化,使得它能夠在移動嵌入式設備上擁有更好的效率與精度。

由圖4-a可知,該模型結構主要有8個Fire模塊構成,還含有3個最大池化層(Max Pooling Layer)和1個全局平均池化層(Global Average Pooling Layer)。SqueezeNet模型的核心在于Fire模塊,它包括Squeeze層和Expand層2個部分,其結構見圖 4-b。通常將Fire模塊定義為Fire(M,N,E1,E2),其中M、N分別代表Squeeze層的輸入、輸出通道數(shù);E1、E2則分別代表Expand層中的1×1、3×3卷積核的數(shù)量。由圖4-a可知,每經(jīng)過一次最大池化操作,特征圖的大小變?yōu)樵瓉淼?/4,因此最大池化可以減少模型計算量。Dropout層會隨機失活一部分神經(jīng)元,從而防止模型出現(xiàn)過擬合[36]。卷積層10(Conv10)采用1×1卷積核,輸入通道數(shù)為512,輸出通道數(shù)為1 000,輸出特征圖大小為13×13。卷積層10的輸出經(jīng)過全局平均池化層(Global Average Pooling Layer)后,將特征向量輸入Softmax分類器,由Softmax分類器計算1 000種類別的概率,并將概率最大的類別作為模型最終識別結果[10]。

1.3.2 改進模型 原SqueezeNet模型是在大型數(shù)據(jù)集ImageNet上做過預訓練,其分類數(shù)目是1 000類。本研究葡萄葉片樣本為4類,需要在原SqueezeNet模型中將其改為4類。由于本研究識別種類較少,所以并不需要如此深的網(wǎng)絡結構。這里參照文獻[23]中的研究方法,在SqueezeNet模型基礎上,先移除Fire5、Fire6、Fire7這3個模塊。為了保證輸入到Fire8的通道數(shù)與前面一致,需要把Fire8模塊的參數(shù)修改為Fire(256,32,256,256),即將該模塊中的輸入通道數(shù)由512減少為256,同時把Squeeze層的輸出通道由64減少為32。研究表明,利用1×1卷積替換3×3卷積,可大幅度降低模型計算量[37]。因為3×3卷積核有9個參數(shù),每進行1次卷積需要做9次浮點乘法和1次浮點加法運算,而1×1卷積核僅有1個參數(shù),只進行1次浮點乘法運算,所以1次1×1卷積的運算量約為3×3卷積運算的 1/9[38]?；诖嗽?考慮將SqueezeNet模型中部分3×3卷積核用1×1卷積核替換。這樣不僅減少了模型參數(shù)量,而且也顯著地降低了模型運算量。具體做法是：(1)將Conv1的卷積核大小由 7×7 改為3×3,并將卷積核個數(shù)調(diào)整為64。(2)將Fire模塊中的1×1和3×3卷積核數(shù)量由原來1 ∶1的比例調(diào)整為3 ∶1進行重新分配[23]。此外,由于每進行1次最大池化操作,特征圖的大小會減少為原來的 1/4,然而特征圖的大小又與深度學習架構的運算量有著密切關系。(3)對于Fire2、Fire3模塊,如將其移到MaxPooling2之后,此時特征圖的大小變?yōu)樵瓉淼?/4,計算量相應也會減少為原來的1/4。將上述改進后的SqueezeNet模型命名為T-SNet(即Tiny-SqueezeNet的縮寫)與原模型以示區(qū)別,其具體結構見圖5。

1.4 評價指標

本研究采用混淆矩陣評價改進模型性能優(yōu)劣。其中,精準率、召回率以及準確率的基本定義如下。

精準率(Precision),又稱查準率,是分類器預測的正樣本中預測正確的比例。其取值范圍在0～1之間,取值越大表示模型預測能力越強。

(1)

召回率(Recall),又稱查全率,是分類器預測正確的正樣本占所有正樣本的比例。其取值范圍在 0～1之間,取值越大表示模型預測能力越強。

(2)

準確率(Accuracy)則是分類器預測正確的樣本占所有預測樣本的比例。其取值范圍在0～1之間,取值越大表示模型綜合預測能力越強。

(3)

其中,FP表示樣本為負,但預測為正的數(shù)量;FN表示樣本為正,但預測為負的數(shù)量;TP表示樣本為正,且預測也為正的數(shù)量;TN表示樣本為負,且預測也為負的數(shù)量。

在正、負樣本不均衡情況下,使用單一指標來評價模型具有一定的局限性[23]。因此,綜合使用3種評價指標對改進模型進行全面而科學的評價[39]。

2 結果與討論

2.1 模型訓練

模型訓練環(huán)境為MATLAB 2021b版本,其硬件配置為：Windows 10專業(yè)版64位操作系統(tǒng),CPU為英特爾i7-10700,GPU為英偉達GTX 1660 Super 6 GB,主板為微星MAG B460M,內(nèi)存為32 G。

2.1.1 超參數(shù)設置 在模型訓練時,將訓練超參數(shù)設置為：初始學習率(Initial Learning Rate)為0.001,學習率衰減因子(Learning Rate Drop Factor)為0.1,學習率衰減周期(Learning Rate Drop Period)為10輪/次,最大訓練輪數(shù)(Max Epoch)為30輪,MinibatchSize為64,求解器為SGDM(Stochastic Gradient Descent with Momentum),驗證頻率(Validation Frequency)為每100次迭代驗證1次,利用GPU加速運算,Dropout層隨機失活神經(jīng)元概率設置0.5,模型內(nèi)部參數(shù)初始化采用經(jīng)過ImageNet數(shù)據(jù)集訓練過的SqueezeNet模型權重值。

2.1.2 訓練結果 在相同試驗條件下,進行模型訓練,得到原模型與改進模型的訓練精度曲線與訓練損失曲線(圖6)。在相同試驗條件下,原SqueezeNet模型與T-SNet模型訓練曲線大體一致。但T-SNet模型由于參數(shù)量、運算量更少、網(wǎng)絡結構更加輕量化,在訓練時能夠更快地收斂,經(jīng)過約25 min訓練,最終訓練精度為99.32%,損失值為0.013 2。原SqueezeNet模型因網(wǎng)絡深度較深,權重多且更新慢,因此導致其收斂速度慢。經(jīng)過約40 min訓練最終訓練精度為99.65%,損失值為0.012 1。在大幅度降低T-SNet模型參數(shù)量與運算量的同時訓練精度僅下降0.33%,表明T-SNet模型結構設計較為合理。

2.1.3 特征可視化 為論證改進模型的特征提取能力,利用t-SNE算法(t-distributed Stochastic Neighbor Embedding Algorithm)將模型所提取得深層特征進行可視化。所使用的t-SNE算法,又稱 t-分布隨機鄰近嵌入算法,是一種用于非線性數(shù)據(jù)降維的機器學習算法[40]。該算法主要思想是將高維點嵌入低維點,重點關注數(shù)據(jù)點之間的相似性。高維空間中鄰近點轉化為鄰近的嵌入低維點,而高維空間中遠點轉化為遠處的嵌入低維點[41]。因此,可以將高維數(shù)據(jù)進行可視化,即從原始高維數(shù)據(jù)中找到同類簇[42]。t-SNE算法相關參數(shù)設置,Perplexity為30,迭代次數(shù)為500次,采用歐氏距離計算數(shù)據(jù)點之間的距離。原SqueezeNet模型與改進T-SNet模型從數(shù)據(jù)集中提取的分類特征如圖7所示。

由圖7可知,優(yōu)化前后模型提取特征的能力旗鼓相當,都能準確地提取葡萄葉部健康、病害特征。結果表明改進后的模型特征提取能力較強,并沒有出現(xiàn)明顯的下降。因此,可將改進后的模型用于葡萄葉部病害的特征提取與識別。

2.1.4 模型性能測試 為驗證改進模型的泛化能力,利用測試集數(shù)據(jù)來測試改進模型的識別性能。同時,為體現(xiàn)改進模型的優(yōu)越性,選取經(jīng)典的輕量化網(wǎng)絡模型Xception、ShuffleNetv1、MobileNetv2以及原SqueezeNet作為對比分析,5種輕量化模型的參數(shù)信息及測試結果如表3所示。

表3 模型各項性能參數(shù)與測試結果

由表3可知,5種模型識別性能均表現(xiàn)優(yōu)異,其準確率都達到了99%以上。在4種原始模型當中,SqueezeNet模型不論是在模型參數(shù)方面,還是識別精度方面均表現(xiàn)最佳。T-SNet模型在原模型基礎上,大幅度降低模型內(nèi)存需求以及參數(shù)量的情況下,仍具有99%以上的識別精度,再次證明了所設計模型的合理性。T-SNet模型識別準確率、精準率以及召回率分別為99.04%、99.23%、99.24%,相比于SqueezeNet模型分別降低了0.32、0.27、0.26百分點。在模型性能參數(shù)方面,T-SNet模型內(nèi)存需求、參數(shù)量分別為原模型的21.14%,51.20%。在識別精度相差不到0.5%的情況下,T-SNet 具有更小的模型內(nèi)存以及參數(shù)量。因此,改進模型是明顯優(yōu)于原SqueezeNet模型的。

2.2 檢測裝置設計

2.2.1 硬件設計 為實現(xiàn)果園葡萄葉部病害的快速檢測,設計了一款果園葡萄葉部病害快速識別與檢測裝置,其結構如圖8所示。該系統(tǒng)包含了樹莓派控制模塊、加速計算模塊、圖像采集模塊以及顯示模塊。

所設計移動設備實物如圖9所示,樹莓派4B處理器為BCN2711四核1.5 GHz Cortex-A72處理器,4 G運行內(nèi)存,運行系統(tǒng)為Raspbian Buster;其他配置有USB 3.0接口、無線/有線通信模塊等。外接設備主要有3.5寸觸控顯示屏,分辨率為480×320;攝像頭為免驅USB攝像頭,焦距F 6.0 mm,視頻分辨率為640像素×480像素;通過USB 3.0接口連接USB加速棒,其型號為Intel Neural Compute Stick2,為樹莓派識別運算提供神經(jīng)網(wǎng)絡推理加速。電源模塊采用自帶5 V/3 A輸出能力的3 000 mA鋰電池進行供電,可供該移動設備連續(xù)工作6 h以上。

2.2.2 軟件設計 為實現(xiàn)果園葡萄葉部病害的快速與實時檢測,將T-SNet模型部署在樹莓派控制系統(tǒng)上進行應用。樹莓派軟件環(huán)境配置為Python3.7.3、OpenVINO庫。該設備軟件運行流程為設備開機、啟動軟件、系統(tǒng)初始化、打開攝像頭、調(diào)用深度學習模型識別,顯示識別結果等,具體流程見圖10。

將T-SNet模型部署到樹莓派之前,利用MATLAB軟件中的exportONNXNetwork函數(shù)將T-SNet模型轉化為ONNX文件格式,并利用OpenVINO中的DL WorkBench完成模型的量化、編譯以及部署。其中,量化是指將模型內(nèi)部權重值由單精度浮點型轉為8位整型,進一步減少模型在移動設備上運行時的內(nèi)存占用[43],但會有一定的精度損失。然后,利用生成的IR模型文件,即描述神經(jīng)網(wǎng)絡拓撲關系的.xml文件和儲存模型權重和偏差數(shù)據(jù)的.bin文件。最后,將IR文件通過無線藍牙模塊傳輸?shù)綐漭缮线M行部署應用。

2.2.3 識別效果 為分析所設計葡萄葉部病害檢測裝置的性能,隨機從測試集中選出4種葡萄健康與病害樣本,每類選取200張圖像進行測試(圖11)。同時,將2022年5月23號、2022年6月30日、2022年7月8日這3個時間段分別錄制的近 3 h 的葡萄健康葉片視頻(在廣州市從化區(qū)世外萄園中,使用飛螢8 SE相機錄制)作為移動設備實時檢測的驗證視頻,并利用混淆矩陣來展示移動設備識別各類葡萄樣本的精度(圖12)。

由圖12可知,所設計移動設備檢測葡萄葉部病害的準確率為95.75%,精準率為95.84%,召回率為96.23%。其中,200張健康葡萄葉片樣本被全部準確識別;200張葡萄褐斑病葉片有188張被正確識別,4張被誤識別為健康,8張被識別為黑腐病;而黑腐病與輪斑病由于患病早期病害特征較為相似,因此存在一定的相互誤識別現(xiàn)象。

為測試所設計裝置的檢測效率,利用在真實果園環(huán)境下所拍攝葡萄健康樣本視頻來實時檢測葡萄健康狀況。由表4可知,在精度方面,原模型與改進模型平均識別精度均達了95%以上,其精度相差在1百分點以內(nèi)。在檢測速度方面,在未使用USB加速棒的情況下,改進模型檢測速度在8～10幀/s,原模型在3～5幀/s,視頻畫面略顯卡頓;在使用USB加速棒的情況下,改進模型平均處理速度明顯提升可達86幀/s以上,而原模型平均檢測速度僅為 38幀/s。在使用USB加速棒的情況下,模型識別精度略微提升但不顯著。在實際應用中發(fā)現(xiàn),若只是拍攝葡萄葉片病害圖像進行檢測,樹莓派4B自身算力基本能夠滿足使用。因此,所設計移動便攜式葡萄病害快速檢測設備可滿足果園葡萄病害快速檢測與識別的應用要求。

表4 所設計葡萄葉部病害檢測裝置的檢測效果

3 結論

針對果園葡萄病害葉部快速識別與檢測問題,采集了葡萄健康、病害樣本,制作了葡萄葉部病害數(shù)據(jù)集,并利用改進的輕量化卷積神經(jīng)網(wǎng)絡模型,開發(fā)了一套基于深度學習的葡萄葉部病害快速識別與檢測裝置,得到了如下結論：(1)基于MATLAB平臺,將經(jīng)典的SqueezeNet模型進行輕量化改進包括修改卷積核大小、數(shù)量以及Fire模塊數(shù)量等;改進后,模型內(nèi)存需求由2.46 MB減少為0.52 MB,模型參數(shù)量由125萬降低到64萬。(2)在相同試驗條件下,訓練模型并進行性能測試。在測試集上,改進模型識別準確率可達99.04%,僅比原模型下降了0.32百分點。利用t-SNE算法將原模型與改進模型提取的特征進行可視化,結果表明兩者的特征提取能力無明顯差異。(3)在真實果園環(huán)境下,所研制裝置識別準確率能夠達到95.75%,視頻檢測速度可達86幀/s以上,可滿足果園葡萄病害快速識別與檢測的需求。