基于機器視覺的植保霧滴類型識別模型建立

張開飛， 程上上， 張志,2， 丁力， 趙弋秋， 李赫

(1.河南農(nóng)業(yè)大學(xué)機電工程學(xué)院，河南 鄭州450002； 2.江蘇大學(xué)農(nóng)業(yè)工程學(xué)院，江蘇 鎮(zhèn)江 212013)

農(nóng)業(yè)生產(chǎn)中病蟲草害頻發(fā)，化學(xué)防治仍然是當(dāng)前主要手段，農(nóng)民為確保農(nóng)藥噴施防治效果通常選擇加大噴霧量，大量霧滴沉降土地造成了嚴重污染[1-4]。為了提高農(nóng)藥利用率，先進控制和傳感器等技術(shù)被應(yīng)用到噴霧機械的設(shè)計中。變量噴霧機、對靶噴霧機等精準施藥機具因定量噴施特點受到大量推廣，但如何快速評價其作業(yè)效果一直是測試中的難題。農(nóng)藥防治效果與霧化后藥液霧滴在靶標分布的均勻性密切相關(guān)[5]。在農(nóng)藥噴霧作業(yè)后，及時獲得藥液霧滴在田間的沉積分布信息，對優(yōu)化施藥機具作業(yè)參數(shù)、促進植保機械的研發(fā)進而達到農(nóng)藥減量增效的目標十分重要[6-7]。

目前，田間霧滴沉積信息的獲取方法主要包括直接獲取法和間接獲取法。直接獲取法是利用蒸餾水洗脫葉片上噴灑的熒光染色劑從而得到葉片上的霧滴沉積量，但在洗脫過程中易受操作者影響導(dǎo)致評測誤差大。間接獲取法是利用濾紙、油盤、水敏試紙等材料替代葉片收集霧滴，再以人工計數(shù)或圖像處理對收集的霧滴統(tǒng)計分析[8]。水敏試紙本色為黃色，遇水區(qū)域迅速變?yōu)樗{色并形成霧滴斑痕，易于圖像處理和保存，是目前常用的植保霧滴收集材料，也是國內(nèi)外學(xué)者研究的重點。機器視覺就是利用圖像攝取采集裝置代替人工進行測量，并通過專業(yè)設(shè)備進行圖像處理[9]。祁力鈞等[10]模擬田間實際噴霧情況，在利用圖像采集系統(tǒng)采集霧滴圖像基礎(chǔ)上，通過基于尋找分離點的改進分離算法對粘連霧滴進行了分離處理。?ZLüOYMAK等[11]開發(fā)了基于視覺模擬評分法(visual analogue scale，VAS)的水敏試紙噴霧檢測系統(tǒng)，并通過分水嶺分割法對粘連霧滴進行分割。在相關(guān)研究中發(fā)現(xiàn)，受噴霧霧滴密度大小以及風(fēng)向不確定等因素影響，植保噴霧作業(yè)極易產(chǎn)生2個或2個以上在空間位置上重疊的霧滴，進而在水敏試紙表面形成粘連霧滴斑痕，如直接對粘連霧滴計數(shù)，則會造成結(jié)果偏低。為提高檢測精度，在霧滴識別過程中就需要首先準確區(qū)分單個霧滴與粘連霧滴，然后再對識別出的粘連霧滴進行分割?，F(xiàn)有相關(guān)研究中對于粘連霧滴的識別大多通過霧滴輪廓的個別參數(shù)的取值閾值進行區(qū)分，其識別精度有待提高。本研究在通過機器視覺采集不同類型霧滴的基礎(chǔ)上對其輪廓參數(shù)進行統(tǒng)計分析，并基于機器學(xué)習(xí)技術(shù)建立霧滴類型識別模型，以期提高霧滴類型識別精度并縮短識別時間，實現(xiàn)噴霧作業(yè)后霧滴田間分布的精準快速獲取，從而為植保機械噴霧參數(shù)設(shè)置提供理論基礎(chǔ)。

1 材料與方法

1.1 水敏試紙圖像采集

水敏試紙圖像采集于河南盛收機械公司試驗田，通過3D打印技術(shù)制備了放置水敏試紙的多角度托板，以模擬植物葉片自然條件下的生長傾角，最大限度還原霧滴接觸葉面后形成的斑痕，托板角度如圖1所示。本研究采集試驗選用全豐航空植保公司生產(chǎn)的3WQFTX-101S型植保無人機，該無人機噴幅較大，霧滴在田間均勻分布，同時能以相同速率噴灑全部田地，因此試紙前后距離對霧滴圖像采集的影響較小。無人機噴施溶液為蒸餾水，飛行參數(shù)為常用植保作業(yè)參數(shù)，即無人機與采集霧滴的水敏試紙垂直高度為2.0 m，先后以3、4、5 m·s-1速率展開飛行噴霧作業(yè)[12]。所獲水敏試紙由安卓LIO-AL00手機拍攝并上傳至型號為TG01-155ccn的計算機進行圖像處理。圖像處理程序基于開源圖像項目庫OpenCV編寫，具有較為完備圖像處理接口，可提供豐富的函數(shù)庫，分析方便精準，應(yīng)用廣泛。

圖1 霧滴圖像樣本采集試驗現(xiàn)場Fig.1 Test site of droplet image sample collection

1.2 霧滴輪廓參數(shù)表示方法

根據(jù)霧滴輪廓以及粘連霧滴的重疊區(qū)域的特征，綜合細胞圖像識別領(lǐng)域常用參數(shù)，本研究選取7個參數(shù)描述水敏試紙上不同霧滴斑痕輪廓的差異性[13-15]。根據(jù)饒萍等[16]的方法采用SPSS軟件對7個輪廓參數(shù)與不同霧滴類型進行相關(guān)分析。

1.2.1 面積 對于寬度為n，高度為m的二值化圖像，可通過對霧滴圖像進行掃描并計算像素值為1的像素點總數(shù)來表示該區(qū)域的面積，其公式為:

(1)

式中：area為區(qū)域R的面積，單位為像素；n為寬度，m為高度。

圖2 周長計算標準圖Fig.2 Circumference calculation standard chart

1.2.3 圓形度 圓形度描述霧滴斑痕輪廓與圓形的相似程度，其計算公式為：

(2)

式中:ratio為圓形度；Dmax為霧滴質(zhì)心到其全部輪廓像素的最大距離。

1.2.4 形狀因子 形狀因子(fac)用以度量霧滴圖像的復(fù)雜程度，其計算公式為：

(3)

1.2.5 矩形擬合因子 矩形擬合因子(rect_cov)指霧滴輪廓面積與最小外接矩形面積的比值。當(dāng)霧滴趨向圓形時，其外接矩形為該圓外切矩形，而狹長的霧滴外接矩形面積較大，同等面積的2個霧滴矩形擬合因子存在差異，其計算公式為:

(4)

式中:Sz為霧滴輪廓最小外接矩形的面積，單位為像素。

1.2.6 固性 固性(solidity)為霧滴輪廓面積與包含其最小凸多邊形面積的比值，其計算公式為:

(5)

式中:So為包含霧滴輪廓的最小凸邊形面積，單位為像素。

1.2.7 體態(tài)比 體態(tài)比(rab)是指物體霧滴輪廓的最小外接矩形的長寬比，其計算公式為:

(6)

式中:W為霧滴輪廓最小外接矩形短邊的長度，單位為像素；L為霧滴輪廓最小外接矩形長邊的長度，單位為像素。

1.3 霧滴類型識別模型建立

機器學(xué)習(xí)是一門多領(lǐng)域融合學(xué)科，在人工智能和智慧農(nóng)業(yè)領(lǐng)域得到廣泛的應(yīng)用[17-18]。引入機器學(xué)習(xí)方法有助于研究7個霧滴參數(shù)選取對霧滴類型識別的相關(guān)性影響。本研究將7個霧滴輪廓參數(shù)作為驅(qū)動變量，調(diào)用K近鄰分類模型、邏輯回歸分類模型、決策樹分類模型和支持向量機等機器學(xué)習(xí)模型，建立粘連霧滴與單個霧滴的識別模型[19-20]，圖3為建立的識別模型流程圖。

圖3 識別模型流程圖Fig.3 Flow chart of classification model

2 霧滴輪廓參數(shù)統(tǒng)計與分析

水敏試紙上的霧滴斑痕，經(jīng)手機拍攝后上傳至電腦，即獲得霧滴圖像。為減少圖像數(shù)據(jù)量，便于后期運算，采用圖像去噪和圖像二值化對霧滴圖像進行預(yù)處理[21]。本研究分別統(tǒng)計通人工選取300個粘連霧滴圖像和300個非粘連霧滴圖像的7個輪廓參數(shù)。圖4為預(yù)處理后的部分單個霧滴圖像和粘連霧滴圖像。

圖4 部分選取的霧滴二值化圖像Fig.4 Selected partial droplet binarization image

2.1 霧滴輪廓參數(shù)統(tǒng)計分析

2.1.1 不同類型霧滴面積參數(shù)統(tǒng)計分析 單個霧滴之間在水敏試紙重疊后形成粘連霧滴圖像，霧滴輪廓的面積參數(shù)可作為粘連霧滴和單個霧滴的識別依據(jù)。對單個霧滴和粘連霧滴的面積參數(shù)統(tǒng)計結(jié)果如圖5所示。單個霧滴相對于粘連霧滴面積分布較為集中且參數(shù)整體偏小，粘連霧滴與單個霧滴的輪廓面積參數(shù)分布仍存在較大交叉部分?？紤]到田間植保噴霧時，藥液經(jīng)噴頭霧化的液滴有尺寸差異，同時也存在霧滴融合和蒸發(fā)，故單個霧滴或粘連霧滴各自產(chǎn)生的斑痕區(qū)域也存在較大差異。

圖5 不同類型霧滴的面積參數(shù)分布Fig.5 Distribution of area parameters of different types of droplets

2.1.2 不同類型霧滴周長參數(shù)統(tǒng)計分析 對單個霧滴與粘連霧滴的周長參數(shù)統(tǒng)計結(jié)果如圖6所示。與粘連霧滴相比，單個霧滴的輪廓周長參數(shù)平均值較小。粘連霧滴的輪廓周長整體分布較為分散，多數(shù)介于50～225像素之間。單個霧滴的輪廓周長分布相對集中，多數(shù)處于25～125像素中。粘連霧滴與單個霧滴的輪廓周長參數(shù)值仍存在較大部分的交叉。

圖6 不同類型霧滴的周長參數(shù)分布Fig.6 Distribution of perimeter parameters of different types of droplets

2.1.3 不同類型霧滴體態(tài)比參數(shù)統(tǒng)計分析 在理想狀態(tài)下，單個霧滴滴落水敏試紙上所形成的斑痕應(yīng)近似圓形，即其體態(tài)比應(yīng)接近1。粘連霧滴因粘連區(qū)域存在其斑痕與圓形有較大差異，故粘連霧滴的體態(tài)比應(yīng)較小。對單個霧滴和粘連霧滴的體態(tài)比參數(shù)統(tǒng)計的值統(tǒng)計結(jié)果如圖7所示。粘連霧滴和單個霧滴的輪廓體態(tài)比參數(shù)值無明顯差異。考慮到田間噴霧防治時，因植株不同部位的存在葉面夾角和風(fēng)場差異等影響，霧滴會在葉面滑落，故霧滴在葉面表面產(chǎn)生的斑痕并非圓形。當(dāng)粘連霧滴的粘連區(qū)域重疊部分較大時，其輪廓體態(tài)比參數(shù)也會接近1。

圖7 不同類型霧滴的體態(tài)比參數(shù)分布Fig.7 Distribution of body ratio parameters of different types of droplets

2.1.4 不同類型霧滴矩形擬合因子參數(shù)統(tǒng)計分析 圖8為單個霧滴與粘連霧滴的矩形擬合因子參數(shù)值分布圖。粘連霧滴的矩形擬合因子參數(shù)整體較為分散，大多介于0.45～0.75之間。單個霧滴輪廓的矩形擬合因子參數(shù)相對集中，多數(shù)處于0.65～0.85之間。2種霧滴的矩形擬合因子參數(shù)分布仍然具有較大的交叉區(qū)域。通過粘連霧滴分析可知，當(dāng)粘連霧滴重疊區(qū)域較小時，粘連區(qū)域存在較大的凹陷區(qū)域，此時計算出的最小外接矩形面積大幅增加，致使其矩形擬合因子參數(shù)較小。當(dāng)霧滴粘連區(qū)域較大時，此時矩形擬合因子參數(shù)值可接近于單個霧滴取值，粘連霧滴與單個霧滴的矩形擬合因子參數(shù)無明顯差異。

圖8 不同類型霧滴的矩形擬合因子參數(shù)分布圖Fig.8 Rectangular fitting factor parameter distribution of different types of droplets

2.1.5 不同類型霧滴圓形度參數(shù)統(tǒng)計分析 單個霧滴與粘連霧滴的圓形度參數(shù)值統(tǒng)計結(jié)果如圖9所示。單個霧滴圖像的圓形度參數(shù)值大致包含了粘連霧滴圖像的圓形度參數(shù)值，因此以圓形度識別霧滴類型分類方法可能會導(dǎo)致粘連霧滴與單個霧滴分類有誤。但是，吳亞壘等[22]研究發(fā)現(xiàn)，如果所選霧滴的輪廓相對規(guī)整，則可將圓形度作為識別單個霧滴與粘連霧滴的依據(jù)。

圖9 不同類型霧滴的圓形度參數(shù)分布圖Fig.9 Distribution of circularity parameters of different types of droplets

2.1.6 不同類型霧滴形狀因子參數(shù)統(tǒng)計分析 單個霧滴與粘連霧滴的形狀因子參數(shù)值分布如圖10所示。粘連霧滴輪廓的形狀因子參數(shù)整體較小，多數(shù)分布在0.3～0.6中；而單個霧滴輪廓的形狀因子參數(shù)分布較為復(fù)雜，多數(shù)集中在0.6～0.9范圍中，而一部分參數(shù)偏小并處于0.4～0.6之間，其原因可能是霧滴形狀不規(guī)整。單個霧滴和粘連霧滴輪廓的形狀因子在0.45～0.65之間存在較多重疊。

圖10 不同類型霧滴的形狀因子參數(shù)分布圖Fig.10 Distribution of shape factor parameters of different types of droplets

2.1.7 不同類型霧滴固性參數(shù)統(tǒng)計分析 單個霧滴與粘連霧滴的固性參數(shù)值分布如圖11所示。單個霧滴輪廓的固性參數(shù)值分布非常集中，大部分介于0.90～1.00，小部分處于0.75～0.90之間。粘連霧滴的固性參數(shù)值分布相對分散，大部分值未達0.90。因單個霧滴的輪廓相對規(guī)整，其輪廓面積接近于最小凸包面積，此時計算出的固性參數(shù)值較高。而對于易有凹陷區(qū)域的粘連霧滴，其最小凸包面積大于輪廓面積，計算得到的固性參數(shù)值偏低。

圖11 不同類型霧滴的固性參數(shù)分布圖Fig.11 Distribution of solidity parameters of different types of droplets

2.2 霧滴輪廓參數(shù)與霧滴類型相關(guān)性分析

經(jīng)過2.1統(tǒng)計分析發(fā)現(xiàn)，單一參數(shù)用于區(qū)分霧滴類型時準確率低，因此將霧滴類型視為1個整體指標，采用SPSS軟件進行7個輪廓參數(shù)與霧滴類型的相關(guān)性分析，結(jié)果見表1。7個霧滴輪廓特征參數(shù)中，固性參數(shù)與粘連霧滴和單個霧滴識別的相關(guān)系數(shù)最高。但是，根據(jù)2.1.7的研究結(jié)果，僅將固性參數(shù)值0.90當(dāng)作評判標準來識別粘連霧滴與單個霧滴，其分類準確度仍然較低。

表1 7個霧滴輪廓參數(shù)與霧滴類型的相關(guān)性Table 1 Correlation between shape parameters and droplet types

3 霧滴類型識別模型的建立與試驗分析

3.1 識別模型選擇

K近鄰算法(k-Nearest Neighbor，KNN)是基于距離的分類算法，算法的主要參數(shù)為k[23-24]。k取值大時，容易造成欠擬合；k取值小，容易造成模型的過擬合。選用k取值范圍1～10，SelectBest參數(shù)取值范圍1～7；使用多項式回歸(PolynomialFeatures)方法構(gòu)建符合特征，其多項式次數(shù)依次取值1、2、3和4。通過網(wǎng)格搜索和交叉驗證得出最佳參數(shù)：SelectBest參數(shù)取值為2，PolynomialFeatures多項式次數(shù)取值為3，k取值為4。

邏輯回歸(logistic regressive)是機器學(xué)習(xí)中做分類任務(wù)常用的方法[25]，屬于廣義的線性模型，多用于二分類問題。通過正則權(quán)重項C依次取值0.000 1、0.001、0.01、0.1、1、10、100和1 000建立模型，正則項使用L1范數(shù)和L2范數(shù)分別訓(xùn)練。使用SelectBest篩選特征，使用PolynomialFeatures構(gòu)建符合特征。網(wǎng)格搜索和交叉驗證結(jié)果顯示：當(dāng)SelectKBest參數(shù)取值為7、PolynomialFeatures的多項式次數(shù)為3、正則項權(quán)重C為10、正則項為L1范數(shù)時模型最優(yōu)。

決策樹模型(decision tree)是解釋性強的機器學(xué)習(xí)非線性監(jiān)督模型[26]。特征選擇標準(criterion)使用信息熵(entropy)和基尼函數(shù)(gini)；決策樹最大深度(max_depth)取值2～10；內(nèi)部節(jié)點再劃分的最小樣本數(shù)取值2～10 。使用SelectBest篩選特征，使用PolynomialFeatures構(gòu)建符合特征。網(wǎng)格搜索和交叉驗證結(jié)果顯示：當(dāng)SelectKBest參數(shù)取值為3、PolynomialFeatures多項式次數(shù)為3、決策樹最大深度為4、內(nèi)部節(jié)點再劃分需要的最小樣本數(shù)為14、以信息熵為特征選擇標準時模型最優(yōu)。

支持向量機(support vector machine，SVM)是結(jié)構(gòu)風(fēng)險最小化的學(xué)習(xí)監(jiān)督模型[27]。懲罰系數(shù)C取值0.001、0.001、0.01、0.1、1、10、100和100；kernel選用高斯函數(shù)核；多項和函數(shù)系數(shù)(gamma)取值分別為0.000 1、0.001、0.01、0.1、1、10、100。使用SelectBest篩選特征，使用PolynomialFeatures構(gòu)建符合特征。網(wǎng)格搜索和交叉驗證結(jié)果顯示，SelectKBest參數(shù)取值為3、PolynomialFeatures多項式次數(shù)為3、懲罰系數(shù)C取值為10、gamma系數(shù)取值為10時構(gòu)建核函數(shù)為高斯核函數(shù)時模型最優(yōu)。

3.2 識別模型分析

接受者工作特征曲線(receiver operating characteristic, ROC)常用于評估模型性能，是反應(yīng)敏感性和特異性連續(xù)變量的綜合指標。ROC曲線的橫軸(假正例率)和縱軸(真正例率)在霧滴識別模型評價中分別象征霧滴類型被誤判的概率和準確預(yù)測的成功率[28]。對于沒有相交的模型曲線，曲線越接近(0，1)點，表示模型的分類準確性越高。對于相交的模型曲線，需引入ROC曲線與橫軸圍成的面積(area under the curve of ROC,AUC)進行比較，AUC的取值范圍介于0和1之間，其值越大則表明模型的預(yù)測精度越高。最優(yōu)參數(shù)的不同霧滴類型分類模型的ROC曲線如圖12所示，邏輯回歸分類模型的曲線最接近(0,1)點，邏輯回歸分類模型預(yù)測精度最高且無明顯相交。AUC取值以邏輯回歸分類模型0.98最高、支持向量機分類模型0.97次之、決策樹分類模型0.95和K近鄰分類模型0.94。因此，在上述4種識別模型中，邏輯回歸分類模型對單個霧滴與單個霧滴預(yù)測精度最高。因此，本文建立的霧滴識別模型中，采用邏輯回歸分類模型的準確性最高。

圖12 接受者工作特征曲線Fig.12 Receiver operating characteristic curve

3.3 驗證試驗

本研究從用于建立粘連霧滴與單個霧滴識別模型之外剩余的水敏試紙樣本中隨機挑選出10種不同稀疏程度的水敏試紙進行驗證試驗，水敏試紙樣本圖像如圖13所示。首先使用本文搭建的識別系統(tǒng)分別對6種水敏試紙圖像進行處理分析，得到水敏試紙對應(yīng)的單個霧滴與粘連霧滴的計數(shù)，然后以人工計數(shù)結(jié)果為標準對上述結(jié)果進行評價，計數(shù)結(jié)果如表2所示。通過驗證試驗發(fā)現(xiàn)，本研究構(gòu)建的霧滴類型識別模型得到的霧滴個數(shù)，與人工計數(shù)方法結(jié)果相比，平均相對誤差為4.05%，霧滴識別平均正確率為95.95%，最大相對誤差為6.62%，表明本研究的霧滴類型識別模型能夠有效識別人眼所能識別的大部分粘連霧滴，滿足實際應(yīng)用要求。

表2 霧滴計數(shù)結(jié)果Table 2 Droplets counting results

續(xù)表Continuing table

圖13 水敏試紙樣本Fig.13 Water sensitive paper sample

4 結(jié)論與討論

為提高圖像處理技術(shù)對噴霧質(zhì)量評測的準確性，本研究利用粘連霧滴與單個霧滴的輪廓參數(shù)差異性，構(gòu)建霧滴類型識別模型。對水敏試紙的圖像處理過程進行了改進，并進行了霧滴識別試驗驗證。通過研究發(fā)現(xiàn)，在針對噴霧質(zhì)量評估時，2個及2個以上霧滴粘連會導(dǎo)致霧滴計數(shù)不準確問題，因此提出基于機器學(xué)習(xí)的霧滴輪廓識別方法以區(qū)分粘連霧滴與單個霧滴。建立的霧滴類型識別算法在水敏試紙圖像評估中平均精度達到95.95%，可準確區(qū)分粘連霧滴與單個霧滴。本研究提出的SelectBest選擇霧滴輪廓參數(shù)和PolynomialFeatures轉(zhuǎn)換多項式法，建立了K近鄰分類模型、邏輯回歸分類模型、決策樹分類模型和支持向量機分類模型，模型的AUC取值分別為0.94、0.98、0.95、0.97。由于2個及2個以上霧滴粘連會導(dǎo)致霧滴計數(shù)偏差大，因此本研究提出基于機器學(xué)習(xí)的霧滴輪廓識別方法以區(qū)分粘連霧滴與單個霧滴。在驗證試驗結(jié)果中，霧滴稀疏時，本研究算法識別結(jié)果與人工計數(shù)接近，相對誤差均在5%內(nèi)；霧滴分布稠密時，識別結(jié)果與人工計數(shù)的誤差增加，與人工計數(shù)方法結(jié)果相比，最大相對誤差為6.62%。霧滴稠密分布時水敏試紙上的霧滴斑痕分布密集，粘連霧滴輪廓的差異性復(fù)雜，而本研究算法平均相對誤差為4.02%，滿足植保無人機的噴霧質(zhì)量評測要求，因此可以為后續(xù)粘連霧滴分割提供有力的數(shù)據(jù)支撐。