基于Kinect視頻技術的葡萄園農(nóng)藥噴施路徑規(guī)劃算法

肖 珂，高冠東，馬躍進

?

基于Kinect視頻技術的葡萄園農(nóng)藥噴施路徑規(guī)劃算法

肖 珂1,2，高冠東3，馬躍進2※

（1. 河北農(nóng)業(yè)大學信息科學與技術學院，保定 071001； 2. 河北農(nóng)業(yè)大學機電工程學院，保定 071001； 3. 中央司法警官學院信息管理系，保定 071000）

為實現(xiàn)對葡萄園的精準噴施，減少藥品浪費和污染，該文使用微軟Kinect融合彩色和深度圖像信息，提出了基于樣條區(qū)域的葉墻區(qū)域（leaf wall area，LWA）平均距離計算方法以及基于路徑偏差的噴施路徑規(guī)劃方法，并實現(xiàn)了一套軟件路徑規(guī)劃算法和硬件噴施實驗平臺相結合的精準噴施算法及系統(tǒng)。算法首先使用形態(tài)學方法對Kinect采集的彩色視頻圖像進行圖像分割，以準確劃分LWA區(qū)域；進一步結合深度圖像，提出基于樣條區(qū)域的LWA平均距離計算方法，用于準確測算噴施設備距LWA的距離；最后，提出路徑偏差及矯正規(guī)劃方法，引導噴施系統(tǒng)保持最佳行進路徑。并且，為了能夠?qū)珳蕠娛┧惴ㄟM行實際檢驗，設計實現(xiàn)了噴施臂可調(diào)的自走式噴施試驗平臺。試驗結果證明，路徑規(guī)劃算法計算的噴施距離和路徑偏差與測量值差值及方差都較小，算法結果精確；能夠準確測算噴施距離并規(guī)劃最優(yōu)路徑，實現(xiàn)葡萄園的精準噴施。

算法；農(nóng)藥；圖像分割；深度圖像；葡萄園；葉墻區(qū)域；噴施距離

0 引 言

長期以來，由于農(nóng)藥的有效利用率低，不僅浪費了大量的農(nóng)業(yè)化學品和水資源，還對環(huán)境造成污染。為了緩解農(nóng)藥大量噴灑給環(huán)境造成的壓力，精準噴施技術越來越受到人們的重視[1-5]。精準噴施技術主要有2個研究方向，一是目標識別，即識別和定位靶標區(qū)域。農(nóng)藥噴施時的主要標靶區(qū)域是葉墻區(qū)域（leaf wall area，LWA），其主要參數(shù)需要通過傳感器進行采集[6-8]。二是路徑規(guī)劃，即規(guī)劃出噴施設備的噴施路徑，以實現(xiàn)精準噴施。

在靶標探測技術方面，激光雷達靶標探測技術[9-10]通過發(fā)射激光點云獲得樹冠的內(nèi)部結構，但沒有對噴施路徑進行規(guī)劃。基于超聲傳感靶標探測技術[11-14]通過發(fā)射聲波實現(xiàn)對樹冠外形輪廓的檢測，聲波的反射易受果樹葉片角度及運動影響，影響探測精度。紅外傳感靶標探測技術[15-16]可以快速實現(xiàn)對樹冠外形的檢測，精度和分辨率高。近紅外傳感器探測范圍小且不均勻，需要多個傳感器協(xié)同運作，增加了處理難度和誤差?；跈C器視覺靶標探測技術[17-18]中，攝像機能夠根據(jù)顏色信息分割出葉墻區(qū)域和高度、密度等參數(shù)，缺乏距離信息的采集，而且葉墻區(qū)域的檢測容易受復雜背景的影響。

在噴施路徑的規(guī)劃方面，目前部分研究采用能夠調(diào)節(jié)高度、角度的多噴頭裝置，在一定范圍內(nèi)隨時調(diào)節(jié)各噴頭的高度、角度和噴施量，即針對每個噴頭規(guī)劃噴施路徑[19-20]。Osterman等[21]提出了使用多個采樣點的距離信息和線性估計方法計算噴施路徑，隨著采樣點數(shù)量的增多影響了系統(tǒng)的實時性，最終只能選擇5個距離信息采樣點。Tarquis 等[22]介紹了一種基于激光的對果園目標區(qū)域進行估計的方法。由Kim[23]提出通過計算機和激光雷達模擬產(chǎn)生一個果園，給出每個激光位置的距離值。為了模擬樹木，L系統(tǒng)被應用在果園中[24-25]。在車輛上安裝激光雷達傳感器以建立相關樹木模型，將雷達數(shù)據(jù)融合GPS創(chuàng)建一個當?shù)氐臉淠救S地圖，進而估算噴施命中率，控制噴霧器流量[26-29]。

本文采用圖像形態(tài)學方法對LWA區(qū)域進行分割，然后結合深度圖像數(shù)據(jù)，提出了基于樣條區(qū)域的LWA平均距離檢測方法，用于計算噴施設備與LWA間的距離，并進一步提出路徑偏差計算方法及路徑矯正規(guī)劃方法，以實現(xiàn)對噴施設備偏離最佳噴施路徑時進行路徑矯正和規(guī)劃，使噴施設備能夠保持處于最佳噴施路徑，實現(xiàn)精準噴施。

1 噴施參數(shù)估計及路徑規(guī)劃方法

為了實現(xiàn)對果園果樹的智能化精準噴施，首先需要對果樹葉墻區(qū)域進行識別，檢測其與噴施系統(tǒng)的距離，并估計噴施參數(shù)，調(diào)整噴頭噴施距離及強度，進一步才能夠?qū)娛┞窂竭M行規(guī)劃，并實現(xiàn)噴施距離達到最優(yōu)的路徑規(guī)劃結果，保證噴施藥品和能耗的最小化。

1.1 LWA距離檢測方法

機器視覺檢測LWA的研究中，大多采用圖像處理技術對視頻序列中的各幀圖像進行分析和處理，只依賴于獲取的彩色圖像信息，利用顏色差異、亮度信息和邊緣信息等提取出LWA。通過圖像腐蝕的方法細化獲得LWA區(qū)域[16]。但是，當后排果樹作為背景時會被誤判為LWA區(qū)域，存在易受光照及背景影響的缺點，且存在距離估算不準確問題。Kinect不僅能夠采集彩色視頻信息，還能夠通過紅外發(fā)射器獲得深度圖像，深度圖像中每個像素點的像素值代表距離，因此可以獲得更為精確的距離信息，輔助檢測LWA及各項參數(shù)。

1.1.1 LWA分割算法

LWA距離檢測首先要從視頻圖像中準確分割出LWA區(qū)域。由于葡萄為藤本植物，其種植需要人工搭建葡萄架，供其攀爬和生長，因此一般會形成明顯規(guī)整的綠色葉墻，有利于LWA區(qū)域的分割和定位。本文采用顏色分割的方法確定LWA，對RGB圖像的彩色圖層進行減法運算，并進一步對其進行圖像形態(tài)學處理，以獲得準確的LWA分割結果。

首先，對LWA的分割首先使用顏色分割的方法對彩色圖像進行處理，利用RGB圖像的Green層和Red層的像素值進行減法運算，所得結果值大于0即為圖像綠色區(qū)域，并獲得二值化圖像。由于是計算圖像彩色層間的差值，根據(jù)差值是否大于0作為閾值決定二值化結果，因此這種相對差值減少了天氣環(huán)境（主要為亮度差異和變化）對二值化分割的影響，具體的計算公式如下

式中I(,)、I(,)分別為彩色圖像Green層和Red層在()處的像素值，I(,)為二值化結果圖像。

由于葉墻存在葉片間隙和陰影，獲得的二值化結果圖像中存在一些分布不均勻的小間隙和小空洞，在噴施時無法避開這些小空隙，過多的小間隙也容易影響LWA輪廓的提取，對噴施控制效果也會造成一定影響，因此需要填充圖像中的小間隙和空洞。本文采用膨脹算法對LWA內(nèi)的小空隙進行填充，具體采用形態(tài)學圖像閉運算的算法[17]，使用5×5正方形矩陣的結構元素對圖像中的白色像素進行一次膨脹和一次腐蝕處理，實現(xiàn)對LWA內(nèi)“空洞”的填充。但是，一些干擾噪聲會因此形成噪點，并且有些葉墻中較大的空隙仍然存在，因此本算法進一步使用300像素去噪聲處理，初步濾除小區(qū)域及噪點，并采用空洞填充的方法，使用鄰域4連通的方式對較大空洞進一步填充，最終獲得完整的待噴施LWA區(qū)域。LWA分割過程示意圖如圖1所示，其中1a為原始圖像；1b為G、R顏色層相減后二值化結果圖；圖1c為圖像經(jīng)閉運算填充，再經(jīng)開運算去噪后的結果圖；1d為經(jīng)空洞填充后的LWA分割結果。由于天氣環(huán)境比較惡劣是不適合進行農(nóng)藥噴施的，因此采集圖像和試驗是在天氣情況較好的環(huán)境即晴朗或陰天、微風的條件下進行。

圖1 LWA分割過程示意圖

1.1.2 基于樣條區(qū)域的LWA平均距離檢測方法

為了有效估算LWA與噴施設備間的距離，并進一步測算噴施設備與LWA間的垂直距離，首先需要采集深度圖像中的距離信息。由于LWA中葉片位置參差不齊、伸展方向有一定差異，使得深度圖像中小區(qū)域內(nèi)的距離信息存在較大差異，單點距離差值較大，導致距離測算的不準確。因此，需要計算LWA小區(qū)域內(nèi)的平均距離，以平均距離值作為噴施設備與LWA的距離用于垂直距離的測算。

本文提出基于樣條區(qū)域的LWA平均距離檢測方法。由于本系統(tǒng)需要測算出圖像場景兩側LWA與Kinect的距離，以進一步估算出Kinect與LWA間的垂直距離。而由于葡萄葉自然生長，葉墻表面凹凸不平且存在葉間縫隙，假如只取LWA中的某點的距離值作為LWA與Kinect的距離，會存在較大誤差。因此本文在圖像兩端各標出寬度為20像素值的豎直樣條區(qū)域，分別計算深度圖像中，位于兩樣條內(nèi)并屬于LWA區(qū)域的像素點的距離均值，作為測算的LWA與噴施設備上Kinect間的平均距離，以減少單點測算帶來的誤差影響。計算公式如式（2）所示。

式中D(,)為深度圖像在(,)處的像素值，即距離值；為像素點個數(shù)；LWA為LWA二值化分割圖像；S為樣條區(qū)域?qū)挾?，mm；、分別為圖像寬度和高度，mm；Dis為LWA平均距離，mm。

樣條區(qū)域的位置取在圖像的兩端是由于：第一，圖像場景為縱深圖像，圖像兩端位置的葉墻與噴施設備距離最近，Kinect測量的深度數(shù)據(jù)也較為準確；圖像中心位置葉墻與噴施設備距離較遠，場景縱深一般為10 m以上，超出了Kinect的測量范圍。第二，便于計算葉墻與噴施設備的垂直距離。由于Kinect的水平視角為54°，其中心方向與設備行進方向一致，因此便于根據(jù)平均距離計算設備與葉墻間的垂直距離。由于彩色圖像邊緣經(jīng)一系列處理后會出現(xiàn)干擾和瑕疵點，深度圖像邊緣也會出現(xiàn)空白條帶，因此本文在選取樣條位置時向圖像中心水平偏移了10個像素寬度，以減少干擾。用于計算LWA平均距離的樣條區(qū)域如圖2中標出的位于圖像兩側的豎直樣條區(qū)域所示，樣條中非LWA區(qū)域會被去除。

圖2 用于計算LWA平均距離的樣條區(qū)域

1.2 噴施路徑規(guī)劃方法

噴施路徑的規(guī)劃主要根據(jù)噴施設備與LWA的間距、噴頭最佳噴施距離和噴施設備當前方位，對噴施設備的行進路線進行計算和規(guī)劃，當行進路徑與規(guī)劃路徑相偏離時，能夠提示矯正偏差的規(guī)劃路徑，達到最優(yōu)化的噴施行進路徑，并調(diào)節(jié)噴頭連接桿的長度，以使噴施設備的噴頭與LWA間保持最優(yōu)距離，從而獲得最佳的噴施效果、最小的藥品損耗及減少藥品擴散污染。

1.2.1 噴施距離測算

噴施路徑規(guī)劃首先要獲得噴施設備（主要為視頻采集設備Kinect）與LWA間的垂直間距，再減除噴施設備的寬度，即為測算出的噴施距離。因此，需要由Kinect采集的深度圖像信息計算出的LWA平均距離，作為Kinect視場內(nèi)與LWA間的距離值，再根據(jù)Kinect水平視角范圍計算出與LWA的垂直間距。噴施距離的具體計算方法如圖3所示。

注： O為Kinect攝像頭鏡頭位置，矩形框為Kinect的視場范圍，A為LWA樣條中值點，B為O點的垂點，C為拍攝視場中心點。

圖中左側直線代表葉墻區(qū)域LWA，Kinect的水平視角為54°，則其采集圖像的中心與邊緣的夾角∠約為水平視角的1/2，在此近似取∠≈27°，而∠=90°，因此可以求得∠=∠?∠=63°，又由于長度已知，為式（2）的計算結果Dis，則Kinect與LWA間垂直間距可由以下公式求得：

求得的結果再減去噴施設備幅寬的一半即為LWA與噴頭之間的距離，即

式中W為噴施設備幅寬，mm；Dis為噴頭與LWA間的噴施距離，mm。

1.2.2 路徑偏差計算

為了對噴施路徑進行規(guī)劃使其達到最優(yōu)，就需要計算葡萄行間路徑、行進方向及最優(yōu)噴施距離間的差值，以規(guī)劃和矯正行進路徑。因此，首先需要定位葡萄行間路徑范圍，即LWA與地面的分界線，從而獲得地面可行進路徑范圍。

由于LWA邊緣線較為曲折，無法使用霍夫變換等方法計算其直線的分界線，因此本文采用最小二乘法對LWA邊緣點進行線性擬合，以獲得分界線。LWA邊緣點由LWA分割結果圖像經(jīng)過圖像形態(tài)學的邊緣檢測算法獲得，邊緣檢測公式如式（5）所示。

獲得LWA邊緣檢測結果圖像后，以邊緣上每個點的坐標作為線性擬合的數(shù)據(jù)集，使用最小二乘法擬合LWA邊界直線，要求得的線性擬合的直線公式如下

需根據(jù)LWA邊緣點集求得直線公式中的系數(shù)、，以獲得擬合的分界直線。其中系數(shù)、的最佳估計值計算公式如下

式中x,y∈I為LWA邊緣點，并且由于LWA及邊緣線主要在圖像下半部分，因此y∈[/2,]，為圖像高度，為邊緣點集的數(shù)量。由于葡萄LWA一般位于視場內(nèi)的左右兩側，因此需要根據(jù)LWA左右兩部分邊緣點集，擬合獲得左右兩側LWA分界線。

LWA邊緣檢測及分界線擬合如圖4所示，圖4a是對圖1d進行邊緣檢測的結果，圖4b為分界線擬合結果，圖4c為分界線標注結果。

擬合獲得LWA分界線后，根據(jù)噴施設備當前位置下與LWA的噴施距離，結合噴頭最佳噴施距離和葡萄行間距，即可計算最優(yōu)路徑與當前路徑的水平方向偏差，用于路徑矯正。路徑的偏差值首先根據(jù)式（4）計算獲得的左右兩邊噴施距離，求取與距離均值間的差值，即為路徑偏差值，其計算公式如下

或者

式中Dis和Dis分別為利用式（4）求得的左右兩側噴施距離，mm；為路徑偏差值，mm，其值為負數(shù)表示噴施設備應向左移動，為正數(shù)則應向右移動，以減小偏差值并矯正噴施路徑。

圖4 LWA邊緣檢測及分界線擬合結果

此外，利用擬合的2條LWA分界線，能夠劃定葡萄行間可行駛路徑，用于檢驗路徑偏差值是否會超出可行駛路徑區(qū)域，即計算當前行駛路徑是否在2條LWA分界線內(nèi)，以保證規(guī)劃的路徑在可行駛路徑范圍內(nèi)。當前行駛路徑的計算以視場底部中心點為基準，按照噴施設備寬度計算其在視場圖像中的行駛路徑。因此，需要把現(xiàn)實世界中的設備寬度轉(zhuǎn)換為圖像二維坐標寬度，即進行三維世界坐標系到二維圖像坐標系的轉(zhuǎn)換。設世界坐標系中點及其坐標為(,,)，其對應的圖像坐標中的點(,)，則其對應轉(zhuǎn)換關系為

式中f為攝像機焦距，mm。本文中Kinect攝像頭焦距已知；Z為測得深度值，mm；噴施設備輪距寬度為940mm，即為X值；則可計算出噴施設備在圖像中的寬度，并據(jù)此計算出設備在圖像中的行進路線，標示于圖中，如圖5所示。圖中中間的虛線為設備中心延伸線，兩邊的2條直線為噴施設備行進路線。

1.2.3 路徑矯正及規(guī)劃線的生成

本文的精準噴施系統(tǒng)需要根據(jù)路徑偏差對噴施設備的行進路徑進行矯正，并生成用于矯正路徑的規(guī)劃線，以引導設施系統(tǒng)按照最佳噴施路徑行進。根據(jù)式（9）或式（10）計算出的路徑偏差值，帶入到式（11）中，轉(zhuǎn)換為二維圖像坐標，即可求出行進路徑在采集圖像中的路徑矯正值。為了生成矯正路徑規(guī)劃線，需要先計算出噴施設備的轉(zhuǎn)向角度，設圖像坐標中設備中心延伸線上某點(,)路徑偏差值為Δ（行進路徑的矯正主要為水平方向的矯正，因此偏差值也僅為軸上的差值），則轉(zhuǎn)向角度計算方法如下

然后，進一步計算噴施設備轉(zhuǎn)向路線，噴施車輛轉(zhuǎn)向路徑示意圖如圖6所示，則噴施車輛左側車輪的行進軌跡方程為

右側車輪的行進軌跡方程為

式中(x,y)、(x,y)分別為左右兩輪在圖像中的坐標點（即1.2.2中標出的噴施設備寬度線在圖像最下方的兩端點），為噴施車輛前后軸距，mm；W為前輪輪距，mm。

注：為噴施車輛前后軸距，mm；W為前輪輪距，mm；為轉(zhuǎn)向角度，rad。

Note:is the wheelbase of spraying vehicle, mm;lis tread of front wheel, mm;is the steering angle, rad.

圖6 噴施車輛轉(zhuǎn)向示意圖

Fig.6 Rotation diagram of spraying vehicle

以上公式計算出的行進路線圖為俯視圖，而實際在Kinect拍攝圖像中應該顯示以Kinect攝像頭為中心點坐標的軌跡，即世界坐標下的駕駛員視角。因此，其軌跡坐標也應進行世界坐標的變換，并生成矯正路徑規(guī)劃線，顯示于彩色圖像內(nèi)，路徑規(guī)劃結果如圖7所示，7a、7b圖像分別表示在種植品種為玫瑰香和巨峰的葡萄園內(nèi)運用本算法進行路徑規(guī)劃的結果圖，并且分別為不同狀態(tài)下的檢測結果，圖7a中噴施設備位于葡萄行間路徑偏右位置，因此矯正路徑規(guī)劃線偏向左側；7b中噴施設備位于路徑左側，因此矯正路徑規(guī)劃線偏向右側。

根據(jù)矯正路徑規(guī)劃線，可以引導噴施設備保持在路徑正中位置行駛，再根據(jù)式（4）計算出的噴施距離，可以輸出控制左右噴施臂在0～10 cm范圍內(nèi)進行調(diào)節(jié)，使噴頭與LWA保持最佳噴施距離，實現(xiàn)精準噴施。算法規(guī)劃的路徑也即為最佳噴施路徑。

注：綠色虛線所示曲線為矯正路徑規(guī)劃線，藍色虛線為噴施試驗平臺中心線，綠色實線為噴施試驗平臺行進線，紅色實線為路徑邊界線。

2 精準噴施實驗平臺軟硬件設計

本文研究的精準噴施實驗平臺分為果樹識別控制算法軟件和可控硬件平臺2部分，果樹識別控制軟件部分主要完成LWA檢測、噴施控制參數(shù)估計、行進路徑規(guī)劃等果樹識別和噴施控制算法功能，可控硬件平臺部分包括裝有Kinect和噴霧器臂的自走式噴施平臺、便攜式工控機、電源等。

2.1 噴施控制算法框架設計

本文主要利用精準噴施算法軟件處理系統(tǒng)規(guī)劃最優(yōu)噴施路徑，實現(xiàn)對噴施設備的控制，達到精準噴施的設計目標?？傮w算法流程如圖8所示：首先，通過Kinect獲取彩色及深度視頻圖像。進而，使用彩色圖像的RGB圖像層進行處理，以獲得圖像中綠色區(qū)域，初步分割出LWA區(qū)域。然后，把分割出的LWA區(qū)域與深度圖像進行匹配，根據(jù)深度圖像數(shù)據(jù)測算LWA平均距離。進一步，根據(jù)噴施設備寬度、噴頭的噴施范圍、噴施距離等設備參數(shù)，測算噴施設備的最佳噴施距離。然后，根據(jù)深度圖像測算獲得的LWA平均距離以及設備最佳噴施距離，計算最佳噴施路徑，以及當前路徑與最佳噴施路徑間的差值，即路徑偏差。最后，為了實現(xiàn)對噴施系統(tǒng)行進路線的優(yōu)化并保證噴施間距的最優(yōu)化，需要對噴施路徑進行規(guī)劃和預測，即根據(jù)路徑偏差對行進路徑進行矯正，并且規(guī)劃出用于導航的最優(yōu)規(guī)劃路徑，使噴施系統(tǒng)達到噴施效果的最優(yōu)化。

圖8 精準噴施算法流程圖

2.2 噴施系統(tǒng)硬件平臺設計

本噴施系統(tǒng)中的Kinect被固定安裝在平臺上，通過一臺拖拉機拖拽行駛。Kinect完全掃描果園某一行植株時，拖拉機沿現(xiàn)場勻速行駛。本系統(tǒng)還包括液壓閥、移動式噴霧器臂、空氣導管、空氣輔助噴霧器、視頻處理設備。噴霧器臂包含上、中、下4組扇形噴霧噴頭，最佳噴施距離為3～40 cm，由液壓桿控制可以調(diào)整噴霧器臂水平方向距離，調(diào)整范圍為0～10 cm。噴施系統(tǒng)可以通過處理軟件輸出控制信號調(diào)節(jié)噴施距離。如圖9所示。

圖9 噴施系統(tǒng)硬件平臺

本系統(tǒng)的視頻處理部分主要由一臺微軟Kinect和一臺電腦組成并配備一個移動電源。Kinect通過將標準的RGB攝像機和深度傳感器相結合，能夠獲取場景的3維特征信息[30]。試驗使用的是微軟出的XBOX 360 Kinect1.0傳感器，型號為1473。為了初步驗證本文算法的有效性，試驗中首先使用Kinect Studio采集視頻圖像。噴施系統(tǒng)算法的開發(fā)使用了Matlab與VC++混合編程，以快速實現(xiàn)算法并進行試驗。此外，為了對路徑規(guī)劃效果進行檢驗，在平臺上還安裝了全球定位系統(tǒng)GPS，以準確得知系統(tǒng)的全局位置。

3 試驗結果及分析

3.1 試驗條件

本文的試驗場地為中國河北省保定市（中國北方）的葡萄園。試驗中的葡萄品種為玫瑰香和巨峰2種，均為5 a樹齡，種植株距為1 m，行距為3 m，架高2 m，果樹的平均高度約為2.2 m。噴施農(nóng)藥時，噴施設備沿葡萄架行間路徑行進，對路徑兩側葡萄同時進行噴施。試驗時間為2016年5月20～24日，試驗時的氣象條件值為：平均溫度20～24 ℃，相對濕度20%～40%，風力為1～2級。

3.2 噴施距離測算結果及分析

為了檢驗噴施距離的測算結果與實際距離值之間是否有差異，及存在差值的分布情況，本文對算法計算的噴施距離結果與實際測量距離間的關系進行了試驗，并對試驗結果進行統(tǒng)計和分析。

試驗過程中，在果園的不同葡萄架行間使噴施系統(tǒng)靜止，使用本文算法，根據(jù)Kinect采集數(shù)據(jù)，按照式（3）測算噴施距離計算值LWA；同時噴施系統(tǒng)向前移動到Kinect采集數(shù)據(jù)的位置，用卷尺測量Kinect兩攝像頭中心位置到兩側葡萄LWA的垂直距離，每個位置共測量3次，取3次測量結果的平均值作為實際噴施距離的測量值，然后對2組數(shù)據(jù)進行統(tǒng)計和分析。試驗在葡萄園中隨機選取了30個測量點，在測量點上使噴施設備位于路徑偏左、中心和偏右位置的次數(shù)達到平均值，每點測量左右兩側距離，因此試驗共測量和計算了60組噴施距離數(shù)據(jù)。表1列出了試驗數(shù)據(jù)值，并計算了測量值及算法計算值的均值及與的均方誤差（MSE）。從表1中的30組數(shù)據(jù)可以看出，除了個別差異較大的數(shù)據(jù)（如第14、18、25組的計算值與測量值差異稍大），測量值與計算值的均值差異較小，左右兩側計算值與測量值差值的均方誤差MSE分別為3.7和1.9 cm，差值較小。

表1 噴施設備距左右側LWA距離數(shù)據(jù)

綜上所述，通過對試驗數(shù)據(jù)的分析可以看出，本文算法計算的噴施設備到LWA間距離與實際測量值差異較小，證明算法能夠較為準確的計算出噴施設備與LWA間的距離。

3.3 路徑偏差計算結果及分析

為了檢驗計算的路徑偏差值是否準確，即檢驗路徑矯正和規(guī)劃線是否準確有效，本文利用式（9）路徑偏差值計算公式，對30個數(shù)據(jù)采集點的路徑偏差測量值和計算值進行了計算和對比。試驗結果如圖10所示。

圖10 路徑偏差值折線圖

由圖10可知，測量值和計算值2條曲線之間差異較小，曲線在約±30 cm范圍內(nèi)擺動，其中正值表示噴施設備偏左，負值表示噴施設備偏右；其差值曲線在0軸上下擺動幅度較小，說明計算值與測量值之間的差值較小。此外，計算了計算值與測量值差值的方差為2.29 cm，證明兩值間差值較小。

由試驗證明，本文算法計算的路徑偏差值與實際測算的路徑偏差值之間的誤差較小，噴施設備噴頭最佳噴施距離范圍為30～40 cm，計算誤差基本不會對噴施設備保持最佳噴施距離產(chǎn)生較大影響，因此試驗證明本文算法計算的路徑偏差值準確，即本文算法對噴施行進路徑的矯正和生成的規(guī)劃路線也準確有效。

此外，本文對算法處理速度進行了檢測，在未對算法進行優(yōu)化的情況下，檢測了30個數(shù)據(jù)采集點的算法處理時間，其處理單幀圖像所耗平均時間為0.574 9 s。對算法的優(yōu)化和實時算法的實現(xiàn)為本項目下一步研究的重點內(nèi)容之一。

4 結 論

1）本文提出了基于樣條區(qū)域的LWA平均距離檢測方法，其中采用圖像彩色層差值進行二值化分割，可以減小天氣環(huán)境對檢測結果的影響。本算法用于計算噴施設備與LWA間的距離，為噴施路徑規(guī)劃打下基礎。

2）本文提出了路徑偏差計算方法及路徑矯正規(guī)劃算法，以實現(xiàn)對噴施設備偏離最佳噴施路徑時進行路徑矯正和規(guī)劃，并對噴施設備在路徑中偏左和偏右等多種狀態(tài)下進行了實驗檢測，均能通過導航線引導噴施設備處于最佳噴施路徑，實現(xiàn)精準噴施。

3）為了檢驗方法的準確度，本文在葡萄園中進行了實地試驗，針對2項關鍵數(shù)據(jù)噴施距離和路徑偏差，共采集測量了30個位置點的試驗數(shù)據(jù)。通過對關鍵數(shù)據(jù)測量值和計算值的統(tǒng)計及分析證明：本算法計算的左右兩側噴施距離與實際測量值差值的方差分別為3.7和1.9 cm，可見差值較?。宦窂狡钣嬎阒蹬c測量值差值的方差為2.29 cm，差異也較小。由此可以證明，本文算法計算的噴施距離和路徑偏差數(shù)值準確。

[1] 廖娟，臧英，周志艷，等. 作物航空噴施作業(yè)質(zhì)量評價及參數(shù)優(yōu)選方法[J]. 農(nóng)業(yè)工程學報，2015，31(增刊2)：38－46.

Liao Juan, Zang Ying, Zhou Zhiyan, et al. Quality evaluation method and optimization of operating parameters in crop aerial spraying technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Supp.2): 38－46. (in Chinese with English abstract)

[2] 羅陸鋒，鄒湘軍，程堂燦，等. 采摘機器人視覺定位及行為控制的硬件在環(huán)虛擬試驗系統(tǒng)設計[J]. 農(nóng)業(yè)工程學報，33(4)：39－46.

Luo Lufeng, Zou Xiangjun, Cheng Tangcan, et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(4): 39－46. (in Chinese with English abstract)

[3] Plessen M M G, Bemporad A. Reference trajectory planning under constraints and path tracking using linear time-varying model predictive control for agricultural machines[J]. Biosystems Engineering, 2017, 153: 28－41.

[4] Fai?al B S, Freitas H, Gomes P H, et al. An adaptive approach for UAV-based pesticide spraying in dynamic environments[J]. Computers and Electronics in Agriculture, 2017, 138: 210－223.

[5] 陳盛德，蘭玉彬，李繼宇，等. 植保無人機航空噴施作業(yè)有效噴幅的評定與試驗[J]. 農(nóng)業(yè)工程學報，2017，33(7)：82－90.

Chen Shengde, Lan Yubin, Li Jiyu, et al. Evaluation and test of effective spraying width of aerial spraying on plant protection UAV[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 82－90. (in Chinese with English abstract)

[6] Walklate P J, Cross J V. Regulated dose adjustment of commercial orchard spraying products[J]. Crop Protection, 2013, 54(12): 65－73.

[7] Gil E, Gallart M, Llorens J, et al. Spray adjustments based on LWA concept in vineyard. Relationship between canopy and coverage for different application settings[J]. International Advances in Pesticide Application, Aspects of Applied Biology, 2014, 122: 25－32.

[8] Xiao Ke, Ma Yuejin, Gao Guandong. An intelligent precision orchard pesticide spray technique based on the depth-of-field extraction algorithm[J]. Computers and Electronics in Agriculture, 2017, 133: 30－36.

[9] Duga A T , Delele M A , Ruysen K, et al. Development and validation of a 3D CFD model of drift and its application to air-assisted orchard sprayers[J]. Biosystems Engineering, 2016, 154: 62－75.

[10] 蘇偉，展郡鴿，張明政，等. 基于機載LiDAR數(shù)據(jù)的農(nóng)作物葉面積指數(shù)估算方法研究[J]. 農(nóng)業(yè)機械學報，2016，47(3)：272－277.

Su Wei, Zhan Junge, Zhang Mingzheng, et al. Estimation method of crop leaf area index based on airborne LiDAR data[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(3): 272－277. (in Chinese with English abstract)

[11] 俞龍，洪添勝，趙祚喜，等. 基于超聲波的果樹冠層三維重構與體積測量[J]. 農(nóng)業(yè)工程學報，2010，26(11)：204－208.

Yu Long, Hong Tiansheng, Zhao Zuoxi, et al. 3D-reconstruction and volume measurement of fruit tree canopy based on ultrasonic sensors[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(11): 204－208. (in Chinese with English abstract)

[12] Tomas P, Andrew J L. Real time canopy density estimation using ultrasonic envelope signals in the orchard and vineyard[J]. Computers and Electronics in Agriculture, 2015, 115: 108－117.

[13] 姜紅花，白鵬，劉理民，等. 履帶自走式果園自動對靶風送噴霧機研究[J]. 農(nóng)業(yè)機械學報，2016，47(增刊1)：189－195.

Jiang Honghua, Bai Peng, Liu Limin, et al. Caterpillar self-propelled and air-assisted orchard sprayer with automatic target spray system[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(z1): 189－195. (in Chinese with English abstract)

[14] Li H, Zhai C, Weckler P, et al. A canopy density model for planar orchard target detection based on ultrasonic sensors[J]. Sensors, 2016, 17(1): 31.

[15] Zou W, Wang X, Deng W, et al. Design and test of automatic toward-target sprayer used in orchard[C]//IEEE International Conference on Cyber Technology in Automation,Control and Intelligent Systems, IEEE ,2015: 697－702.

[16] Narváez F J Y, Pedregal J S D, Prieto P A, et al. LiDAR and thermal images fusion for ground-based 3D characterisation of fruit trees[J]. Biosystems Engineering, 2016, 151: 479－494.

[17] Li M, Shi Y, Wang X, et al. Target recognition for the automatically targeting variable rate sprayer[J]. IFIP International Federation for Information Processing, 2010, 346: 20－28.

[18] Hoevar M, ?irok B, Jeji V, et al. Design and testing of an automated system for targeted spraying in orchards[J]. Journal of Plant Diseases and Protection, 2010, 117(2): 71－79.

[19] Jej?i? V, Gode?a T, Ho?evar M, et al. Design and Testing of an ultrasound system for targeted spraying in orchards[J]. Strojniski Vestnik, 2011, 7-8(57): 587－598.

[20] Stajnko D, Berk P, Le?nik M, et al. Programmable ultrasonic sensing system for targeted spraying in orchards[J]. Sensors, 2012, 12(11): 15500－15519.

[21] Osterman A, Gode?a T, Hocˇevar M, et al. Real-time positioning algorithm for variable-geometry air-assisted orchard sprayer[J]. Computers and Electronics in Agriculture, 2013, 98: 175－182.

[22] Tarquis A M, Méndez V, Walklate P J, et al. L-system tree model and LIDAR simulator: Estimation of spray target area[J]. WSEAS Transactions on Biology and Biomedicine, 2006, 3(2): 81－88.

[23] Kim A M. Simulating full-waveform LIDAR[D]. Monterey:Naval Postgraduate School,2009.

[24] Prusinkiewicz P, Karwowski R, Měch R, et al. L-studio/cpfg: A Software System for Modeling Plants[C]// Applications of Graph Transformations with Industrial Relevance, International Workshop, Kerkrade, The Netherlands, Proceedings. DBLP, 1999: 457－464.

[25] Costes E, Smith C, Renton M, et al. MAppleT: simulation of apple tree development using mixed stochastic and biomechanical models[J]. Functional Plant Biology, 2008(35): 936－950.

[26] Polo J R R, Sanz R, Llorens J, et al. A tractor-mounted scanning lidar for the non-destructive measurement of vegetative volume and surface area of tree-row plantations: A comparison with conventional destructive measurements[J]. Biosystems Engineering, 2009, 102(2): 128－134.

[27] Campoy J, Gonzalez-Mora J, Dima C. Advanced sensing for tree canopy modeling and precision spraying[C]//ASABE Annual International Meeting, 2010,0300(10): , 1009470.

[28] Khot L R, Ehsani R, Albrigo G, et al. Air-assisted sprayer adapted for precision horticulture: Spray patterns and deposition assessments in small-sized citrus canopies[J]. Biosystems Engineering, 2012, 113(1): 76－85.

[29] Wellington C, Campoy J, Khot L, et al. Orchard tree modeling for advanced sprayer control and automatic tree inventory[J]. 2012.https://www.researchgate.net/publication/265437727

[30] Kamel Boulos M N, Blanchard B J, Walker C, et al. Web GIS in practice X: A Microsoft Kinect natural user interface for Google Earth navigation[J]. International Journal of Health Geographics, 2011, 10(45): 1－14.

Pesticide spraying route planning algorithm for grapery based on Kinect video technique

Xiao Ke1,2, Gao Guandong3, Ma Yuejin2※

(1.,,071001,; 2.,,071001,; 3.,,071000,)

This paper performs a precise spraying algorithm and builds an experimental platform including hardware of spraying equipment and software of spraying route planning algorithm. With the color images and depth images captured by Microsoft Kinect, it proposes leaf wall area (LWA) average distance calculation method based on spline regions and spraying route planning method based on route deviation for precise spraying of grapery. The purpose of this algorithm is to optimize the spraying route for keeping the suitable distance between LWA and sprinkling nozzle, and reduce the waste or pollution of the pesticides. The algorithm consists of 2 modules including LWA segmentation and distance estimation module, and optimal spraying route planning module. Firstly, to detect the distance between the platform and LWA, the morphological method is adopted to segment the color video frames captured by Kinect for dividing the LWA region accurately. The binary images were created by green layer minus red layer in color images. Then, closing and opening operation were performed for filling and de-noising. And to get continuous LWA, 300 pixels filling algorithm was used to fill the hollows or gaps in LWA. Secondly, a method of calculating LWA average distance based on spline regions is proposed combined with the information of depth image, which is used to accurately estimate the distance between spraying equipment and LWA precisely. The average distance is more reliable than single point distance because there are usually some hollows and gaps in LWA, which will lead to big errors when fetching the distance data from depth image. Finally, a route deviation and correction planning method is presented to guide and keep the spraying system in the optimal route. The errors that result from the spraying system drifting off the route center were computed by the LWA average distance to adjust the spraying arm into optimal spraying distance. And the corrective navigation lines were calculated by these errors and drawn in the video to plan the best spraying route. In the hardware of the precise spray experimental platform, the self-propelled spraying equipment with adjustable sprayer arms was designed and implemented. The self-propelled spraying platform included an air assisted sprayer and 2 moving sprayer arms with 4 nozzles, a Kinect at the head of platform, a laptop PC (personal computer) for planning the spraying route, and a power supply. To test the effectiveness of this algorithm, the experimental data were collected at 30 positions randomly within a big grapery in the North China. The experimental results showed that the differences and variance of the spray distance and route deviation between calculated values and measured values were small. The mean square errors of spraying distance were 3.7 and 1.9 cm respectively at the left and right of spraying system. And the variance of route deviation was 2.29 cm, which is also small. According to the adjusting range of sprayer arms, it will not affect the results of estimating best spraying distance and route. Therefore, it is proved that the results of this algorithm are accurate, and this spraying system can accurately estimate the spraying distance and plan the optimal route to spray precisely in grapery. Moreover, the processing time of the algorithm was also tested, which is 0.574 9 s per frame without program optimization. Hence improving the speed and realizing the real-time system is one of the important parts in our further work

algorithms; pesticides; image segmentation; depth image; grapery; leaf wall area; spraying distance

10.11975/j.issn.1002-6819.2017.24.025

TP391

A

1002-6819(2017)-24-0192-08

2017-08-10

2017-11-04

國家重點研發(fā)計劃（2016YFD0201100）；河北省研究生創(chuàng)新項目（1099009）

肖 珂，副教授，博士生，主要從事農(nóng)業(yè)信息化研究工作。 Email：xiaoketeaching@sina.com

馬躍進，教授，博士生導師，主要從事農(nóng)業(yè)機械化研究。 Email：mayuejin58@126.com

肖 珂，高冠東，馬躍進. 基于Kinect視頻技術的葡萄園農(nóng)藥噴施路徑規(guī)劃算法[J]. 農(nóng)業(yè)工程學報，2017，33(24)：192－199. doi：10.11975/j.issn.1002-6819.2017.24.025 http://www.tcsae.org

Xiao Ke, Gao Guandong, Ma Yuejin. Pesticide spraying route planning algorithm for grapery based on Kinect video technique[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(24): 192－199. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.24.025 http://www.tcsae.org