矮化密植棗園收獲作業(yè)視覺導(dǎo)航路徑提取

彭順正，坎 雜，李景彬

?

矮化密植棗園收獲作業(yè)視覺導(dǎo)航路徑提取

彭順正1，坎 雜2，李景彬2※

（1. 石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，石河子 832000； 2. 石河子大學(xué)機(jī)械電氣工程學(xué)院，石河子 832000）

針對(duì)矮化密植棗園環(huán)境的復(fù)雜性，提出一種基于圖像處理的棗園導(dǎo)航基準(zhǔn)線生成算法。選用B分量圖進(jìn)行處理，提出“行閾值分割”方法分割樹干與背景；根據(jù)拍攝場(chǎng)景及視角提出“行間區(qū)域”方法剔除行間噪聲；通過(guò)統(tǒng)計(jì)樹干與地面交點(diǎn)位置分布區(qū)域選取圖像五分之二向下區(qū)域進(jìn)行處理；依據(jù)樹干縱向灰度分布規(guī)律，采用浮動(dòng)窗口灰度垂直投影方法結(jié)合形態(tài)學(xué)開閉運(yùn)算提取樹干區(qū)域；基于棗園行間線性分布特征引入“趨勢(shì)線”，而后利用點(diǎn)到直線的距離與設(shè)定閾值作比較選取樹干與地面的交點(diǎn)；利用交點(diǎn)的位置分布將其歸類，并采用最小二乘法原理擬合左右兩側(cè)邊緣，提取邊緣線上各行的幾何中心點(diǎn)生成棗園導(dǎo)航基準(zhǔn)線。通過(guò)對(duì)陰天、晴天、順光、逆光、噪聲多元疊加5種條件進(jìn)行試驗(yàn)，結(jié)果表明，該算法具有一定的抗噪性能，單一工況條件導(dǎo)航基準(zhǔn)線生成準(zhǔn)確率可達(dá)83.4%以上，多工況條件準(zhǔn)確率為45%。針對(duì)5種工況條件的視頻檢測(cè)，結(jié)果表明，單一工況條件算法動(dòng)態(tài)檢測(cè)準(zhǔn)確率可達(dá)81.3%以上，每幀圖像處理平均耗時(shí)低于1.7 s，多工況條件檢測(cè)準(zhǔn)確率為42.3%，每幀圖像平均耗時(shí)1.0 s。該研究可為矮化密植果園實(shí)現(xiàn)機(jī)器人自主導(dǎo)航作業(yè)提供參考。

機(jī)械化；農(nóng)作物；圖像識(shí)別；棗園；行閾值分割；行間去噪；趨勢(shì)線

0 引 言

導(dǎo)航路徑基準(zhǔn)線的生成是農(nóng)業(yè)機(jī)器人自主導(dǎo)航作業(yè)研究的核心內(nèi)容，基于視覺技術(shù)獲取農(nóng)業(yè)機(jī)器人作業(yè)路徑優(yōu)點(diǎn)是靈活性好、成本低、精度高、抗噪聲能力強(qiáng)，較GPS導(dǎo)航有更好的環(huán)境適應(yīng)性[1]。

目前，機(jī)器人自動(dòng)導(dǎo)航技術(shù)在田間、喬化密植果園和林間得到廣泛應(yīng)用[2-20]，比如基于機(jī)器視覺導(dǎo)航技術(shù)進(jìn)行棉花采收，玉米行間除草，空間自然環(huán)境三維模型導(dǎo)航信息映射采集，戶外非結(jié)構(gòu)化路徑檢測(cè)，耕作機(jī)在高作物環(huán)境茬田等機(jī)械化作業(yè)。田間環(huán)境采用行播種植，作物行排列整齊，壟溝特征突出，為擬合兩側(cè)邊緣線提供了很好的識(shí)別依據(jù)。李景彬等[21-22]根據(jù)田間作物的顏色特征利用色差法模型識(shí)別出道路與植物行邊界線，而后根據(jù)邊界特征提取機(jī)器人作業(yè)路徑。喬化密植果樹生長(zhǎng)規(guī)范，樹干與地面交點(diǎn)特征明顯，視野范圍內(nèi)目標(biāo)特征容易提取，為快速生成導(dǎo)航基準(zhǔn)線奠定了基礎(chǔ)。馮娟等[23]針對(duì)喬化密植果園背景復(fù)雜性提出了一種導(dǎo)航路徑提取算法，通過(guò)鄰近區(qū)域灰度一階導(dǎo)數(shù)變化規(guī)律提取邊緣特征點(diǎn)，而后提取邊緣線中心線生成導(dǎo)航基準(zhǔn)線；He等[24]運(yùn)用水平投影的方法尋找果園圖像中的樹干與地面的交點(diǎn)，利用最小二乘法擬合導(dǎo)航基準(zhǔn)線。林間環(huán)境中，樹干垂直挺拔，但其排列隨機(jī)，光照不均且背景多元疊加，吳佳藝等[3]針對(duì)林間環(huán)境特點(diǎn)，通過(guò)尋找樹干與交點(diǎn)擬合邊緣線，而后提取邊緣中心線作為導(dǎo)航基準(zhǔn)線。

上述針對(duì)田間、喬化密植果園、林間的自主導(dǎo)航研究均是通過(guò)尋找道路與植物的分界點(diǎn)，而后利用分界點(diǎn)擬合邊緣線，最后提取兩側(cè)邊緣中心線作為導(dǎo)航基準(zhǔn)線。

新疆紅棗主要推廣直播建園，矮化密植種植面積廣，與喬化密植果園比較相似，二者均為行播種植，行株距規(guī)范，樹體角度開張，透光性好，但是二者樹高及主干高度不同，前者樹高一般為2 m，主干高度為0.5 m，后者樹高一般在2.5～3.5 m，主干高在1～1.5 m[25-26]。收獲作業(yè)主要依靠人工和機(jī)械化完成，但其工作時(shí)間長(zhǎng)、勞動(dòng)強(qiáng)度大、環(huán)境惡劣，對(duì)人體健康不利[27-28]。針對(duì)此問(wèn)題，有必要使用機(jī)器人自主導(dǎo)航技術(shù)完成紅棗收獲作業(yè)?；谀壳霸谔镩g、林間、喬化密植果園自主導(dǎo)航技術(shù)的研究，結(jié)合矮化果園特殊性，本文提出一種棗園收獲時(shí)期視覺導(dǎo)航基準(zhǔn)線生成算法，以期為新疆矮化密植果園實(shí)現(xiàn)機(jī)器人自主導(dǎo)航作業(yè)提供參考。

1 路徑提取算法

2015年10月至11月在新疆第一師阿拉市11團(tuán)矮化密植棗園（駿棗，5 a生）拍攝試驗(yàn)圖像，采集硬件設(shè)備為佳能自動(dòng)對(duì)焦EF-S系列相機(jī)，圖像存儲(chǔ)格式為JPEG格式，相機(jī)距離地面為1 m，其軸線與水平面向下夾角在15°至25°之間（俯角若是選擇太大，視野中會(huì)出現(xiàn)多個(gè)行，不便于后續(xù)處理，選擇太小，不能反映出棗樹行整體輪廓特征）。處理圖像的計(jì)算機(jī)為華碩筆記本（XP系統(tǒng)，主頻2.1 GHz，內(nèi)存2 G，處理器為Intel(R)Core(TM)i3）?；赩S2010的MFC環(huán)境結(jié)合OPENCV2.4.9開發(fā)路徑提取算法程序，圖像大小為230×168，圖1為圖像采集示意圖。

2016年10月至11月在新疆第一師阿拉爾市9團(tuán)矮化密植棗園（駿棗，5 a生）拍攝機(jī)械作業(yè)視頻，采集硬件設(shè)備為佳能自動(dòng)對(duì)焦EF-S系列相機(jī)，視頻存儲(chǔ)為AVI格式，相機(jī)距離地面為1 m，其軸線與水平面向下夾角在15°至25°之間。

1.1 圖像特征分析及預(yù)處理圖像的選取

圖2上方為棗園環(huán)境圖像，樹高在1～2 m之間，行間距為2 m。行間呈線性分布，主干高度在0.3～0.5 m之間，皮質(zhì)厚且干燥開裂，夾雜有土灰，顏色與土壤接近；樹枝皮質(zhì)平滑，呈淡紫色，紅棗為深紫色，表皮粘有土灰，地面有脫落的枯葉（棕黃色）和紅棗。近視野范圍內(nèi)主干與地面交點(diǎn)比較明顯，與環(huán)境有較強(qiáng)對(duì)比度，為此考慮提取近視野的主干特征點(diǎn)；枝條和紅棗聯(lián)結(jié)，很難從背景中單獨(dú)提取，地面枯葉分布雜亂，會(huì)對(duì)后續(xù)提取導(dǎo)航特征點(diǎn)造成干擾，將用去噪方法消除。

為了分析各對(duì)象分量分布特性，在圖像水平方向作一條剖面線（如圖2上方中的黑色直線）。圖2上方是剖面線上各點(diǎn)、、分量像素值分布情況，橫軸為列索引值，縱軸為分量值，、、分布規(guī)律分別用紅線、綠線、藍(lán)線描述。整體上>>，但值與值比較相近。為剖面線上分量平均值，標(biāo)準(zhǔn)偏差為，灰色直線為=-0.5×，下方有6個(gè)波谷，編號(hào)為1#～6#，其中1#、5#、6#為樹干所在區(qū)域，2#、3#、4#形成主要是地面枯葉堆積存在縫隙。土壤顏色和主干表皮顏色相近，此類波谷點(diǎn)會(huì)影響后續(xù)特征點(diǎn)的提取，后續(xù)算法中作為噪聲消除。綜上所述，選用分量灰度圖可以很好地將樹干和背景區(qū)分開來(lái)。

為實(shí)現(xiàn)樹干與背景分割，提出基于“行閾值”分割方法。圖像大小為×，(,)為點(diǎn)(,)的分量，0≤≤?1。本研究方法如下：

1）由下往上逐行掃描，計(jì)算第行分量平均值Baver及標(biāo)準(zhǔn)偏差Bstd。

（2）

式中為圖像的長(zhǎng)，pixel；為圖像的高，pixel。

2）計(jì)算第行閾值T，如果()>T，點(diǎn)()亮度值置255，否則置0。

結(jié)合棗園環(huán)境的特殊性，利用兩側(cè)線性排列特征及視野規(guī)律，提出基于行掃描的“行間區(qū)域”去噪方法消除行間噪聲。算法具體描述如下：圖像分辨率為，H為第行的縱坐標(biāo)，S和E分別為第行起點(diǎn)和終點(diǎn)橫坐標(biāo)，起始掃描行0?1，0=20（對(duì)所有樣本統(tǒng)計(jì)，超過(guò)九成圖像左下角樹干集中分布在橫坐標(biāo)為20的范圍內(nèi)）、0?0?1，行掃描區(qū)間[S,E]由場(chǎng)景和拍攝角度決定，圖3為本算法原理示意圖，底色區(qū)域?yàn)樗惴⊕呙韬圹E，紅色虛線為當(dāng)前掃描行。

1）從起始掃描行開始，=?1,由起始點(diǎn)(S,H)開始向右檢索，若當(dāng)前點(diǎn)亮度值為255，將其亮度值置0，若當(dāng)前點(diǎn)為終止掃描點(diǎn)(E, H)，本行掃描結(jié)束，=?1，進(jìn)入下一個(gè)掃描行；2）若當(dāng)前行縱坐標(biāo)H=0成立，則終止掃描，否者執(zhí)行步驟3）；3）若S+5=E?5成立，則當(dāng)前行掃描起始點(diǎn)橫坐標(biāo)S=S+1，終止點(diǎn)橫坐標(biāo)E=E+1，縱坐標(biāo)H=H+1?1，?1，否則S=S+1，E=E+1?1，H=H+1?1；4）跳轉(zhuǎn)步驟2）繼續(xù)執(zhí)行。

1.2 主干骨架的提取

近視野范圍內(nèi)樹干與地面交點(diǎn)比較明顯，導(dǎo)航信息容易提取，選擇圖像近視野范圍進(jìn)行處理，以提高本算法的路徑檢測(cè)效率。吳佳藝等[3]通過(guò)統(tǒng)計(jì)樣本圖像視野范圍內(nèi)樹干與地面交點(diǎn)位置分布，選取圖像三分之二處向下區(qū)域處理，同理，本研究對(duì)309張具有代表性的圖像統(tǒng)計(jì)樹干與地面交點(diǎn)位置，得出樹干與地面較點(diǎn)都集中在圖像五分之二向下區(qū)域，為此選取圖像五分之二向下區(qū)域進(jìn)行處理。采用“行閾值”分割方法將分量灰度圖二值化，主干形狀呈縱向分布，所在區(qū)域白色像素點(diǎn)比較稠密，采用文獻(xiàn)[8]浮動(dòng)窗口掃描圖像方式，設(shè)置一個(gè)浮動(dòng)窗口，利用灰度垂直投影方法提取主干區(qū)域。

如圖4所示，為坐標(biāo)原點(diǎn)，h為浮動(dòng)窗口高度，長(zhǎng)度為，上限縱坐標(biāo)為h，下限縱坐標(biāo)為h=h?h，浮動(dòng)窗口以縱向?qū)ΨQ軸劃分為左右2個(gè)窗口，首次掃描h=?1；浮動(dòng)窗口個(gè)數(shù)=/h，不足一個(gè)浮動(dòng)窗口區(qū)域高度h=?/h，2條紅色虛線之間區(qū)域?yàn)楫?dāng)前浮動(dòng)窗口。

1）根據(jù)參數(shù)設(shè)置浮動(dòng)窗口，行掃描檢索左、右窗口區(qū)域白色像素點(diǎn)，根據(jù)分布區(qū)域分別將其橫坐標(biāo)存入數(shù)組A、A中，而后用“冒泡法”找出A的最大值max、A數(shù)組最小值min，將A、A清零。

2）從點(diǎn)(max, h)向左開始，以列掃描左窗口，統(tǒng)計(jì)每列白色像素?cái)?shù)W()，并計(jì)算第個(gè)浮動(dòng)左窗口白色像素點(diǎn)個(gè)數(shù)的平均值，0≤≤?1，若W()，則窗口中第列非零灰度像素點(diǎn)置0。

3）右窗口處理方法同左窗口，掃描方向與左窗口相反，起始點(diǎn)為(min,h)，第列白色像素?cái)?shù)、平均數(shù)分別W()，。

4）令h=h，h=h?h，max=0, min=?1，=?1。如果<0，跳轉(zhuǎn)步驟（5），否則，重復(fù)（1）至（4）；

5）縱坐標(biāo)在[0,h]區(qū)域灰度非零像素點(diǎn)置0，程序終止。

1.3 趨勢(shì)線提出與有效特征點(diǎn)提取及其邊緣擬合

兩側(cè)邊緣特征點(diǎn)的準(zhǔn)確快速提取是視覺導(dǎo)航研究的核心內(nèi)容。

導(dǎo)航特征點(diǎn)提取方法很多，李景彬等[2]通過(guò)尋找圖像處理區(qū)域垂直累計(jì)分布直方圖波谷，而后尋找局部窗口的直方圖的波谷，并將這波谷點(diǎn)集合作為候補(bǔ)點(diǎn)群；何潔等[29]利用灰度垂直投影的方法，獲取作物行的位置，而后利用等面積的小矩形掃描包含作物行的矩形框，并統(tǒng)計(jì)有效點(diǎn)的個(gè)數(shù)作為特征點(diǎn)集；王新忠等[30]采用大津法對(duì)溫室番茄壟間圖像進(jìn)行分割，而后提取目標(biāo)區(qū)域邊緣獲得導(dǎo)航離散點(diǎn)群；楊慶華等[31]通過(guò)尋找樹干與地面交點(diǎn)，作為擬合兩側(cè)邊緣線的一系列離散點(diǎn)簇。

綜上分析，本研究通過(guò)尋找樹干與地面交點(diǎn)作為邊緣離散點(diǎn)。具體方法簡(jiǎn)述如下：提取主干骨架之后，以行掃描方式從圖像底部往上檢索，點(diǎn)（）為當(dāng)前掃描點(diǎn)，圖像縱向中心線橫坐標(biāo)x=0.5×，若當(dāng)前掃描點(diǎn)灰度值()255且(+1)0，=0，≤c，將點(diǎn)()存入數(shù)組A中；同理，若()=255，(,+1)=0，(1,)=0，將點(diǎn)()存入數(shù)組A中。本方法容易將枝干的拐點(diǎn)誤檢為地面交點(diǎn)，針對(duì)此問(wèn)題引入了“趨勢(shì)線”。

1.3.1 趨勢(shì)線的確定及直線方程

棗園為行播種植模式，每行有2條“趨勢(shì)線”，本文中描述行左側(cè)邊緣走勢(shì)的直線稱為“左趨勢(shì)線”，右側(cè)稱“右趨勢(shì)線”。根據(jù)兩點(diǎn)確定一條直線的數(shù)學(xué)原理，在左右兩側(cè)分別找出2個(gè)合適的點(diǎn)即可確定2條趨勢(shì)線。兩點(diǎn)的確定方法如下：以圖像縱向中心軸為界，i表示左半圖像的列號(hào)（0≤i≤0.5×），j表示左半圖像的行號(hào)（0≤j≤），i表示右半圖像的列號(hào)（0.5×≤i≤），j表示右半圖像的行號(hào)（0≤j≤）。點(diǎn)(i,j)是中心軸在第j個(gè)（從圖像下底邊向上數(shù)）非零行向左遇到的第一個(gè)白色像素點(diǎn)坐標(biāo)，點(diǎn)(i,j)是中心軸在第j個(gè)非零行向右遇到的第一個(gè)白色像素點(diǎn)，分別用來(lái)存儲(chǔ)點(diǎn)（i,j）和點(diǎn)(i,j)的數(shù)組，[i].表示數(shù)組第i個(gè)元素為，與[i].表示意義相同，x為中心軸橫坐標(biāo)。本算法示意圖如圖5所示。

1）從圖像下底邊開始，由中心軸向左右兩邊以行掃描圖像，將中心軸左、右兩側(cè)所有白色像素點(diǎn)（i, j）和點(diǎn)(i, j)按分布區(qū)域歸類，并按檢測(cè)順序分別存入和中。

2）將兩數(shù)組首元素[0]和[0]分別賦值給點(diǎn)（i, j）、（i, j），并將兩點(diǎn)分別作為左、右趨勢(shì)線的第一個(gè)點(diǎn)。

3）計(jì)算D[i]=x-[i].、D[i].?x，使用“冒泡法”分別尋找D和D最小值min和min，記錄當(dāng)前i和i，將數(shù)組元素[i]和[i]分別賦值給點(diǎn)(i, j)和(i, j)，并將兩點(diǎn)分別作為左、右趨勢(shì)線的第二個(gè)點(diǎn)。

算法模型中，一般選用左下角為坐標(biāo)原點(diǎn)，圖像左上角為坐標(biāo)原點(diǎn)。為了遵循算法模型習(xí)慣，將坐標(biāo)原點(diǎn)變換到左下角，軸旋轉(zhuǎn)180°，軸平移到下底邊，圖像分辨率為×。根據(jù)變換原理可得式（4）與式（5）

（5）

新坐標(biāo)系內(nèi)，設(shè)點(diǎn)(11),(22)是直線上兩點(diǎn)，點(diǎn)(,)是除去（11），(22)兩點(diǎn)的直線上任意一點(diǎn)。根據(jù)“兩點(diǎn)式”方程（6）可得式（7）

（7）

其中=1?2、=2?1、=21?12。

將左趨勢(shì)線第一、二兩點(diǎn)代入式（4）、（5）可解得新坐標(biāo)點(diǎn)分別為(i,?j?1)，(i,?j?1)；同理，右趨勢(shì)線兩點(diǎn)分別為(i,?j?1)，(i, N?j?1)。分別將其代入式（7）可得左、右趨勢(shì)線，一般方程分別為式（8）和式（9）。

（9）

1.3.2 有效特征點(diǎn)選取

兩側(cè)邊緣特征點(diǎn)選取準(zhǔn)確與否直接影響提取基準(zhǔn)線準(zhǔn)確性。對(duì)已生成數(shù)組A和A篩選出有效特征點(diǎn)，本研究算法具體描述如下：閾值為,d為數(shù)組第個(gè)元素到相應(yīng)趨勢(shì)線的距離，0≤≤，為元素個(gè)數(shù)，點(diǎn)(x,y)為數(shù)組第個(gè)元素，趨勢(shì)線的一般方程為=0。1）根據(jù)點(diǎn)到直線距離公式計(jì)算所有特征點(diǎn)的d；2）選取有效特征點(diǎn)，如果d≤（=1，表示一個(gè)像素點(diǎn)的偏離，也就是將偏離趨勢(shì)線一個(gè)單位像素內(nèi)的所有點(diǎn)作為特征點(diǎn)），則(x,y)為樹干與地面交點(diǎn)。

利用上述算法對(duì)A和A的特征點(diǎn)進(jìn)行分選后，得近視野范圍內(nèi)樹干與地面交點(diǎn)。最小二乘法通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配，尤其對(duì)數(shù)據(jù)量較少時(shí)，擬合直線精度高、速度快。分選后數(shù)組A和A元素都比較少，為此選用最小二乘法對(duì)檢測(cè)的離散點(diǎn)進(jìn)行邊緣擬合。

1.4 基準(zhǔn)線的生成

如圖6所示，i為左側(cè)邊緣線上離散點(diǎn)的橫坐標(biāo)，i為右側(cè)邊緣線上離散點(diǎn)的橫坐標(biāo)。設(shè)p(i,)為左邊緣線上的任意點(diǎn)，p(i,)為右邊緣線上任意點(diǎn)，p(i,j)為p(i,j)和p(i,)的幾何中點(diǎn)，Δ=i?i，則

（11）

聯(lián)合式（10）、式（11）求出所有的點(diǎn)p(i, j)作為基準(zhǔn)線上的候補(bǔ)離散點(diǎn)群，而后利用最小二乘法對(duì)候補(bǔ)點(diǎn)群進(jìn)行擬合得出導(dǎo)航基準(zhǔn)線。

1.5 路徑提取流程

路徑檢測(cè)算法檢測(cè)流程為：1）讀取圖像數(shù)據(jù)塊；2）采用行閾值分割二值化；3）依次采用行間去噪、灰度垂直投影（浮動(dòng)窗口高度h=15，根據(jù)去噪效果和樹干信息完整程度而設(shè)定）、形態(tài)學(xué)處理（閉運(yùn)算、開運(yùn)算）、垂直投影（浮動(dòng)窗口高度h=20，根據(jù)去噪效果和樹干信息完整程度而設(shè)定）、形態(tài)學(xué)處理（閉運(yùn)算、開運(yùn)算）去噪；4）確定趨勢(shì)線；5）點(diǎn)到直線的距離方法提取樹干與地面的交點(diǎn)；6）采用最小二乘法擬合邊緣、提取導(dǎo)航基準(zhǔn)線路徑。

2 試驗(yàn)結(jié)果與分析

2.1 路徑算法檢測(cè)過(guò)程分析

導(dǎo)航研究領(lǐng)域中，環(huán)境的影響因素很少考慮光照強(qiáng)度，主要從環(huán)境類型特征入手。吳佳藝等[3]為了研究光照對(duì)視覺導(dǎo)航路徑的影響將環(huán)境分為上午時(shí)段、中午時(shí)段、下午時(shí)段等類型進(jìn)行研究；文獻(xiàn)[30]、[32-33]將環(huán)境類型分為晴天、陰天、多云研究光照對(duì)視覺導(dǎo)航路徑提取的影響。故本文根據(jù)實(shí)際需求，針對(duì)時(shí)間段為2015年10月26日至2015年11月15日，以及2016年10月26日至2016年11月15日的天氣狀況，綜合選取順光（早晨北京時(shí)間8:00～12:00之間，以及下午14:00～18:00之間，拍攝方向與陽(yáng)光同向，行間無(wú)薄膜、缺株斷苗等情況）、逆光（拍攝方向與陽(yáng)光正對(duì)，其他條件同順光）、晴天（拍攝為下午北京時(shí)間12:00～14:00之間，拍攝方向與陽(yáng)光接近垂直，其他條件同順光）、陰天（拍攝時(shí)間為北京時(shí)間6:00～8:00以前，下午18:00～20:00，其他條件同順光），噪聲多元疊加等5種環(huán)境類型進(jìn)行分類研究。

圖7中選取順光、逆光、晴天、陰天4個(gè)環(huán)境類型具有代表性的圖像進(jìn)行路徑檢測(cè)分析。

圖7b、7h、7n、7t為“行閾值分割”二值化效果，7h中上部存在一個(gè)黑洞，是受光照影響。圖7n左下側(cè)白色區(qū)域?yàn)闃涓申幱皡^(qū)域。圖7c、7i、7o、7u為“行間區(qū)域”去噪效果，行間噪聲消除，樹干附近有少量噪聲。圖7d、7j、7p、7v 為第一次灰度“垂直投影”方法提取樹干效果，主干提取明顯，樹干內(nèi)部存在孔洞和諸多孤立小面積區(qū)域，使用形態(tài)學(xué)填充。圖7e、7k、7q、7w是形態(tài)學(xué)、第二次灰度“垂直投影”、形態(tài)學(xué)處理結(jié)果，提取區(qū)域與樹干位置重疊。圖7f、7l、7r、7x分別為4種環(huán)境下的檢測(cè)結(jié)果，紅線為首次特征點(diǎn)連線，存在樹干拐點(diǎn)（點(diǎn)到直線的距離方法消除），黃色直線與紅色折線有一系列的交點(diǎn)，是樹干與地面的交點(diǎn)簇。2條藍(lán)色直線為“趨勢(shì)線”，“趨勢(shì)線”與邊緣線走勢(shì)帖近。2條黃線為“邊緣線”。紫紅色線為導(dǎo)航基準(zhǔn)線。

圖8a～8f分別為原圖像、行閾值分割、行間去噪、灰度垂直投影提取樹干、形態(tài)學(xué)處理、檢測(cè)結(jié)果。圖8f中兩側(cè)“趨勢(shì)線”和邊緣線與行邊緣偏離，基準(zhǔn)線與壟溝方向偏離。綜合圖8b～8e處理效果分析，透亮薄膜光漫反射明顯，造成圖像左側(cè)視野遠(yuǎn)處樹干與地面信息模糊，無(wú)法準(zhǔn)確區(qū)分目標(biāo)區(qū)域，導(dǎo)致圖8b上部產(chǎn)生“黑洞”。圖8b左側(cè)近視野部分樹干處于背光區(qū)，薄膜漫反射作用增強(qiáng)邊緣信息對(duì)比度，左下角白色團(tuán)塊是藍(lán)色塑料管道口背光區(qū)（圖8a中對(duì)應(yīng)區(qū)域），“左趨勢(shì)線”第一個(gè)點(diǎn)選取就偏離樹干區(qū)域（8f對(duì)應(yīng)區(qū)域），左趨勢(shì)線偏離，左側(cè)交點(diǎn)提取無(wú)效；右邊緣線偏離是圖像從左往右亮度增強(qiáng)后逐漸減弱（存在背光區(qū)，圖8a右側(cè)區(qū)域），圖8b右側(cè)弧形白色團(tuán)塊為背光區(qū)，其所在位置偏離右邊緣，導(dǎo)致圖8d、8e處理結(jié)果為背光區(qū)邊緣。

2.2 算法對(duì)圖像檢測(cè)結(jié)果分析

本文對(duì)采集具有代表性的309張圖像進(jìn)行人工擬合最佳導(dǎo)航基準(zhǔn)線，通過(guò)計(jì)算人工擬合基準(zhǔn)線與路徑提取算法所得基準(zhǔn)線的夾角1、生成準(zhǔn)確率ar、每幀圖像算法耗時(shí)性能參數(shù)進(jìn)行統(tǒng)計(jì)分析，根據(jù)文獻(xiàn)[23]可以認(rèn)為0≤1≤3°檢測(cè)結(jié)果正確，結(jié)果如表1所示。由表1可知，在單一工況（指陰天、晴天、順光和逆光的狀況）條件下進(jìn)行測(cè)試，試驗(yàn)表明：該算法準(zhǔn)確率可達(dá)83.4%以上，每張圖像平均耗時(shí)低于11.9 s，多工況（噪聲多元疊加，下文相同）條件檢測(cè)準(zhǔn)確率為45%。但準(zhǔn)確率和實(shí)時(shí)性需要進(jìn)一步提高。

表1 不同環(huán)境下算法性能的評(píng)估

針對(duì)噪聲疊加環(huán)境，試驗(yàn)內(nèi)容包含非正常拍攝角度及多種工況條件疊加，結(jié)合每個(gè)試驗(yàn)過(guò)程分析，造成路徑檢測(cè)失敗原因?yàn)椋?）非正常拍攝角度情況（相機(jī)俯角15°～25°范圍為標(biāo)準(zhǔn)，攝像頭前向靠近壟溝中心線），距離圖像左右兩側(cè)20個(gè)像素范圍內(nèi)存在未分布有樹干或樹干分布超出這個(gè)范圍，導(dǎo)致“行間區(qū)域”方法無(wú)法分辨目標(biāo)和噪聲而將樹干區(qū)域去掉，在后續(xù)處理中無(wú)法恢復(fù)失真后的邊緣信息，從而造成檢測(cè)結(jié)果失?。?）當(dāng)處于表陰天、晴天、順光和逆光工況條件組合情況下，主要存在目標(biāo)背景對(duì)比度模糊，地表凹凸不平形成大面積背光區(qū)，其他雜物顏色與樹干接近等問(wèn)題，這些因素均會(huì)在目標(biāo)分割環(huán)節(jié)中產(chǎn)生非結(jié)構(gòu)化團(tuán)塊，導(dǎo)致“趨勢(shì)線”選取后無(wú)法描述壟溝線性特征，使得提取的邊緣信息錯(cuò)誤。

2.3 算法檢測(cè)視頻結(jié)果分析

利用Opencv自帶VideoCapture視頻類，結(jié)合本算法處理視頻，分別處理5種不同工況環(huán)境中的作業(yè)視頻，檢測(cè)結(jié)果如表2所示。陰天、晴天、順光、逆光視頻幀率為29.9 fps，采用定時(shí)器播放，播放間隔為33.4 ms；噪聲多元疊加視頻幀率為24 fps，播放間隔41.7 ms。測(cè)試環(huán)境為Win7 32位操作系統(tǒng)，處理器AMD，頻率為2.80 GHz，圖像規(guī)格均為230×168。針對(duì)5種工況環(huán)境視頻檢測(cè)，結(jié)果表明單一工況視視頻動(dòng)態(tài)檢測(cè)準(zhǔn)確率可達(dá)81.3%以上，每幀圖像平均耗時(shí)低于1.7 s；噪聲多元疊加條件檢測(cè)準(zhǔn)確率為42.3%，每幀圖像平均耗時(shí)為1.0 s。

表2 算法實(shí)際應(yīng)用性能評(píng)估

綜合上述圖片視頻處理效果分析，算法需要提高處理速度，增強(qiáng)算法在多種角度下的自適應(yīng)性及局部目標(biāo)識(shí)別的靈敏度，盡可能減少大面積團(tuán)塊的形成，以提高算法抗噪性和實(shí)時(shí)性，整體上視頻檢測(cè)每幀圖像平均耗時(shí)低于靜態(tài)圖片檢測(cè)每幀圖像平均耗時(shí)，但是檢測(cè)準(zhǔn)確率二者比較相近。算法實(shí)時(shí)性和檢測(cè)準(zhǔn)確率還有一定的提升空間，是進(jìn)一步深入研究的重點(diǎn)內(nèi)容。試驗(yàn)對(duì)比發(fā)現(xiàn)，在所有因素完全相同的情況下，算法靜態(tài)處理同一幀圖像和視頻動(dòng)態(tài)處理結(jié)果存在部分差異，說(shuō)明算法處理圖像具有一定隨機(jī)性，需要進(jìn)一步探究其成因，以提高算法健壯性和穩(wěn)定性。

3 結(jié)論與討論

本文針對(duì)矮化密植棗園紅棗收獲機(jī)收獲作業(yè)時(shí)視覺導(dǎo)航路徑檢測(cè)問(wèn)題進(jìn)行分析和研究，并針對(duì)多種環(huán)境條件分析和評(píng)估算法準(zhǔn)確性和可靠性。

1）通過(guò)剖面線分析目標(biāo)像素分布特性，選用B分量圖進(jìn)行處理，運(yùn)用“行閾值”方法分割樹干和背景，使用“行間區(qū)域去噪”方法消除行間噪聲，利用灰度“垂直投影”方法和形態(tài)學(xué)處理提取樹干區(qū)域，引入趨勢(shì)線描述棗園線性特征，而后參考趨勢(shì)線利用點(diǎn)到直線的距離提取樹干與地面的交點(diǎn)，采用最小二乘法擬合生成導(dǎo)航基準(zhǔn)線，針對(duì)單一工況條件該算法具有一定的魯棒性。

2）選取309張樣本圖像，針對(duì)4種單一工況條件（晴天、逆光、順光、陰天）進(jìn)行測(cè)試，試驗(yàn)表明：該算法準(zhǔn)確率可達(dá)83.4%以上，每張圖像平均耗時(shí)低于11.9 s，噪聲多元疊加條件檢測(cè)準(zhǔn)確率為45%。

3）針對(duì)5種工況環(huán)境視頻進(jìn)行檢測(cè)，結(jié)果表明，單一工況視視頻動(dòng)態(tài)檢測(cè)準(zhǔn)確率可達(dá)81.3%以上，每幀圖像平均耗時(shí)低于1.7 s；噪聲多元疊加條件檢測(cè)準(zhǔn)確率為42.3%，每幀圖像平均耗時(shí)為1.0 s。

后續(xù)需要優(yōu)化算法，提高運(yùn)算速度和自適應(yīng)性，增強(qiáng)算法在多工況條件下識(shí)別目標(biāo)的靈敏程度。

[1] 姬長(zhǎng)英，周俊. 農(nóng)業(yè)機(jī)械導(dǎo)航技術(shù)發(fā)展分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(9)：44－54.

Ji Changying, Zhou jun. Current situation of navigation technologies for agricultural machinery[J]. Transactions of the CSAM, 2014, 45(9): 44－54. (in Chinese with English abstract)

[2] 李景彬，陳兵旗，劉陽(yáng). 棉花鋪膜播種機(jī)導(dǎo)航路線圖像檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(1)：40－45.

Li Jingbin, Chen Bingqi , Liu Yang. Image detection method of navigation route of cotton plastic filmmulch planter[J]. Transactions of the CSAM, 2014, 45(1): 40－45. (in Chinese with English abstract)

[3] 吳佳藝，楊慶華，鮑官軍，等. 基于機(jī)器視覺的林間導(dǎo)航路徑生成算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(7)：176－179.

Wu Jiayi, Yang Qinghua, Bao Guanjun, et al. Algorithm of path navigation line for robot in forestry environment based on machine vision[J]. Transactions of the CSAM, 2009, 40(7): 176－179. (in Chinese with English abstract)

[4] Barawid J, Oscar C M, et al. Development of an autonomous navigation system using a two-dimensional laser scanner in an orchard application[J]. Biosystems Engineering, 2007, 96: 139－149.

[5] Pawin T, Tofael A, Tomohiro T. Navigation of autonomous tractor for orchards and plantations using a laser range finder: Automatic control of trailer position with tractor[J]. Biosystems Engineering, 2016, 147: 90－103.

[6] Benson E R, Reid J F, Zhang Q. Machine vision-based guidance system for agricultural grain harvesters using cut-edge detection[J]. Biosystems Engineering, 2003, 86(4): 389－398.

[7] Frits K V E, Gerie W A M H, Lambertus A P L, et al. A mobile field robot with vision-based detection of volunteer potato plants in a corn crop[J]. Weed Technology, 2006, 20(4): 853－861.

[8] Patrick F, Tobias F, Karsten B. Detection of field structures for agricultural vehicle guidance[J]. Künstl Intell, 2013, 27: 351－357.

[9] Griepentrog H W, Dühring Jaeger C L, Paraforos D S. Robots for field operations with comprehensive multilayer control[J]. Künstl Intell, 2013, 27: 325－333.

[10] Liu Bin, Liu Gang, Wu Xue. Resarch on machine vison based agricultural automatic guidance system[J]. Computer and Computing Technologies in Agriculture, 2008, 1: 659－666.

[11] Gokhan B. Long distance autonomous trajectory tracking for an orchard vehicle[J]. Industrial Robot, 2013, 40(1): 27－40.

[12] Zhang Tian, Xia Junfang, Wu Gang, et al. Automatic navigation path detection method for tillage machines working on high crop stubble fields based on machine vision[J]. Int J Agric & Biol Eng, 2014, 7(4): 29－37.

[13] Xue Jinlin, Zhang Lei, Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers and Electronics in Agriculture, 2012, 84: 85－91.

[14] Rovira-Ma′s F, Zhang Q, Reid J F, et al. Hough-transform- based vision algorithm for crop row detection of an automated agricultural vehicle[J]. Automobile Engineering, 2005, 219: 999－1010.

[15] Keun H C, Sang K H, Sang H H, et al. Morphology-based guidance line extraction for an autonomous weeding robot in paddy fields[J]. Computers and Electronics in Agriculture, 2015, 113: 266－274.

[16] Jiang Haibo, Xiao Yilong, Zhang Yunwei, et al. Curve path detection of unstructured roads for the outdoor robot navigation[J]. Mathematical and Computer Modelling, 2013, 58: 536－544..

[17] Eiji M, Masahiko S, Mikio U. Vision-based navigation system for autonomous transportation vehicle[J]. Precision Agriculture, 2005, 6: 239－254.

[18] Li Nan, Zhang Chunlong, Chen Ziwen, et al. Crop positioning for robotic intra-row weeding based on machine vision[J]. Journal of International Agriculture and Bioengineering, 2015, 8(6): 20－29.

[19] Stürzl W, Grixa I, Mair E, et al. Three-dimensional models of natural environments and the mapping of navigational information[J]. Journal of Comparative Physiology A, 2015, 201: 563－584.

[20] Liu Yang, Chen Bingqi, Detection for weak navigation line for wheat planter based on machine vision[J]. Applied Mechanics and Materials, 2013(246/247): 235－240.

[21] 李景彬，陳兵旗，劉陽(yáng)，等. 采棉機(jī)視覺導(dǎo)航路線圖像檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(11)：11－19.

Li Jingbin, Chen Bingqi, Liu Yang, et al. Detection for navigation route for cotton harvester based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11): 11－19. (in Chinese with English abstract)

[22] 張鐵民，莊曉霖. 基于DM642的高地隙小車的田間路徑識(shí)別導(dǎo)航系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(4)：160－167.

Zhang Tiemin, Zhuang Xiaolin. Identification and navigation system of farmland path for high-clearance vehicle based on DM642[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 160－167. (in Chinese with English abstract)

[23] 馮娟，劉剛，司永勝，等. 果園視覺導(dǎo)航基準(zhǔn)線生成算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(7)：185－189，184.

Feng Juan, Liu Gang, Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix in orchard[J]. Transactions of the CSAM, 2012, 43(7): 185－189, 184. (in Chinese with English abstract)

[24] He Bei, Liu Gang, Ji Ying, et al. Auto recognition of navigation path for harvest robot based on machine vision[J]. Springer Berlin Heidelberg, 2011, 344: 138－148.

[25] 王婭利，王青. 綏德縣棗樹矮化密植栽培技術(shù)[J]. 現(xiàn)代農(nóng)業(yè)技術(shù)，2015(10)：83－84.

[26] 馮國(guó)濤. 萬(wàn)泉北川蘋果優(yōu)質(zhì)高效示范園生產(chǎn)經(jīng)驗(yàn)[J]. 山西果樹，2012(2)：24－25.

[27] 漆聯(lián)全. 新疆紅棗產(chǎn)業(yè)的現(xiàn)狀、要求及其發(fā)展趨勢(shì)[J]. 新疆農(nóng)業(yè)科學(xué)，2010(增刊2)：8－12.

Qi Lianquan. The present situation, requirements and development trends of Xinjiang red date industry[J]. Xinjiang Agricultural Science, 2010(Supp.2): 8－12. (in Chinese with English abstract)

[28] 趙曉艷. 棗樹種植及田間管理機(jī)械化技術(shù)應(yīng)用效果[J]. 農(nóng)機(jī)使用與維修，2016，3：66－67.

Zhao Xiaoyan. Jujube tree planting and effect of field management mechanization technology application[J]. Use and Maintenance of Agricultural Machinery, 2016, 3: 66－67. (in Chinese with English abstract)

[29] 何潔，孟慶寬，張漫，等. 基于邊緣檢測(cè)與掃描濾波的農(nóng)機(jī)導(dǎo)航基準(zhǔn)線提取方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(增刊1)：265－270.

He Jie, Meng Qingkuan, Zhang Man, et al. Crop baseline extraction method for off-road vehicle based on boundary detection and scan-filter[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(Supp.1): 265－270. (in Chinese with English abstract)

[30] 王新忠，韓旭，毛罕平，等. 基于最小二乘法的溫室番茄壟間視覺導(dǎo)航路徑檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(6)：161－166.

Wang Xinzhong, Han Xu, Mao Hanping, et al. Navigation line detection of tomato ridges in greenhouse based on least square method[J]. Transactions of the Chinese Society of Agricultural Machinery, 2012, 43(6): 161－166. (in Chinese with English abstract)

[31] 楊慶華，吳佳藝，鮑官軍，等. 農(nóng)林環(huán)境機(jī)器視覺導(dǎo)航路徑生成算法及應(yīng)用[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(3)：147－151.

Yang Qinghua, Wu Jiayi, Bao Guanjun. Algorithms of path guidance line based on computer vision and their applications in agriculture and forestry environment[J]. Transactions of the Chinese Society of Agricultural Machinery, 2009, 40(3): 147－151. (in Chinese with English abstract)

[32] 趙穎，孫群，陳兵旗，等. 基于機(jī)器視覺的非結(jié)構(gòu)化道路導(dǎo)航路徑檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2007，38(6)：202－204.

Zhao Ying, Sun Qun, Chen Bingqi, et al. Fast detection of furrows based on machine vision on autonomous mobile robot[J].Transactions of the Chinese Society for Agricultural Machinery, 2007,38(6):202－204. (in Chinese with English abstract)

[33] 馮娟，劉剛，司永勝，等. 果園視覺導(dǎo)航基準(zhǔn)線生成算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012,43(7)：185－189，184.

Fen Juan, Liu Gang , Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix in orchard[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012,43(7): 185－189, 184. (in Chinese with English abstract)

Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard

Peng Shunzheng1, Kan Za2, Li Jingbin2

(1.,832000,; 2.,,832000,)

An algorithm based on image processing technology was proposed for generating navigation directrix in complex circumstance of short-stalked and close-planting jujube orchard. The hatching method was used to analyze the distribution of target pixels and then proper processing image was obtained. Tree trunk and background were segmented based oncomponent of image which was binarized by threshold of each scan line. By analyzing the distribution of crossing points between tree truck and ground, the chief processing section, or the region of interest (ROI), was defined and chosen from two-fifths of image area below. Then in the light of trunk longitudinal gray scale distribution, tree trunks location was extracted with gray scale vertical projection method and morphology principle by setting a superficial window to dynamically scan ROI. In order to describe line trend in short-stalked and close-planting jujube orchard, trend lines were introduced, which included the right one and the left one in terms of ridge and furrow. To describe linear distribution trait of ridge and furrow, crossing points between tree and ground were obtained by comparing the shortest distance of candidate point to its corresponding trend line with a man-made threshold value. Afterwards, those selected points were classified separately into 2 clusters in terms of their distribution region which was located at right or left part of image longitudinal symmetry axis, with the point set available to fit the border line of ridge separately. The least square method was used for detecting the right and left border lines, and navigation directrix was generated by extracting the center points between 2 border lines. The method of extracting navigation path was searched by analyzing the condition of short-stalked and close-planting jujube orchard under harvesting operation, and the accuracy and reliability of the algorithm were analyzed and evaluated under a variety of environmental conditions. The study of the algorithm was still in the simulation stage and the specific navigation effect of the algorithm was related to the actual navigation operations, so algorithm performance could not fully represent the actual navigation applications. In order to measure the algorithm reliability and real-time parameters, 5 different scene conditions, which included 4 single factor working conditions and one multiple factor working condition, were tested. The experimental results showed that the algorithm could generate navigation directrix accurately and showed a good noise robustness. Under 4 single factor working conditions, the accuracy was more than 81.3%, and the average processing time consumed was less than 11.9 s to each frame image; by video detection, the accuracy was more than 83.4%, and the average processing time consumed was less than 1.7 s to each frame image. Under multiple factor working condition, the accuracy only reached 45% and the average processing time consumed was 9.4 s; by video detection, the accuracy only reached 42.3% and the average processing time consumed was 1.0 s. Therefore, for subsequent tasks, work should be done to improve the real time performance and practicality of the algorithm for various surroundings, so as to enhance the sensitivity of the algorithm under the multi-mode condition. The novelty of this paper is to propose several new methods to solve practical problems. The research provides a reference for autonomous navigation of robot in short-stalked and close-planting jujube orchard.

mechanization; crops; image recognition; jujube orchard; row threshold division; noise elimination between two lines; trend line

10.11975/j.issn.1002-6819.2017.09.006

TP242.6+2

A

1002-6819(2017)-09-0045-08

2016-10-01

2017-04-06

國(guó)家重點(diǎn)研發(fā)計(jì)劃課題（2016YFD07011504）；兵團(tuán)中青年科技創(chuàng)新領(lǐng)軍人才（2016BC001）；石河子大學(xué)杰出青年科技人才培育計(jì)劃（2014ZRKXJQ04）

彭順正，貴州興義人，主要從事視覺導(dǎo)航路徑檢測(cè)方面的研究。石河子 石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，832000。Email：284486776@qq.com

李景彬，新疆石河子人，教授，主要從事圖像處理與機(jī)器視覺方面。石河子 石河子大學(xué)機(jī)械電氣工程學(xué)院，832000。 Email：ljb8095@163.com

彭順正，坎 雜，李景彬. 矮化密植棗園收獲作業(yè)視覺導(dǎo)航路徑提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(9)：45－52. doi：10.11975/j.issn.1002-6819.2017.09.006 http://www.tcsae.org

Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 45－52. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.09.006 http://www.tcsae.org