再生稻收割機(jī)的視覺導(dǎo)航路徑檢測方法

郭翰林, 洪瑛杰， 張 翔, 林 建

(福建農(nóng)林大學(xué)機(jī)電工程學(xué)院，福建 福州 350002)

再生稻收割機(jī)的視覺導(dǎo)航路徑檢測方法

郭翰林, 洪瑛杰， 張 翔, 林 建

(福建農(nóng)林大學(xué)機(jī)電工程學(xué)院，福建 福州 350002)

采用機(jī)器視覺技術(shù)研究再生稻收割機(jī)導(dǎo)航路徑檢測方法.根據(jù)農(nóng)田再生稻圖像特點(diǎn)，基于HSV空間的S分量結(jié)合Otsu算法得到初始分割閾值T；為更好地保留不同成熟度再生稻植株特征，加入修正因子-a，得到分割閾值T-a二值化圖像.將土壤路徑從再生稻植株中分割出來，根據(jù)形成的植株左右邊界區(qū)域特征，提出逐行掃描圖像動(dòng)態(tài)檢測導(dǎo)航路徑的中間離散點(diǎn)集，利用基于已知點(diǎn)的Hough變換檢測出稻樁行間導(dǎo)航路徑.結(jié)果表明：處理一幅像素419×310的圖像平均耗時(shí)0.064 s，具有較好的實(shí)時(shí)性，對稻葉交疊現(xiàn)象具有較強(qiáng)的適應(yīng)性，擬合的導(dǎo)航線符合人眼視覺感官判斷.

再生稻; 農(nóng)田環(huán)境; 視覺導(dǎo)航; Hough變換; 直線檢測

聯(lián)合收割機(jī)輔助駕駛已成為普遍關(guān)注的問題，而實(shí)現(xiàn)聯(lián)合收割機(jī)輔助駕駛的核心是對其預(yù)行駛路徑進(jìn)行檢測，即導(dǎo)航[1].如何實(shí)現(xiàn)自主導(dǎo)航是農(nóng)業(yè)機(jī)器人領(lǐng)域的研究熱點(diǎn)之一，視覺導(dǎo)航技術(shù)憑借其探測范圍廣、獲取信息完整等優(yōu)勢，成為目前國內(nèi)外應(yīng)用較多的機(jī)器人導(dǎo)航方式[2].其關(guān)鍵環(huán)節(jié)在于通過圖像處理技術(shù)準(zhǔn)確可靠地提取導(dǎo)航基準(zhǔn)線.目前該方面的研究大多是針對外層視野范圍內(nèi)農(nóng)田的作物行和邊緣或者作物壟溝的導(dǎo)航中心線檢測.吳剛等[1]將攝像機(jī)安裝在收割機(jī)頂部采集圖像，根據(jù)已收獲區(qū)域、未收獲區(qū)域和非農(nóng)田區(qū)域的不同顏色特征，通過統(tǒng)計(jì)分析和邊緣檢測方法確定直線上的候選點(diǎn)，采用改進(jìn)的Hough變換完成直線檢測.Toru[3]研究了一種應(yīng)用于農(nóng)田精密噴灑農(nóng)藥和作物中耕管理的圖像處理算法，對作物行進(jìn)行邊緣檢測后，利用最小二乘法擬合出導(dǎo)航線.唐澤華[4]在育秧農(nóng)田視野范圍內(nèi)，根據(jù)秧苗行的特點(diǎn)去除無關(guān)秧苗行，然后采用Hough變換提取秧苗行直線.吳佳藝[5]研究了中低層桑樹圖像特點(diǎn)，利用區(qū)域生長的方法分割桑樹與路徑，然后采用Hough變換生成中心線，其研究對象行間距較大，樹葉交疊干擾少，視野范圍內(nèi)采集的圖像易于處理.但有關(guān)通過深入作物行的中低層采集圖像來提取導(dǎo)航線等方面的研究較少.

隨著視覺應(yīng)用的推廣，對農(nóng)田作物進(jìn)行諸如施肥、除草、灌溉等操作時(shí), 機(jī)器人可以深入作物行的中低層行走，并得到廣泛應(yīng)用.再生稻的特點(diǎn)是在一季稻成熟之后，大約只割下植株上2/3的部位，收取稻穗，保留下面的1/3植株[6]，這就要求行走輪盡量避免碾壓稻樁.因此，需要深入再生稻中底層采集路徑信息，通過機(jī)器視覺技術(shù)檢測導(dǎo)航線.本文針對再生稻植株生長不確定性、株間空隙等特征，基于HSV顏色空間的S分量對獲取的圖像進(jìn)行灰度化，并采用修正閾值二值化S分量灰度圖，以保留更完整的植株特征，分割出的圖像基本反映出再生稻植株的走勢特征；并提出逐行掃描圖像動(dòng)態(tài)檢測導(dǎo)航路徑的中間離散點(diǎn)集，最后采用基于已知點(diǎn)的Hough變換獲得導(dǎo)航路徑.

1 材料與方法

1.1 圖像分析與預(yù)處理

為縮短算法開發(fā)周期，利用普通數(shù)碼相機(jī)于福建省農(nóng)業(yè)科學(xué)院水稻研究所再生稻試驗(yàn)田(福州市倉山區(qū)蓋山鎮(zhèn))采集圖片，結(jié)果如圖1a所示.頭季稻收獲時(shí)，采用排水烤田以利于收割機(jī)行走，田間現(xiàn)場如圖1b所示，針對再生稻葉子和稻樁生長的復(fù)雜性，選擇合適的色彩空間進(jìn)行圖像分割.采用RGB空間的2G-R-B特征因子、HSV空間的S分量、 YCrCb空間的Cb分量進(jìn)行灰度化試驗(yàn)比較，整個(gè)灰度空間被分為灰度值具有明顯差異的再生稻植株區(qū)域和路徑區(qū)域，利用飽和度差異的S分量將路徑從復(fù)雜的圖像信息中分割出來，結(jié)果如圖2所示.

a.試驗(yàn)田;b.中低層再生稻植株.圖1 田間圖像Fig.1 Image in the cropland field

圖2 S分量灰度圖Fig.2 Grayscale image of S variate

1.2 閾值分割

選用改進(jìn)的最大類間方差法(Otsu)[7-8]獲取S分量圖的初始分割閾值T，并進(jìn)行二值化處理，結(jié)果如圖3a所示.結(jié)合S分量的直方圖特征(圖3b),二值化時(shí)適當(dāng)降低分割閾值有助于保留植株的特征，減少不同成熟度枯黃色莖葉的干擾.因此，對分割閾值加入修正因子-a，以閾值T-a二值化S分量圖.經(jīng)多幅圖像試驗(yàn)，a取12可以達(dá)到較為滿意結(jié)果(圖3c).農(nóng)田圖像總體上被分為白色植株區(qū)域和黑色路徑區(qū)域，所形成的植株左右邊界體現(xiàn)出再生稻走勢特征.

a.修正前二值化圖像;b.S分量直方圖;c.修正后二值化圖像.圖3 修正閾值的二值化圖像Fig.3 Binarized image of modified threshold

1.3 除噪等后續(xù)處理

圖4 去噪生后的圖像Fig.4 Image after denoising

得到二值圖像后，植株區(qū)域出現(xiàn)黑色空洞；路徑區(qū)域出現(xiàn)白色點(diǎn)狀噪聲，為排水烤田后土壤長出的幼小綠色雜草帶來的噪聲.經(jīng)分析，首先用7×7結(jié)構(gòu)元素進(jìn)行膨脹擴(kuò)大區(qū)域的連通性分析[9]，然后采用連通域面積去噪法[10]，面積TH1取800個(gè)像素點(diǎn)能得到較好的效果，最后用5×5結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)閉運(yùn)算進(jìn)一步去除噪聲，結(jié)果如圖4所示.

1.4 檢測導(dǎo)航路徑點(diǎn)集

根據(jù)形成的植株左右邊界區(qū)域特征，檢測圖像每一行中所有黑點(diǎn)總數(shù).其中，大部分黑點(diǎn)代表路徑，少量黑點(diǎn)存在于植株背景中.提出的動(dòng)態(tài)檢測路徑中點(diǎn)的算法具體步驟如下：

(1)建立一個(gè)空矩陣A，其大小規(guī)格與去噪后的圖像一致，記為M×N，并初始化臨時(shí)變量m=0，k=0；

(2)對去噪后的圖像進(jìn)行逐行逐列掃描，設(shè)掃描圖像初始點(diǎn)為圖像的左上角點(diǎn)，i值由上到下依次增大，j值由左到右依次增大，若當(dāng)前圖像點(diǎn)(i，j)的像素值為0，則m++(m記錄此行黑點(diǎn)總數(shù))，同時(shí)記k=m/2；

(3)對步驟(2)的行再次進(jìn)行掃描，確定出路徑中的點(diǎn)坐標(biāo)值，若當(dāng)前圖像點(diǎn)(i，j)的像素值為0，則k--，直到k==0時(shí)，記錄此時(shí)的坐標(biāo)(i，j)，并取像素值255存入A中；

(4)掃描至M行后停止掃描.否則繼續(xù)執(zhí)行步驟(2)操作.

圖5 特征圖上提取路徑擬合點(diǎn) Fig.5 Fitting points of navigation path after processed image

將A值存到去噪后的圖像，則路徑中點(diǎn)集的提取效果如圖5所示.白點(diǎn)表示提取的結(jié)果，代表路徑中點(diǎn)的平均位置.由于圖像尺寸較大且存在噪聲干擾，檢測結(jié)果局部點(diǎn)出現(xiàn)較大的偏差，但是從選點(diǎn)原則和統(tǒng)計(jì)學(xué)的角度考慮，這并不影響整體結(jié)果.因此該算法對二值化圖像中的空洞和點(diǎn)狀噪聲具有一定的抗干擾性.

1.5 提取導(dǎo)航線

檢測到路徑擬合點(diǎn)后就可提取導(dǎo)航線的信息.作為導(dǎo)航路徑的農(nóng)作物,自然形成的壟行基本上為直線,或相對于輪式移動(dòng)機(jī)器人前進(jìn)方向局部范圍內(nèi)近似于直線,因此目前研究中一般使用直線路徑模型[11].可根據(jù)再生稻植株走勢特征的二值化圖像檢測導(dǎo)航線，使輪式收割機(jī)沿著導(dǎo)航線行走，減少壓樁率.目前直線檢測方法很多，最為常用的是最小二乘法、標(biāo)準(zhǔn)Hough變換和基于已知點(diǎn)的Hough變換[12]等.由于再生稻植株間存在空隙和稻葉交疊現(xiàn)象，用最小二乘法擬合直線，提取再生稻左右邊界間的直線易受到干擾，容易導(dǎo)致擬合基準(zhǔn)線出錯(cuò).而Hough變換對圖像的隨機(jī)噪聲、部分信息缺失等情況具有較好的適應(yīng)性，被廣泛應(yīng)用于諸多領(lǐng)域[1].因此本文采用標(biāo)準(zhǔn)的Hough變換和基于已知點(diǎn)的Hough變換2種方法進(jìn)行比較.其中，Opencv提供了標(biāo)準(zhǔn)Hough變換函數(shù)Houghlines檢測直線，結(jié)果如圖6所示.標(biāo)準(zhǔn)的Hough變換是一種全局性的檢測方法,具有極佳的抗干擾能力,但其直線累加器的閾值不易控制，處理速度較慢[13].因此,采用基于已知點(diǎn)的Hough變換提取導(dǎo)航線信息.基于已知點(diǎn)的Hough變換將標(biāo)準(zhǔn)Hough變換的運(yùn)算過程簡化為基于一個(gè)已知點(diǎn)的一元映射, 通過對檢測對象特征的分析，獲取少量的目標(biāo)像素特征點(diǎn)，減少處理對象，在保留標(biāo)準(zhǔn)Hough變換抗干擾能力強(qiáng)的基礎(chǔ)上簡化了計(jì)算過程,極大地提高了處理速度[11].其中，基于已知點(diǎn)的Hough變換檢測直線的過程見文獻(xiàn)[14].由于圖像盡頭的稻葉長勢相對不規(guī)則，因此已知點(diǎn)的選取從圖像M/2行開始向下掃描圖像的所有路徑擬合點(diǎn)，計(jì)算其橫坐標(biāo)和縱坐標(biāo)的平均值位置，記為已知點(diǎn).

a.標(biāo)準(zhǔn)的Hough變換;b.基于已知點(diǎn)的Hough變換.圖6 Hough變換檢測導(dǎo)航路徑Fig.6 Navigation path detected by Hough transform

2 結(jié)果與分析

為驗(yàn)證算法的有效性，在試驗(yàn)田以不同拍攝角度采集再生稻圖像進(jìn)行對比試驗(yàn)，檢測導(dǎo)航路徑，圖像尺寸為419×310像素.利用較有代表性的5幅再生稻圖像分別以標(biāo)準(zhǔn)Hough和基于已知點(diǎn)的Hogh進(jìn)行對比試驗(yàn)，結(jié)果如圖7所示.

a1～a5.標(biāo)準(zhǔn)Hough變換結(jié)果;b1～b5.基于已知點(diǎn)的Hough變換結(jié)果.圖7 導(dǎo)航路徑檢測試驗(yàn)對比圖 Fig.7 Comparison on pathway images after navigation

由圖7可以看出，基于已知點(diǎn)的Hough提取導(dǎo)航線保持了標(biāo)準(zhǔn)Hough的精度，仍體現(xiàn)了標(biāo)準(zhǔn)Hough極強(qiáng)的抗干擾能力，且避免了標(biāo)準(zhǔn)Hough變換累加器閾值不易確定的問題.表1顯示了這2種算法的耗時(shí)對比，結(jié)果表明基于已知點(diǎn)的Hough耗時(shí)更少，容易滿足收割機(jī)輔助駕駛的實(shí)時(shí)性要求.結(jié)果表明該方法能在有效分割再生稻植株和路徑的基礎(chǔ)上，實(shí)現(xiàn)再生稻植株在中低層復(fù)雜背景下提取導(dǎo)航路徑.盡管噪聲的干擾部分路徑擬合點(diǎn)偏離路徑中間，但Hough算法具有較好的糾偏能力和魯棒性，因此其處理結(jié)果仍基本體現(xiàn)路徑的中心線位置，有較好的適用性.同時(shí)也表明該方法在稻葉交疊情況下，對導(dǎo)航路徑檢測具有較好的適應(yīng)性，擬合出的導(dǎo)航線基本反映了再生稻的走勢特征，符合人眼視覺的感官判斷.

表1 標(biāo)準(zhǔn)Hough和基于已知點(diǎn)Hough算法的耗時(shí)對比Table 1 Comparison of time between standardized Hough and known point based on Hough

3 討論

農(nóng)田采集的再生稻圖像在HSV空間中以S分量灰度化，結(jié)合Otsu算法得到初始分割閾值.同時(shí)加入修正因子-a二值化圖像，并運(yùn)用形態(tài)學(xué)等后續(xù)處理分割出植株區(qū)域和路徑區(qū)域，以動(dòng)態(tài)掃描方式檢測路徑擬合點(diǎn).利用基于已知點(diǎn)的Hough變換擬合導(dǎo)航路徑，提高了導(dǎo)航線檢測效率.試驗(yàn)結(jié)果表明，該方法對中低層稻葉交疊現(xiàn)象具有一定的抗干擾性.但當(dāng)?shù)救~交疊嚴(yán)重時(shí)該方法的背景分割效果降低，且當(dāng)農(nóng)田周圍的風(fēng)力較大時(shí)，植株容易出現(xiàn)變形，導(dǎo)致圖像分割和中心線檢測出現(xiàn)偏差，這還有待今后進(jìn)一步研究.

[1] 吳剛,譚彧,鄭永軍,等.基于改進(jìn)Hough變換的收割機(jī)器人行走目標(biāo)直線檢測[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2010(2):176-179.

[2] 遲德霞,任文濤,由佳翰,等.水稻插秧機(jī)視覺導(dǎo)航信息獲取試驗(yàn)[J].沈陽農(nóng)業(yè)大學(xué)學(xué)報(bào),2015(5):575-580.

[3] TORU T. Research in autonomous agriculture vehicles in Japan[J]. Computer and Electronics in Agriculture, 2000,25(1):133-153.

[4] 唐澤華.基于機(jī)器視覺的步行插秧機(jī)自主導(dǎo)航關(guān)鍵技術(shù)研究[D].杭州：浙江理工大學(xué),2013.

[5]吳佳藝. 基于機(jī)器視覺的農(nóng)林環(huán)境導(dǎo)航路徑生成算法研究[D]. 杭州：浙江工業(yè)大學(xué)，2009.

[6] 朱鴻,陳鴻飛.福建省再生稻研究現(xiàn)狀與展望[J].亞熱帶農(nóng)業(yè)研究,2006,2(3):170-175.

[7] OTSU N. A threshold selection method from gray-lever histogram[J]. IEEE Trans on SMC, 1979,29(1):62-66.

[8] 張振升,朱名日.基于HSI顏色空間的蔗糖結(jié)晶圖像分割方法[J].計(jì)算機(jī)工程與應(yīng)用,2011(11):190-193.

[9] 岡薩雷斯.數(shù)字圖像處理[M].2版.阮秋奇,譯.北京:電子工業(yè)出版社,2003.

[10] 趙德升.基于機(jī)器視覺的精確噴施智能除草裝置雜草實(shí)時(shí)識(shí)別技術(shù)[D].鎮(zhèn)江：江蘇大學(xué),2009.

[11] 曹倩,王庫,楊永輝,史小磊.基于TMS320DM642的農(nóng)業(yè)機(jī)器人視覺導(dǎo)航路徑檢測[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009(7):171-175.

[12] 劉兆祥,陳艷,籍穎,等.基于機(jī)器視覺的農(nóng)業(yè)車輛路徑跟蹤[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009(S1):18-22.

[13] 張?zhí)?高茬水田耕整路徑機(jī)器視覺識(shí)別方法研究[D].武漢：華中農(nóng)業(yè)大學(xué),2014.

[14] 黃小剛.水田除草機(jī)器人視覺導(dǎo)航路徑與參數(shù)獲取方法研究[D].廣州：華南理工大學(xué),2013.

(責(zé)任編輯:葉濟(jì)蓉)

Method of identifying the vision navigation path for ratooning rice harvester

GUO Hanlin, HONG Yingjie, ZHANG Xiang, LIN Jian

(College of Mechanical and Electronic Engineering, Fujian Agriculture and Forestry University, Fuzhou, Fujian 350002, China)

A method of identifying the vision navigation path for ratooning rice harvester is proposed based on machine vision technology to reduce the rate of rice straw rolled. Based on the characteristics of ratooning rice image in the farmland, an initial segmentation thresholdTwas obtained based on S variate in HSV space, by Otsu algorithm. In order to maintain the integral feature of ratooning rice area under different maturity stages, a modified factor -awas incorporated to get segmentation thresholdT-a, which was used to binarize the grayscale image. Then the ratooning rice area was divided into sections of left and right by harvester pathway. A dynamic method for identifying discrete points in the navigation path was proposed based on the boundary feature and scanned image. Lastly, the vision navigation path was identified by the known point Hough transform in the ratooning rice area. The results demonstrated that the average time of processing a 419×310 pixel image was 0.064 s, which met the timing requirement in the field. Moreover, navigation line accords with human visual recognition, and exerts strong adaptability to noises like overlapped leaf.

ratooning rice; cropland field; vision navigation; Hough transform; line detection

2016-07-12

2016-10-15

福建省自然科學(xué)基金資助項(xiàng)目(2016J01701)；福建農(nóng)林大學(xué)機(jī)械工程學(xué)科整體學(xué)科水平提升計(jì)劃項(xiàng)目(612014049).

郭翰林(1989-)，男，碩士研究生.研究方向：機(jī)械制造自動(dòng)化技術(shù).Email:ffharlen@126.com.通訊作者林建(1971-)，男，副教授.研究方向：計(jì)算機(jī)控制和視覺算法.Email:1827740@qq.com.

TP391.9

A

1671-5470(2017)03-0356-05

10.13323/j.cnki.j.fafu(nat.sci.).2017.03.020