基于機(jī)器視覺的玉米收獲機(jī)器人路徑識別

胡丹丹，殷 歡

(江西機(jī)電職業(yè)技術(shù)學(xué)院，南昌 330013)

基于機(jī)器視覺的玉米收獲機(jī)器人路徑識別

胡丹丹，殷 歡

(江西機(jī)電職業(yè)技術(shù)學(xué)院，南昌 330013)

我國玉米種植面積和產(chǎn)量都很大，在農(nóng)業(yè)中占有重要的地位，但收獲環(huán)節(jié)耗費(fèi)的成本驚人。玉米收獲機(jī)器人能提高作業(yè)效率，極大地降低生產(chǎn)成本，具有廣闊的應(yīng)用前景。路徑識別能力是機(jī)器人環(huán)境適應(yīng)性的一個重要方面，而機(jī)器視覺主要用于農(nóng)業(yè)機(jī)器人的路徑識別。為此，設(shè)計了一種基于機(jī)器視覺的玉米收獲機(jī)器人路徑識別方法，并進(jìn)行田間的實(shí)時圖像處理試驗(yàn)。結(jié)果表明：該路徑識別方法具有較好的田間適應(yīng)性和實(shí)用性，經(jīng)過載機(jī)結(jié)構(gòu)改進(jìn)和內(nèi)部參數(shù)優(yōu)化后能為玉米收獲的智能化和信息化提供技術(shù)支撐。

玉米收獲；路徑識別；機(jī)器視覺

0 引言

玉米是世界上種植最廣泛的糧食作物之一，隨著加工技術(shù)的進(jìn)步和新的經(jīng)濟(jì)價值被不斷發(fā)掘，玉米出現(xiàn)了向經(jīng)濟(jì)作物轉(zhuǎn)變的趨勢。我國每年的玉米播種面積都超過2 000萬hm2，2015年的產(chǎn)量為2.29億t，達(dá)到歷史新高，且在農(nóng)業(yè)生產(chǎn)中占據(jù)日益重要的地位。玉米收獲的季節(jié)性強(qiáng)，勞動強(qiáng)度大，是生產(chǎn)過程中工作量最大的環(huán)節(jié)。在我國種植面積和產(chǎn)量巨大的情況下，玉米收獲所耗費(fèi)的成本是驚人的[1]。

隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn)，各種智能化的農(nóng)業(yè)機(jī)器人被設(shè)計出來替代人類完成繁重的田間作業(yè)。其中，玉米收獲機(jī)器人既能提高作業(yè)的效率，還可以極大地降低農(nóng)業(yè)生產(chǎn)成本，具有廣闊的應(yīng)用前景。但是，這類智能化的農(nóng)業(yè)裝備目前還沒有能夠得到廣泛的應(yīng)用，除了高昂的設(shè)計和制造成本外，智能機(jī)器人對農(nóng)田復(fù)雜的作業(yè)環(huán)境適應(yīng)性較差也是一個限制因素。

機(jī)器人在農(nóng)田自然條件下的路徑識別能力是其環(huán)境適應(yīng)性的重要方面，人們對此進(jìn)行了廣泛研究，并設(shè)計出了多種路徑識別方法。例如，陳中偉等提出了一種利用電磁傳感器為機(jī)器人進(jìn)行導(dǎo)航的方法，精度達(dá)到10mm，具有可行性[2]。李云翀等提出了一種應(yīng)用于室外移動機(jī)器人避障與導(dǎo)航的角度勢場法，通過計算目標(biāo)角度及通行函數(shù)，確定機(jī)器人駕駛角和速度，保證機(jī)器人的安全行進(jìn)[3]。張世勝等針對溫室內(nèi)的農(nóng)藥噴灑作業(yè)要求，設(shè)計了一種電磁誘導(dǎo)式的噴霧機(jī)器人路徑導(dǎo)航系統(tǒng)，實(shí)現(xiàn)了對噴霧機(jī)器人的導(dǎo)航控制[4]。

這些方法可以大致劃分為機(jī)器視覺導(dǎo)航和衛(wèi)星定位導(dǎo)航兩類。機(jī)器視覺導(dǎo)航方法的靈活性、實(shí)時性和精度都較高，適用性廣且信息量豐富，因而成為研究的重點(diǎn)。機(jī)器視覺技術(shù)的核心是圖像理解和圖像分析，關(guān)鍵技術(shù)在于對圖像的分割和對目標(biāo)特征的識別。在農(nóng)業(yè)生產(chǎn)中，機(jī)器視覺系統(tǒng)被裝載在機(jī)械上用于農(nóng)產(chǎn)品的分級、檢測和收割等作業(yè)[5-7]。

在基于機(jī)器視覺的農(nóng)業(yè)機(jī)器人路徑識別研究方面，周俊等針對采集的農(nóng)田自然圖像，運(yùn)用路徑知識啟發(fā)機(jī)制識別行走路徑，其路徑識別效果得到了明顯的改善[8-9]。孫元義等以自然環(huán)境下的棉田圖像為背景，通過Lab色彩空間處理、最大方差閾值分割、中值濾波除噪和Hough變換得到導(dǎo)航路徑，實(shí)現(xiàn)了對噴藥機(jī)器人行走路線的控制[10]。徐建等采用8鄰域均值濾波器去噪和Prewitte算子邊緣檢測技術(shù)對玉米壟行圖像進(jìn)行處理，能夠快速、準(zhǔn)確地檢測出玉米智能收獲機(jī)器人的行走路徑[11]。高國琴根據(jù)溫室與田間環(huán)境條件的差異，設(shè)計出基于K-means算法的移動機(jī)器人導(dǎo)航路徑識別方法，在試驗(yàn)中的路徑信息提取率高達(dá)95%，單幅圖像處理的耗時大幅降低，路徑識別速度顯著提高[12]。

機(jī)器視覺可以分為單目視覺和立體視覺兩種。其中，單目視覺算法簡單，各系統(tǒng)間的同步性好，容易實(shí)現(xiàn)精確的空間匹配，在實(shí)踐中應(yīng)用得較多。本文用于玉米收獲機(jī)器人路徑識別的是單目視覺方法。隨著農(nóng)業(yè)機(jī)械自動化和信息化的發(fā)展，機(jī)器視覺在農(nóng)業(yè)機(jī)器人路徑識別中的應(yīng)用也將日益深入。因此，本文針對我國玉米種植面積和產(chǎn)量巨大、收獲環(huán)節(jié)人工成本耗費(fèi)驚人的問題，設(shè)計了一種基于機(jī)器視覺的玉米收獲機(jī)器人路徑識別方法。該方法采用單目攝像機(jī)在自然環(huán)境的不同光照條件下拍攝玉米壟行圖像，然后對彩色圖像進(jìn)行空間選擇、閾值分割和濾波處理得到二值圖像；再通過二值圖像的壟行特征提取導(dǎo)航離散點(diǎn)，經(jīng)過Hough變換得到導(dǎo)航路徑，最后利用坐標(biāo)系變換轉(zhuǎn)換為導(dǎo)航控制參數(shù)來引導(dǎo)機(jī)器人行進(jìn)。同時，用該方法在田間進(jìn)行了實(shí)時圖像的處理試驗(yàn)，驗(yàn)證了其對路徑的識別能力。

1 玉米壟行圖像分割

1.1
圖像的采集

采集圖像的玉米田在試驗(yàn)基地內(nèi)，土壤類型為棕壤土，壟行間覆蓋著少量雜草和植被殘留物。收獲機(jī)器人沿著玉米壟行以0.5m/s的速度行走，圖像通過安裝在收獲機(jī)器人上端的?？低昑D-3T型單目攝像機(jī)實(shí)時獲取。攝像機(jī)離地高度為0.9m，俯視角為30°。分別在晴天和陰天兩種不同的光照條件下進(jìn)行了試驗(yàn)，每種條件拍攝5個田塊，每個田塊隨機(jī)選取10張實(shí)時圖片用于分析。

攝像機(jī)在兩種光照條件下采集的代表性圖片如圖1所示。

圖1 不同光照條件下的原始圖像(A：晴天；B：陰天)Fig.1 Original images under different illumination condition (A: sunny day; B: overcast)

單目攝像機(jī)結(jié)構(gòu)緊湊，體積較小，采用防抖動安裝。采集的原始圖像為模擬信號，由視頻編碼器完成向數(shù)字信號的轉(zhuǎn)變和壓縮，然后傳輸給機(jī)器人核心PC機(jī)，由PC上的數(shù)字圖像軟件進(jìn)行后續(xù)的處理。

1.2 總體設(shè)計顏色空間選取

原始圖像的壟行雜草雖然較少，但是仍會對路徑識別造成干擾，因此要選取合適的色彩空間用于圖像分割。原始圖像為彩色的BMP文件，每個像素由3個數(shù)值描述。為了避免龐大的信息量對實(shí)時處理速度造成影響，需要將彩色信息投影到灰度空間上。

圖像灰度化的色彩空間有多種，如RGB、HIS和Lab等。本文參考孫元義等[10]的研究，采用了Lab色彩空間。該方法是用L、a、b這3個互相垂直的坐標(biāo)軸來表示一個色彩空間：L軸表示明亮度，黑在底端，白在頂端；a軸是紅-綠色軸，+a表示品紅色，-a表示綠色；b軸是黃-藍(lán)色軸，+b表示黃色，-b表示藍(lán)色。圖2為在Lab色彩空間下對a分量灰度化的結(jié)果。

1.3 閾值分割

圖像分割是利用機(jī)器視覺進(jìn)行路徑識別的重要步驟，但是目前還沒有一個適用于所有類型圖像的分割方法和分割效果評判標(biāo)準(zhǔn)。圖像分割的方法有多種，閾值分割法具有計算模型簡單、運(yùn)行效率高的優(yōu)點(diǎn)，是當(dāng)前應(yīng)用最多的一種圖像分割方法，對于本文中實(shí)時采集的圖像處理也最為適用。

閾值的確定是影響圖像分割效果的決定性因素，是對灰度圖進(jìn)行直方圖分析后得到的。通常的閾值確定是在直方圖的雙峰之間取中點(diǎn)作為最佳閾值，但當(dāng)目標(biāo)和背景的對比度差異較大時，該方法難以將目標(biāo)和背景很好地分離。本文中的圖像特征受光照影響較大，為了重新確定閾值，本文中將a分量效果圖和原圖像灰度圖分別做了最大類間方差分析后再進(jìn)行圖像二值化。兩個圖通過最大閾值分割得到的閾值為155和127，以此閾值進(jìn)行分割達(dá)到了很好的噪音消除效果，如圖3所示。

圖2 不同光照條件下的灰度化圖像(A：晴天；B：陰天)Fig. 2 Gray images under different illumination condition (A: sunny day; B: overcast)

圖3 不同光照條件下的直方圖(A：晴天；B：陰天)Fig.3 Histograms under different illumination condition (A: sunny day; B: overcast)

2 玉米壟行的路徑識別

2.1 導(dǎo)航離散點(diǎn)獲得

圖像經(jīng)過二值化后，由壟行特征得到的離散點(diǎn)經(jīng)過Hough變換即可得到導(dǎo)航路徑。平面坐標(biāo)系中的導(dǎo)航路徑與前進(jìn)方向之間存在夾角和位置偏移，因此需要轉(zhuǎn)換坐標(biāo)系來對導(dǎo)航控制的參數(shù)進(jìn)行修正。針對圖像分割得到的玉米田間信息，根據(jù)壟行走勢特征進(jìn)行的統(tǒng)計分析得到反映壟行走向的導(dǎo)航離散點(diǎn)。

具體方法為將二值圖在Y軸方向上進(jìn)行直方圖投影，以兩峰之間的波谷為界分離左右壟；然后，在X軸方向上取左右壟黑色像素的中間點(diǎn)，最后獲得整行的平均位置點(diǎn)，如圖4所示。

圖4 不同光照條件下的散點(diǎn)圖(A：晴天；B：陰天)Fig.4 Scatter diagrams under different illumination condition (A: sunny day; B: overcast)

2.2 導(dǎo)航路徑算法

Hough變換是一種線性的計算方法，用于將D坐標(biāo)系中的任一點(diǎn)變換為極坐標(biāo)系中的正弦曲線。將D坐標(biāo)系中的多個點(diǎn)變換為極坐標(biāo)系中的對應(yīng)曲線后，就可以利用這些曲線在目標(biāo)范圍內(nèi)的交叉點(diǎn)計算出這些點(diǎn)的最佳擬合曲線。根據(jù)變換方程，若圖像中的每個點(diǎn)能確定幾個參數(shù)，則直方圖的峰值便可以確定一條直線。具體計算過程：首先將變換域中的坐標(biāo)初始化，以便存儲其量化值和累積計數(shù)，數(shù)組的各初始值設(shè)為0；依次搜索灰度圖像中的所有導(dǎo)航離散點(diǎn)，將每個點(diǎn)的θ值帶入ρ公式進(jìn)行計算，找出最大值對應(yīng)的θ和ρ；再用相同的算法對原始圖像進(jìn)行處理，若兩者的ρ值相同，則表明其對應(yīng)的坐標(biāo)點(diǎn)位于導(dǎo)航路徑上。導(dǎo)航離散點(diǎn)經(jīng)過上述計算后得到的導(dǎo)航路徑如圖5所示。

圖5 不同光照條件下的導(dǎo)航路徑(A：晴天；B：陰天)Fig.5 Navigation paths under different illumination condition (A: sunny day; B: overcast)

3 試驗(yàn)結(jié)果與分析

通過田間試驗(yàn)可以看出：在晴天光線充足的情況下，目標(biāo)和背景的色彩差異大，對比度較高，能達(dá)到很好的識別效果，所有田塊中的路徑識別率都在80%以上，處理單張圖片的耗時在109～133ms之間。陰天時的光照不充分，目標(biāo)和背景之間的色彩差異不大，對比度較低，對識別的效果造成了一定的影響，但是所有田塊中的路徑識別率仍然超過70%；處理單張圖片的耗時在117～138ms之間，成對 t測驗(yàn)的結(jié)果表明與晴天的處理耗時之間有顯著差異。

該玉米收獲機(jī)器人的路徑識別方法在田間的試驗(yàn)效果如表1所示。

表1 不同光照條件下的路徑識別效果

續(xù)表1

4 結(jié)論

試驗(yàn)過程中發(fā)現(xiàn)：該系統(tǒng)實(shí)際使用過程中會出現(xiàn)攝像機(jī)隨著載具行進(jìn)出現(xiàn)輕微抖動，以及攝像機(jī)內(nèi)部參數(shù)設(shè)定、放置高度和俯視角度不夠理想的問題。這些因素可能會對采集的圖像質(zhì)量造成影響，并最終影響到路徑識別的效率?？傮w上看，該路徑識別方法具有較好的田間適應(yīng)性和實(shí)用性，經(jīng)過載機(jī)結(jié)構(gòu)改進(jìn)和內(nèi)部參數(shù)優(yōu)化，解決了上述的問題后，可為玉米收獲的智能化和信息化提供技術(shù)支撐。

[1] 孔自強(qiáng).對加速推進(jìn)玉米收獲機(jī)械化發(fā)展之所見[J]. 農(nóng)業(yè)裝備與車輛工程，2007,186(1):47-48.

[2] 陳中偉，肖華，吳功平.高壓巡線機(jī)器人電磁傳感器導(dǎo)航方法[J].傳感器與微系統(tǒng)，2006, 25(9):33-35.

[3] 李云翀，何克忠. 基于激光雷達(dá)的室外移動機(jī)器人避障與導(dǎo)航新方法[J]. 機(jī)器人，2006, 28(3):275-278.

[4] 楊世勝，張賓. 電磁誘導(dǎo)農(nóng)用噴霧機(jī)器人路徑導(dǎo)航系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J].機(jī)器人，2007, 29(1):78-81.

[5] 李慶中，汪懋華.基于計算機(jī)視覺的水果實(shí)時分級技術(shù)發(fā)展與展望[J].農(nóng)業(yè)機(jī)械學(xué)報，1999, 30(6):1-7.

[6] 楊國彬，趙杰文，向忠平.利用計算機(jī)視覺對自然背景下西紅柿進(jìn)行判別[J].農(nóng)機(jī)化研究，2003 (1):60-62.

[7] 王樹文，張長利，房俊龍.應(yīng)用計算機(jī)視覺對番茄損傷分類的研究[J].東北農(nóng)業(yè)大學(xué)學(xué)報，2006, 37(2):215-218.

[8] 周俊，姬長英.基于知識的視覺導(dǎo)航農(nóng)業(yè)機(jī)器人行走路徑識別[J].農(nóng)業(yè)工程學(xué)報，2003, 19(6):101-105.

[9] 周俊，姬長英.農(nóng)業(yè)機(jī)器人視覺導(dǎo)航中多分辨率路徑識別[J].農(nóng)業(yè)機(jī)械學(xué)報，2003,34(6):120-123.

[10] 孫元義，張紹磊，李偉. 棉田噴藥農(nóng)業(yè)機(jī)器人的導(dǎo)航路徑識別[J]. 清華大學(xué)學(xué)報：自然科學(xué)版，2007, 47(2):206-209.

[11] 徐建，楊福增，蘇樂樂，等.玉米智能收獲機(jī)器人的路徑識別方法[J].農(nóng)機(jī)化研究，2010,32 (2):9-12.

[12] 高國琴，李明.基于K-means算法的溫室移動機(jī)器人導(dǎo)航路徑識別[J].農(nóng)業(yè)工程學(xué)報，2014, 30(7):25-33.

Path Recognition of Corn Harvesting Robot Based on Machine Vision

Hu Dandan, Yin Huan

(Jiangxi Vocational College of Mechanical & Electric Technology, Nanchang 330013,China)

China's corn acreage and yield are very large, occupies an important position in agriculture, but the cost of harvesting part of the amazing. Maize harvesting robot can improve the working efficiency, greatly reduce the production cost, has broad application prospects.Path recognition capability is an important aspect of robot environment adaptability. Machine vision can be used in path recognition of agricultural robots. In this paper, a path recognition method of corn harvest robot based on machine vision is designed, and a real-time image processing experiment is carried out in the field. The results show that the method has better adaptability and practicability in the field. The improvement and internal parameter optimization can provide technical support for the intelligence and informationization of corn harvest.

corn harvesting; path recognition； machine vision

2016-12-12

基于《中國制造2025》江西省機(jī)械工業(yè)發(fā)展研究項目(GJJ151380)

胡丹丹(1987-)，女,南昌人，講師，碩士，(E-mail)lowdto@163.com。

S225.5+1；TP242

A

1003-188X(2017)12-0190-05