基于作物行特征的小型農(nóng)業(yè)AGV導(dǎo)航基準(zhǔn)線提取方法

劉 浩，宮金良，張彥斐

(1. 山東理工大學(xué) 機(jī)械工程學(xué)院，山東 淄博 255049； 2. 山東理工大學(xué) 農(nóng)業(yè)工程與食品科學(xué)學(xué)院，山東 淄博 255049)

隨著精準(zhǔn)農(nóng)業(yè)概念的提出，視覺(jué)傳感器在農(nóng)業(yè)機(jī)械智能導(dǎo)航、播種、噴藥、施肥、收割等方面得到了廣泛的應(yīng)用[1-3].與其他傳感器相比，視覺(jué)傳感器具有收集環(huán)境信息豐富、范圍寬、目標(biāo)信息完整等優(yōu)勢(shì)，正逐漸成為精準(zhǔn)農(nóng)業(yè)的研究熱點(diǎn)[4-6].

復(fù)雜多變的農(nóng)田環(huán)境成為快速、有效提取導(dǎo)航基準(zhǔn)線的一大阻礙，國(guó)內(nèi)外學(xué)者對(duì)此作了很多研究.文獻(xiàn)[7]采用增強(qiáng)G分量減弱R和B分量減弱玉米列陰影對(duì)檢測(cè)過(guò)程的干擾，利用過(guò)已知點(diǎn)Hough變換擬合出所需導(dǎo)航線，最后通過(guò)判斷R分量是否突變判斷收割機(jī)是否到達(dá)田端；文獻(xiàn)[8]以玉米收獲機(jī)器人為研究對(duì)象，根據(jù)玉米壟的走勢(shì)特征提取導(dǎo)航離散點(diǎn)，基于Hough變換線性擬合導(dǎo)航離散點(diǎn)得到導(dǎo)航路徑；文獻(xiàn)[9]針對(duì)稻田提出一種新的導(dǎo)航線提取算法，該算法利用葉片朝著中央莖區(qū)域收斂的特性來(lái)識(shí)別水稻中心位置，最后根據(jù)水稻中心位置擬合出導(dǎo)航線；文獻(xiàn)[10]針對(duì)2D圖像分析經(jīng)常被雜草、陰影、光照、不規(guī)則背景干擾的問(wèn)題，提出一種基于雙目視覺(jué)的多作物行檢測(cè)算法，利用精準(zhǔn)立體匹配方法確定特征點(diǎn)位置，進(jìn)而利用這些特征點(diǎn)快速擬合得到作物行直線；文獻(xiàn)[11]針對(duì)處于生長(zhǎng)初期的玉米農(nóng)田圖像提出一種檢測(cè)直線和曲線作物行的方法，該方法將圖像進(jìn)行分段處理，利用劃分后的感興趣區(qū)域得到候選點(diǎn)，最后利用候選點(diǎn)擬合出直線或曲線.

針對(duì)雜草、缺苗等因素對(duì)農(nóng)業(yè)機(jī)器人自主導(dǎo)航作業(yè)造成的影響，本研究提出一種針對(duì)玉米3～5葉期小型農(nóng)業(yè)AGV的導(dǎo)航基準(zhǔn)線識(shí)別方法.在圖像預(yù)處理階段，進(jìn)行超綠色灰度化，將綠色植物(作物與雜草)從土壤背景中分割出來(lái)，最后利用Otsu法簡(jiǎn)單、計(jì)算量小的優(yōu)點(diǎn)實(shí)現(xiàn)圖像分割；在作物行位置檢測(cè)階段，首先，利用條形框模擬作物行長(zhǎng)度、像素、走向特點(diǎn)，對(duì)作物行位置進(jìn)行初步確定，最后，通過(guò)梯形模擬作物行上窄下寬的形狀特點(diǎn)，實(shí)現(xiàn)作物行位置的最終確定；在導(dǎo)航基準(zhǔn)線確定階段，利用Hough變換統(tǒng)計(jì)特性找出白色像素最多的直線作為作物行直線，進(jìn)而根據(jù)兩作物行斜率參數(shù)生成導(dǎo)航基準(zhǔn)線，為避免玉米缺苗造成導(dǎo)航基準(zhǔn)線提取失敗，將當(dāng)前幀圖像的導(dǎo)航基準(zhǔn)線與上一幀圖像的導(dǎo)航基準(zhǔn)線做對(duì)比(第一幀圖像不做對(duì)比)，如果夾角變化超出一定范圍，則繼承上一幀圖像的導(dǎo)航基準(zhǔn)線.

1 導(dǎo)航基準(zhǔn)線提取算法

1.1 圖像預(yù)處理

圖像預(yù)處理的主要目的是消除圖像中無(wú)關(guān)信息，同時(shí)增強(qiáng)有關(guān)信息的可檢測(cè)性.針對(duì)農(nóng)田圖像，圖像預(yù)處理的目的是完成作物與農(nóng)田背景的分割，其主要步驟包括：圖像灰度化、圖像二值化.

為降低光照對(duì)圖像分析的干擾，采用RGB顏色空間，利用量綱一化的2G-R-B作為顏色特征因子，將綠色植物(作物與雜草)從土壤背景中分割出來(lái)[12-15]，處理過(guò)程如圖1所示.機(jī)器視覺(jué)系統(tǒng)采集原圖如圖1a所示，對(duì)玉米農(nóng)田圖像采用超綠色灰度化的結(jié)果如圖1b所示，圖中土壤背景(陰影、枯草、土壤)等信息得到了明顯的抑制，作物信息得到進(jìn)一步凸顯.OTSU法(最大類間方差法)因其計(jì)算效率高、穩(wěn)定有效被廣泛應(yīng)用[16-18].二值圖像中，白色像素代表作物，黑色像素代表土壤背景，圖1c為基于OTSU法的處理結(jié)果.

圖1 圖像處理結(jié)果

1.2 作物行位置檢測(cè)

機(jī)器視覺(jué)系統(tǒng)獲取的農(nóng)田圖像包含若干玉米行，其中距離小型農(nóng)業(yè)AGV左、右側(cè)車身最近的玉米行為作物行檢測(cè)對(duì)象.雜草以及圖像噪聲在空間位置排列上是無(wú)序的，但作物行在農(nóng)田圖像中呈現(xiàn)出長(zhǎng)度最長(zhǎng)、白色像素點(diǎn)最多、走向近似于一條直線、上窄下寬的特點(diǎn).基于上述特征，在作物行檢測(cè)過(guò)程中，首先，為模擬作物行長(zhǎng)度、像素、走向特點(diǎn)，連接圖像底部?jī)身旤c(diǎn)與頂部?jī)身旤c(diǎn)形成條形框，將作物行的位置確定到一定范圍內(nèi)；最后，將條形框下底邊兩頂點(diǎn)分別向左、右移動(dòng)一定步長(zhǎng)形成梯形，來(lái)模擬作物行在圖像中上窄下寬的形狀特征，并以此提高導(dǎo)航基準(zhǔn)線提取準(zhǔn)確率.

圖2為作物行位置檢測(cè)結(jié)果，初步檢測(cè)結(jié)果用紅色實(shí)線標(biāo)出，最終檢測(cè)結(jié)果用藍(lán)色實(shí)線標(biāo)出，可以看出，作物行較為精確地被包含在梯形內(nèi).

圖2 作物行位置檢測(cè)

作物行位置檢測(cè)算法具體步驟如下：

1) 設(shè)圖像高度為H，寬度為W，圖像底邊作為條形框、梯形下底邊選擇范圍，圖像頂邊作為條形框、梯形上底邊選擇范圍.

3) 初始化條形框掃描步長(zhǎng)Step、下底邊頂點(diǎn)移動(dòng)步長(zhǎng)Bottom_step、數(shù)組Num_left、Num_right(分別存放圖像Frame_left、Frame_right每個(gè)掃描位置白色像素?cái)?shù)目)、數(shù)組Location(存放每條線段左端點(diǎn)橫坐標(biāo)).

4) 分別將圖像頂邊、底邊均勻劃分為W/Step個(gè)線段，取線段左端點(diǎn)橫坐標(biāo)x值存入數(shù)組Location，并作為掃描候選連接點(diǎn).

5)設(shè)條形框上底邊頂點(diǎn)坐標(biāo)分別為A(Location[i],0)、B(Location[i+1],0)，i=0,1,2,…,(W/Step)2/3-1，下底邊頂點(diǎn)坐標(biāo)分別為C(Location[j],H)、D(Location[j+1],H),j=0,1,2,…,(W/Step)2/3-1.

6)為模擬作物行走向(圖像Frame_left作物行斜率為正、圖像Frame_right作物行斜率為負(fù))，同時(shí)提高掃描效率，條形框做圖3、4所述掃描.

圖3 Frame_left掃描流程圖

圖4 Frame_right掃描流程圖

7) 分別求解數(shù)組Num_left、Num_right中最大值及其索引，將白色像素?cái)?shù)目最多的掃描位置初步視為最接近作物行位置的區(qū)域.

8) 將步驟7)獲取到的條形框下底邊兩頂點(diǎn)分別向左、右移動(dòng)步長(zhǎng)Bottom_step，構(gòu)成模擬作物行形狀的梯形條形框.

算法掃描示意圖如圖5所示.

圖5 算法掃描示意圖

1.3 導(dǎo)航基準(zhǔn)線提取

通過(guò)前部分章節(jié)的分析，作物行的位置已經(jīng)被確定到一定范圍內(nèi).3～5葉期玉米苗心葉連線白色像素?cái)?shù)目最多，可以利用Hough直線檢測(cè)統(tǒng)計(jì)特性以及抗干擾能力強(qiáng)、對(duì)共存的非直線結(jié)構(gòu)不敏感[19-20]的特點(diǎn)求解白色像素?cái)?shù)目最多的直線代表作物行走勢(shì).

Hough變換的基本原理在于利用點(diǎn)與線的對(duì)偶性.在圖像空間所有過(guò)點(diǎn)的直線都滿足方程：

y=ax+b，

(1)

式中：a為斜率；b為截距.如果用ρ代表直線距離原點(diǎn)的法線距離，用θ代表該法線與x軸的夾角，該直線的Hough變換可以用如下參數(shù)方程來(lái)表示：

ρ=xcosθ+ysinθ.

(2)

對(duì)圖2b梯形區(qū)域分別進(jìn)行Hough變換直線檢測(cè)，求解白色像素?cái)?shù)目最多的直線作為作物行直線，檢測(cè)結(jié)果如圖6所示，圖中紅色實(shí)線代表作物行直線.

圖6 作物行直線檢測(cè)

已知兩玉米行直線斜率為k1、k2后，設(shè)導(dǎo)航基準(zhǔn)線的斜率為k.根據(jù)k和k1之間的夾角正切值等于k與k2之間夾角正切值的關(guān)系，計(jì)算導(dǎo)航基準(zhǔn)線斜率k：

(3)

已知兩玉米行直線交點(diǎn)以及導(dǎo)航基準(zhǔn)線斜率k，導(dǎo)航基準(zhǔn)線提取結(jié)果如圖7所示，藍(lán)色虛線代表導(dǎo)航基準(zhǔn)線.

圖7 導(dǎo)航基準(zhǔn)線示意圖

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)條件

本研究的機(jī)器視覺(jué)系統(tǒng)由攝像機(jī)、工控機(jī)、液晶顯示屏等組成，攝像機(jī)采用林柏視公司生產(chǎn)的HD600型號(hào)工業(yè)相機(jī)，圖像大小為640×480像素，幀率為30幀·s-1.圖像處理在主頻為2.60GHz、內(nèi)存為8.00GB的工控機(jī)上進(jìn)行.

田間試驗(yàn)于2020年7月在山東省淄博市朱臺(tái)鎮(zhèn)生態(tài)無(wú)人農(nóng)場(chǎng)玉米種植示范區(qū)進(jìn)行，試驗(yàn)對(duì)象為行距65～80cm、有缺苗現(xiàn)象的3～5葉期玉米幼苗.小型農(nóng)業(yè)AGV以0.8m·s-1的速度行駛，每隔5幀處理一次圖像.

2.2 作物行位置檢測(cè)算法試驗(yàn)分析

作物行位置檢測(cè)算法中圖像Frame_left、Frame_right的寬Width、高Hight，掃描步長(zhǎng)Step的選擇直接影響著算法處理速度和準(zhǔn)確率.為得到算法最佳狀態(tài)時(shí)參數(shù)Width、Hight、Step的取值，設(shè)置以下對(duì)比試驗(yàn)，統(tǒng)計(jì)不同組合狀態(tài)下檢測(cè)準(zhǔn)確率以及平均耗時(shí)，結(jié)果如表1所示.

表1 不同組合狀態(tài)下檢測(cè)結(jié)果

為驗(yàn)證不同場(chǎng)景下作物行位置檢測(cè)算法的可行性，試驗(yàn)分別針對(duì)正常、存在較多雜草、存在缺苗現(xiàn)象的場(chǎng)景進(jìn)行了試驗(yàn).以梯形條形框是否能較好包裹玉米行為評(píng)價(jià)標(biāo)準(zhǔn)，判斷作物行位置檢測(cè)準(zhǔn)確性，并統(tǒng)計(jì)不用場(chǎng)景每幀圖像平均耗時(shí)，結(jié)果如表2所示.

表2 不同場(chǎng)景下的作物行位置檢測(cè)

2.3 導(dǎo)航基準(zhǔn)線提取算法試驗(yàn)分析

為判斷導(dǎo)航基準(zhǔn)線提取的準(zhǔn)確性，取人工擬合的兩作物行直線角平分線作為衡量標(biāo)準(zhǔn)，當(dāng)人工擬合的導(dǎo)航基準(zhǔn)線與算法提取的導(dǎo)航基準(zhǔn)線夾角偏差在±3°內(nèi)時(shí)，認(rèn)為導(dǎo)航基準(zhǔn)線提取有效，反之，認(rèn)為無(wú)效.為驗(yàn)證算法的實(shí)時(shí)性與可行性，選取了具有代表性的50幀圖像利用上述試驗(yàn)方案進(jìn)行可靠性分析，試驗(yàn)結(jié)果顯示，處理一幀640×480像素大小的圖像平均耗時(shí)78ms，實(shí)時(shí)性良好；導(dǎo)航基準(zhǔn)線提取準(zhǔn)確率為94%，算法可行性良好.對(duì)導(dǎo)航基準(zhǔn)線提取失敗的3幀圖像分析，3幀圖像均存在大面積的缺苗現(xiàn)象，導(dǎo)致在作物行位置檢測(cè)階段便出現(xiàn)錯(cuò)誤.

為避免玉米缺苗造成導(dǎo)航基準(zhǔn)線提取失敗，根據(jù)小型農(nóng)業(yè)AGV行駛過(guò)程中道路位置不會(huì)突然改變這一特性，將當(dāng)前幀圖像的導(dǎo)航基準(zhǔn)線與上一幀圖像的導(dǎo)航基準(zhǔn)線做對(duì)比，當(dāng)夾角偏差在±3°內(nèi)時(shí)，認(rèn)為導(dǎo)航基準(zhǔn)線提取有效，反之，繼承上一幀圖像的導(dǎo)航基準(zhǔn)線.

3 結(jié) 論

1) 采用量綱一化2G-R-B作為特征因子，突出綠色比重，實(shí)現(xiàn)超綠色灰度化，最后利用穩(wěn)定、有效的Otsu實(shí)現(xiàn)圖像分割，在一定程度上避免了土壤噪聲、光照對(duì)作物信息提取的干擾.

2) 基于雜草以及噪聲空間位置排列無(wú)序，而玉米苗株空間排列有序，采用模擬作物行若干特點(diǎn)的方式逐步確定作物行位置.首先，利用條形框模擬作物行在農(nóng)田圖像中的長(zhǎng)度、像素、走向特點(diǎn)，將作物行的位置確定到一定范圍內(nèi)；最后，通過(guò)將條形框下底邊兩端點(diǎn)延長(zhǎng)一定數(shù)值形成梯形條形框，來(lái)模擬作物行在農(nóng)田圖像中的形狀特點(diǎn)，實(shí)現(xiàn)對(duì)作物行位置的最終確定.此過(guò)程節(jié)省了噪聲去除、濾波等處理步驟，避免了雜草對(duì)檢測(cè)過(guò)程的干擾，同時(shí)為變量噴施農(nóng)藥實(shí)現(xiàn)雜草去除奠定了基礎(chǔ).

3) 利用Hough變換統(tǒng)計(jì)特性找出白色像素最多的直線作為作物行直線，進(jìn)而實(shí)現(xiàn)導(dǎo)航基準(zhǔn)線提取.為避免缺苗造成小型農(nóng)業(yè)AGV自主導(dǎo)航失敗，將當(dāng)前幀圖像的導(dǎo)航基準(zhǔn)線與上一幀圖像的導(dǎo)航基準(zhǔn)線做對(duì)比，如果兩者夾角偏差超出一定范圍，則繼承上一幀圖像的導(dǎo)航基準(zhǔn)線.此步驟避免了缺苗對(duì)算法的影響，與常規(guī)檢測(cè)方法相比，適應(yīng)性、穩(wěn)定性更強(qiáng).