基于自動(dòng)Hough變換累加閾值的蔬菜作物行提取方法研究

陳子文，李 偉，張文強(qiáng)，李云伍，李明生，李 慧

基于自動(dòng)Hough變換累加閾值的蔬菜作物行提取方法研究

陳子文1，李 偉2，張文強(qiáng)2，李云伍1，李明生1，李 慧1

（1. 西南大學(xué)工程技術(shù)學(xué)院，重慶 400715；2. 中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083）

為解決機(jī)器視覺(jué)對(duì)生菜和綠甘藍(lán)兩種作物在整個(gè)生長(zhǎng)時(shí)期內(nèi)多環(huán)境變量對(duì)作物行識(shí)別影響的問(wèn)題，同時(shí)提高機(jī)器視覺(jué)作物行識(shí)別算法的有效性，該文提出了一種基于自動(dòng)Hough變換累加閾值的多作物行提取算法。首先，選用Lab顏色空間中與光照無(wú)關(guān)分量對(duì)綠色作物進(jìn)行提取，通過(guò)最優(yōu)自適應(yīng)閾值進(jìn)行圖像分割，并采用先閉后開形態(tài)學(xué)運(yùn)算對(duì)雜草和作物邊緣進(jìn)行濾波。其次，采用雙閾值分段垂直投影法對(duì)作物行特征點(diǎn)進(jìn)行提取，通過(guò)對(duì)亮度投影視圖中的目標(biāo)像素占比閾值和噪聲判斷閾值設(shè)置，實(shí)現(xiàn)特征點(diǎn)位置判斷和雜草噪聲過(guò)濾，并對(duì)相鄰特征點(diǎn)進(jìn)行優(yōu)化，剔除部分干擾特征。最后，采用Hough變化對(duì)特征點(diǎn)進(jìn)行直線擬合，將不同Hough變換累加閾值獲得的擬合直線映射到累加平面上，通過(guò)-means聚類將累加平面數(shù)據(jù)聚類為與作物行數(shù)相同的類數(shù)，根據(jù)相機(jī)成像的透視原理提出基于聚類質(zhì)心距離差和組內(nèi)方差的最優(yōu)累加閾值獲取方法，將最優(yōu)累加閾值下累加平面中的聚類質(zhì)心作為識(shí)別出的真實(shí)作物行線。溫室和田間試驗(yàn)表明，針對(duì)不同生長(zhǎng)時(shí)期的生菜和綠甘藍(lán)作物，該文算法均可有效識(shí)別出作物行線，最優(yōu)閾值算法耗時(shí)小于1.5 s，作物行提取平均耗時(shí)為0.2 s，在田間和溫室中作物行的平均識(shí)別準(zhǔn)確率分別為94.6%、97.1%，識(shí)別準(zhǔn)確率為100%的占比分別為86.7%和93.3%。研究結(jié)果為解決多環(huán)境變量影響因素下的算法魯棒性和適用性問(wèn)題提供依據(jù)。

機(jī)器視覺(jué)；導(dǎo)航；算法；精準(zhǔn)農(nóng)業(yè)；作物行識(shí)別；Hough變換；-means聚類

0 引 言

在精準(zhǔn)農(nóng)業(yè)技術(shù)的驅(qū)動(dòng)下，農(nóng)業(yè)機(jī)械田間自動(dòng)導(dǎo)航技術(shù)被廣泛用于耕地、播種、除草、施肥、噴藥、收獲等農(nóng)業(yè)生產(chǎn)過(guò)程中，該技術(shù)可提高作業(yè)效率，降低漏作業(yè)區(qū)域面積、勞動(dòng)強(qiáng)度及操作的復(fù)雜程度[1-4]。目前常用的導(dǎo)航技術(shù)為GPS和機(jī)器視覺(jué)技術(shù)[5]，由于機(jī)器視覺(jué)可實(shí)時(shí)獲取作物行的相對(duì)位置信息，并實(shí)時(shí)感知當(dāng)前的作物生長(zhǎng)狀況和田間環(huán)境，加上其具有成本低的特點(diǎn)，被廣泛應(yīng)用于在線作物[6-7]、雜草[8-9]、作物行[10-12]的檢測(cè)和識(shí)別。作物行識(shí)別和定位是農(nóng)機(jī)田間自動(dòng)沿作物行導(dǎo)航的核心技術(shù)之一，國(guó)內(nèi)外學(xué)者在該方面做了大量研究。孟慶寬等[13]提取YCrCg顏色模型中與光照無(wú)關(guān)Cg分量，并采用模糊C均值聚類法進(jìn)行圖像分割，試驗(yàn)證明圖片處理耗時(shí)16.5 ms。陳嬌[14]、趙瑞嬌[15]等采用垂直投影法獲取導(dǎo)航定位點(diǎn)位置，并采用改進(jìn)Hough變換對(duì)多壟線進(jìn)行識(shí)別，算法耗時(shí)分別為219.4和83.4 ms。安秋等[16]采用基于光照無(wú)關(guān)分量和最大類間方差法對(duì)圖像進(jìn)行分割，通過(guò)優(yōu)化Hough變換提高導(dǎo)航信息獲取的魯棒性。Guerrero等[17]提出了帶精度調(diào)節(jié)的作物行檢測(cè)和數(shù)據(jù)獲取系統(tǒng)，通過(guò)控制曝光時(shí)間獲取最優(yōu)分割圖像，并通過(guò)透視投影幾何學(xué)對(duì)拖拉機(jī)姿態(tài)和雜草密度進(jìn)行檢測(cè)，試驗(yàn)表明該算法滿足3～6 km/s作業(yè)時(shí)速的需求。Jiang等[18-19]則采用移動(dòng)窗口掃描的方式，獲取目標(biāo)像素的分布，并采用-means聚類法尋找Hough變換擬合直線的滅點(diǎn)，并篩選真正作物行線，小麥作物行檢測(cè)試驗(yàn)表明準(zhǔn)確率可達(dá)90%以上。Vidovic等[20-21]提出了一種近似全局最優(yōu)劃分的方法實(shí)現(xiàn)對(duì)田間作物行的擬合，該方法可提高作物行擬合的準(zhǔn)確度并降低算法耗時(shí)，通過(guò)對(duì)281幅田間作物圖像進(jìn)行處理，算法作物行識(shí)別平均準(zhǔn)確率為73.7%，同時(shí)算法具有優(yōu)異的曲線檢測(cè)能力。針對(duì)復(fù)雜環(huán)境背景下的作物行的特征點(diǎn)難以獲取的問(wèn)題，研究人員還提出采用雙目立體視覺(jué)技術(shù)對(duì)作物深度信息進(jìn)行獲取，通過(guò)高度特征點(diǎn)區(qū)分作物行去雜草。翟志強(qiáng)等[22-23]提出一種基于Census變換的作物行識(shí)別算法，根據(jù)作物行生長(zhǎng)高度及種植規(guī)律，通過(guò)高程及寬度閾值提取有效的作物行特征點(diǎn)，采用主成分分析法擬合作物行中心線，試驗(yàn)表明識(shí)別率≥92.58%，平均耗時(shí)0.293 s。Kise等[24]采用導(dǎo)航點(diǎn)與視角點(diǎn)匹配方式對(duì)拖拉機(jī)進(jìn)行導(dǎo)航控制，采用互相關(guān)函數(shù)矯正作物行高程圖的橫斷面外形，并基于作物行模板提取導(dǎo)航特征點(diǎn)，在3.0 km/h的作業(yè)時(shí)速下，拖拉機(jī)側(cè)偏均方根誤差小于0.05 m。

以上文獻(xiàn)主要針對(duì)作物在某一生長(zhǎng)階段展開作物行提取算法的研究，實(shí)際情況中，作物在大部分生長(zhǎng)階段均需要實(shí)現(xiàn)自動(dòng)導(dǎo)航作業(yè)，而不同生長(zhǎng)階段會(huì)造成作物形狀、作物行結(jié)構(gòu)、雜草情況等多環(huán)境變量的變化，因此本文針對(duì)生菜和綠甘藍(lán)兩種常見田間蔬菜，考慮到在不同生長(zhǎng)期，不同種植結(jié)構(gòu)及不同田間雜草密度的實(shí)際工況下，進(jìn)行作物行提取算法研究，提出一種基于自動(dòng)Hough變換累加閾值的多作物行提取算法。首先，通過(guò)Lab顏色空間中的分量對(duì)綠色像素進(jìn)行區(qū)分，并采用最優(yōu)自動(dòng)閾值進(jìn)行二值化處理，通過(guò)先閉后開形態(tài)學(xué)運(yùn)算，過(guò)濾掉部分雜草噪聲。其次，采用雙閾值分段垂直投影法提取作物行的特征點(diǎn)，并采用Hough變換獲取特征點(diǎn)直線擬合的累加空間，通過(guò)判斷不同累加閾值下累加平面中的點(diǎn)簇的-means聚類位置，從而提出最優(yōu)的累加閾值獲取方法，并采用聚類質(zhì)心作為該行作物的真實(shí)作物行。最后對(duì)兩種蔬菜作物分別進(jìn)行溫室和田間試驗(yàn)，來(lái)驗(yàn)證算法的有效性。研究結(jié)果為解決多環(huán)境變量影響因素下的算法魯棒性和適用性問(wèn)題提供方法依據(jù)。

1 圖像預(yù)處理

1.1 顏色空間選擇

本文采用Visual Studio2017與OpenCV3.3視覺(jué)庫(kù)作為圖像處理編程環(huán)境，處理器采用聯(lián)想ThinkCentre E74，CPU為英特爾酷睿i5，CPU頻率2.7 Hz，DDR4內(nèi)存。

田間作物行提取的主要目標(biāo)是將作物或作物行從背景分離，其背景包括田間土壤、雜草、石塊、局部建筑物等異物，由于作物與背景特征在顏色上有明顯區(qū)分，因此在大部分研究中均將顏色作為區(qū)分依據(jù)，但考慮實(shí)際田間作業(yè)環(huán)境光照的復(fù)雜性，可能產(chǎn)生不均勻光照、陰影與亮班、光照過(guò)強(qiáng)等因素，都會(huì)讓顏色分離變得復(fù)雜。本文采用CIE—Lab顏色模型，該模型是獨(dú)立于設(shè)備的色彩空間，并可清晰的分離色彩信息和灰度信息，且該顏色空間被設(shè)置為歐氏距離，可更好的對(duì)應(yīng)色彩之間的感覺(jué)差別[25]，其中分量對(duì)綠色信息敏感，對(duì)比ExG超綠算法，分別運(yùn)用分量和ExG算法對(duì)移栽綠甘藍(lán)作物進(jìn)行灰度化處理并將圖像矩陣數(shù)值映射到0～255區(qū)間內(nèi)。圖1a為田間采集的綠甘藍(lán)彩色圖像，圖1b和1c分別是分量和ExG算法灰度化后的圖像，可見2種算法均能明顯區(qū)分作物和背景。

a. 原始圖像 a. Original imageb. a分量灰度圖 b. Grayscale of a componentc. 超綠算法ExG灰度圖 c. Grayscale of ExG

計(jì)算兩種方法灰度圖的直方圖，如圖2所示。根據(jù)直方圖可知ExG算法和分量在直方圖上均有兩個(gè)明顯峰值和一個(gè)低谷，故為二模態(tài)直方圖[26]，均可通過(guò)自動(dòng)閾值分割實(shí)現(xiàn)作物和背景分離，但分量直方圖的低谷更為清晰，且低谷空間狹窄，區(qū)分界限明確，而ExG算法低谷處較寬，背景與作物的區(qū)分程度較分量差。同時(shí)通過(guò)觀察2種方法局部灰度圖可見，ExG算法引入過(guò)多的土壤噪聲，如圖2c、d所示，故本文采用Lab顏色模型的分量進(jìn)行灰度化。

圖2 直方圖與局部圖對(duì)比

1.2 圖像分割與形態(tài)學(xué)處理

采用閾值分割將作物行灰度圖轉(zhuǎn)換為二值圖，完成目標(biāo)與背景的分離。閾值的選擇必須滿足最小分割錯(cuò)誤的要求[27]，本文采用最優(yōu)自適應(yīng)閾值進(jìn)行二值化，最優(yōu)閾值化方法是將圖像的直方圖用2個(gè)或多個(gè)正態(tài)分布的概率密度函數(shù)來(lái)近似的方法，閾值取距離對(duì)應(yīng)于兩個(gè)或多個(gè)正態(tài)分布最大值之間的最小概率處最近的灰度值，該方法具有分割錯(cuò)誤概率最小的優(yōu)點(diǎn)[25-27]。需要分別計(jì)算背景和物體的灰度均值μ和μ，并計(jì)算背景與物體分割的閾值(i+1)，當(dāng)前后兩次計(jì)算的閾值相等時(shí)則該閾值為最優(yōu)閾值，否則重新計(jì)算灰度均值，迭代往復(fù)計(jì)算，公式如下

式中(,)為像素值；#background_pixels為背景像素的個(gè)數(shù)；#object_pixels為目標(biāo)像素的個(gè)數(shù)。

之后為去除田間雜草和光照不均勻性對(duì)作物提取的影響，本文采用先閉后開運(yùn)算對(duì)二值圖像進(jìn)行去噪和填充處理，閉運(yùn)算可有效去除小面積噪聲，但會(huì)造成作物中形成明顯的孔洞，開運(yùn)算可實(shí)現(xiàn)孔洞填充，形態(tài)學(xué)處理效果見圖3所示。

圖3 二值化與形態(tài)學(xué)處理圖

Fig3 Binaryzation and mathematical morphology

2 作物行特征點(diǎn)獲取

由于蔬菜作物多數(shù)采用條播或移栽種植，一段距離內(nèi)可將作物行看作直線，在每行作物中，作物行貫穿于每顆作物的根莖位置，但是由于葉片遮擋無(wú)法觀測(cè)到根莖位置，故僅可通過(guò)作物葉片提取特征點(diǎn)。由于蔬菜作物葉面生長(zhǎng)的不規(guī)則性，需要增加作物行線上的特征點(diǎn)以保證擬合正確性。本文采用改進(jìn)的分段垂直投影法對(duì)作物行特征點(diǎn)進(jìn)行提取。垂直投影法是將圖片亮度值投影到圖像列坐標(biāo)軸上并進(jìn)行累加，亮度值最高的區(qū)域?yàn)樽魑镄袇^(qū)域。由于相機(jī)透視原理造成作物行成像呈斜線的情況，垂直投影的峰值無(wú)法準(zhǔn)確代替作物行的位置[28-29]，故本文采用圖像分段的方法，將圖片等距劃分為若干水平條，并對(duì)每個(gè)水平條圖片進(jìn)行垂直投影。設(shè)每個(gè)水平條圖像高度為像素，原始圖像大小為×，和分別為圖像的行像素?cái)?shù)和列像素?cái)?shù)。則水平條個(gè)數(shù)為，=/；(,)為水平條上處于（,）處像素值，取值0或255（白色）。則第列的垂直投影()為亮度值為255的像素個(gè)數(shù)累加值，如圖4a所示。

式中為劃分水平條的個(gè)數(shù)。圖4為特征點(diǎn)獲取方法圖，垂直投影圖峰值區(qū)域可近似認(rèn)為是作物區(qū)域，將作物區(qū)域用一個(gè)特征點(diǎn)代替，特征點(diǎn)的選取盡量在作物行線上，本文采用雙閾值的方法提取局部特征點(diǎn)，第一閾值為圖像面積閾值thrS，目標(biāo)像素占比plant為目標(biāo)像素個(gè)數(shù)占圖像總像素?cái)?shù)百分比，plant用于判斷被識(shí)別作物在圖形中的面積大小，設(shè)置水平線穿過(guò)垂直投影，特征點(diǎn)水平線縱坐標(biāo)。

式中m為第段圖像中特征點(diǎn)的縱坐標(biāo)值。當(dāng)作物在幼苗期時(shí)，作物葉片總面積較小，田中雜草也相對(duì)較小，故取垂直投影的平均值可有效避免多模態(tài)峰值對(duì)特征點(diǎn)的影響，當(dāng)成熟期作物取較大的可過(guò)濾掉作物枝葉和雜草產(chǎn)生的干擾。

注：x為水平條個(gè)數(shù)；h為水平條高度；f(i, j)為(i, j)處的像素值；start_pointx、end_pointx和mid_pointx分別第x水平條圖像垂直投影圖的起始點(diǎn)橫坐標(biāo)、終止點(diǎn)橫坐標(biāo)和特征點(diǎn)橫坐標(biāo)。

水平線與每個(gè)垂直投影凸起有兩點(diǎn)相交，分別定義為起始點(diǎn)start_point和終止點(diǎn)end_point判斷公式如下

（7）

式中為縱坐標(biāo)取值，∈[1,]；()為垂直投影在坐標(biāo)處的亮度值。取特征點(diǎn)為起始點(diǎn)和終止點(diǎn)的中點(diǎn)，采用噪聲判斷閾值thr2作為垂向投影的最小寬度判斷指標(biāo)，用于過(guò)濾雜草和枝葉噪聲干擾，當(dāng)垂直投影寬度小于2值時(shí)，將此投影凸起判定為噪聲干擾，予以舍棄，特征點(diǎn)計(jì)算公式如下

本文中將圖像等距劃分為30段水平圖像條，根據(jù)大量試驗(yàn)，取thrS=30%，thr2=20時(shí)，可獲得更好的特征點(diǎn)提取效果。本文采用4像素特征點(diǎn)作為擬合目標(biāo)，特征點(diǎn)越小Hough變換擬合的數(shù)據(jù)點(diǎn)越少，處理速度越快，但是通過(guò)試驗(yàn)發(fā)現(xiàn)當(dāng)特征點(diǎn)采用1像素時(shí)，會(huì)出現(xiàn)以下兩個(gè)問(wèn)題：第一，對(duì)于接近封壟期的作物來(lái)說(shuō)，由于其葉面較大，各葉面形狀和分布無(wú)規(guī)律，在特征點(diǎn)的提取上容易提取到葉面邊緣點(diǎn)或噪聲點(diǎn)，在總特征點(diǎn)數(shù)量較少的情況下，誤差特征點(diǎn)對(duì)直線擬合會(huì)產(chǎn)生一定影響；其次，由于特征點(diǎn)數(shù)量較少，因此Hough變換擬合時(shí)對(duì)累加閾值較為敏感，累加閾值發(fā)生小幅度變化時(shí)，會(huì)導(dǎo)致作物行識(shí)別從欠擬合到誤差擬合的狀況。因此為保證具有充足的直線擬合點(diǎn)，并盡可能降低算法耗時(shí)，選用4像素特征點(diǎn)。當(dāng)蔬菜葉面較大、形狀不均勻、雜草干擾等情況下，一段圖像中一棵蔬菜作物會(huì)提取多個(gè)特征點(diǎn)，當(dāng)誤差特征點(diǎn)較多時(shí)，會(huì)影響Hough 變換的直線擬合結(jié)果，降低擬合精度，因此本文將同行中距離小于45像素的兩特征點(diǎn)刪除，并選取兩點(diǎn)的中點(diǎn)為新特征點(diǎn)，從而對(duì)一段圖像中一棵作物多特征點(diǎn)的情況進(jìn)行優(yōu)化。圖5b為優(yōu)化后的特征點(diǎn)圖，試驗(yàn)表明，特征點(diǎn)優(yōu)化有助于提高作物行識(shí)別的準(zhǔn)確性。

3 作物行線擬合

3.1 Hough變換作物行檢測(cè)

直線擬合的常用方法是線性回歸和霍夫變換（Hough Transformation），最小二乘法對(duì)于單作物行識(shí)別更為有效，Hough變換是一種在圖像中尋找直線、圓及其簡(jiǎn)單圖形的方法，可對(duì)任意數(shù)量作物行同時(shí)進(jìn)行檢測(cè)[30]，Hough變換將直線在直角坐標(biāo)系中的斜率和截距參數(shù)轉(zhuǎn)化為極坐標(biāo)系的參數(shù)坐標(biāo)（，）。將經(jīng)過(guò)不同點(diǎn)的相同（，）參數(shù)進(jìn)行累加獲取累加平面，通過(guò)參數(shù)累加值數(shù)量來(lái)判斷特征點(diǎn)構(gòu)成直線的可能性，故通過(guò)Hough變換對(duì)特征點(diǎn)圖像進(jìn)行直線擬合需要控制的參數(shù)有3個(gè)：極徑距離分辨率rho、極角角度分辨率theta、累加閾值acc_thr。為得到準(zhǔn)確的擬合直線，將rho設(shè)為1 pixel，theta為1 rad，acc_thr用于判斷可能的作物行線，累加閾值的取值對(duì)作物行的擬合有很大影響。圖6分別對(duì)應(yīng)累加閾值為180、140、和100時(shí)，Hough變換檢測(cè)出的直線。

a. acc_thr=180b. acc_thr =140c. acc_thr =100

從圖6a中可見4行作物，累加閾值在180時(shí)，僅檢測(cè)出3行作物，漏檢測(cè)一行，由于每行作物線性程度不同，故每行（，）的累加值不同，當(dāng)累加閾值取值過(guò)大則會(huì)漏檢累加值較小的作物行線，同時(shí)其他部分作物行檢測(cè)出來(lái)的直線不止一條。圖6b出現(xiàn)了多檢測(cè)的問(wèn)題，即檢測(cè)出除4行作物行外的直線，由于累加閾值取值較小，一些并非作物行的直線也被提取出來(lái)，圖6c更為明顯。因此需去掉非作物行擬合線，僅保留作物行線，并將每行作物行簡(jiǎn)化1條。

3.2 基于K-means的累加平面參數(shù)點(diǎn)聚類

累加平面中一坐標(biāo)點(diǎn)對(duì)應(yīng)到圖像坐標(biāo)系中是一條直線，因此對(duì)于多行作物檢測(cè)可在累加平面中將參數(shù)點(diǎn)分成與作物行數(shù)相同的類，再提取類中的最優(yōu)點(diǎn)作為作物行線參數(shù)。

-means聚類是一種無(wú)監(jiān)督的學(xué)習(xí)，它將相似的對(duì)象歸到同一簇，簇內(nèi)的對(duì)象越相似，聚類的效果就越好，其中表示的是聚類為個(gè)簇，means代表取每一個(gè)聚類中數(shù)據(jù)值的均值作為該簇的中心[31]。以聚類中心到各點(diǎn)的歐幾里得距離作為數(shù)據(jù)，采用誤差平方和（SSE）作為聚類目標(biāo)函數(shù)，則有

式中為聚類數(shù)量；表示聚類點(diǎn)；C為第類中的聚類點(diǎn)集；c為聚類中心；dist表歐幾里得距離求解函數(shù)。當(dāng)SSE取最小值時(shí)，該中心點(diǎn)為此類的中心點(diǎn)，-means聚類根據(jù)聚類數(shù)量通過(guò)多迭代的方式進(jìn)行優(yōu)化。將Hough變換不同累加閾值下擬合的直線對(duì)應(yīng)到累加平面參數(shù)空間上如圖7所示，并根據(jù)作物行數(shù)將累加空間進(jìn)行4聚類，并用不同顏色區(qū)分，用十字線和圓圈標(biāo)記出聚類的中心點(diǎn)位置?？梢姰?dāng)閾值為180時(shí)，參數(shù)點(diǎn)明顯的有三簇，聚類將其中一簇分為2類，體現(xiàn)在圖像坐標(biāo)系中僅檢測(cè)出3行作物，其中一行作物檢測(cè)出兩條作物行線；閾值為140時(shí)，由于出現(xiàn)距其他參數(shù)點(diǎn)較遠(yuǎn)的干擾點(diǎn)，故將本應(yīng)分為兩類點(diǎn)簇劃分為一類；閾值為100時(shí)，聚類參數(shù)干擾點(diǎn)增多，雖然有4條較明顯的連通區(qū)，但-means聚類無(wú)法準(zhǔn)確聚類4行作物的參數(shù)點(diǎn)；閾值為160時(shí)，可見聚類效果最為理想，有明顯4區(qū)域的點(diǎn)簇代表4根作物行線。因此通過(guò)累加閾值聚類后分離情況可判斷累加閾值的取值大小，從而判斷欠擬合和過(guò)擬合的現(xiàn)象。

3.3 最佳累加閾值獲取

最佳累加閾值可使作物累加平面的參數(shù)點(diǎn)集與作物行數(shù)相同，且每個(gè)點(diǎn)集代表一行作物，無(wú)漏擬合和錯(cuò)擬合的情況發(fā)生。本文提出一種基于聚類質(zhì)心距離差和組內(nèi)方差的最佳閾值獲取方法，以常見的4行作物檢測(cè)為例，該方法也可擴(kuò)展至其他作物行數(shù)的檢測(cè)。將累加平面上聚類質(zhì)心分別用c1，c2，c3，c4表示，如圖7b所示，可見聚類質(zhì)心點(diǎn)中有2對(duì)相距較近，分別代表左右兩側(cè)的兩行作物，根據(jù)相機(jī)成像的透視原理，兩側(cè)的作物行線均向中間傾斜，故左右兩邊作物行成像斜率較大。在極徑方向，同一側(cè)作物行聚類中心點(diǎn)的縱坐標(biāo)基本在同一水平線上，設(shè)置縱坐標(biāo)差的邊界為[0，t]，橫坐標(biāo)差允許邊界為[t，t]，當(dāng)同一側(cè)兩作物極徑差過(guò)小時(shí)，表明設(shè)定的累加閾值過(guò)大，丟失某一行的特征參數(shù)，如圖 7a所示，當(dāng)極徑差過(guò)大時(shí)，表明累加閾值小，出現(xiàn)多檢測(cè)的現(xiàn)象，如圖7d所示。

注：cT1，cT2，cT3，cT4為聚類質(zhì)心；T為不同閾值下質(zhì)心點(diǎn)標(biāo)號(hào)。

本方法采用不同累加閾值對(duì)質(zhì)心進(jìn)行分析，為確保聚類算法正常運(yùn)行，所取累加閾值下Hough變換獲取的擬合直線參數(shù)點(diǎn)個(gè)數(shù)要大于聚類個(gè)數(shù)，從而可確定起始掃描的最大累加閾值init_thr，從起始閾值開始遞減10取下一個(gè)閾值，直到取到閾值為100，則累加閾值取值為

式中為不同閾值下質(zhì)心點(diǎn)標(biāo)號(hào)；為取值序號(hào)集合。根據(jù)同側(cè)作物參數(shù)點(diǎn)橫縱坐標(biāo)的允許邊界，獲取滿足要求的值和質(zhì)心點(diǎn)集。

式中()為質(zhì)心點(diǎn)集；ρ為聚類質(zhì)心的橫坐標(biāo)值；θ為聚類質(zhì)心的縱坐標(biāo)值。在滿足上述條件的累加閾值中計(jì)算質(zhì)心點(diǎn)集的組內(nèi)方差，將組內(nèi)方差最小時(shí)的opt值對(duì)應(yīng)的累加閾值acc_thrTopt設(shè)為最佳累加閾值opt_thr

式中SSE為閾值下第簇聚類的誤差平方和；n為閾值下第簇聚類點(diǎn)數(shù)量。通過(guò)多組試驗(yàn)數(shù)據(jù)驗(yàn)證，本文采用的最大累加閾值init_thr為產(chǎn)生25條直線的累加閾值。

3.4 聚類質(zhì)心參數(shù)的直線擬合

最佳累加閾值獲取方法，可有效獲取每幅圖片的Hough變化的最佳累加閾值，滿足該閾值下的累加平面可聚類成與作物行數(shù)相等的簇?cái)?shù)，但是每行作物擬合的直線數(shù)不一定唯一，故采用聚類質(zhì)心參數(shù)作為該作物行線的擬合參數(shù)，圖8為累加平面的極坐標(biāo)參數(shù)對(duì)應(yīng)到圖像坐標(biāo)系的模型圖，其中距離和∠分別為累加平面中的和，則可計(jì)算出點(diǎn)和點(diǎn)的坐標(biāo)，直線方程為

選取適當(dāng)?shù)暮烷L(zhǎng)度，并計(jì)算，兩點(diǎn)的坐標(biāo)，在作物行圖像中顯示直線為。

注：為圖像坐標(biāo)系，為行像素坐標(biāo)，為列像素坐標(biāo)；、分別為直線的極徑和極角。

Note:is image coordinate system,is row pixel coordinate, andis column pixel coordinate;andare polar diameter and angle of line, respectively.

圖8 累加平面與圖像坐標(biāo)系轉(zhuǎn)換模型

Fig.8 Transformation model of Hough space accumulator and image coordinate

4 試驗(yàn)結(jié)果與分析

為驗(yàn)證算法的有效性和適用性，本文選取不同生長(zhǎng)時(shí)期的行栽生菜和綠甘藍(lán)為試驗(yàn)對(duì)象，分為溫室和田間試驗(yàn)兩部分。

溫室試驗(yàn)圖像采集于北京市通州區(qū)北京國(guó)際都市農(nóng)業(yè)科技園溫室內(nèi)，采集時(shí)間為2016年5月3日～6月1日，設(shè)備采用SONY ILCE-5000L數(shù)碼相機(jī)，相機(jī)安裝垂直高度為1.7 m，前視距2 m，采集圖像大小768×1 024 pixel，圖像格式為JPG。采集的圖片包括了各種雜草密度、行中缺苗和不同光照等多種情況，田間雜草主要為馬唐和馬齒莧，期間獲取的最大雜草密度為145棵/m2，圖9為移栽生菜作物行提取過(guò)程圖，選取移栽后7、15和25 d生菜為試驗(yàn)樣本，其中作物種植參數(shù)為：移栽行距400 mm，株距300 mm。圖中可見不同生長(zhǎng)時(shí)期作物在單棵作物及作物行形狀上均有不同，在移栽初期作物葉片面積小，可明顯區(qū)分株間作物，但由于葉面數(shù)量少，故作物形狀呈不規(guī)則狀；移栽15 d通過(guò)人為處理，在每一行上去除一定的作物，使作物行中作物呈現(xiàn)非均勻排布，同時(shí)可見在有陰影的情況下，圖像分割算法仍具有一定的魯棒性；移栽后25 d后，生菜葉面面積大，成近圓形，作物葉面在行間和株間均有一定連接，接近封壟狀態(tài)。通過(guò)對(duì)3個(gè)時(shí)期的作物行提取可看出本文算法具有較強(qiáng)的適應(yīng)性。

圖9 不同移栽時(shí)期4行生菜作物行提取過(guò)程

取兩種作物在3個(gè)不同生長(zhǎng)時(shí)期的圖片作為試驗(yàn)樣本，每個(gè)生長(zhǎng)時(shí)期取10幅進(jìn)行作物行識(shí)別，總計(jì)60幅。統(tǒng)計(jì)不同圖片下目標(biāo)像素占比、算法獲取的最佳累加閾值、組內(nèi)方差、最優(yōu)閾值算法耗時(shí)、作物行線提取耗時(shí)、識(shí)別準(zhǔn)確率等5個(gè)參數(shù)，其中根據(jù)對(duì)4行作物行的識(shí)別結(jié)果與人為觀測(cè)的吻合程度定義識(shí)別準(zhǔn)確率，目標(biāo)識(shí)別行數(shù)全部被識(shí)別出并與觀測(cè)作物行吻合，則定義該識(shí)別準(zhǔn)確率為100%，錯(cuò)識(shí)別一行準(zhǔn)確率下降100%/，為目標(biāo)行數(shù)。目標(biāo)像素占比為作物像素?cái)?shù)量與圖片總像素?cái)?shù)量的百分比。將算法統(tǒng)計(jì)結(jié)果匯總，列出每個(gè)生長(zhǎng)階段10個(gè)樣本的結(jié)果，見表1所示。結(jié)果可見目標(biāo)像素占比可反映作物在不同生長(zhǎng)時(shí)期的葉面大小，最佳累加閾值取值在170～240范圍內(nèi)，組內(nèi)方差在10～50范圍內(nèi)，通過(guò)識(shí)別率可見，當(dāng)聚類方差大于40時(shí)，識(shí)別出的作物行線與實(shí)際作物行會(huì)有一定偏差，聚類方差越大，作物行識(shí)別誤差也越大。以每個(gè)移栽時(shí)間段10個(gè)樣本結(jié)果計(jì)算最優(yōu)閾值算法平均耗時(shí)和作物行提取平均耗時(shí)，得到像素占比與算法耗時(shí)的關(guān)系，見圖10所示?？梢娮顑?yōu)閾值算法耗時(shí)在1.5 s內(nèi)，像素占比越大，優(yōu)化耗時(shí)越長(zhǎng)，其次作物行提取平均耗時(shí)基本為0.2 s，不隨目標(biāo)像素占比變化。本文提出自動(dòng)獲取最優(yōu)閾值算法在外部環(huán)境變化不大的情況下，可先進(jìn)行一次最優(yōu)閾值的獲取，之后沿用該閾值，直接進(jìn)行作物行的提取，從而將圖像處理算法耗時(shí)控制在0.2 s左右。

表1 作物行獲取算法識(shí)別結(jié)果

圖10 目標(biāo)像素占比與算法耗時(shí)關(guān)系

田間試驗(yàn)主要針對(duì)算法識(shí)別準(zhǔn)確率進(jìn)行驗(yàn)證，圖像采集于北京市通州區(qū)北京國(guó)際都市農(nóng)業(yè)科技園和黑龍江紅星農(nóng)場(chǎng)內(nèi)，圖11a為田間行栽20 d的2行綠甘藍(lán)，采圖地點(diǎn)位于北京市通州區(qū)北京國(guó)際都市農(nóng)業(yè)科技園內(nèi)，采圖時(shí)間為2015年5月18日9:15。圖11b為田間多行移栽生菜，采圖地點(diǎn)位于黑龍江紅星農(nóng)場(chǎng)，采圖時(shí)間為2015年9月25日10:20。取田間移栽后10～30 d期間生菜和綠甘藍(lán)圖片60幅圖片以及之前60幅溫室圖片對(duì)算法準(zhǔn)確率進(jìn)行統(tǒng)計(jì)，見表 2。該算法在田間和溫室中作物行的平均識(shí)別準(zhǔn)確率分別為94.6%、97.1%，識(shí)別準(zhǔn)確率為100%的占比分別為86.7%和93.3%，由于外界光線變化的影響，溫室較田間的算法應(yīng)用效果更為理想。

表2 算法識(shí)別準(zhǔn)確率統(tǒng)計(jì)

a. 兩行移栽綠甘藍(lán)b. 多行移栽生菜 a. Transplant cabbage in 2 rowsb. Transplant lettuce in multiple rows

5 結(jié) 論

1）本文采用Lab顏色空間中與光照無(wú)關(guān)的分量對(duì)綠色作物進(jìn)行提取，通過(guò)最優(yōu)自適應(yīng)閾值進(jìn)行二值化處理，并采用先閉后開形態(tài)學(xué)運(yùn)算對(duì)雜草和作物邊緣進(jìn)行濾波。通過(guò)圖像處理試驗(yàn)表明，該方法可避免光照不均勻及田間雜草對(duì)特征提取產(chǎn)生的干擾，從而實(shí)現(xiàn)對(duì)作物行正確分割。

2）本文采用雙閾值垂直投影法對(duì)作物行特征點(diǎn)進(jìn)行提取，根據(jù)目標(biāo)像素占比閾值和噪聲判斷閾值來(lái)獲取不同的特征點(diǎn)，并通過(guò)特征點(diǎn)的優(yōu)化，剔除相鄰干擾特征點(diǎn)。該算法可適應(yīng)于不同生長(zhǎng)時(shí)期作物進(jìn)行特征點(diǎn)的提取。

3）本文提出基于自動(dòng)Hough變換累加閾值的作物行線擬合方法，將不同Hough變換累加閾值獲得的擬合直線映射到累加平面上，并對(duì)累加平面上參數(shù)點(diǎn)進(jìn)行-means聚類，基于聚類質(zhì)心距離差和組內(nèi)方差的方法獲取最佳累加閾值。最后以最佳累加閾值下累加平面聚類的質(zhì)心作為作物行的擬合直線。田間和溫室作物行提取試驗(yàn)表明，針對(duì)不同生長(zhǎng)時(shí)期的生菜和綠甘藍(lán)作物，算法均可成功識(shí)別出作物行線，最優(yōu)閾值算法耗時(shí)在1.5 s以內(nèi)，隨目標(biāo)像素占比增大而增大，作物行提取平均耗時(shí)為0.2 s，不隨目標(biāo)像素占比而變化，該算法在田間和溫室中作物行的平均識(shí)別準(zhǔn)確率分別為94.6%、97.1%，識(shí)別準(zhǔn)確率為100%的占比分別為86.7%和93.3%。

[1]胡靜濤，高雷，白曉平，等. 農(nóng)業(yè)機(jī)械自動(dòng)導(dǎo)航技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(10)：1－10. Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 1－10. (in Chinese with English abstract)

[2]李建平，林妙玲. 自動(dòng)導(dǎo)航技術(shù)在農(nóng)業(yè)工程中的應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2006，22(9)：232－236. Li Jianping, Lin Miaoling. Research progress of automatic guidance technologies applied in agricultural engineering [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2006, 22(9): 232－236. (in Chinese with English abstract)

[3]Wiilson J N. Guidance of agricultural vehicles-a historical perspective[J]. Computer and Electronics in Agriculture, 2000, 25(1)：3－9.

[4]Choi K H, Han S K, Han S H, et al. Morphology-based guidance line extraction for an autonomous weeding robot in paddy fields[J]. Computers and Electronics in Agriculture, 2015, 113: 266－274.

[5]姬長(zhǎng)英，周俊. 農(nóng)業(yè)機(jī)械導(dǎo)航技術(shù)發(fā)展分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(9)：44－54. Ji Changying, Zhou Jun. Current situation of navigation technologies for agricultural machinery [J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(9): 44－54. (in Chinese with English abstract)

[6]Burgos Artizzu X P, Ribeiro A, Guijarro M, et al. Real-time image processing for crop/weed discrimination in maize fields[J]. Computers and Electronics in Agriculture, 2011, 75: 337－346.

[7]Guerrero J M, Pajares G, Montalvo M, et al. Support vector machines for crop/weeds identification in maize fields[J]. Expert Systems with Applications, 2012, 39(12): 11149－11155.

[8]Midtiby H S, Astrand B, J?rgensen O, et al. Upper limit for context-based crop classification in robotic weeding applications[J]. Biosystems Engineering, 2016, 146: 183－192.

[9]Zhang Q, Chen S j, Li B. A visual navigation algorithm for paddy field weeding robot based on image understanding[J]. Computers and Electronics in Agriculture, 2017, 153: 66－78.

[10]Billingsley J, Schoenfisch M. The successful development of a vision guidance system for agriculture[J]. Computers and Electronics in Agriculture, 1997, 16: 147－163.

[11]Bakker T, Asselt K V, Bontsema J. Autonomous navigation using a robot platform in a sugar beet field[J]. Biosystems Engineering, 2011, 109: 357－368.

[12]Astrand B, Baerveldt A. A vision based row-following system for agricultural field machinery[J]. Mechatronics, 2005, 15(2): 251－269.

[13]孟慶寬，何潔，仇瑞承，等. 基于機(jī)器視覺(jué)的自然環(huán)境下作物行識(shí)別與導(dǎo)航線提取[J]. 光學(xué)學(xué)報(bào)，2014，34(7)：172－178. Meng Qingkuan, He Jie, Chou Ruicheng. et al. Crop recognition and navigation line detection in natural environment based on machine vision[J]. Acta Optica Sinica, 2014, 34(7): 172－178. (in Chinese with English abstract)

[14]陳嬌，姜國(guó)權(quán)，杜尚豐，等. 基于壟線平行特征的視覺(jué)導(dǎo)航多壟線識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25(12)：107－113. Chen Jiao, Jiang Guoquan, Du Shangfeng. et al. Crop rows detection based on parallel characteristic of crop rows using visual navigation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(12): 107－113. (in Chinese with English abstract)

[15]趙瑞嬌，李民贊，張漫，等. 基于改進(jìn)Hough變換的農(nóng)田作物行快速檢測(cè)算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(7)：163－165. Zhao Ruijiao, Li Minzan, Zhang Man, et al. Rapid crop-row detection based on improved Hough transformation[J]. Transactions of the Chinese Society of Agricultural Machinery, 2009, 40(7): 163－165. (in Chinese with English abstract)

[16]安秋，李志臣，姬長(zhǎng)英，等. 基于光照無(wú)關(guān)圖的農(nóng)業(yè)機(jī)器人視覺(jué)導(dǎo)航算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25(11)：208－212. An Qiu, Li Zhichen, Ji Changying, et al. Agricultural robot vision navigation algorithm based on illumination invariant image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(11): 208－212. (in Chinese with English abstract)

[17]Guerrero J M, Ruz J J, Pajares G. Crop rows and weeds detection in maize fields applying a computer vision system based on geometry[J]. Computers and Electronics in Agriculture, 2017, 142: 461－472.

[18]Jiang G, Wang X, Wang Z, et al. Wheat rows detection at the early growth stage based on Hough transform and vanishing point[J]. Computers and Electronics in Agriculture, 2016, 123: 211－223.

[19]Jiang G, Wang Z, Liu H, et al. Automatic detection of crop rows based on multi-ROIs[J]. Expert Systems with Applications, 2015, 42(5): 2429－2441.

[20]Vidovi? I, Cupec R, Hocenski ?. Crop row detection by global energy minimization[J]. Pattern Recognition, 2016, 55: 68－86.

[21]Vidovi? I, Scitovski R. Center-based clustering for line detection and application to crop rows detection[J]. Computers and Electronics in Agriculture, 2014, 109: 212－220.

[22]翟志強(qiáng)，朱忠祥，杜岳峰，等. 基于Census變換的雙目視覺(jué)作物行識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(11)：205－213. Zhai Zhiqaing, Zhu Zhongxiang, Du Yuefeng, et al. Method for detecting crop rows based on binocular vision with Census transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(11): 205－213. (in Chinese with English abstract)

[23]Zhai Z, Zhu Z, Du Y, et al. Multi-crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89－103.

[24]Kise M, Zhang Q, Már F R. A stereovision-based crop row detection method for tractor-automated guidance[J]. Biosystems Engineering, 2005, 90(4): 357－367.

[25]?？?，赫拉瓦卡，博伊爾. 圖像處理、分析與機(jī)器視覺(jué)[M]. 興軍亮，艾海舟，譯. 北京：清華大學(xué)出版社，2016.

[26]岡薩雷斯，伍茲. 數(shù)字圖像處理[M]. 第三版：阮秋琦，譯. 北京：電子工業(yè)出版社，2017.

[27]岡薩雷斯，伍茲，艾丁斯. 數(shù)字圖像處理的MATLAB實(shí)現(xiàn)（第2版）[M]. 阮秋琦，譯. 北京：清華大學(xué)出版社，2013.

[28]Inán D, Garc?a-Santillán, Mart?n M. Automatic detection of curved and straight crop rows from images in maize fields[J]. Biosystems Engineering, 2017, 156: 61－79.

[29]Montalvo M, Pajares G, Guerrero J M, et al. Automatic detection of crop rows in maize fields with high weeds pressure[J]. Expert Systems with Applications, 2012, 39(15): 11889－11897.

[30]Ji R, Qi L. Crop-row detection algorithm based on Random Hough Transformation[J]. Mathematical and Computer Modelling, 2011, 54: 1016－1020.

[31]布拉德斯基，克勒. 學(xué)習(xí)OpenCV[M]. 于仕琪，劉瑞禎，譯. 北京：清華大學(xué)出版社，2009.

Vegetable crop row extraction method based on accumulation threshold of Hough Transformation

Chen Ziwen1, Li Wei2, Zhang Wenqiang2, Li Yunwu1, Li Mingsheng1, Li Hui1

(1.,,400715,; 2.,,100083,)

Agricultural machinery field automatic navigation technology is widely used in farming, sowing, weeding, fertilizing, spraying, harvesting and other agricultural production process. This technology can improve the efficiency of the mechanical efficiency and reduce the missing areas of operation, labor intensity and the complexity of the operation. Because machine vision can be used to obtain and perceive the relative position information of crop rows, current crop growth status and field environment in real time, it is widely applied in online crop detection and identification. In this paper, a method based on automatic accumulation threshold of Hough Transformation was presented in order to improve the adaptability of the crop row recognition algorithm for different kinds and growth periods of vegetables with machine vision. The method was composed of image preprocessing, feature point detection, optimal accumulation threshold acquisition and crop row extraction. Firstly, to reduce the adverse effects of light change and restrain the background noise,* component of Lab color model was selected for transforming RGB image to grayscale image. Optimal adaptive threshold and morphology close-open operation was applied for minimizing error segmentation probability and eliminating irrelevant detail. Secondly, the feature points of crop rows were extracted by sectionalized vertical projection method. The original image was divided into several horizontal segments and target pixel ratio and vertical projection width were used as double threshold in the luminance projection view of each segment to determine the location of feature points and distinguish noise. Thirdly, the Hough transformation method with different accumulative thresholds was performed to fit straight lines for all feature points in the image coordinate system, then they were all converted to Hough space accumulator as points. These points were clustered into the same number as crop rows by-means clustering method. According to the camera projection, the optimal accumulator threshold was acquired by the position relation of clustering centroid and minimum inter-class variance. Finally, the fitting line parameters of real crop rows were the clustering centroid parameters of the accumulation space under the optimal accumulation threshold, then the parameters were converted into the crop lines in the image coordinate system. The crop row identification tests of lettuce and cabbage were carried out in the greenhouse and filed according to the conditions of crops in different growing periods, different weed densities, and different light conditions in the field. The greenhouse experiment showed that the algorithm can effectively identify crop rows with an average recognition accuracy of 97.1% for two crops of different growth periods under different weed densities. The outdoor experiment showed that the algorithm can also identify crop rows with 94.6% recognition accuracy under different row numbers and light conditions. Time consumption for optimal accumulator threshold algorithm and crop rows extraction algorithm were no more than 1.5 and 0.2 s, and the average accuracy rate of crop row detection was achieved 95.8%. In view of the practical application of field operations, as the environmental parameters basically do not change significantly in a short time, the optimal accumulation threshold was only needed to be obtained once, which can ensure the time consumption of algorithm was about 0.2 s.

machine vision; navigation; algorithms; precision agriculture; crop row recognition; Hough transform;-means clustering

陳子文，李 偉，張文強(qiáng)，李云伍，李明生，李 慧. 基于自動(dòng)Hough變換累加閾值的蔬菜作物行提取方法研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(22)：314－322. doi：10.11975/j.issn.1002-6819.2019.22.037 http://www.tcsae.org

Chen Ziwen, Li Wei, Zhang Wenqiang, Li Yunwu, Li Mingsheng, Li Hui. Vegetable crop row extraction method based on accumulation threshold of Hough Transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(22): 314－322. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.22.037 http://www.tcsae.org

2018-11-21

2019-08-29

國(guó)家重點(diǎn)研發(fā)計(jì)劃（2016YFD0701001）；中央高效基本科研業(yè)務(wù)費(fèi)（XDJK2017B049）

陳子文，講師，博士，主要從事農(nóng)業(yè)機(jī)器人和機(jī)器視覺(jué)技術(shù)研究。Email：chenziwen_0309@163.com

10.11975/j.issn.1002-6819.2019.22.037

TP242.3

A

1002-6819(2019)-22-0314-09