基于區(qū)域生長均值漂移聚類的苗期作物行提取方法

王愛臣，張 敏，劉青山，王麗麗，魏新華

基于區(qū)域生長均值漂移聚類的苗期作物行提取方法

王愛臣1,2，張 敏1,2，劉青山1,2，王麗麗3，魏新華1,2※

（1. 江蘇大學(xué)農(nóng)業(yè)工程學(xué)院，鎮(zhèn)江 212013；2. 江蘇省農(nóng)業(yè)裝備與智能化高技術(shù)研究重點實驗室，鎮(zhèn)江 212013；3. 中國農(nóng)業(yè)機械化科學(xué)研究院土壤植物機器系統(tǒng)技術(shù)國家重點實驗室，北京 100083）

為解決傳統(tǒng)機器視覺方法檢測苗期作物行時不同作物種類、不同生長背景和不同作物行數(shù)導(dǎo)致的作物行提取精度低的問題，該研究提出一種基于區(qū)域生長和均值漂移聚類的苗期作物行提取方法。首先，通過Lab顏色空間中a、b雙顏色分量最大熵法選取最優(yōu)閾值進行圖像分割；其次，通過垂直投影獲取均值漂移的聚類窗口帶寬，均值漂移時以聚類窗口邊緣為種子點進行區(qū)域生長來歸類和標記每一行作物，之后遍歷所有作物行獲取聚類中心點；最后，通過最小二乘法擬合聚類中心點得到作物行直線。試驗結(jié)果表明，該方法對大蒜、玉米、油菜、水稻和小麥5種作物的苗期作物行提取精度較高，5種作物的平均行識別率為98.18%，平均誤差角度為1.21°，每張圖片的平均處理時間為0.48 s。該方法的作物行提取性能明顯優(yōu)于Hough變換方法，為田間環(huán)境多因素影響下的苗期作物行提取提供了一種更具魯棒性的方法。

算法；圖像處理；機器視覺；區(qū)域生長；均值漂移；最小二乘法

0 引 言

隨著精準農(nóng)業(yè)的不斷發(fā)展，農(nóng)業(yè)機械田間自動導(dǎo)航技術(shù)被廣泛研究和應(yīng)用，可大幅提高農(nóng)機的作業(yè)精度和效率。目前應(yīng)用于農(nóng)業(yè)的自動導(dǎo)航技術(shù)主要有衛(wèi)星導(dǎo)航和機器視覺兩種方式，衛(wèi)星導(dǎo)航常采用差分全球?qū)Ш叫l(wèi)星系統(tǒng)（Global Navigation Satellite System, GNSS）實現(xiàn)厘米級定位，并通過導(dǎo)航處理軟件實時更新農(nóng)機位置數(shù)據(jù)，與規(guī)劃路徑對比分析實現(xiàn)導(dǎo)航偏差參數(shù)的計算和自動導(dǎo)航[1–3]，但其易受樹木遮擋，且無法感知當前作物行的特征信息。機器視覺導(dǎo)航具有接收信息豐富、設(shè)備體積小和非接觸測量等優(yōu)點，被廣泛應(yīng)用于作物行的檢測和識別。

國內(nèi)外學(xué)者對基于機器視覺技術(shù)的作物行提取做了大量研究。Hough變換是作物行識別最常用的經(jīng)典方法之一[4]，但存在因求取累加器峰值導(dǎo)致過大計算量的問題，且易受雜草和作物缺失影響。為了提高Hough變換檢測作物行的適應(yīng)性，王珊珊等[5]提出一種基于特征點鄰域Hough變換的水稻秧苗行檢測方法，通過建立不同光照條件、雜草密度和秧苗狀況的水稻秧苗行數(shù)據(jù)庫提高檢測的適應(yīng)性。陳子文等[6]提出一種基于自動Hough變換累加閾值的蔬菜作物行提取方法，首先采用雙閾值分段投影法對作物行特征點進行提取，再通過Hough變換對提取的特征點進行直線擬合，將不同Hough變換累加閾值獲得的擬合直線映射到累加平面上，之后通過K-means聚類將累加平面數(shù)據(jù)聚類為與作物行數(shù)相同的類數(shù)并基于聚類質(zhì)心距離差和組內(nèi)方差確定最優(yōu)累加閾值，最后將最優(yōu)累加閾值下累加平面的聚類質(zhì)心作為識別出的真實作物行線，該方法的閾值優(yōu)化耗時較長，達到1.00 s以上。鑒于田間作物行具有直線分布的特點，基于最小二乘法的方法也被用作擬合作物行。姜國權(quán)等[7]提出基于圖像特征點粒子群聚類的麥田作物行檢測方法，根據(jù)農(nóng)田作物行中心線周圍區(qū)域的特征點到該直線的距離均小于某一距離閾值的特點，通過粒子群優(yōu)化算法對每一作物行的特征點分別進行聚類，最后對每一類的特征點用最小二乘法進行直線擬合得到麥田作物行中心線。垂直投影方法也常被用于作物行檢測，但該方法對作物行分布較為敏感，容易出現(xiàn)檢測出的行數(shù)與實際不符的情況，導(dǎo)致準確率降低，針對該問題，亢潔等[8]提出通過垂直投影得到中心作物行所在列，并對灰度圖進行條形帶分割，之后在每個條形帶中尋找作物輪廓，最后通過最小二乘法擬合直線得到作物行。Ponnambalam等[9]基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）分割作物區(qū)域，并通過多感興趣區(qū)域提取作物行中心點，通過線性回歸擬合作物行直線，該方法處理速率和精度相比傳統(tǒng)Hough變換有較大提升。孟笑天等[10]提出根據(jù)距離函數(shù)求出最佳作物行數(shù)，采用K-means和最小二乘法對作物行的特征點進行聚類和擬合，但通過聚類獲取作物行數(shù)的結(jié)果受雜草影響較大，無法處理行間雜草較為明顯的場景，限制了其應(yīng)用范圍。為減少行間雜草對作物行提取的影響，Zhang等[11]提出一種基于位置聚類和最短路徑法的作物行提取方法，能有效提取生長有雜草的苗期玉米行。此外，Vidovi?等[12-13]提出結(jié)合動態(tài)規(guī)劃在全局數(shù)據(jù)集中尋找最優(yōu)點，該方法可以精確檢測直線和曲線作物行，但僅適用于已知2～3行作物，無法處理未知或更多作物行的場景。近年來，深度學(xué)習(xí)也開始被用于作物行提取。Bah等[14]將CNN與Hough變換融合形成HoughCNet網(wǎng)絡(luò)，并與SegNet網(wǎng)絡(luò)結(jié)合用于無人機航拍圖片的作物行提取，作物行識別準確率達到93.58%。Pang等[15]提出了最大面積掩模得分區(qū)域神經(jīng)網(wǎng)絡(luò)用于提取航拍圖像中的苗期玉米行。相比于傳統(tǒng)方法，基于深度學(xué)習(xí)的作物行提取方法模型訓(xùn)練需要的數(shù)據(jù)量大、模型復(fù)雜且計算時間較長，難以用于田間實時作物行提取[16]。

在實際作物行檢測中，多數(shù)場景都是直線作物行，但更多的挑戰(zhàn)在于不同作物種類、不同作物生長背景和不同作物行數(shù)等因素導(dǎo)致的作物行識別率低、識別誤差角度大等問題。綜上，該研究提出一種結(jié)合區(qū)域生長和均值漂移聚類的作物行提取方法，通過邊聚類邊生長的方法獲取作物行中心線，再利用最小二乘法擬合作物行。首先，將獲取的RGB圖像轉(zhuǎn)換到Lab顏色空間，利用該空間中的a、b顏色分量分割作物和背景，采用雙顏色分量最大熵法選取最優(yōu)閾值進行圖像分割，通過去除小面積連通區(qū)域和形態(tài)學(xué)操作過濾部分雜草噪聲；其次，通過垂直投影獲取均值漂移聚類窗口帶寬，在均值漂移過程中以聚類窗口邊緣為種子點進行區(qū)域生長來歸類和標記每一行作物，避免聚類窗口邊緣作物影響其余作物行的均值漂移結(jié)果，之后遍歷所有作物行獲取聚類中心點；最后，通過最小二乘法將聚類中心點擬合得到作物行直線。

1 材料與方法

1.1 作物行提取方法

1.1.1 綠色植物提取

提取綠色植物的主要目的是將田間綠色植物與背景中的泥塊、建筑物、地膜等雜物分離，為后續(xù)作物行提取奠定基礎(chǔ)。常規(guī)環(huán)境下植物和背景存在顯著顏色差異，常采用超綠法（Excess Green, ExG）將圖片進行灰度化處理，再利用Otsu方法確定分割閾值并進行閾值分割[17]，但該方法在田間復(fù)雜環(huán)境下的分割效果不理想，如本研究所采集樣本之一的大蒜圖像（圖1a），由于大蒜田覆蓋偏綠色地膜，該圖像經(jīng)ExG處理后的灰度圖（圖1b）不能很好的區(qū)分苗期大蒜和背景，導(dǎo)致Otsu方法分割苗期大蒜的效果不理想（圖1c）。

田間實際圖像采集易受自然光照的影響，尤其是晴天午后和陰天，過強或過弱的光照影響圖像質(zhì)量并使得植物分割較為困難。為了更好地分割圖像中的植物和背景，本研究采取亮度和色彩信息分離的Lab顏色模型。該模型與圖像采集設(shè)備無關(guān)，能夠更好地還原植物原本的顏色，其中a分量對綠色信息敏感，b分量對藍色信息敏感[18]。圖1a所示大蒜圖像的a、b顏色分量的二元直方圖如圖2所示。

由圖2可知，a和b分量近似呈多峰值正態(tài)分布（圖2a），其中顏色越亮代表當前灰度下像素越多（圖2b），由此可知a和b分量有明顯的大小峰，即對應(yīng)圖像中背景和目標作物。圖像的熵反映了圖像灰度分布的聚集特征，故可通過最大熵法（Maximum Entropy Method，MEM）分別求取a、b分量的最佳分割閾值[19]。單顏色分量下目標區(qū)域的熵H和背景區(qū)域的熵H分別如式（1）和式（2）所示：

式中為單顏色分量分割閾值；為圖像的灰度級數(shù)量；0()和1()分別為以為閾值分割的目標區(qū)域和背景區(qū)域像素的累計概率，兩者之和為1；()為灰度值為的概率。當a、b分量中圖像背景區(qū)域熵與目標區(qū)域熵之和分別達到最大時的灰度值即為最佳分割閾值*，其通過最大化目標和背景區(qū)域的信息熵之和確定，雙顏色分量最大熵法最佳分割閾值*的計算如式（3）所示：

式中a和b分別為a、b兩顏色分量通過最大熵法確定的最佳分割閾值，H_a()和b_a()為a分量的目標區(qū)域熵和背景區(qū)域熵，H_b()和b_b()為b分量的目標區(qū)域熵和背景區(qū)域熵。

通過獲得的最佳分割閾值對圖1a所示的大蒜圖像進行分割并二值化得到二值化圖像（圖3a），本研究通過計算連通區(qū)域面積，將小面積的區(qū)域濾除，避免田間雜草干擾，然后進行形態(tài)學(xué)閉操作去除噪聲點，再進行形態(tài)學(xué)操作填充孔洞，結(jié)果如圖3b所示。

1.1.2 作物行聚類窗口帶寬確定

本研究的聚類策略首先設(shè)定初始聚類中心點為整幅圖像的頂部中心像素點，聚類過程從初始聚類中心點先沿縱向作物行擴散，聚類完一行作物后再橫向擴散到相鄰作物行。確定聚類窗口帶寬時應(yīng)避免發(fā)生跨行，所以基于最小行間距選取聚類窗口帶寬。另外，圖像透視會造成作物行呈斜線向上延伸，圖像頂部的行間距最小，故截取二值化圖像頂部高度為的圖像帶得到二值化圖像帶（圖4a），并進行垂直投影來獲取最小行間距。垂直投影是將二值化圖像帶（圖4a）中每列像素點的值（0或1）累加得到垂直投影曲線（圖4b），將累加值高于一定閾值的區(qū)域視作作物區(qū)域，否則視作背景區(qū)域。二值化圖像帶的垂直投影()的計算如式（4）所示：

式中(,)為二值化圖像帶中位置(,)處像素點的值（0或1）；為二值化圖像帶的高度，像素，設(shè)置為圖像總高度（像素）的十分之一，即=0.1。

為保證聚類時窗口在唯一作物行間移動，需根據(jù)截取的二值化圖像帶垂直投影選擇合適的聚類窗口帶寬。聚類窗口帶寬的選擇直接影響聚類效果，若選取的帶寬過大易使多條作物行被識別為一行，而帶寬過小則會增加聚類迭代次數(shù)，影響效率，故要求聚類窗口帶寬在不會橫跨多條作物行的情況下盡量大。為確定聚類窗口帶寬，先根據(jù)式（5）計算二值化圖像帶垂直投影()的均值，之后根據(jù)將二值化圖像帶分為作物行區(qū)域和背景區(qū)域，具體規(guī)則：若()<，則()=0，屬于背景區(qū)域；若()≥，則()=，屬于作物行區(qū)域，其結(jié)果如圖4c和圖4d所示。

式中為圖像總寬度，像素。

注：為二值化圖像帶的高度，像素；為圖像總高度，像素；為圖像總寬度，像素；()為二值化圖像帶的垂直投影；為垂直投影()的均值；為聚類窗口帶寬；圖4a中矩形區(qū)域為二值化圖像帶，圖4b和圖4c中曲線為二值化圖像帶的垂直投影()，圖4c中直線為二值化圖像帶垂直投影()的均值，圖4d中線框內(nèi)為通過均值確定的作物行區(qū)域。

Note:is the height of the strip from binary image, pixel;is the total height of the image, pixel;is the total width of the image, pixel;() is vertical projection of the strip from binary image;is the mean value of the vertical projection();is the clustering window bandwidth; In Fig.4a, the green rectangular area is a strip from binary image; In Fig. 4b and Fig. 4c, the red curve is the vertical projection() of the strip from binary image; In Fig.4c, the yellow straight line is the mean valueof the vertical projection() of the strip from binary image; In Fig. 4d, the region within red lines are crop row areas determined by the mean value.

圖4 聚類窗口帶寬獲取過程

Fig.4 Acquisition process of clustering window bandwidth

由圖4可知，由于圖像透視原因，兩側(cè)作物行斜率較大且向中間傾斜，兩側(cè)最邊緣作物存在重疊現(xiàn)象，所以選取圖像中間區(qū)域作為感興趣區(qū)域（Region of Interest，ROI），選取ROI中作物行間距的最小值為聚類窗口帶寬。聚類窗口帶寬確定后，以選定的聚類中心點為中心點、以2倍聚類窗口帶寬為邊長生成聚類窗口。

1.1.3 作物行聚類與擬合

通常提取作物行的方法有Hough變換和垂直投影，但Hough變換中累加閾值的選取對提取作物行結(jié)果有著很大影響，同時Hough變換檢測出的直線存在過度檢測的問題，即檢測出的作物行數(shù)遠大于實際作物行數(shù)。垂直投影對于如本研究的場景存在頂部投影峰值和底部投影峰值個數(shù)無法匹配的問題，因此本研究采用先聚類后最小二乘法擬合的方法進行作物行提取。

本研究聚類策略基于均值漂移（mean shift）思想[20-21]，其核心思想是沿著密度上升的點尋找聚集簇，通過計算特征空間中樣本點概率密度最大的位置，將概率密度函數(shù)收斂到穩(wěn)態(tài)點，基于均值漂移的聚類在圖像平滑和圖像分割中效果較好。為了提高算法的準確度，Comaniciu等[22]提出根據(jù)采樣點的局部密度自適應(yīng)調(diào)整搜索區(qū)域的大小，此方法可以應(yīng)用在作物行聚類中，當聚類陷入因作物不連續(xù)導(dǎo)致的局部最優(yōu)時，通過擴大搜索半徑跳出局部最優(yōu)。均值漂移方法的基礎(chǔ)公式如式（6）所示：

本研究所用方法的具體聚類步驟如下：

1）選中整幅圖像頂部中心像素點作為初始聚類中心點，以該點為中心點、以2倍聚類窗口帶寬為邊長生成聚類窗口，將聚類窗口內(nèi)的所有像素點記為集合S；

2）根據(jù)式（6）和式（7）計算集合S的漂移向量，同時選取聚類窗口邊緣的像素點作為種子點，通過區(qū)域生長法向聚類窗口兩側(cè)擴張，標記此次集合S內(nèi)像素點和區(qū)域生長擴張的像素點為已聚類點，歸為聚類簇集1；

3）初始聚類中心點沿漂移向量指向的位置移動形成新的聚類中心點；

4）重復(fù)步驟2）、3），記錄每次的聚類中心點，如因作物種植不連續(xù)導(dǎo)致聚類陷入局部最優(yōu)，即漂移向量停滯但仍未到達整幅圖像底部時，則擴大聚類窗口帶寬，直到聚類中心點漂移至圖像底部，此時第一行作物已被聚類標記，得到聚類簇集1；

5）進入下一行作物聚類，重復(fù)步驟1），并將初始聚類中心點以聚類窗口帶寬為漂移距離向左或右平行漂移，此時聚類簇集視為2；

6）重復(fù)步驟2）、3）、4）、5），直至聚類的標記點達到圖像邊界，當前聚類簇集視作C，此時所有作物行都被聚類標記；

7）對聚類簇集1，2，…C的聚類中心點通過最小二乘法擬合作物行直線。

單作物行的聚類過程如圖5所示，開始時在原始圖像中標記起始聚類窗口內(nèi)所有非零像素點（圖5b），同時以聚類窗口邊緣為種子點向外生長，計算聚類窗口內(nèi)像素點的漂移向量()，聚類中心點向()方向移動，移動距離為||()||，至此完成一次聚類，一次聚類后聚類窗口位置和已標記像素點如圖5c所示，多次聚類和區(qū)域生長后聚類窗口位置和已標記像素點如圖5d所示。

對于多作物行聚類，以圖像頂部中心像素點為初始聚類中心點、以2倍聚類窗口帶寬為邊長生成聚類窗口，如圖6a中方框A所示，對初始聚類中心點對應(yīng)的作物行進行圖5所示的聚類過程。當同一作物行的兩株作物間存在較大空白區(qū)域時，即當前聚類中心點和下一個聚類中心點重合時，聚類陷入局部最優(yōu)，此時擴大聚類窗口帶寬，直至聚類窗口包含新的未聚類點，如圖6a中嵌套的3個方框B所示。在完成一個作物行聚類時，聚類中心點到達圖像最底部，之后聚類中心點返回到圖像頂部，若當前頂部聚類窗口內(nèi)的漂移向量為0，則繼續(xù)平移聚類中心點，頂部聚類中心點的移動軌跡為從中間至兩側(cè)。聚類中心點平移后重復(fù)圖5所示聚類過程，直至完成圖中所有作物行聚類，得到對應(yīng)每個作物行的聚類點集，如圖6b所示。由圖6a和圖6b可知，圖像中間部分的作物行②～⑨呈明顯直線趨勢，可被有效聚類，而位于圖像兩側(cè)的作物行①和⑩以及作物行①左側(cè)和作物行⑩右側(cè)的三角形區(qū)域作物分布雜亂，區(qū)域生長時該區(qū)域被聚類為一簇。所有作物行聚類過程中聚類中心點形成聚類中心點集，如圖6a中星點所示。聚類完成后，將每一作物行的聚類中心點進行最小二乘法直線擬合，即可得到作物行，如圖6c中直線所示。

1.2 作物行提取方法的試驗驗證

1.2.1 試驗圖像與計算平臺

為驗證本研究提出的作物行提取方法的適用性，選取了5種不同生長背景和生長情況的苗期作物，包括大蒜、玉米、油菜、水稻和小麥。其中大蒜田覆蓋了偏綠色地膜，部分油菜圖像中的油菜作物行不連續(xù)，小麥生長較為密集。油菜和大蒜的圖像通過佳能EOS 60D相機（EOS 60D，佳能，日本）搭配50 mm定焦鏡頭（EF 50mm f/1.8 STM，佳能，日本）分別在江蘇大學(xué)校內(nèi)實驗田和山東省臨沂市蘭陵縣大蒜田采集；小麥和水稻的圖像通過螢石S2相機（S2，螢石，中國）在江蘇潤果農(nóng)業(yè)發(fā)展有限公司（江蘇省鎮(zhèn)江市大港新區(qū)）的種植基地采集；玉米圖像來自于Vidovi?等[13]公開的數(shù)據(jù)集中含直線作物行的玉米圖像。大蒜、玉米、油菜、水稻和小麥5種作物的圖像數(shù)量分別為20、40、40、40和30。試驗計算機環(huán)境配置中央處理器頻率為2.5 GHz，內(nèi)存為8 GB，處理圖像所用軟件平臺為MATLAB R2018b。

1.2.2 作物行提取效果評價

為驗證作物行提取效果，分別采用本研究提出的作物行檢測方法、Hough變換方法和投影-鄰近分類擬合方法[23]進行作物行提取，作為對比標準的參考作物行則通過作物行標注工具生成[13]。Hough變換是一種經(jīng)典常用的作物行檢測方法，常被用于進行作物行檢測效果對比。投影-鄰近分類擬合方法通過鄰近關(guān)系對作物行中心的特征點進行分類，并對歸類后的特征點進行最小二乘擬合得到作物行[23]。

所用Hough變換的邊緣提取算子為Canny算子，累加閾值通過手動選取，選取原則為盡可能檢測到大部分作物行，同時避免因累加閾值過大導(dǎo)致的過檢測問題。另外，由于Hough變換在提取作物行時每行作物會檢測出多條直線，所以對這些直線進行K-means聚類，K-means聚類的目標函數(shù)采用誤差平方和（Sum of the Squared Error, SSE）[6]，其計算如式（8）所示：

式中為聚類數(shù)量，表示聚類點，C為第類的聚類點集，c為第類聚類點集的聚類中心，dist表示歐幾里得距離求解函數(shù)。本研究將Hough變換檢測的作物行直線斜率作為點集，為聚類的數(shù)量，即作物行數(shù)量，通過K-means聚類將Hough變換檢測的作物行直線聚類成與作物行數(shù)相同的類，再提取每類中的最優(yōu)直線作為Hough變換提取的作物行直線[6]。

為評價作物行提取效果，本研究計算了作物行直線誤差角度（°）和行識別率（%）。行識別率為作物行提取方法識別出的作物行數(shù)量和實際作物行數(shù)量的比值。作物行直線誤差角度采用Jiang等[24]提出的方法，如圖7所示，假設(shè)參考作物行直線1和作物行提取方法得到的作物行直線2分別表示為

注：灰色區(qū)域為一行作物，1為參考作物行直線，2為作物行提取方法得到的作物行直線，1、2分別為1、2的斜率，1、2分別為1、2的截距，為作物行直線誤差角度（°）。

Note: The grey area is a row of crops,1is the reference straight line of a crop row,2is the straight line of a crop row obtained by a crop row extraction method,1and2are the slopes of1and2respectively,1and2are the y-intercepts of1and2respectively, andis the error angle of crop row straight lines (°).

圖7 作物行直線誤差角度定義

Fig.7 Definition of the error angle of crop row straight lines

式中1、2分別為作物行直線1、2的斜率，1、2分別為作物行直線1、2的截距。定義1和2的夾角為作物行直線誤差角度（°）[24]，則有：

平均誤差角度（°）定義為所測試圖像中所有作物行直線誤差的平均值，其計算如式（12）所示：

式中θ為平均誤差角度（°），為作物行數(shù)量，θ為第行作物行對應(yīng)的作物行直線誤差角度（°）。

2 結(jié)果與分析

本研究所用方法、Hough變換和投影-鄰近分類擬合方法[23]對5種作物圖像提取作物行的效果圖如圖8所示，3種方法的作物行提取效果對比如表1所示。

在進行作物行提取時，本研究所用方法對5種場景下共170張圖像中所有可見作物行的平均識別率為98.18%，遠超過Hough變換方法的57.44%和投影-鄰近分類擬合方法的58.62%。大蒜圖像中由于苗期大蒜行距較小、行數(shù)較多，且兩行大蒜苗之間存在相互重疊現(xiàn)象，投影-鄰近分類擬合方法對大蒜圖像底部圖像帶進行垂直投影時峰值不易區(qū)分，故投影獲取作物中心點時誤差較大，不能準確反映作物行分布，行識別率只達到70.00%，平均誤差角度高達3.54°；Hough變換識別的行數(shù)嚴重依賴于累加閾值，且計算時間較長，每張圖片的平均處理時間為2.19 s，行識別率為80%，平均誤差角度為2.63°；本研究方法可以識別大蒜圖像中全部可見作物行，包括兩側(cè)作物密集區(qū)域，行識別率達到100.00%，平均誤差角度為0.65°。

表1 3種作物行檢測方法的對比

對于玉米作物行的提取尤其體現(xiàn)本研究所用方法識別作物行的準確性，在多達11條作物行且透視現(xiàn)象嚴重的苗期玉米圖像中，除最邊緣顏色特征不明顯的作物行外，所有可被二值化的作物行全部被準確識別；相比之下，由于圖像透視導(dǎo)致圖像中大部分作物行較短且沒有貫穿圖像，Hough變換只識別出了中間區(qū)域圖像透視現(xiàn)象較弱作物行，行識別率僅為36.30%，且平均誤差角度高于本研究所用方法；同樣地，投影-鄰近分類擬合方法識別的作物行數(shù)局限于圖像底部垂直投影峰值數(shù)，只能識別出27.20%的苗期玉米作物行。油菜圖像中由于缺苗和油菜苗株間距較大，二值化圖像中作物不連續(xù)，Hough變換提取的作物行與參考作物行相差較大，平均誤差角度達到2.09°；相比之下，本研究所用方法依靠在聚類過程中不斷擴大搜索半徑確保作物被有效聚類，行識別率達到100.00%，平均誤差角度為0.65°，明顯優(yōu)于Hough變換的2.09°和投影-鄰近分類擬合方法的1.75°。低分辨率的苗期水稻圖像中，圖像兩側(cè)存在明顯作物行重疊現(xiàn)象，本研究所用方法通過區(qū)域生長把兩側(cè)連通作物聚為一類擬合出作物行，作物行識別精度高于Hough變換和投影-鄰近分類擬合方法，雖然兩側(cè)的水稻被識別為獨立的作物行，但由于水稻苗生長雜亂重疊，導(dǎo)致擬合的作物行直線與參考作物行直線誤差角度較大，這也導(dǎo)致了水稻圖像中本研究所用方法的作物行提取平均誤差角度較2種對比方法大。對于生長密集的冬小麥，基于Lab顏色空間下a、b雙顏色分量最大熵法的閾值分割能夠準確地對小麥苗進行二值化分割，本研究所用方法也能夠準確地識別出可見作物行，行識別率和平均誤差角度分別為100.00%和1.29°，明顯優(yōu)于2種對比方法。

綜合所測試5種作物的作物行提取結(jié)果，本研究所用方法在行識別率、平均誤差角度和平均處理時間方面均較Hough變換和投影-鄰近分類擬合方法更優(yōu)，平均行識別率達到98.18%，平均誤差角度為1.21°，每張圖片作物行提取的平均處理時間為0.48 s，接近提取步驟較少的投影-鄰近分類擬合方法的0.38 s。本研究所用方法對于不同作物種類、不同作物生長背景和不同作物行數(shù)場景下的作物行提取都有較好的適應(yīng)性。

3 結(jié) 論

本研究針對不同作物種類、不同作物生長背景和不同作物行數(shù)等因素導(dǎo)致的作物行提取精度低的問題，通過最大熵法、區(qū)域生長、均值漂移和最小二乘法，實現(xiàn)了大蒜、玉米、油菜、水稻和小麥5種作物苗期作物行的有效提取，為機器視覺導(dǎo)航提供參考。通過試驗得到以下結(jié)果：

1）采用Lab顏色空間中的a、b雙顏色分量最大熵法分割綠色植物，并通過形態(tài)學(xué)操作對雜草和噪音進行濾波。結(jié)果表明，該方法可避免背景中石塊和薄膜等對作物分割的干擾，實現(xiàn)綠色植物的準確提取。

2）對圖像頂部的二值化圖像帶進行垂直投影獲取作物行區(qū)域，基于所獲取作物行區(qū)域的最小行間距確定聚類窗口帶寬，試驗表明該方法適用于所測試5種作物的作物行提取時聚類窗口帶寬的選擇。

3）基于區(qū)域生長和均值漂移（mean shift）方法對作物進行聚類，均值漂移時以聚類窗口邊緣為種子點進行區(qū)域生長來歸類和標記每一行作物，避免聚類時作物行間干擾，提高了作物行識別率和精度。試驗結(jié)果表明，本研究提出的方法對所測試5種作物的平均行識別率為98.18%，平均誤差角度為1.21°，明顯優(yōu)于Hough變換和投影-鄰近分類擬合方法。

在今后研究中，將提高自適應(yīng)調(diào)整搜索區(qū)域效率，從而進一步提高計算速度，同時將該方法移植到實時嵌入式平臺，可為基于機器視覺的農(nóng)機自動導(dǎo)航提供有效信息。

[1] 張漫，季宇寒，李世超，等. 農(nóng)業(yè)機械導(dǎo)航技術(shù)研究進展[J]. 農(nóng)業(yè)機械學(xué)報，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of The Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18. (in Chinese with English abstract)

[2] Reid J F, Zhang Q, Noguchi N, et al. Agricultural automatic guidance research in North America[J]. Computers and Electronics in Agriculture, 2000, 25(1/2): 155-167.

[3] 韓樹豐，何勇，方慧. 農(nóng)機自動導(dǎo)航及無人駕駛車輛的發(fā)展綜述[J]. 浙江大學(xué)學(xué)報：農(nóng)業(yè)與生命科學(xué)版，2018，44(4)：381-391.

Han Shufeng, He Yong, Fang Hui. Recent development in automatic guidance and autonomous vehicle for agriculture: A review[J]. Journal of Zhejiang University: Agriculture and Life Sciences Edition, 2018, 44(4): 381-391. (in Chinese with English abstract)

[4] Illingworth J, Kittler J. A survey of the Hough transform[J]. Computer Vision, Graphics, and Image Processing, 1988, 44(1): 87-116.

[5] 王珊珊，余山山，張文毅，等. 基于特征點鄰域Hough變換的水稻秧苗行檢測[J]. 農(nóng)業(yè)機械學(xué)報，2020，51(10)：18-25.

Wang Shanshan, Yu Shanshan, Zhang Wenyi, et al. Detection of rice seedling rows based on Hough transform of feature point neighborhood[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(10): 18-25. (in Chinese with English abstract)

[6] 陳子文，李偉，張文強，等. 基于自動Hough變換累加閾值的蔬菜作物行提取方法研究[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(22)：314-322.

Chen Ziwen, Li Wei, Zhang Wenqiang, et al. Vegetable crop row extraction method based on accumulation threshold of Hough transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(22): 314-322. (in Chinese with English abstract)

[7] 姜國權(quán)，楊小亞，王志衡，等. 基于圖像特征點粒子群聚類算法的麥田作物行檢測[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(11)：165-170.

Jiang Guoquan, Yang Xiaoya, Wang Zhiheng, et al. Crop rows detection based on image characteristic point and particle swarm optimization-clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 165-170. (in Chinese with English abstract)

[8] 亢潔，馬振. 基于輪廓查找與線掃描的作物行檢測算法[J]. 科學(xué)技術(shù)與工程，2019，19(20)：273-277.

Kang Jie, Ma Zhen. Detection algorithm of crop row based on contour searching and line scanning[J]. Science Technology and Engineering, 2019, 19(20):273-277. (in Chinese with English abstract)

[9] Ponnambalam V R, Bakken M, Moore R J, et al. Autonomous crop row guidance using adaptive multi-ROI in strawberry fields[J/OL]. Sensors, 2020, 20(18), [2020-9-10], https://www.mdpi.com/1424-8220/20/18/5249.

[10] 孟笑天，徐艷蕾，王新東，等. 基于改進K均值特征點聚類算法的作物行檢測[J]. 農(nóng)機化研究，2020，42(8)：26-30.

Meng Xiaotian, Xu Yanlei, Wang Xindong, et al. Crop line detection based on improved K-means feature point clustering algorithm[J]. Journal of Agricultural Mechanization Research, 2020, 42(8): 26-30. (in Chinese with English abstract)

[11] Zhang X Y, Li X N, Zhang B H, et al. Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method[J]. Computers and Electronics in Agriculture,2018, 154: 165-175.

[12] Vidovi? I, Scitovski R. Center-based clustering for line detection and application to crop rows detection[J]. Computers and Electronics in Agriculture, 2014, 109: 212-220.

[13] Vidovi? I, Cupec R, Hocenski ?. Crop row detection by global energy minimization[J]. Pattern Recognition, 2016, 55: 68-86.

[14] Bah M D, Hafiane A, Canals R. CRowNet: Deep network for crop row detection in UAV images[J]. IEEE Access, 2020, 8: 5189-5200.

[15] Pang Y, Shi Y V, Gao S C, et al. Improved crop row detection with deep neural network for early-season maize stand count in UAV imagery[J/OL]. Computers and Electronics in Agriculture, 2020, 178, [2020-9-10], https://www.sciencedirect.com/science/article/pii/S0168169920311376.

[16] Rabab S, Badenhorst P, Chen Y P, et al. A template-free machine vision-based crop row detection algorithm[J]. Precision Agriculture, 2020, 20(3): 1-30.

[17] Riehle D, Reiser D, Griepentrog H W. Robust index-based semantic plant/background segmentation for RGB-images[J/OL]. Computers and Electronics in Agriculture, 2020, 169, [2020-01-14], https://www.sciencedirect.com/science/article/ pii/S0168169919314346.

[18] Wang A C, Zhang W, Wei X H. A review on weed detection using ground-based machine vision and image processing techniques[J]. Computers and Electronics in Agriculture, 2019, 158: 226-240.

[19] Yang D, Li H, Liu S, et al. In situ capture of spatter signature of SLM process using maximum entropy double threshold image processing method based on genetic algorithm[J/OL]. Optics and Laser Technology, 2020, 131, [2020-06-10], https://www.sciencedirect.com/science/article/pii/S0030399220310045.

[20] Guo Y, ?engür A, Akbulut Y, et al. An effective color image segmentation approach using neutrosophic adaptive mean shift clustering[J]. Measurement, 2018, 119: 28-40.

[21] Vallabhaneni R B, Rajesh V. Brain tumour detection using mean shift clustering and GLCM features with edge adaptive total variation denoising technique[J]. Alexandria Engineering Journal, 2018, 57(4): 2387-2392.

[22] Comaniciu D, Ramesh V, Meer P. The variable bandwidth mean shift and data-driven scale selection[C]//Proceedings Eighth IEEE International Conference on Computer Vision, Vancouver: IEEE, 2001.

[23] 司永勝，姜國權(quán)，劉剛，等. 基于最小二乘法的早期作物行中心線檢測方法[J]. 農(nóng)業(yè)機械學(xué)報，2010，41(7)：163-167.

Si Yongsheng, Jiang Guoquan, Liu Gang, et al. Early stage crop rows detection based on least square method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(7): 163-167. (in Chinese with English abstract)

[24] Jiang G Q, Wang Z H, Liu H M. Automatic detection of crop rows based on multi-ROIs[J]. Expert Systems with Applications, 2015, 42(5): 2429-2441.

Seedling crop row extraction method based on regional growth and mean shift clustering

Wang Aichen1,2, Zhang Min1,2, Liu Qingshan1,2, Wang Lili3, Wei Xinhua1,2※

(1212013;2212013,; 3.100083,)

Automatic navigation can be used to significantly improve the operation accuracy and efficiency of agricultural machinery. Particularly, machine vision-based automatic navigation can greatly contribute to crop row detection. In this study, a novel crop row extraction was proposed using regional growth and mean-shift clustering, especially for higher accuracy of crop row extraction under different crop types, the number of crop rows, and growing backgrounds. Firstly, the a and b components of an image were obtained in the Lab color space, and then the maximum entropy values of a and b components were calculated for the optimal segmentation threshold, after which the image was segmented by the threshold for the binarization image. Secondly, the vertical projection operation was performed on the top strip of the binary image, where the mean value of the vertical projection curve was calculated to distinguish crop and non-crop areas. The minimum distance between crop areas was selected as the bandwidth of the crop clustering window. The top center pixel of the whole image was selected as the initial center point of the clustering window. The clustering center point moved from the center to both sides of the top of the image with the iteration of crop row clustering, where the shift vector was calculated in the clustering window. The clustering center point moved along the shift vector in single row clustering, where the edge of the clustering window was used as the seed point for regional growth. As such, all crop rows were obtained by the movement of clustering window and regional growth, while, the clustering center points of each crop row were grouped into a cluster. Lastly, least-squares fitting was performed on these clustering center points to obtain crop row lines. A total of 170 seedling images of five crop varieties were obtained to verify the feasibility of the method, including garlic, corn, oilseed rape, rice, and wheat. Hough transform and projection-proximity classification were also used to extract crop rows for comparison. Experimental results showed that more satisfactory performance of segmentation was achieved for the images with less significant color difference between crops and growing background using the maximum entropy of a and b components in the Lab color space, compared with the conventional segmentation using an excess green index. Furthermore, the crop row extraction for tested five crops performed better than that of Hough transform and projection-proximity classification fitting, in terms of row recognition rate, mean error angle, and mean processing time. The mean row recognition rate for the 170 tested images was 98.18%, the mean error angle of extracted straight lines of all crop rows was 1.21°, and the mean processing time for each image was 0.48 s. This finding can provide a more robust for crop row extraction under the influence of multi factors in the field using machine vision, particularly on real-time embedded platforms in practical applications.

algorithm; image processing; machine vision; regional growth; mean shift; least square method

王愛臣，張敏，劉青山，等. 基于區(qū)域生長均值漂移聚類的苗期作物行提取方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(19)：202-210.doi：10.11975/j.issn.1002-6819.2021.19.023 http://www.tcsae.org

Wang Aichen, Zhang Min, Liu Qingshan, et al. Seedling crop row extraction method based on regional growth and mean shift clustering[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 202-210. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.023 http://www.tcsae.org

2020-11-02

2021-08-24

國家自然科學(xué)基金（32001417）；國家重點研發(fā)計劃（2019YFB131230201）；江蘇省現(xiàn)代農(nóng)機裝備與技術(shù)示范推廣項目（NJ2021-64）；鎮(zhèn)江市重點研發(fā)計劃（NY2020006）

王愛臣，博士，副研究員，研究方向為農(nóng)業(yè)信息智能感知與應(yīng)用。Email：acwang@ujs.edu.cn

魏新華，博士，研究員，研究方向為農(nóng)業(yè)智能裝備與控制。Email：wei_xh@126.com

10.11975/j.issn.1002-6819.2021.19.023

S24; TP751

A

1002-6819(2021)-19-0202-09