作物種植行自動檢測研究現(xiàn)狀與趨勢

陳鵬飛，馬嘯,2

作物種植行自動檢測研究現(xiàn)狀與趨勢

1中國科學院地理科學與資源研究所/資源與環(huán)境信息系統(tǒng)國家重點實驗室，北京 100101；2中國科學院大學，北京 100049

大田作物一般成行種植，以提高種植效率和方便田間管理。因此，作物種植行自動檢測對于智能農(nóng)機攜帶傳感器拍攝影像實現(xiàn)自主導航、精準打藥，乃至基于無人機搭載傳感器拍攝高分辨率影像生成田間的精準管理作業(yè)單元都具有重要意義，是智慧農(nóng)業(yè)管理的重要組成部分。本研究首先系統(tǒng)歸納總結(jié)了已有作物種植行自動檢測方法，分析了Hough變換法、最小二乘法、綠色像元累積法、Blob分析法、濾波法、消隱點法等作物種植行提取方法的基本原理、發(fā)展現(xiàn)狀與優(yōu)、缺點；其次，針對已有研究，提出目前還存在的、需要探討的科學技術問題，比如不同空間和光譜分辨率影像如何影響作物種植行提取的精度；怎樣基于無人機識別不同空間分布特征的作物種植行并進行長勢空間精準制圖；如何構建標準化的作物種植行識別技術流程等；最后，針對種植行提取技術現(xiàn)狀與存在的問題，提出未來的若干研究方向，包括能適應高雜草壓力等復雜環(huán)境的作物種植行精準識別技術，以提高智能農(nóng)機自主導航精度；能基于種植行識別結(jié)果進行作物長勢精準制圖，從而支撐田間精準分區(qū)的方法；耦合無人機遙感精準作物長勢監(jiān)測與智能農(nóng)機作業(yè)的田間精準管理技術等。本文可為影像中作物種植行自動提取及其相關應用研究提供參考。

種植行；作物；自動檢測；現(xiàn)狀；趨勢

0 引言

農(nóng)業(yè)生產(chǎn)與人類生存息息相關，它是同時受自然條件與社會經(jīng)濟條件雙重制約的脆弱性產(chǎn)業(yè)，農(nóng)田管理中涉及農(nóng)業(yè)生產(chǎn)的每一個環(huán)節(jié)的決策都需要多門類、全方位的信息支撐[1]。智慧農(nóng)業(yè)是實現(xiàn)農(nóng)業(yè)信息感知、定量決策、智能控制、精準投入的全新的農(nóng)業(yè)生產(chǎn)方式[2]，它能最大程度地降低農(nóng)業(yè)生產(chǎn)的不確定性，降低經(jīng)營風險。對大田農(nóng)業(yè)來說，智慧農(nóng)業(yè)要求對田間作物長勢進行定量、定位表征，從而達到后期定位、定量管理的目的。以遙感技術、地理信息技術、全球定位技術為支撐的“3S”技術在田間作物信息定位、定量表征方面發(fā)揮著巨大作用[3]。大田作物一般成行種植，以增加光暴露、提供換氣通道，方便進行除草與施肥作業(yè)[4]。這使得基于高分辨率遙感影像（如無人機影像）生成作物氮素營養(yǎng)狀況、病蟲害災情、農(nóng)田旱情等的空間填圖時必須考慮作物成行分布的特征。與此同時，準確提取種植行信息，對基于高分辨率影像識別田間雜草位置并生成雜草地圖，支撐后期精準打藥[5-7]；監(jiān)測作物苗情，及時識別作物漏種、缺株情況并生成補種方案等具有重要意義[8-9]。此外，作為智慧農(nóng)業(yè)的重要組成部分，農(nóng)業(yè)機器人視覺導航技術越來越受到關注，而識別作物種植行是進行視覺導航的基礎[10]。綜上所述，準確提取作物種植行對于智慧農(nóng)業(yè)管理具有重要意義。

本文系統(tǒng)總結(jié)了國內(nèi)外已有可用于作物種植行識別的方法，并針對其優(yōu)缺點進行分析，為作物種植行的提取研究提供參考。

1 國內(nèi)、外作物種植行自動提取技術研究現(xiàn)狀

目前，關于作物種植行的識別，主要的提取方法有Hough變換法、最小二乘法、綠色像元累加法、Blob分析法、濾波法和消隱點法。這6種方法都需要對獲得的影像進行分類以區(qū)分植被像元和土壤像元。對影像進行分類主要包括基于像元的方法和基于對象的方法。在已有作物種植行提取研究中，多應用基于像元的分類方法，通過過綠指數(shù)等光譜指數(shù)來增強植被信息，劃定闕值進而實現(xiàn)植被的提取[10-12]。這種方法計算效率高，容易實現(xiàn)，但也容易出現(xiàn)所謂的“撒胡椒面”的現(xiàn)象?；趯ο蟮姆诸惙椒艹浞掷脠D像的光譜信息和紋理信息，在高分辨率影像分類中具有很好的效果[13-15]，但其計算量往往比較大。關于遙感影像分類研究已有很好的綜述[16-18]，在這里不再累述。本綜述僅針對經(jīng)過圖像分類生成植被、土壤二值圖后進一步提取作物種植行的方法。所有方法的基本原理、優(yōu)缺點、適用范圍等如表1所示，詳細描述如下。

1.1 Hough變換法

Hough變換由Hough在1962年提出，用來檢測圖像中直線、圓、拋物線、橢圓等能夠用一定函數(shù)關系描述的線[19]。其基本原理是通過將圖像空間的點變換為參數(shù)空間中的線，并將參數(shù)空間劃分為均勻格網(wǎng)，統(tǒng)計參數(shù)空間中過每一格網(wǎng)的線數(shù)作為該格網(wǎng)的值，最終以參數(shù)空間格網(wǎng)值的峰值點按一定映射關系在圖像空間中形成相應的種植行信息[20]。利用該方法，學者們基于農(nóng)機攜帶傳感器拍攝的RGB（Green, Red, Blue）影像或多光譜影像開展了大量研究，獲得許多成功案例。Bakker等[21]利用該方法進行甜菜的種植行識別，識別的距離偏差在6—223mm之間；何潔等[22]通過該方法進行玉米種植行的檢測，其處理結(jié)果顯示角度誤差最高為0.2505°；Astrand等[23]對甜菜3個生育期影像的種植行進行識別，最終檢測結(jié)果的距離偏差為0.6—1.2 cm。除農(nóng)機方面的相關研究，Hough變換法在無人機影像作物種植行提取中也有大量應用?；跓o人機獲取的RGB影像，Oliveira等[24]應用形態(tài)學剪切和Hough變換法成功提取了咖啡的種植行信息，進而對咖啡種植園缺株區(qū)域進行了準確識別；Pérez-Ortiz等[5]利用無人機獲取多光譜影像，然后基于Hough變化法提取向日葵種植行位置信息，并設計算法對田間雜草進行了成功提?。换跓o人機獲取的RGB影像，蘇偉等[25]應用Hough變換法成功提取了育種玉米壟數(shù)，提取精度在90%以上。另外，由于無人機影像有很高的重疊率，能夠獲取田間地物的3D點云信息，為從植被像元中剔除雜草，提高作物種植行識別精度提供了支撐。目前，少數(shù)研究者也結(jié)合Hough變化法在此方面開展了相關研究?；跓o人機獲取的RGB影像，Weiss和Baret利用裸露土壤、雜草和葡萄冠層在高度上的差異，很好提取了葡萄冠層像元，然后利用Hough變化法對葡萄種植行進行了提取[26]。

表1 不同作物種植行提取方法的基本原理、優(yōu)缺點及適用范圍

Hough變換的優(yōu)點是能同時開展圖像中多條種植行的提取，但也存在對雜草敏感、計算量大以及存在峰值檢測困難等問題[25]。

1.2 最小二乘法

最小二乘法的基本原理是利用了最小二乘法的思路，首先從圖像中獲取一定數(shù)量代表性的種植行特征點，然后對特征點進行聚類以代表不同的種植行，最后對特定種植行內(nèi)的特征點做最小二乘擬合獲得種植行位置。其中，特征點的提取通常通過邊緣檢測的方法實現(xiàn)，即識別種植行左、右邊緣位置，然后以左、右邊緣位置之間的中心點為特征點。根據(jù)邊緣檢測方法的不同可分為水平條分割與垂直投影相結(jié)合的方法和移動窗口法2種。水平條分割與垂直投影相結(jié)合的方法，首先需要在垂直于種植行的方向?qū)D像劃分為一系列寬度相等的水平條；然后，將每個水平條在與種植行相平行的方向進行垂直投影，即計算該方向上每列的像素值之和，并生成對應的灰度曲線；最后設定闕值提取左、右邊緣點，并判定其連線的中點即種植行特征點[27]。移動窗口法是通過設定一個移動窗口自上向下，從左到右逐像素掃描整個二值圖，若發(fā)現(xiàn)窗口內(nèi)像素發(fā)生0到1的變化（假定0為土壤像元，1為植被像元），則此時將窗口中心點視為種植行的左邊緣點，當窗口內(nèi)像素發(fā)生1到0的變換時，則將窗口中心點視為右邊緣點，然后將左、右邊緣點連線的中點作為種植行的特征點[11]。基于最小二乘法擬合種植行直線的過程中，單次擬合僅能擬合一條種植行直線，而圖中往往同時存在多條種植行，因此需要對特征點進行聚類，使每一類特征點對應一條種植行。聚類的方法有很多，包括歐氏距離、K均值聚類、基于粒子群算法的聚類等。

與Hough方法相同，最小二乘法也被廣泛應用于基于農(nóng)機攜帶傳感器拍攝影像中作物種植行位置的提取。姜國權等[10]通過移動窗口獲取種植行特征點，并利用粒子群算法尋找特征點的最優(yōu)聚類，最終采用最小二乘法擬合獲得的種植行的平均角度誤差為0.9365°。孟笑天等[28]則通過水平條與垂直投影相結(jié)合的方法獲取玉米種植行的特征點，并使用K均值進行聚類，最終獲得種植行的平均角度誤差為1.1411°，且識別率為91%。Zhang等[29]首先通過水平條與垂直投影相結(jié)合的方法來確定種植行特征點，然后依據(jù)規(guī)定的長度與角度生成以起始點為圓心的扇形緩沖區(qū)，搜索緩沖區(qū)范圍內(nèi)下一個特征點，不斷循環(huán)以實現(xiàn)同一種植行內(nèi)特征點的聚類，其識別的作物種植行位置較真實作物種植行位置的平均偏移角度僅有0.3903°。從算法的基本原理看，最小二乘法同樣適用于無人機影像中作物種植行的提取，但目前在該方向上的應用還鮮有報道。

基于最小二乘法提取作物種植行具有算法簡單、計算速度快等優(yōu)勢，但其同樣容易受圖像中雜草像元的干擾，在高雜草壓力下提取種植行的效果不佳，往往需要借助于先驗知識來提高識別精度[30]。

1.3 綠色像元累積法

綠色像元累積法的基本原理是假定沿作物行方向上會有最大的植被綠色像元累積，據(jù)此可對作物種植行進行提取。該算法在基于農(nóng)機攜帶傳感器拍攝影像中作物種植行位置提取有廣泛的應用?；跀?shù)碼相機田間拍攝獲取的RGB影像，亢潔等[31]首先通過水平條分割與垂直投影的方法獲取圖像最底端一個水平條內(nèi)種植行定位點，再在圖像頂端依據(jù)一定步長依次選擇頂部點，并與下方種植行定位點構造候選種植行直線，分別統(tǒng)計每個候選種植行直線所過植被像素數(shù)，所過像素數(shù)滿足約束條件的候選作物種植行直線即所求的目標種植行直線，研究結(jié)果顯示該算法在檢測正常、有雜草和有缺株3種情況時的檢測率分別為90.0%、85.7%和90.2%；除作物行呈直線的情況，該方法同樣適合于作物種植行呈非直線的情況，García- Santillán等[32]基于農(nóng)機攜帶傳感器對田間玉米種植行進行提取，其結(jié)果表明基于綠色像元累積法，對于呈直線與曲線分布的玉米種植行提取精度分別為0.981和0.863。目前，綠色像元累積法在無人機影像中作物種植行提取方面也有相關應用研究?；跓o人機獲取的RGB影像，López-Granados等[33]基于綠色像元累積法成功提取了向日葵的種植行，并進一步對田間雜草進行了識別；Hassanein等[34]基于無人機獲取的RGB影像，在進行圖像色彩空間轉(zhuǎn)換的基礎上，利用綠色像元累積法對油菜種植行進行提取；分別基于無人機獲取RGB影像和多光譜影像，Pe?a等[35]利用綠色像元累積法成功提取了向日葵田的種植行數(shù)，正確率達到100%。

總體來說，綠色像元積累的方法具有算法簡單、計算效率高的優(yōu)勢，且其可同時應用于無人機影像和田間拍攝影像中的種植行檢測，但在雜草密度較大的情況下，其容易出現(xiàn)檢測誤差。

1.4 Blob分析法

Blob分析法是指在圖像中尋找同值的連通區(qū)域，并確定其大小、形狀、面積的分析方式[36]。其應用于作物種植行識別的基本原理是假設二值圖中一個植被的連通區(qū)域即代表一個作物行，因此可以通過Blob分析確定每一個作物行連通區(qū)域的重心與長軸，從而生成田間作物種植行直線。目前，Blob分析法在作物種植行提取方面的應用并不多。其中，基于田間拍攝影像的種植行提取中，僅見Fontaine和Crowe的相關研究。利用田間拍攝獲取的小麥紅波段和近紅外波段影像，F(xiàn)ontaine和Crowe根據(jù)圖像的大小，以2 500個像元為闕值，分析大于2 500個像素的植被斑塊，并以斑塊長度和面積的乘積為參數(shù)，選擇具有最大值的斑塊，然后分析斑塊的重心和長軸，以確定種植行的位置[37]。結(jié)果表明，Blob方法在進行作物行檢測時，對田間存在不連續(xù)的、稀疏雜草干擾有一定耐受性，但當雜草連片，尤其是將相鄰作物連通構成一個植被斑塊時，會出現(xiàn)較大的誤差。在無人機影像中，Blob分析法已用于玉米、向日葵、棉花等作物的種植行提取。基于無人機獲取的多光譜影像，de Castro[7]利用Blob分析法成功提取了向日葵和棉花的種植行位置，并進一步對田間雜草進行識別；Pe?a等[38]基于無人機獲取的多光譜影像，采用Blob分析法提取玉米的種植行信息，同樣對田間雜草進行了識別。

Blob分析在種植行提取中應用的優(yōu)點是能耐受一定的雜草壓力，但因該方法以圖中連通區(qū)域的幾何特征為基礎進行種植行檢測，在高雜草壓力下，誤差會顯著加大[37]。另外，其只適合種植行呈直線分布時的提取，不適合種植行彎曲的情景。

1.5 濾波分析法

濾波分析法的基本原理是假定作物種植行呈特定的特征和圖案，這些特征和圖案可以用頻度函數(shù)描述，因此可以基于濾波函數(shù)來確定種植行的位置[39]。利用該方法，學者們基于農(nóng)機攜帶傳感器拍攝的RGB影像或多光譜影像開展了許多研究，獲得不少成功案例。根據(jù)相機的位置和作物的行間距，Hague和Tillett通過設定濾波器進行小麥種植行的方向和位置信息的獲取，其基于視頻相機拍攝影像提取的種植行的位置誤差為2.9 mm[40]；基于數(shù)碼相機在田間從小麥冠層上方拍攝的RGB圖像，Bossu等[41]基于小波變換分析經(jīng)預處理后的土壤、植被二值影像，成功提取了小麥種植行位置，并基于種植行位置，實現(xiàn)對田間雜草的準確監(jiān)測；基于農(nóng)機攜帶數(shù)碼相機拍攝的RGB影像，Jiang等[42]認為作物（玉米、小麥和大豆）種植行都是等間隔的，通過在圖像中布置掃描線，并在每條掃描線上利用窗口和假定的行間距來獲取感興趣區(qū)，窗口位置和行間距設定在一定范圍內(nèi)變化，基于窗口像元值設定代價函數(shù)來求最佳窗口位置和行間距，基于此方法其提取作物種植行的檢測率在88%—94%之間；除此之外，基于濾波分析法，有少數(shù)學者利用立體影像開展了相關種植行提取研究。利用農(nóng)機攜帶立體相機拍攝的影像，Kise和Zhang首先提取田間數(shù)字高程信息，然后基于植被與土壤的高度差提取植被像元，接著基于濾波分析法設計種植行重構函數(shù)，利用植被像元信息尋找函數(shù)最優(yōu)解來識別大豆的種植行[43]。另外，濾波分析法在無人機影像中作物種植行的提取方面也有相關應用。利用無人機攜帶數(shù)碼相機拍攝的RGB影像，Vioix等[44]利用二維Gabor濾波器來提取影像中玉米的種植行信息，取得了較高的精度；基于濾波分析法，de Souza等[45]成功提取了無人機多光譜影像中甘蔗的種植行信息，并進一步實現(xiàn)了長勢不好甘蔗植株的提取。

濾波分析法的優(yōu)點是不易受雜草的干擾[37]，但其在提取種植行時必須要求作物種植行按一定規(guī)律出現(xiàn)，當不存在這種規(guī)律時會產(chǎn)生誤差。

1.6 消隱點法

消隱點法的基本原理是搭載在農(nóng)機上的相機往往呈一定的角度傾斜來對作物冠層進行拍攝，使得圖像上近處的種植行顯得間隔比較大，而遠處的顯得間隔比較小，如果把圖像中作物種植行進行延長，它們會交于一點（即消隱點），根據(jù)這一特征可進行作物種植行的提取。基于農(nóng)機拍攝的影像，Pla等[46]首先采用色彩分割來區(qū)分植被和土壤，然后提取植被區(qū)域的骨架信息來獲得若干候選作物行直線，再通過算法確定消隱點位置，最終選擇那些能夠聚交到消隱點的直線作為作物種植行直線；Romeo等[47]基于農(nóng)機拍攝RGB影像，利用消隱點法成功提取了玉米種植行信息，他們基于不同分辨率的圖像檢測出玉米種植行的成功率在97.1%—97.5%；王曉杰[48]通過耦合Hough變化法和消隱點法來進行小麥種植行的提取，其首先利用Hough變化來提取候選種植行，然后針對Hough變化存在峰值監(jiān)測困難的問題，利用消隱點法來去除偽種植行信息。

與Hough變換法相比，消隱點法具有計算速度快，對雜草有一定耐受性的優(yōu)勢。但消隱點法不適合作物行非直線的情形，且其依賴于對種植行骨架的提取，在高雜草壓力下，精度會受顯著影響[49]。另外，從消隱點法的基本原理看，由于無人機影像中種植行不存在“消隱點”，所以該方法無法在無人機影像中應用。

2 存在的科學技術問題及發(fā)展方向

2.1 存在的科學技術問題

2.1.1 不同分辨率影像對作物種植行提取的影響 影像分辨率包括光譜分辨率和幾何分辨率。不同影像分辨率下，作物種植行提取精度不同[48]。目前，在作物種植行提取方面，關于影像分辨率對提取效果的影響還鮮有報道。在光譜分辨率方面，已有研究大多基于RGB影像來開展工作，而近紅外波段對植被信息更加敏感，在區(qū)分植被和土壤時會有更好的效果。針對雜草、土壤、作物像元的區(qū)分，合理改變影像波段設置，探討哪些波段更有利于三者區(qū)分，并基于它們構建傳感器進行圖像獲取，將有利于種植行提取精度的提高。在空間分辨率方面，已有研究在選擇影像分辨率時（無論是車載影像還是無人機影像），并未給出選擇依據(jù)。影像空間分辨率一方面決定了提取作物種植行的精度，另一方面也決定了數(shù)據(jù)處理的時間。不同作物植株大小不同，準確區(qū)分它們所需影像分辨率不同，需要從提取精度、數(shù)據(jù)處理效率中尋找平衡點，提出不同種植行提取方法下識別特定作物種植行所需最優(yōu)幾何分辨率。

2.1.2 作物行識別條件下作物長勢空間制圖 基于高分影像來生成作物養(yǎng)分、水分等田間精準管理單元，實現(xiàn)分區(qū)優(yōu)化管理對節(jié)約農(nóng)業(yè)生產(chǎn)成本、保護環(huán)境具有重要意義。近些年，無人機技術得到快速發(fā)展，它具有機動、靈活的特點，搭載低成本傳感器可獲取高時間、空間分辨率的影像[50]，尤其適合田塊尺度的觀測。低空無人機影像具有超高空間分辨率，使得基于其進行作物養(yǎng)分、水分等田間管理分區(qū)，必須要考慮作物成行分布的特點。不同作物種植行分布特征不同，同種作物不同播種條帶連接處由于農(nóng)機手的主觀操作誤差，以及不同條帶間相距較遠的種植行由于地勢原因?qū)е缕涮卣鞑⒉豢偸潜３植蛔?，這就需要尋找合理的策略來根據(jù)識別的種植行生成作物長勢空間分布圖，以支撐后期精準管理。

2.1.3 作物種植行識別技術流程的標準化問題 要實現(xiàn)技術普及應用，需要有規(guī)范化的規(guī)程來約束數(shù)據(jù)獲取、處理等各個環(huán)節(jié)。對于作物種植行提取來說，需要明確針對不同作物種植行提取，應該如何選擇傳感器類型、數(shù)據(jù)獲取時間、數(shù)據(jù)預處理方法、種植行提取方法等，以達到應用需求。目前，在作物種植行識別領域還缺乏相關技術規(guī)程。

2.2 展望

2.2.1 面向智能農(nóng)機自主行走的精準導航技術 在實際生產(chǎn)中，基于智能農(nóng)機搭載傳感器拍攝影像識別種植行，指引農(nóng)機自主行走需要面對復雜的農(nóng)田環(huán)境，比如不同的雜草壓力、作物種植行可能是直線也可能彎曲、作物種植行分布可能不具有明顯特征等。這些因素都將影響種植行識別精度。特別情況下，可能影像拍攝的角度不同也會對這些因素影響種植行識別精度的程度產(chǎn)生影響。因此，需要結(jié)合各種種植行識別方法，開展基于車載影像識別種植行的最佳觀測角度研究。另外，近年來激光雷達技術發(fā)展迅速，基于車載或無人機機載激光雷達開展作物種植行識別也將是未來研究方向之一。

2.2.2 面向精準田間管理需求的分區(qū)技術 精準田間管理需要將具有異質(zhì)性特征的作業(yè)區(qū)劃分為若干同質(zhì)性單元，以在不同單元根據(jù)作物需求精準施策。分區(qū)的準確性決定了田間精準管理的效果。需要研究作物種植行識別條件下作物長勢空間制圖技術，以及耦合作物長勢空間分布圖與空間異質(zhì)性分析方法的高精度分區(qū)技術。

2.2.3 面向智慧農(nóng)業(yè)的精準田間管理技術 智慧農(nóng)業(yè)管理往往需要“天地空”一體化的技術體系支撐，有機耦合無人機與智能農(nóng)機具有重要意義。在精準施肥、施藥及漏播補播時，可先基于無人機遙感技術識別作物種植行，并定位行間不同位置作物長勢的差異，然后智能農(nóng)機在基于車載影像精準導航技術的支撐下，到達作業(yè)區(qū)域，并對作物進行精準作業(yè)。因此，耦合無人機觀測和智能農(nóng)機高效作業(yè)的技術體系也將是未來重要的研究方向。

[1] 陳鵬飛. 無人機在農(nóng)業(yè)中的應用現(xiàn)狀與展望. 浙江大學學報(農(nóng)業(yè)與生命科學版), 2018, 44(4): 399-406.

ChenP f. Applications and trends of unmanned aerial vehicle in agriculture. Journal of Zhejiang University (Agriculture and Life Sciences), 2018, 44(4): 399-406. (in Chinese)

[2] 趙春江. 智慧農(nóng)業(yè)發(fā)展現(xiàn)狀及戰(zhàn)略目標研究. 智慧農(nóng)業(yè), 2019, 1(1): 1-7.

Zhao C j. State-of-art and recommended developmental strategic objective of smart agriculture. Smart agriculture, 2019, 1(1): 1-7. (in Chinese)

[3] 鄺繼雙, 汪懋華. 3S技術在農(nóng)田基礎地圖測繪與更新中的集成應用. 農(nóng)業(yè)工程學報, 2003, 19(3): 220-223.

Kuang J s,Wang M h. Application of GIS, GPS and RS for field surveying, mapping and data updating. Transactions of the Chinese Society of Agricultural Engineering, 2003, 19(3): 220-223. (in Chinese)

[4] INTRIERI C, PONI S, REBUCCI B. Row orientation effects on whole-canopy gas exchange of potted and field-grown grapevines. Vitis, 1998, 37(4): 147-154.

[5] PéREZ-ORTIZ M, PE?A J M, GUTIéRREZ P A, TORRES- SáNCHEZ J, HERVáS-MARTíNEZ C, LóPEZ-GRANADOS F. A semi-supervised system for weed mapping in sunflower crops using unmanned aerial vehicles and a crop row detection method. Applied Soft Computing, 2015, 37: 533-544.

[6] TORRES-SáNCHEZ J, LóPEZ-GRANADOS F, PE?A-BARRAGáN J M. An automatic object-based method for optimal thresholding in UAV images: Application for vegetation detection in herbaceous crops. Computers and Electronics in Agriculture, 2015, 114: 43-52.

[7] DE CASTRO A I, TORRES-SáNCHEZ J, PE?A J M, JIMéNEZ- BRENES F M, CSILLIK O, LóPEZ-GRANADOS F. An automatic random forest-OBIA algorithm for early weed mapping between and within crop rows using UAV Imagery. Remote Sensing, 2018, 10(2): 285.

[8] DE SOUZA C H W, LAMPARELLI R A C, ROCHA J V, MAGALH ?ES P S G. Mapping skips in sugarcane fields using object-based analysis of unmanned aerial vehicle (UAV) images. Computers and Electronics in Agriculture, 2017, 143: 49-56.

[9] OLIVEIRA H C, GUIZILINI V C, NUNES I P, SOUZA J R. Failure detection in row crops from UAV images using morphological operators. IEEE Geoscience and Remote Sensing Letters, 2018, 15(7): 1-5.

[10] 姜國權, 楊小亞, 王志衡, 劉紅敏. 基于圖像特征點粒子群聚類算法的麥田作物行檢測. 農(nóng)業(yè)工程學報, 2017, 33(11): 165-170.

JIANG G Q, YANG X Y, WANG Z H, LIU H M. Crop rows detection based on image characteristic point and particle swarm optimization- clustering algorithm. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(11): 165-170. (in Chinese)

[11] 姜國權, 柯杏, 杜尚豐, 張漫, 陳嬌. 基于機器視覺的農(nóng)田作物行檢測. 光學學報, 2009, 29(4): 1015-1020.

JIANG G Q, KE X, DU S F, ZHANG M, CHEN J. Crop row detection based on machine vision. Acta Optica Sinica, 2009, 29(4): 1015-1020. (in Chinese)

[12] VIDOVI? I, CUPEC R, HOCENSKI ?. Crop row detection by global energy minimization. Pattern Recognition, 2016, 55: 68-86.

[13] 譚衢霖, JOHANSEN S. 基于像元和對象分類的城區(qū)植被高分辨率遙感制圖比較研究. 應用基礎與工程科學學報, 2011, 19(3): 441-448.

TAN Q L, JOHANSEN S. Evaluation of urban vegetation mapping using high spatial resolution image: pixel versus object classification comparison. Journal of Basic Science and Engineering, 2011, 19(3): 441-448. (in Chinese)

[14] 欽偉瑾. 基于對象的城市遙感影像分類方法及應用研究——以西安市閻良區(qū)為例[D]. 西安:長安大學, 2009.

Qing W J. The object-oriented classification of urban remote sensing images and the application research: Take Xi’an Yanliang district for example[D]. Xi’an: Chang An University, 2009. (in Chinese)

[15] MENEGUZZO D M, LIKNES G C, NELSON M D. Mapping trees outside forests using high-resolution aerial imagery: A comparison of pixel- and object-based classification approaches. Environmental Monitoring and Assessment, 2013, 185: 6261-6275.

[16] 李石華, 王金亮, 畢艷, 陳姚, 朱妙園, 楊帥, 朱佳. 遙感圖像分類方法研究綜述. 國土資源遙感, 2005, 64(2): 1-6.

Li S H, WANG J L, BI Y, CHEN Y, ZHU M Y, YANG S, ZHU J. A review of methods for classification of remote sensing images. Remote Sensing for Land and Resources, 2005, 64(2): 1-6. (in Chinese)

[17] IMANI M, GHASSEMIAN H. An overview on spectral and spatial information fusion for hyperspectral image classification: Current trends and challenges. Information Fusion, 2020, 59(2): 59-83.

[18] 龔健雅, 鐘燕飛. 光學遙感影像智能化處理研究進展.遙感學報, 2016, 20(5): 733-747.

GONG J Y, ZHONG Y F. Survey of intelligent optical remote sensing image processing. Journal of Remote Sensing, 2016, 20(5): 733-747. (in Chinese)

[19] HOUGH P V C. Method and means for recognizing complex patterns. US Patent 3069654. 1962-12-18.

[20] 張志斌, 羅錫文, 周學成, 臧英. 基于Hough變換和Fisher準則的壟線識別算法. 中國圖象圖形學報, 2007, 12(12): 2164-2168.

ZHANG Z B, LUO X W, ZHOU X C, ZANG Y. Crop rows detection based on hough transform and fisher discriminat criterion function. Journal of Image and Graphics, 2007, 12(12): 2164-2168. (in Chinese)

[21] BAKKER T, WOUTERS H, ASSELT K, BONTSEMA J, TANG L, MULLER J, STRATEN G. A vision based row detection system for sugar beet. Computers and Electronics in Agriculture, 2007, 60: 87-95.

[22] 何潔, 孟慶寬, 張漫, 仇瑞承, 項明, 杜尚豐. 基于邊緣檢測與掃描濾波的農(nóng)機導航基準線提取方法. 農(nóng)業(yè)機械學報, 2014, 45(S1): 265-270.

HE J, MEN Q K, ZHANG M, QIU R C, XIANG M, DU S F. Crop baseline extraction method for off-road vehicle based on boundary detection and scan-filter. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(S1): 265-270. (in Chinese)

[23] ASTRAND B, BAERVELDT A J. A vision based row-following system for agricultural field machinery. Mechatronics, 2005, 15(2): 251-269.

[24] OLIVERIRA H C, GUIZILINI V C, NUNES I P, SOUZA J R. Failure detection in row crops from UAV images using morphological operators. IEEE Geoscience and Remote Sensing Letters, 2018, 15(7): 991-995.

[25] 蘇偉, 蔣坤萍, 閆安,劉哲, 張明政, 王偉. 基于無人機遙感影像的育種玉米壟數(shù)統(tǒng)計監(jiān)測. 農(nóng)業(yè)工程學報, 2018, 34(10): 92-98.

SU W, JIANG K P, YAN A, LIU Z, ZHANG M Z, WANG W. Monitoring of planted lines for breeding corn using UAV remote sensing image. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(10): 92-98. (in Chinese)

[26] WEISS M, BARET F. Using 3D point clouds derived from UAV RGB imagery to describe vineyard 3D macro-structure. Remote Sensing, 2017, 9(2): 111.

[27] 姜國權, 柯杏, 杜尚豐, 陳嬌. 基于機器視覺和隨機方法的作物行提取算法. 農(nóng)業(yè)機械學報, 2008, 39(11): 85-88, 93.

JIANG G Q, KE X, DU S F, CHEN J. Detection algorithm of crop rows based on machine vision and randomize method. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(11): 85-88, 93. (in Chinese)

[28] 孟笑天, 徐艷蕾, 王新東, 何潤, 翟鈺婷. 基于改進K均值特征點聚類算法的作物行檢測. 農(nóng)機化研究, 2020, 42(8): 26-30.

MENG X T, XU Y L, WANG X D, HE R, ZHAI Y T. Crop line detection based on improved K-means feature point clustering algorithm. Journal of Agricultural Mechanization Research, 2020, 42(8): 26-30. (in Chinese)

[29] ZHANG X, LI X, ZHANG B, ZHOU J, TIAN G, XIONG Y, GU B. Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method. Computers and Electronics in Agriculture, 2018, 154: 165-175.

[30] WINTERHALTER W, VERONIKA F, DORNHEGE C, BURGARD W. Crop row detection on tiny plants with the pattern Hough transform. IEEE Robotics and Automation Letters, 2018, 3(4): 3394-3401.

[31] 亢潔, 馬振. 基于輪廓查找與線掃描的作物行檢測算法. 科學技術與工程, 2019, 19(20): 273-277.

KANG J, MA Z. Detection algorithm of crop row based on contour searching and line scanning. Science Technology and Engineering, 2019, 19(20): 273-277. (in Chinese)

[32] GARC?A-SANTILLáN I, GUERRERO J M, MONTALVO M, PAJARES G. Curved and straight crop row detection by accumulation of green pixels from images in maize fields. Precision Agriculture, 2017, 19: 18-41.

[33] LóPEZ-GRANADOS F, TORRES-SáNCHEZ J, SERRANO-PéREZ A, DE CASTRO A I, MESAS-CARRASCOSA F J, PE?A J M. Early season weed mapping in sunflower using UAV technology: Variability of herbicide treatment maps against weed thresholds. Precision Agriculture, 2016. 17: 183-199.

[34] HASSANEIN M, KHEDR M, EL-SHEIMY N. Crop row detection procedure using low-cost UAV imagery system. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, XLII-2/W13: 349-356.

[35] PE?A J M, TORRES-SáNCHEZ J, SERRANO-PéREZ A, de CASTRO A I, LóPEZ-GRANADOS F. Quantifying efficacy and limits of unmanned aerial vehicle (UAV) technology for weed seedling detection as affected by sensor resolution. Sensors, 2015. 15(3): 5609-5626.

[36] 趙慧. 基于Blob的運動目標檢測與跟蹤算法研究[D]. 哈爾濱: 哈爾濱工業(yè)大學, 2017.

ZHAO H. Object detection and tracking algorithm based on blob[D]. Harbin: Harbin Institute of Technology, 2017. (in Chinese)

[37] FOBTAINE V, CROWE T. Development of line-detection algorithm for local positioning in densely seeded crops. Canadian Biosystems Engineering, 2006, 48(7): 19-29.

[38] PE?A J M, TORRES-SáNCHEZ J, DE CASTRO A I, KELLY M, LóPEZ-GRANADOS F. Weed Mapping in early-season maize fields using object-based analysis of unmanned aerial vehicle (UAV) images. Plos One, 2013, 8(10): e77151.

[39] GARC?A-SANTILLáN I D, MONTALVO M, GUERRERO J M, PAJARES G. Automatic detection of curved and straight crop rows from images in maize fields. Biosystems Engineering, 2017, 156: 61-79.

[40] HAGUE T, TILLETT N D. A bandpass filter-based approach to crop row location and tracking. Mechatronics, 2001, 11(1): 1-12.

[41] BOSSU J, GEE C, JONES G, TRUCHETET F. Wavelet transform to discriminate between crop and weed in perspective agronomic images. Computers and Electronics in Agriculture, 2009, 65: 133-143.

[42] JIANG G Q, WANG Z H, LIU H M. Automatic detection of crop rows based on multi-ROIs. Expert Systems with Applications, 2015, 42(5): 2429-2441.

[43] KISE M, ZHANG Q. Development of a stereovision sensing system for 3D crop row structure mapping and tractor guidance. Biosystems Engineering, 2008, 101(2): 191-198.

[44] VIOIX J B, DOUZALS J P, TRUCHETET F, ASSéMAT L, GUILLEMIN J. Spatial and spectral methods for weed detection and localization. EURASIP Journal on Advances in Signal Processing, 2002, 7: 679-685.

[45] DE SOUZA C H W, LAMPARELLI R A C, ROCHA J V, MAGALHAES P S G. Mapping skips in sugarcane fields using object-based analysis of unmanned aerial vehicle (UAV) images. Computers and Electronics in Agriculture, 2017, 143: 49-56.

[46] PLA F, SANCHIZ J M, MARCHANT J A, BRIVOT R. Building perspective models to guide a row crop navigation vehicle. Image and Vision Computing, 1997, 15(6): 465-473.

[47] ROMEO J, PAJARES G, MONTALVO M, GUERRERO J M, GUIJARRO M, RIBERIRO A. Crop row detection in maize fields inspired on the human visual perception. The Scientific World Journal, 2012, 2012(1): 484390.

[48] 王曉杰. 基于機器視覺的農(nóng)田作物行檢測方法研究[D]. 焦作: 河南理工大學, 2016.

WANG X J. Study on crop rows detection with machine vision[D]. Jiaozuo: Henan Polytechnic University, 2016. (in Chinese)

[49] GUERRERO J M, GUIJARRO M, MONTALVO M, ROMEO J, EMMI L, RIBEIRO A, PAJARES G. Automatic expert system based on images for accuracy crop row detection in maize fields. Expert Systems with Applications, 2013, 40(2): 656-664.

[50] 汪沛, 羅錫文, 周志艷, 臧英, 胡煉. 基于微小型無人機的遙感信息獲取關鍵技術綜述. 農(nóng)業(yè)工程學報, 2014, 30(18): 1-12.

WANG P, LUO X W, ZHOU Z Y, ZANG Y, HU L. Key technology for remote sensing information acquisition based on micro UAV. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(18): 1-12. (in Chinese)

Research status and trends of automatic detection of crop planting rows

1Institute of Geographical Science and Natural Resources Research/State Key Laboratory of Resources and Environment Information System, Chinese Academy of Sciences, Beijing 100101;2University of Chinese Academy of Sciences, Beijing 100049

Field crops are generally planted in rows to improve planting efficiency and facilitate field management. Therefore, the automatic detection of crop planting rows is of great significance for intelligent agricultural machinery carrying sensors to capture images to achieve autonomous navigation and precision spray pesticide, and for drones equipped with sensors to capture high-resolution images to generating field precision management zones. It is an important part of smart agriculture. This research first systematically summarized the existing crop planting row automatic detection methods, and illustrated the basic principles, development status and advantages and disadvantages of the Hough transform method, least square method, green pixel accumulation method, Blob analysis method, filtering method, and vanishing point method for crop planting row detection. Secondly, considering the previous researches, this study proposed some scientific and technical issues that needed to be study in future, such as how different spatial and spectral resolution images affected the detection accuracy of crop planting rows; how to detection of crop planting rows with different spatial distribution features and then perform accurate mapping of crop growth status based on drone images; how to establish a standardized crop planting row detection process. Finally, based on the current status and existing problems of planting row detection technology, several research directions were suggested, including crop planting row detection technology that could adapt to complex environments, such as high weed pressure, to improve the accuracy of autonomous navigation of intelligent agricultural machinery; the method of accurately mapping crop growth status based on the results of planting row recognition and then delineating of field precision management zones; coupling crop growth monitoring technology from drone images and intelligent agricultural machinery to make field precision management. This article would provide valuable references for automatic detection of crop planting rows in images and its related application researches.

plant row; crop; automatic detection; status; trends

10.3864/j.issn.0578-1752.2021.13.004

2020-09-24；

2020-12-18

國家自然科學基金（41871344）、國家重點研發(fā)計劃項目（2016YFD020060300，2016YFD020060304）

陳鵬飛，E-mail：pengfeichen@igsnrr.ac.cn

（責任編輯 楊鑫浩）