質(zhì)心跟蹤視頻棉花行數(shù)動態(tài)計數(shù)方法

梁習(xí)卉子，陳兵旗，李民贊，魏超杰，楊艷秋，王 進(jìn)，馮 杰

?

質(zhì)心跟蹤視頻棉花行數(shù)動態(tài)計數(shù)方法

梁習(xí)卉子1,3，陳兵旗1※，李民贊2，魏超杰1，楊艷秋1，王 進(jìn)1，馮 杰1

（1. 中國農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083；2. 中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室，北京 100083；3. 石河子大學(xué)機械電氣工程學(xué)院，石河子 832003）

為了實現(xiàn)無人植保車在棉田全覆蓋視覺導(dǎo)航，該文提出了一種基于視頻的棉花行動態(tài)計數(shù)方法，將棉花行數(shù)作為植保車直線植保作業(yè)行駛到田端后，判斷2個直線作業(yè)區(qū)間隔距離的依據(jù)，以適應(yīng)實際作業(yè)環(huán)境中不同的棉花種植行距。通過2--將彩色圖像轉(zhuǎn)化為灰度圖像，強調(diào)了棉花行信息；通過在坐標(biāo)系中設(shè)置固定位置和大小的關(guān)注區(qū)域，在減小計算量的同時，有效避免了田端缺苗、棉花行不規(guī)則等現(xiàn)象對檢測結(jié)果造成的影響；通過對關(guān)注區(qū)域內(nèi)各列灰度累計曲線的波峰篩選，適應(yīng)3個生長期的棉花行的定位，識別正確率高于85%；通過設(shè)置浮動窗口并求其灰度質(zhì)心為跟蹤目標(biāo)，提高了不同生長期和不同農(nóng)田環(huán)境下的目標(biāo)識別和跟蹤適應(yīng)性；通過對質(zhì)心構(gòu)建目標(biāo)窗口，并計算前后幀目標(biāo)窗口在圖像坐標(biāo)系中所在位置的重疊率，將后一幀目標(biāo)窗口遍歷前一幀圖像中的目標(biāo)窗口，關(guān)聯(lián)重疊率>0.1的目標(biāo)窗口，實現(xiàn)了視頻圖像中多個棉花行的跟蹤。結(jié)果表明：該算法對于不同生長期的棉花行有較好的跟蹤效果，對田端缺苗、雜草等農(nóng)田環(huán)境有較好的魯棒性。每幀圖像的平均處理時間為150 ms，能夠滿足實時處理要求。

機器視覺；棉花；識別；棉田噴藥；側(cè)向移動；苗列行計數(shù)

0 引 言

植保施藥是棉花生產(chǎn)過程中的重要環(huán)節(jié)[1-2]，目前新疆棉花的主要施藥方式為拖拉機懸掛式施藥[3-4]。雖然這種施藥方式節(jié)省勞動力且效率高，但是農(nóng)藥氣霧對駕駛室環(huán)境造成了污染。植保機械的無人化是解決施藥人員健康問題的有效途徑。

無人機施藥可以有效避免農(nóng)藥對人體造成的傷害，但是在新疆的大面積棉田環(huán)境下，由于其帶藥量有限，且進(jìn)行往復(fù)等間距的飛行定位難度大，未能在新疆進(jìn)行大面積推廣[5-6]。GNSS的無人導(dǎo)航拖拉機在大面積棉田作業(yè)中實現(xiàn)了鋪膜播種[7-8]和棉花收獲[9]的自動導(dǎo)航，由于植保作業(yè)路徑需要根據(jù)現(xiàn)場復(fù)雜的作物生長環(huán)境進(jìn)行判斷，目前未用于棉花的植保作業(yè)。

視覺導(dǎo)航車帶藥量大，其路徑由農(nóng)田中作物生長狀態(tài)確定，不存在壓苗現(xiàn)象[10-11]，所以基于視覺導(dǎo)航的無人植保車在新疆大田環(huán)境中有很大的研究空間。

國內(nèi)外很多學(xué)者在視覺導(dǎo)航方面做了很多研究，大部分集中在直線導(dǎo)航方面[12-17]，有關(guān)無人車在田端如何進(jìn)入下一個直線作業(yè)區(qū)的視覺導(dǎo)航研究很少。

本文設(shè)定一種視覺導(dǎo)航的植保無人車，其前后各安裝一個攝像頭，分別用于不同行駛方向的導(dǎo)航、田端檢測定位與橫移距離檢測。當(dāng)植保無人車沿直線作業(yè)行駛到田端后停車，將4個行走輪旋轉(zhuǎn)90°橫移，同時對經(jīng)過的棉花行數(shù)進(jìn)行實時圖像檢測，當(dāng)達(dá)到設(shè)定行數(shù)時停車，4個行走輪再同向旋轉(zhuǎn)90°，進(jìn)行下一個作業(yè)區(qū)的直線行駛作業(yè)。如此往復(fù)完成棉田全覆蓋視覺導(dǎo)航。

由于新疆有不同的棉花種植方式[18]，且植保噴桿的型號不一[19]，植保車橫移的距離可根據(jù)實際直線作業(yè)時噴桿所覆蓋的棉花行數(shù)確定。

國內(nèi)外也有一些研究人員研究同時檢測多行作物，但是這些研究都集中在靜態(tài)圖像[21-23]，并未對視頻序列中的作物行進(jìn)行動態(tài)的檢測研究。

本文利用相機在田端以垂直于棉花種植行的方向橫移所拍攝的棉花行序列圖像為研究對象，動態(tài)識別視頻中的棉花行數(shù)。將圖像灰度化并設(shè)定感興趣區(qū)域ROI（region of interest），分析ROI內(nèi)像素的垂直累計分布規(guī)律，通過累計像素的波峰確定棉花行。對棉花行所在區(qū)域設(shè)定浮動窗口，并求其灰度質(zhì)心作為目標(biāo)特征點，再對質(zhì)心構(gòu)建目標(biāo)窗口將其與所在棉花行對應(yīng)，實現(xiàn)對視頻中多個目標(biāo)的實時跟蹤計數(shù)。

1 材料與方法

1.1 硬件及圖像采集

由于植保車還在研制當(dāng)中，所以試驗視頻為2017年5月至7月在新疆石河子農(nóng)科院試驗田手工采集，圖像采集設(shè)備為奧尼Q718型USB數(shù)碼攝像機。苗期棉花圖像為5月下旬采集，視頻共826幀。蕾期棉花圖像為6月采集，視頻共517幀?；ㄢ徠诿藁ㄓ?月上旬采集，視頻共612幀。相機擬安裝方位如圖1所示，為植保車在田端橫移時相機與棉花之間的最近距離，且0<<100cm，相機離地面高度H=120 cm，相機光軸與鉛垂線夾角=（65°±5°），越大棉花行在圖像中的收斂效果越明顯。裝置沿田端橫移速度約為0.5 m/s。采集的彩色視頻圖像幀率為30幀/s，每幀圖像大小為640×480像素。圖像處理所用的計算機配置主頻為2.2 GHz，內(nèi)存8 GB，開發(fā)軟件為Microsoft Visual C++ 2010，以北京現(xiàn)代富博科技有限公司的二維運動圖像測量分析系統(tǒng)（motion image analysis system, MIAS）為平臺進(jìn)行程序開發(fā)。

1.2 棉花行的檢測

由于視頻中所要跟蹤的棉花行的綠色分量突出，可以通過以下步驟確定其所在位置：計算強調(diào)綠色分量的灰度圖像[10-11]，構(gòu)建感興趣區(qū)域ROI，通過計算ROI區(qū)域內(nèi)的像素值的垂直累計值，分析棉花行所在位置。

1.2.1 圖像的預(yù)處理

1）計算強調(diào)綠色分量的灰度圖像

對圖像做如下定義：設(shè)定圖像的左上角為坐標(biāo)原點，向右為橫軸正方向，向下為縱軸正方向。為圖像寬度，為圖像高度。彩色圖像中有紅（）、綠（）、藍(lán)（）三個分量。由于植保期間的棉花植株的分量值最高，為弱化其他分量，強調(diào)圖像當(dāng)中的分量，對于單幀圖像的分量信息，通過2--的模型[11,16]將棉花植株很好地從背景中提取出來。分量強化后的灰度圖像記為G。

2）計算ROI區(qū)域灰度垂直累計直方圖

為了減少計算量、提高處理速度，避免田端缺苗現(xiàn)象和由透視原理造成的灰度累計值干擾，對G將感興趣區(qū)域ROI其左上角坐標(biāo)為0（0，-100），寬為，高為H=/5的區(qū)域（圖2中間的大矩形框），后續(xù)目標(biāo)的尋找和跟蹤只在灰度圖G的ROI區(qū)域內(nèi)進(jìn)行。圖2上方的曲線對應(yīng)下方圖像中ROI區(qū)域內(nèi)的高度方向所有像素的灰度累計值。

1.2.2 尋找目標(biāo)質(zhì)心

對ROI區(qū)域內(nèi)的棉花行進(jìn)行定位。由于棉花植株的綠色分量高于行間的土壤或薄膜，所以在灰度圖G中，棉花行所在的位置灰度垂直累計曲線上表現(xiàn)為波峰。先初選波峰位置，然后在波峰所對應(yīng)的ROI區(qū)域內(nèi)設(shè)置浮動窗口，求浮動窗口內(nèi)的灰度質(zhì)心作為目標(biāo)的特征點。

注：W為ROI區(qū)域的寬度，Hm為ROI區(qū)域的高度，H為圖像高度，Lp2為左側(cè)第二列浮動窗口的左邊框所在寬度方向的位置，Rp2為左側(cè)第二列浮動窗口的右邊框所在寬度方向的位置，Mg為ROI區(qū)域內(nèi)的灰度的平均值。

1）波峰的初選

先初選波峰，并設(shè)置數(shù)組F用于存放預(yù)選波峰的數(shù)據(jù)。統(tǒng)計在ROI區(qū)域內(nèi)灰度垂直累計值，找出ROI區(qū)域內(nèi)灰度值的平均值M（式（1））。將灰度垂直累計值高于M的列記為1、否則記為0存入F。將F中連續(xù)為1的寬度坐標(biāo)設(shè)為初選波峰位置。

式中F表示在圖像()處像素點的灰度值。

2）目標(biāo)波峰的確認(rèn)

初選的波峰無法與復(fù)雜的農(nóng)田環(huán)境中棉花行進(jìn)行匹配，需要進(jìn)一步的篩選以確認(rèn)符合要求的波峰。

順序掃描數(shù)組F，記錄其連續(xù)為1的區(qū)間個數(shù)（波峰數(shù)）。對于每一組連續(xù)為1的區(qū)間，從圖像橫坐標(biāo)左側(cè)開始統(tǒng)計，將第一個為1的列記為L(=1,2...,)，將最后一個為1的列記為R。設(shè)定波峰寬度閾值為W（式（2））。當(dāng)滿足|R－L|>W時，認(rèn)為第個波峰滿足寬度要求。

在F中的每一組連續(xù)為1的區(qū)間所對應(yīng)的灰度垂直累計值曲線中尋找每個波峰的最大值V(=1,2...,)。當(dāng)滿足0.85V>g時，判斷該波峰的相對尖銳度滿足要求。

將每個寬度和峰相對尖銳度都滿足要求的波峰設(shè)定為目標(biāo)（棉花行）波峰。如圖2所示，對每個目標(biāo)波峰在圖像G中設(shè)置浮動窗口（圖2中的小方框），其寬為L=R?L，高度同ROI區(qū)域為H。第個窗口的質(zhì)心[24]Q(x,y)可以由式（3）獲得，存儲于設(shè)置的數(shù)組中。

2 目標(biāo)跟蹤

2.1 目標(biāo)窗口的構(gòu)建

為了在序列圖像中進(jìn)行目標(biāo)棉花行的跟蹤，如圖3所示，以每個質(zhì)心Q(x,y)為中心，構(gòu)建64×64像素的矩形區(qū)域A(=1,2,3...)作為目標(biāo)窗口。

圖3 目標(biāo)窗口示意圖

2.2 目標(biāo)窗口的確定

當(dāng)一幀圖像中的兩個浮動窗口質(zhì)心之間的距離小于其中任意一個目標(biāo)窗口矩形框的寬時，會出現(xiàn)多個質(zhì)心對應(yīng)一個目標(biāo)的現(xiàn)象，需要將一個棉花行對應(yīng)的多個目標(biāo)窗口融合還原成一個目標(biāo)，通過判斷每兩個相鄰的目標(biāo)窗口的重疊率確定唯一目標(biāo)，如圖4。設(shè)連續(xù)的兩個目標(biāo)窗口分別為A和A+1，二者重疊區(qū)域為A′，二者重疊率為R。

用式（4）計算兩個目標(biāo)窗口的重疊率。當(dāng)R≥0.1時，認(rèn)為滿足重疊率要求的兩目標(biāo)窗口是由于棉花植株的枝葉太松散，被識別成2個質(zhì)心造成的，需要將兩個目標(biāo)窗口合為一個目標(biāo)窗口。

式中的A、A+1以及0分別為連續(xù)2個窗口的左窗口面積、右窗口面積以及這2個窗口重疊區(qū)域的面積。

圖4 合并重疊目標(biāo)質(zhì)心定位示意圖

Fig.4 Centroid location diagrammatic sketch for merging overlapped targets

設(shè)A的質(zhì)心為Q(x,y)，A+1的質(zhì)心為Q+1(x+1,y+1)，合并后的新目標(biāo)窗口A'質(zhì)心為Q′(′,y′)。式（5）確定了質(zhì)心Q′的坐標(biāo)，構(gòu)造64×64矩形框，以Q′為中心作為新目標(biāo)窗口A′。

同一幀的相鄰目標(biāo)窗口依次進(jìn)行重疊率的計算和判斷，將合并后的目標(biāo)窗口數(shù)據(jù)儲存到數(shù)組中作為最終每一幀所識別到的目標(biāo)窗口，并將合并之前的目標(biāo)窗口數(shù)據(jù)清除。

2.3 目標(biāo)的關(guān)聯(lián)

一幀圖像中的每一行棉花都有唯一的目標(biāo)窗口與其對應(yīng)，設(shè)目標(biāo)鏈表存放每個目標(biāo)窗口的左上角坐標(biāo)、窗口寬度及高度。設(shè)計數(shù)器id記錄目標(biāo)窗口的個數(shù)用于輸出窗口數(shù)值，設(shè)計數(shù)器nt記錄該目標(biāo)窗口與上一幀圖像中沒有關(guān)聯(lián)目標(biāo)的累計幀數(shù)，設(shè)參數(shù)b用于標(biāo)記當(dāng)前幀的目標(biāo)窗口與上一幀目標(biāo)窗口是否關(guān)聯(lián)上。

2.3.1 目標(biāo)的跟蹤

在第一幀圖像中獲取目標(biāo)窗口的位置和數(shù)量，從第二幀開始，將每一個目標(biāo)窗口遍歷上一幀的目標(biāo)窗口進(jìn)行二者重疊率的計算，計算方法同式（4）。每一幀對所有目標(biāo)窗口的鏈表進(jìn)行數(shù)據(jù)更新。將重疊率滿足要求的前后兩幀目標(biāo)關(guān)聯(lián)上，完成目標(biāo)的跟蹤。

由于連續(xù)兩幀圖像中的同一個目標(biāo)窗口重疊率大于不同目標(biāo)之間的重疊率，為了提高跟蹤的可靠性，避免出現(xiàn)錯誤匹配，從第二幀開始，將該幀圖像中的每一個目標(biāo)窗口遍歷上一幀目標(biāo)窗口的重復(fù)率，尋找與當(dāng)前幀此目標(biāo)窗口有最大重疊率max的上一幀圖像的目標(biāo)窗口，當(dāng)滿足max>0.1時，此最大重疊率所對應(yīng)的前后兩幀的目標(biāo)窗口為同一個目標(biāo)，實現(xiàn)此目標(biāo)的跟蹤，并將計數(shù)器id中目標(biāo)窗口個數(shù)輸出為目標(biāo)序號。

2.3.2 目標(biāo)的更新與排序

隨著相機在田端垂直于棉花行移動，圖像中不斷有新目標(biāo)（棉花行）進(jìn)入圖像，以及舊目標(biāo)在圖像中消失。對于新進(jìn)入視野（圖像）的目標(biāo)，需要更新鏈表中的數(shù)據(jù)，對于圖像中消失的目標(biāo)需要存儲其目標(biāo)序號，以實現(xiàn)棉花行數(shù)總數(shù)目的更新。

1）目標(biāo)的更新

計算前后幀目標(biāo)窗口的重疊率，判斷當(dāng)前幀該目標(biāo)窗口是否與上一幀有關(guān)聯(lián)窗口。若已關(guān)聯(lián)則設(shè)當(dāng)前幀的目標(biāo)窗口參數(shù)V為假，反之亦然。

若當(dāng)前幀的目標(biāo)窗口參數(shù)V為真，該目標(biāo)窗口沒有上一幀相關(guān)聯(lián)目標(biāo)窗口，將該目標(biāo)窗口的nt加1，此目標(biāo)屬于新進(jìn)入視野（圖像）中的目標(biāo)。

對于一個目標(biāo)，當(dāng)nt≥11時（圖像寬為640像素，目標(biāo)窗口的大小為64×64），表明該目標(biāo)所對應(yīng)的棉花行（目標(biāo)）在視頻中已經(jīng)消失。

2）目標(biāo)的排序

設(shè)參數(shù)D用于植保車行駛方向的判斷，朝左為真，朝右為假。當(dāng)相機面對棉花行向左移動時，將排序數(shù)字從右向左依次增大，反之亦然。

第一幀圖像中的所有目標(biāo)窗口，將id的值依次輸出。非第一幀圖像中，將已關(guān)聯(lián)上的目標(biāo)窗口的id值進(jìn)行更新，輸出其行數(shù)。將沒有關(guān)聯(lián)上的目標(biāo)窗口的id值加1，輸出更新后的id值作為行數(shù)。

3 試驗結(jié)果與分析

由于植保無人車尚未做好，視頻按照所設(shè)計的攝像頭安裝位置和速度由手工借助自行車和拍攝桿拍攝采集，所有視頻共1 955幀，包含3個生長期。采集時間為11：00?12：00，選擇不同的棉花行種植方向拍攝，涵蓋了不同的光照條件，并且在尋找了不同的農(nóng)田環(huán)境以測試視頻的處理效果在復(fù)雜的農(nóng)田作業(yè)環(huán)境下的適應(yīng)性。

3.1 目標(biāo)識別

3.1.1 不同生長階段的識別

圖5為不同生長階段（苗期、蕾期和花鈴期）的棉花行計數(shù)處理過程和結(jié)果。

注：從左向右分別為原圖、灰度圖的ROI區(qū)域、ROI區(qū)域內(nèi)灰度垂直累計值曲線、浮動窗口及其質(zhì)心、對質(zhì)心構(gòu)建的目標(biāo)窗口、棉花行數(shù)檢測結(jié)果。

視頻中的棉花行均從右向左移動，目標(biāo)窗口的排序為依照視頻內(nèi)圖像移動反方向依次增大。由于苗期（圖5a）的棉花植株很小，行間的土壤和薄膜非常明顯，ROI區(qū)域內(nèi)的灰度垂直累計值雖然小，但在高度方向的累計曲線中間的2個波峰很明顯。所確定的浮動窗口及其灰度質(zhì)心，中間2個浮動窗口很寬，對應(yīng)像素累計曲線中間2個較寬的波峰，兩側(cè)很窄的浮動窗口對應(yīng)兩側(cè)的很窄的波峰。

從蕾期（圖5b）棉花原圖中可以看出，由于棉花的長勢不均，左數(shù)第四行棉花長勢很弱，所以在ROI區(qū)域內(nèi)的像素累計值曲線中的左數(shù)第四個波峰很窄，其余的波峰都很寬，但所有波峰都滿足篩選條件，左數(shù)第四個浮動窗口非常窄，其寬度與左數(shù)第四個波峰寬度相同，其余的浮動窗口都很寬。

從花鈴期（圖5c）棉花原圖中可以看出花鈴期的棉花植株較大，由于枝葉沉重，行間棉花的枝葉交錯造成行間空隙不明顯，并且棉花的葉片朝向不同，枝葉松散并且有零星花朵。所以圖中的波形變化幅度小，波動頻率高，且左數(shù)第三行棉花對應(yīng)了2個波峰。這2個波峰都滿足篩選條件，左數(shù)第三行棉花對應(yīng)了2個浮動窗口，即左數(shù)第3、4個浮動窗口。依據(jù)圖中每個浮動窗口內(nèi)的灰度質(zhì)心點構(gòu)建的目標(biāo)窗口，可以看出，左數(shù)的第3、4個目標(biāo)窗口實際對應(yīng)的是同一行棉花，即左數(shù)第三行棉花，由于這兩個目標(biāo)窗口有重疊，依據(jù)在2.2的步驟，2個窗口被合并成為一個目標(biāo)窗口出現(xiàn)在檢測結(jié)果中。

本文對3個生長期的棉花視頻圖像進(jìn)行行數(shù)檢測（表1），隨著棉花植株的生長，葉片向周圍逐漸伸展變得松散，行內(nèi)棉花葉片的空隙變大，并且行間的空隙逐漸減小，使得行間空隙不清晰，但識別正確率均高于85%。

表1 不同生長期棉花數(shù)行算法的性能評估

所以隨著棉花的長大，檢測效果變差。不同生長時期的棉花植株大小形狀不同，并且隨著植株的成長存在長勢不均的現(xiàn)象，同一行棉花植株從不同角度得到的輪廓和紋理等特征隨著視頻圖像的移動而變化，為避免視角變換造成的影響，對每個浮動窗口求其灰度質(zhì)心作為目標(biāo)特征進(jìn)行跟蹤，可以有效避免刮風(fēng)、光照變化等自然環(huán)境對目標(biāo)棉花行識別造成的影響。棉花植株從苗期生長到花鈴期，其棉花行的平均寬度從40個像素到100像素，測試結(jié)果為將目標(biāo)窗口設(shè)定成64×64像素能夠很好地進(jìn)行跟蹤，對于花鈴期生長松散的棉花植株，可以有效避免一行棉花被識別成2個目標(biāo)的情況。同時將前后幀目標(biāo)窗口通過重疊率進(jìn)行關(guān)聯(lián)，可有效減少由于刮風(fēng)造成的棉花植株晃動對視頻中棉花行跟蹤造成的影響。

3.1.2 不同光照條件下的識別

圖6為不同光照（順光、逆光、陽光直射和側(cè)光）條件下的棉花行檢測效果。從圖中可以看出，針對不同的光照條件，檢測效果不同，但是檢測結(jié)果均準(zhǔn)確。由于新疆海拔高，陽光強烈，光照條件對視覺導(dǎo)航的影響較大，葉片反光形成的亮度不均勻也對目標(biāo)的識別造成較大干擾。順光的情況，由于行間薄膜反光強烈，棉花植株在薄膜的映襯下顏色偏暗，但棉花植株的綠色分量所占比例依然高于行間薄膜或土壤，所以沒有影響到的目標(biāo)窗口的檢測。逆光的情況，由于陽光從相機對面照射過來，圖像的上部分發(fā)白，ROI區(qū)域下方的棉花植株葉片綠色分量較上方要明顯，所以目標(biāo)窗口在ROI區(qū)域靠下的位置。中午陽光直射的情況，陽光從上方直射時，葉片反光發(fā)白，但是不影響檢測效果。陽光從側(cè)面照射的情況，這種光照條件下綠色強調(diào)的灰度圖中，棉花植株最明顯。

圖6 不同光照條件下的棉花行檢測效果

3.1.3 不同農(nóng)田環(huán)境下的識別

圖7為不同的農(nóng)田自然環(huán)境下的棉花行檢測效果，分別為在農(nóng)田中有雜物（水管）、少數(shù)疏于管理的棉田行間有枯草（新疆有一種菟絲子草漲勢兇猛，被砍斷后由于新疆日照嚴(yán)重，被曬干呈現(xiàn)黃色）、田端棉花倒伏和田端缺苗。從圖中可以看出，針對這幾種農(nóng)田常見的環(huán)境，檢測結(jié)果準(zhǔn)確可靠。田間有雜物時，由于處理時強調(diào)綠色分量，黑色水管以行間枯草在強調(diào)綠色的灰度化中過程中被忽略，不會影響到后續(xù)的檢測。

圖7 不同農(nóng)田自然環(huán)境下的棉花行檢測效果

田端棉花長勢不均時，由于棉花行是平行種植，根據(jù)透視原理，棉花行在圖像中是向上收斂的。將ROI區(qū)域選取在縱軸的中間部分既可以避免圖像上方的棉花行傾斜度對垂直累計直方圖的波峰提取造成的干擾，給拍攝角度提供了一定的靈活度，從圖中看出，ROI區(qū)域的設(shè)置有效地避免圖像下方因田端棉花倒伏或缺苗而對目標(biāo)識別造成的影響。

3.2 目標(biāo)跟蹤

對當(dāng)前幀的每個目標(biāo)窗口遍歷上一幀所有目標(biāo)窗口，尋找最大重疊率且滿足閾值的目標(biāo)窗口，將二者進(jìn)行關(guān)聯(lián)實現(xiàn)目標(biāo)的跟蹤。

通過尋找前后幀最大重疊率目標(biāo)可以有效避免白噪聲的干擾，對于棉花行這種剛性、勻速移動無遮擋目標(biāo)，在灰度變化及幾何畸變不大的情況下有較高的跟蹤精度。

由于視頻中的目標(biāo)與背景同時移動，隨著植保車的橫移，不斷有已識別的目標(biāo)消失和新的目標(biāo)進(jìn)入，通過b判斷目標(biāo)窗口是否已關(guān)聯(lián)上，來判斷是否有目標(biāo)的更新，能夠快速地確定是否有新目標(biāo)的進(jìn)入。用目標(biāo)窗口關(guān)聯(lián)不上的幀數(shù)超過圖像坐標(biāo)系中可以覆蓋的最大目標(biāo)窗口個數(shù)（10個），判斷目標(biāo)在圖像中的消失，試驗數(shù)據(jù)表明，每幀圖像的平均處理時間為150 ms。

4 結(jié) 論

本文針對新疆特殊的棉花種植模式，提出一種在視頻圖像中對棉花行數(shù)實現(xiàn)動態(tài)計數(shù)的方法，作為植保車在棉花地田端橫移距離的依據(jù)。

1）采用2的方式將彩色圖像進(jìn)行灰度化，對灰度圖設(shè)定ROI區(qū)域，可以有效減少透視效果和田端缺苗的影響。再針對ROI區(qū)域內(nèi)灰度垂直累計值曲線尋找波峰，根據(jù)波峰的寬度，設(shè)定浮動窗口確定目標(biāo)位置，可以準(zhǔn)確有效地對棉花行進(jìn)行定位。

2）將浮動窗口的質(zhì)心作為目標(biāo)的特征點，由于灰度質(zhì)心作為一個像素點無法進(jìn)行跟蹤，對該質(zhì)心構(gòu)造64×64像素的目標(biāo)窗口，可有效避免由于刮風(fēng)造成的棉花植株晃動對目標(biāo)識別造成的影響和花鈴期的棉花植株葉片松散造成的誤識別。通過判斷目標(biāo)窗口重疊率的方法關(guān)聯(lián)前后幀目標(biāo)，可以有效的對目標(biāo)位置進(jìn)行更新和排序。

通過試驗證明，該方法對于不同生長期的棉花行數(shù)有較好的計數(shù)效果，對目標(biāo)（棉花行）的提取正確率在85%以上。對于棉花行的田端缺苗現(xiàn)象有較好的魯棒性，該算法為平行行種植的經(jīng)濟作物的農(nóng)田全覆蓋自動視覺導(dǎo)航提供參考。

[1] 姬長英，周俊. 農(nóng)業(yè)機械導(dǎo)航技術(shù)發(fā)展分析[J]. 農(nóng)業(yè)機械學(xué)報，2014，45(9)：44－54.

Ji Changying, Zhou Jun. Current situation of navigation technologies for agricultural machinery[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 44－54. (in Chinese with English abstract)

[2] 王濤，郝磊，臧秀法. 我國植保機械技術(shù)發(fā)展探討[J]. 農(nóng)業(yè)科技與裝備，2014(12)：51－52.

Wang Tao, Hao Lei, Zang Xiufa. Discussion on plant protection machinery technology development in China[J]. Agricultural Science & Technology and Equipment, 2014(12): 51－52. (in Chinese with English abstract)

[3] 劉剛，張曉輝，范國強，等. 棉花施藥機械的應(yīng)用現(xiàn)狀及發(fā)展趨勢[J]. 農(nóng)機化研究，2014，36(4)：225－228.

Liu Gang, Zhang Xiaohui, Fan Guoqiang, et al. Application status and development trend of cotton spraying machine[J]. Journal of Agricultural Mechanization Research, 2014, 36(4): 225－228. (in Chinese with English abstract)

[4] 胡靜濤，高雷，白曉平，等. 農(nóng)業(yè)機械自動導(dǎo)航技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(10)：1－10.

Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Transactions of the Chinese Society of Agricultural, 2015, 31(10): 1－10. (in Chinese with English abstract)

[5] 陳盛德，蘭玉彬，李繼宇，等. 植保無人機航空噴施作業(yè)有效噴幅的評定與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(7)：82－90.

Chen Shengde, Lan Yubin, Li Jiyu, et al. Evaluation and test of effective spraying width of aerial spraying on plant protection UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 82－90. (in Chinese with English abstract)

[6] 張宋超，薛新宇，秦維彩，等. N-3型農(nóng)用無人直升機航空施藥飄移模擬與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(3)：87－93.

Zhang Songchao, Xue Xinyu, Qin Weicai, et al. Simulation and experimental verification of aerial spraying drift on N-3 unmanned spraying helicopter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 87－93. (in Chinese with English abstract)

[7] Sun H, Slaughter D C, Ruiz M P, et al. RTK GPS mapping of transplanted row crops[J]. Computers and Electronics in Agriculture, 2010, 71(1): 32－37.

[8] 方震. GPS棉花鋪膜播種機演示成功棉花鋪膜播種機演成功[J]. 農(nóng)業(yè)機械，2013(13)：28.

[9] 李丹陽，李彬，李江全. 基于北斗導(dǎo)航、百度地圖的采棉機監(jiān)控系統(tǒng)設(shè)計[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43(9)：455－457.

[10] 胡煉，羅錫文，曾山，等. 基于機器視覺的株間機械除草裝置的作物識別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(10)：12－18.

Hu Lian, Luo Xiwen, Zeng Shan, et al. Plant recognition and localization for intra-row mechanical weeding device base on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(10): 12－18. (in Chinese with English abstract)

[11] 孟慶寬，張漫，楊耿煌，等. 自然光照下基于粒子群算法的農(nóng)業(yè)機械導(dǎo)航路徑識別[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(6)：11－20.

Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11－20. (in Chinese with English abstract)

[12] 丁幼春，廖慶喜，黃海東，等. 聯(lián)合收獲機大曲率路徑視覺導(dǎo)航方法[J]. 農(nóng)業(yè)機械學(xué)報，2011，42(S1)：122－127.

Ding Youchun, Liao Qingxi, Huang Haidong, et al. Large curvature path detection for combine harvester based on vision navigation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(Supp.1): 122－127. (in Chinese with English abstract)

[13] 魏爽，李世超，張漫，等. 基于GNSS的農(nóng)機自動導(dǎo)航路徑搜索及轉(zhuǎn)向控制[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(增刊1)：70－77.

Wei Shuang, Li Shichao, Zhang Man, et al. Automatic navigation path search and turning control of agricultural machinery based on GNSS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 70－77. (in Chinese with English abstract)

[14] 孟慶寬，何潔，仇瑞承，等. 基于機器視覺的自然環(huán)境下作物行識別與導(dǎo)航線提取[J]. 光學(xué)學(xué)報，2014，34(7)：180－186.

Meng Qingkuan, He Jie, Qiu Ruicheng, et al. Crop recognition and navigation line detection in natural environment based on machine vision[J]. Acta Optica Sinica, 2014, 34(7): 180－186. (in Chinese with English abstract)

[15] Zhang Q, Qiu H C. A dynamic path search algorithm for tractor automatic navigation[J]. Transactions of the ASAE, 2004, 47(2): 639－646.

[16] 趙穎，陳兵旗，王書茂，等. 基于機器視覺的耕作機器人行走目標(biāo)直線檢測[J]. 農(nóng)業(yè)機械學(xué)報，2006，37(4)：83－86.

Zhao Ying, Chen Bingqi, Wang Shumao, et al. Fast detection of furrows based on machine vision on autonomous mobile robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(4): 83－86. (in Chinese with English abstract)

[17] 江锽，肖愛平. 噴藥機器人在溫室中道路識別及邊界提取的研究[J]. 林業(yè)機械與木工設(shè)備，2014，42(10)：18－21.

Jiang Huang, Xiao Aiping. Study on spraying robot’s road recognition and boundary extraction in greenhouses[J]. Forestry Machinery & Woodworking Equipment, 2014, 42(10): 18－21. (in Chinese with English abstract)

[18] 寧松瑞，左強，石建初，等. 新疆典型膜下滴灌棉花種植模式的用水效率與效益[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(22)：90－99.

Ning Songrui, Zuo Qiang, Shi Jianchu, et al. Water use efficiency and benefit for typical planting modes of drip-irrigated cotton under film in Xinjiang[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(22): 90－99. (in Chinese with English abstract)

[19] 陳晨，薛新宇，顧偉，等. 噴霧機噴桿結(jié)構(gòu)形狀及截面尺寸優(yōu)化與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(9)：50－56.

Chen Chen, Xue Xinyu, Gu Wei, et al. Experiment and structure shape and section size optimization of spray boom[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(9): 50－56. (in Chinese with English abstract)

[20] 蘇偉，蔣坤萍，閆安，等. 基于無人機遙感影像的育種玉米壟數(shù)統(tǒng)計監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(10)：92－98.

Su Wei, Jiang Kunping, Yan An, et al. Monitoring of planted lines for breeding corn using UAV remote sensing image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(10): 92－98. (in Chinese with English abstract)

[21] Wang Q, Zhang Q, Rovira-Más, et al. Stereovision-based lateral offset measurement for vehicle navigation in cultivated stubble fields[J]. Biosystems Engineering, 2011, 109(4): 258－265.

[22] 呂麗平，張西芝，張玉宏. 基于中心線引導(dǎo)的主動視覺導(dǎo)航方法研究[J]. 電子測量與儀器學(xué)報，2018，32(3)：18－25.

Lü Liping, Zhang Xizhi, Zhang Yuhong. Research of active vision navigation based on centerline guidance[J]. Journal of Electronic Measurement and Instrumentation, 2018, 32(3): 18－25. (in Chinese with English abstract)

[23] 李林，魏新華，朱文靜，等. 寬幅施藥機械機器視覺輔助導(dǎo)航系統(tǒng)研究[J]. 農(nóng)業(yè)機械學(xué)報，2015，46(9)：28－33.

Li Lin, Wei Xinhua, Zhu Wenjing, et al. Research on auxiliary navigation system for wide spraying mechanism based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9): 28－33. (in Chinese with English abstract)

[24] 閆輝，許廷發(fā)，吳青青，等. 多特征融合匹配的多目標(biāo)跟蹤[J]. 中國光學(xué)，2013，6(2)：163－170.

Yan Hui, Xu Tingfa, Wu Qingqing, et al. Multi-object tracking based on multi-feature joint matching[J]. Chinese Optics, 2013, 6(2): 163－170. (in Chinese with English abstract)

[25] 白如月，汪小旵，魯偉，等. 施藥機器人對行施藥系統(tǒng)的設(shè)計與試驗[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報，2018，39(5)：101－109.

Bai Ruyue, Wang Xiaochan, Lu Wei, et al. Design and experiment of row-following pesticide spraying system by robot[J]. Journal of South China Agricultural University, 2018, 39(5): 101－109. (in Chinese with English abstract)

[26] 孫巧. 基于加權(quán)重疊率的單目標(biāo)視覺跟蹤評價指標(biāo)[J]. 電子學(xué)報，2017，45(3)：753－761.

[27] 吳剛，譚彧，鄭永軍，等. 基于改進(jìn)Hough變換的收獲機器人行走目標(biāo)直線檢測[J]. 農(nóng)業(yè)機械學(xué)報，2010，41(2)：176－179.

Wu Gang, Tan Yu, Zheng Yongjun, et al. Walking goal line detection based on improved Hough transform on harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(2): 176－179. (in Chinese with English abstract)

[28] 彭順正，坎雜，李景彬. 矮化密植棗園收獲作業(yè)視覺導(dǎo)航路徑提取[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(9)：45－52.

Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 45－52. (in Chinese with English abstract)

[29] 劉士建，吳瀅躍. 具有記憶跟蹤功能的質(zhì)心跟蹤算法[J]. 紅外技術(shù)，2012，34(11)：636－639.

Liu Shijian, Wu Yingyue. Centroid tracking algorithm with memory tracking feature[J]. Infrared Technology, 2012, 34(11): 636－639. (in Chinese with English abstract)

[30] 梁習(xí)卉子，陳兵旗，姜秋慧，等. 基于圖像處理的玉米收割機導(dǎo)航路線檢測方法[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(22)：43－49.

Liang Xihuizi, Chen Bingqi, Jiang Qiuhui, et al. Detection method of navigation route of corn harvester based on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(22): 43－49. (in Chinese with English abstract)

[31] 路紅，李宏勝，費樹岷，等. 融合塊顯著質(zhì)心描述和多級關(guān)聯(lián)的多目標(biāo)跟蹤[J]. 系統(tǒng)工程與電子技術(shù)，2015，37(9)：2182－2190.

Lu Hong, Li Hongsheng, Fei Shumin, et al. Block-level saliency centroid representation and multi-level association based multi-target tracking[J]. Systems Engineering and Electronics, 2015, 37(9): 2182－2190. (in Chinese with English abstract)

[32] 張勤，陳少杰，李彬. 基于SUSAN角點的秧苗列中心線提取方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(20)：165－171.

Zhang Qin, Chen Shaojie, Li Bin. Extraction method for centerlines of rice seedlings based on SUSAN corner[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 165－171. (in Chinese with English abstract)

[33] Ji Ronghua, Qi Lijun. Crop-row detection algorithm based on random Hough transformation[J]. Mathematical and Computer Modelling, 2011, 54(3): 1016－1020.

[34] Jiang Guoquan, Wang Zhiheng, Liu Hongmin. Automatic detection of crop rows based on multi-ROIs[J]. Expert Systems with Applications, 2015, 42(5): 2429－2441.

Dynamic counting method of cotton rows in video based on centroid tracking

Liang Xihuizi1,3, Chen Bingqi1※, Li Minzan2, Wei Chaojie1, Yang Yanqiu1, Wang Jin1, Feng Jie1

(1.,,100083,; 2.,100083,; 3.,,832003,)

Pesticide spraying is one of the most important farm activities related to the protection of plants. The application of pesticides by unmanned aerial vehicles (UAV) can effectively avoid the harm caused by pesticides to human body, but the amount of pesticides is limited and it is difficult to locate the pesticides between flights. The unmanned navigation tractor with GNSS (global navigation satellite system) has realized the automatic navigation of planting and cotton harvesting in large area cotton field while could not work in cotton plant protection operation because the complex crop growth environment on site. Visual navigation vehicle can carry a large amount of pesticide, and its operation path is determined by the growth state of crops in the farmland avoiding crushing seedling. Therefore, it has great potential for the unmanned plant protection vehicle based on visual navigation in the field environment. Nowadays, sprayers mounted on tractors have being utilized in cotton protection in Xinjiang. The present studies for objects mainly focus on static images, and the dynamic detection of crop rows in video sequence is studied barely. Aiming at that, A plant protection unmanned vehicle was exploited, which can enhance and complement the intelligent agriculture. After the vehicle finish spraying in one cotton row, it will stop safely and accurately just at the edge of the proposed position. Subsequently, its 4 wheels will rotate 90° simultaneously, so as to ensure it can move in a vertical direction through the cotton rows; a camera on the opposite side can also be utilized to count the cotton rows and avoid repeated spraying. When the vehicle passes cotton rows preseted, its 4 wheels can simultaneously rotate 90°again along the same direction to prepare for the next spraying. Then a video-based dynamic count method for cotton rows is proposed to determine the interval distance of linear operation area in this paper. By tracking the centroids of cotton plant, the number of cotton rows could be counted in real time. Firstly, the color image from video became grayscale to emphasize information of cotton rows with prominent green component by calculation of 2--. Then, a region of interest (ROI) was set not only to reduce the calculation amount, but also to avoid the lacking of seedling in the end of cotton rows. Secondly, the vertical cumulative histogram of gray in ROI was solved and the histogram vs ROI width curve was obtained. The wave crests of the curve determined by two conditions were found, in which the width and the sharpness should be satisfied with threshold. Then a floating window was established to positioning the cotton row. Besides that, the grayscale centroids of each floating window were calculated, which represent the cotton rows where each one was located. Thirdly, a target window with the size of 65×65 was established for each centroid. With the growth of cotton, the branches and leaves intertwined in which situation, the gap between the 2 cotton rows became smaller, and the cotton leaves of one row were very loose. In this case, one cotton row might correspond to more than one target window. To avoiding the influences of the growth, the overlap rate was calculated between each 2 adjacent target windows. And the 2 target windows whose overlap rate meeting the condition (large than 0.1) should be merged together. It had been done until no overlapped rate meeting the conditions. Thus, each cotton row had been identified. For tracking, starting from the second frame, the overlap rate between each target window and other target windows from previous frame was judged, if it met the condition, the two target windows in the two successive frames were connected. Then the cotton row could be tracked. The test proved that the processing time of detecting cotton row was approximately 150 ms per frame, which satisfied the requirement of practical application for the cotton protection in the field.

machine vision; cotton; recognition; cotton field spray; lateral movement; counting row number

10.11975/j.issn.1002-6819.2019.02.023

TP391.41

A

1002-6819(2019)-02-0175-08

2018-09-14

2019-01-05

國家重點研發(fā)計劃項目（2017YFD0701000-2017YFD0701003）

梁習(xí)卉子，講師，在職博士生，主要從事圖像處理與機器視覺方面的研究。Email：liangxihuizi-lxhz@163. com

陳兵旗，教授，博士生導(dǎo)師，主要從事圖像處理與機器視覺方面的研究。Email：fbcbq@163.com

梁習(xí)卉子，陳兵旗，李民贊，魏超杰，楊艷秋，王 進(jìn)，馮 杰. 質(zhì)心跟蹤視頻棉花行數(shù)動態(tài)計數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(2)：175－182. doi：10.11975/j.issn.1002-6819.2019.02.023 http://www.tcsae.org

Liang Xihuizi, Chen Bingqi, Li Minzan, Wei Chaojie, Yang Yanqiu, Wang Jin, Feng Jie. Dynamic counting method of cotton rows in video based on centroid tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 175－182. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.02.023 http://www.tcsae.org