基于HOG特征和SVM的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法

梁習(xí)卉子，陳兵旗，李民贊，魏超杰，馮 杰

基于HOG特征和SVM的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法

梁習(xí)卉子1,3，陳兵旗1※，李民贊2，魏超杰1，馮 杰1

（1. 中國農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083；2. 中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083；3. 石河子大學(xué)機(jī)械電氣工程學(xué)院，石河子 832003）

正確地進(jìn)行棉花行數(shù)的動(dòng)態(tài)計(jì)數(shù)是保證視覺植保車在田端橫移過程中實(shí)現(xiàn)準(zhǔn)確定位的前提。該研究以植保期間的棉花作物為研究對(duì)象，提出通過方向梯度直方圖（Histogram of Oriented Gradient，HOG）和支持向量機(jī)（Support Vector Machine，SVM）實(shí)現(xiàn)棉田的棉花行動(dòng)態(tài)計(jì)數(shù)方法。為了減少棉花行之間的粘連，以及缺苗和倒伏對(duì)棉花行識(shí)別造成的影響，設(shè)置圖像的感興趣區(qū)域（Region of Interest，ROI）；為了減小相機(jī)抖動(dòng)、光照變化以及刮風(fēng)對(duì)動(dòng)態(tài)數(shù)行造成的影響，使用HOG-SVM模型在視頻序列圖像ROI區(qū)域內(nèi)窗口滑動(dòng)檢測(cè)，將棉花行和行間背景分別設(shè)置正、負(fù)樣本，通過提取二者HOG特征、多次訓(xùn)練獲得SVM分類器參數(shù)，固化HOG-SVM模型，再使用非極大值抑制（Non-Maximum Suppression，NMS）進(jìn)行窗口的歸一，通過歸一化互相關(guān)（Normalized Cross Correlation，NCC）模板匹配實(shí)現(xiàn)棉花行的動(dòng)態(tài)跟蹤和計(jì)數(shù)。結(jié)果表明，該方法可以準(zhǔn)確地對(duì)棉花行實(shí)現(xiàn)動(dòng)態(tài)計(jì)數(shù)，有很好的泛化能力，識(shí)別率高于90%，平均每幀檢測(cè)時(shí)間為32 ms，滿足實(shí)際田間作業(yè)要求，可作為視覺植保車在地頭橫移的距離依據(jù)。

機(jī)器視覺；棉花；識(shí)別；苗列行計(jì)數(shù)；HOG特征；SVM分類器；NCC模板匹配

0 引 言

基于視覺導(dǎo)航的無人植保車（簡稱植保車）可以在保證不壓苗的前提下，通過識(shí)別作物苗列確定行走路線，完成植保作業(yè)的全覆蓋無人作業(yè)[1-2]。由于植保車在整個(gè)農(nóng)田作業(yè)過程中一直保持車體方向不變，在其行駛到地頭轉(zhuǎn)向和掉頭過程中，避免了噴藥桿的展開與收起動(dòng)作，極大地提高了植保噴藥的作業(yè)效率。植保車的全覆蓋作業(yè)導(dǎo)航路徑包括2個(gè)方面：1）植保車在農(nóng)田內(nèi)部作業(yè)過程中沿著作物行進(jìn)行直線行駛作業(yè)；2）植保車在地頭的橫向移動(dòng)[3]。其中，植保車在地頭橫移的距離由所跨越的作物行數(shù)決定，而行數(shù)由噴藥桿的翼展以及作物的實(shí)際種植模式2個(gè)因素決定[4-5]。準(zhǔn)確地進(jìn)行作物行動(dòng)態(tài)計(jì)數(shù)能夠保證植保車精確跨行，也是精準(zhǔn)確定植保車在地頭橫移距離的重要依據(jù)。

在農(nóng)田視覺導(dǎo)航的苗列線檢測(cè)方面，常用的導(dǎo)航線檢測(cè)方法有Hough變換、最小二乘法以及水平條帶等。Hough變換適合檢測(cè)單行作物，Rovira-Más等[6]將Hough結(jié)合連通域的分析，從所有可能的選擇中確定最合適的路徑，能夠在室內(nèi)和田間進(jìn)行導(dǎo)航線檢測(cè)。S?gaard等[7]針對(duì)圖像中同時(shí)覆蓋的五行作物，通過加權(quán)線性回歸計(jì)算行中心線的方向和橫向位置，估計(jì)出導(dǎo)航路徑。Choi等[8]利用水稻的形態(tài)特征，計(jì)算彎曲葉片各分段直線的平均斜率，利用水稻葉片的方向與水稻行中心區(qū)域的收斂性，利用Hough變換獲得導(dǎo)航線。Zhang等[9]利用自適應(yīng)灰度化算法提取水田圖像的灰度特征，提取水稻SUSAN角點(diǎn)作為特征點(diǎn)，應(yīng)用改進(jìn)的序貫聚類算法和Hough變換檢測(cè)導(dǎo)航線。陳嬌等[10]在獲得各壟行所在區(qū)域后，根據(jù)攝像機(jī)標(biāo)定原理與透視變換原理，結(jié)合壟線基本平行的特征，使用改進(jìn)Hough變換識(shí)別出農(nóng)田中的多個(gè)壟線。最小二乘法可用于檢測(cè)多行作物，Jiang等[11-12]基于行間距近似相等的幾何約束，將多行特征融合到一次優(yōu)化過程中估計(jì)候選點(diǎn)，利用聚類方法確定作物行的真實(shí)中心點(diǎn)，采用線性回歸方法對(duì)作物行進(jìn)行擬合。Zhang[13]針對(duì)雜草干擾和作物行距的影響，通過設(shè)定雙閾值進(jìn)行圖像分割，結(jié)合大津法和粒子群優(yōu)化算法分離雜草與農(nóng)作物，采用位置聚類算法和最短路徑法確定最終的聚類特征點(diǎn)集，通過最小二乘法的線性回歸方法擬合作物行。韓永華等[14]通過作物行的交替及最大類間方差法、顏色模型分量變換，結(jié)合小波多分辨率分解后構(gòu)建的頻率總量指標(biāo)，識(shí)別出多行作物。周雅文等[15]在大尺度低分辨率下凸顯導(dǎo)航路徑宏觀輪廓，結(jié)合小波變換和改進(jìn)隨機(jī)抽樣一致性，針對(duì)獲取的特征點(diǎn)集合運(yùn)用結(jié)合預(yù)檢驗(yàn)和后處理校正的改進(jìn)隨機(jī)抽樣一致性算法，用最小二乘法擬合導(dǎo)航路徑直線擬合。翟志強(qiáng)等[16]針對(duì)基于雙目視覺導(dǎo)航圖像，通過最小核值相似算子檢測(cè)作物行特征角點(diǎn)，識(shí)別出了多行作物。刁智華等[17]通過分割作物與背景，結(jié)合最大正方形準(zhǔn)則提取了多行玉米的骨架。唐晶磊等[18]通過將農(nóng)田視覺導(dǎo)航圖像當(dāng)前的感興趣區(qū)域（Region of Interest，ROI）劃分為預(yù)視導(dǎo)航和當(dāng)前導(dǎo)航2個(gè)窗口，結(jié)合串行反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)訓(xùn)練，用最小二乘法檢測(cè)出多行作物。孟慶寬等[19]通過先行約束關(guān)系提取了多行玉米種植行的基準(zhǔn)線，用線性回歸確定出玉米行所在直線。Vidovi?等[20]使用已知增量法和全局最優(yōu)分割，結(jié)合直接全局優(yōu)化算法，用最小二乘法檢測(cè)出多行作物。水平條帶方法由于可以補(bǔ)償攝像機(jī)的橫向運(yùn)動(dòng)（搖擺），在克服相機(jī)抖動(dòng)方面有較大的優(yōu)勢(shì)，Sainz-Costa等[21]利用圖像序列中某些作物行的中心作為跟蹤特征，通過逆透視技術(shù)將所選區(qū)域轉(zhuǎn)換為圖像中心，通過水平條帶檢測(cè)作物行。農(nóng)田視覺導(dǎo)航的研究主要集中于檢測(cè)單幅圖像中的多行作物，作物行數(shù)可以由此進(jìn)行判斷，但是這些研究的目的是檢測(cè)出直線行走導(dǎo)航路徑，都無法動(dòng)態(tài)判斷作物行數(shù)。

棉花的植保效果決定了棉花生長的生態(tài)營養(yǎng)環(huán)境與最終的產(chǎn)量，是棉花種植重要的一個(gè)環(huán)節(jié)[22]。本研究以植保期棉花為研究對(duì)象，利用經(jīng)典的HOG-SVM方法，提取棉花行的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征，通過支持向量機(jī)（Support Vector Machine，SVM）分類，以及歸一化互相關(guān)（Normalized Cross Correlation，NCC）精確跟蹤和定位棉花行，進(jìn)一步實(shí)現(xiàn)視頻序列圖像中棉花行的動(dòng)態(tài)計(jì)數(shù)。通過對(duì)比試驗(yàn)，討論了光照條件和刮風(fēng)天氣對(duì)棉花行動(dòng)態(tài)識(shí)別效果的影響，該棉花行動(dòng)態(tài)計(jì)數(shù)方法作為視覺植保車在地頭橫移距離的確定依據(jù)，可用于其他半結(jié)構(gòu)化行種植作物。

1 試驗(yàn)方法

1.1 硬件及圖像采集

試驗(yàn)視頻于2018年6月采集，試驗(yàn)田（44°22′N，86°02′E）平均海拔437 m，所在地區(qū)干旱少雨，光照時(shí)間長，年日照時(shí)長為2 721～2 818 h，年降水量為125.0～207.7 mm，平均風(fēng)速1.5 m/s，屬于典型的溫帶大陸性氣候[23]。為驗(yàn)證算法對(duì)光照變化的適應(yīng)性，視頻采集時(shí)間在11:00—20:00之間，包含晴天的順光、逆光、陽光直射，以及陰天，所有視頻共10 376幀。為驗(yàn)證算法在復(fù)雜農(nóng)田環(huán)境下的魯棒性，視頻采集了棉田中常見的地頭缺苗及倒伏情況，以及刮風(fēng)天氣。

圖像采集設(shè)備為奧尼Q718型USB數(shù)碼相機(jī)，拍攝方式如圖1所示。由于植保車尚在試制階段，為了保證圖像的拍攝角度和相機(jī)高度（圖1a），將相機(jī)通過強(qiáng)磁塊固定在拖拉機(jī)車身側(cè)面，沿地頭行走采集視頻進(jìn)行圖像采集（圖1b）。相機(jī)與棉花行行端的距離=(90±10) cm，相機(jī)高度H=(120±5) cm，相機(jī)光軸與鉛垂線角度=60°。拖拉機(jī)在地頭的行駛速度為1.62 km/h（約0.45 m/s）。采集的彩色視頻圖像每秒30幀，每幀圖像大小為640×480 像素。

注：L為相機(jī)與棉花行之間的距離，cm；Hc為相機(jī)距地面高度，cm；β為相機(jī)俯角，（°）。

檢測(cè)算法開發(fā)的硬件環(huán)境為Intel(R) Core(TM) i7-8 700，主頻3.2GHz，內(nèi)存16GB，處理軟件環(huán)境為Microsoft Visual C++ 2010和OpenCV2.4.10，程序開發(fā)平臺(tái)為北京現(xiàn)代富博科技有限公司的二維運(yùn)動(dòng)圖像分析系統(tǒng)（Motion Image Analysis System，MIAS）。

1.2 樣本圖像的方向梯度直方圖（HOG）特征提取

為了訓(xùn)練SVM分類器，需要提取棉花行以及行間背景的HOG特作為圖像的特征描述子。通過OpenCV的ImageClipper獲取96×96幀的正、負(fù)訓(xùn)練樣本各7 000個(gè)，其中正樣本在寬度上包含完整的棉花行輪廓，涵蓋不同的光照條件；負(fù)樣本包含行間土壤、薄膜以及不完整的棉花行輪廓等。另外準(zhǔn)備用于優(yōu)化HOG-SVM模型參數(shù)的正、負(fù)測(cè)試樣本各1 000個(gè)。

1.2.1 圖像的灰度化及歸一化處理

式中max和min分別為G的灰度最大值和最小值。

1.2.2 方向梯度直方圖（HOG）特征的提取

將樣本圖像劃分為8×8像素的胞元（圖2a），其中每個(gè)方格表示一個(gè)像素點(diǎn)，計(jì)算每個(gè)胞元的方向梯度。將2×2個(gè)胞元組成一個(gè)16×16像素的塊（圖2b），將塊內(nèi)胞元的方向梯度串聯(lián)，再將所有梯度向量求平方和的平方根進(jìn)行L2范數(shù)歸一，求出塊的HOG特征。將2×2個(gè)塊組成一個(gè)32×32像素的窗口，窗口以8像素為步長，在樣本圖像中以從上到下，從左到右的順序滑動(dòng)檢測(cè)，得到樣本圖像的HOG特征（圖2c）。

注：圖2a為8×8像素組成的胞元，圖2b為2×2個(gè)胞元組成的塊，圖2c為 96×96像素的樣本圖像，其中斜線陰影部分為2×2個(gè)塊組成的滑動(dòng)窗口。

Note: Fig. 2a shows a cell composed of 8 × 8 pixels, Fig. 2bshows a block of 2×2 cells，F(xiàn)ig. 2c shows a 96 × 96 pixels sample image, in which the diagonal shadow part is a sliding window composed of 2 × 2 blocks.

圖2 棉花行HOG特征獲取過程示意圖

Fig.2 Schematic diagram of HOG feature acquisition process for cotton rows

式中（，）是像素點(diǎn)（，）的像素值，其梯度幅度（，）和方向（，）計(jì)算分別如式（5）和式（6）所示

1.3 SVM分類器的訓(xùn)練

將棉花行與行間背景進(jìn)行正確分類是有效識(shí)別棉花行的前提，使用非線性映射算法，通過徑向基核函數(shù)（Radial Basis Function，RBF）在高維空間中構(gòu)建最優(yōu)超平面，使低維特征空間的樣本在高維空間變得線性可分，實(shí)現(xiàn)復(fù)雜環(huán)境中棉花行與行間背景的正確分類。對(duì)所有的訓(xùn)練樣本圖像進(jìn)行正、負(fù)樣本標(biāo)識(shí)，將正樣本標(biāo)識(shí)為1，負(fù)樣本標(biāo)識(shí)為-1，進(jìn)行正、負(fù)樣本的分類（圖3）。

樣本視頻圖像中的棉花行與行間背景分別作為正、負(fù)樣本，正樣本為實(shí)心圓點(diǎn)，負(fù)樣本為空心圓點(diǎn)，二者在二維空間中分布雜亂，無法分類（圖3a）。將正、負(fù)樣本映射到三維的樣本空間中，在歐式空間中尋找一個(gè)線性判別函數(shù)作為“超平面”分隔2類樣本（圖3b）。在三維空間中做二維映射（圖3c），其中圖3b三維空間中的超平面對(duì)應(yīng)為圖3c二維空間中的直線。

注：圖3a中為二維空間內(nèi)正、負(fù)樣本的混和狀態(tài)，圖3b為三維空間內(nèi)將正、負(fù)樣本間隔開的超平面H，圖3c為三維空間在另一個(gè)平面內(nèi)映射中，超平面H將正、負(fù)樣本間隔的結(jié)果，其中，H1和H2為分別為超平面H的支持向量。

為了得到訓(xùn)練SVM分類器的參數(shù)，保證分類效果，SVM的訓(xùn)練過程分為2個(gè)步驟：

1）初次訓(xùn)練。通過正、負(fù)訓(xùn)練樣本的HOG特征，訓(xùn)練線性SVM分類器并保存分類器模型。

2）再次訓(xùn)練。將初次訓(xùn)練的SVM分類器對(duì)測(cè)試樣本再次進(jìn)行分類，將分類錯(cuò)誤的樣本重新進(jìn)行手動(dòng)標(biāo)識(shí)，實(shí)現(xiàn)SVM參數(shù)的優(yōu)化，重復(fù)再次訓(xùn)練的過程，直至分類結(jié)果完全正確，固化最終的HOG-SVM模型。

2 棉花行的識(shí)別

2.1 視頻序列圖像的預(yù)處理

對(duì)測(cè)試視頻的序列圖像進(jìn)行灰度化，處理的方法同1.2.1小節(jié)。定義灰度圖像的左上角為圖像的坐標(biāo)原點(diǎn)，向右為軸正方向，向下為軸正方向，size為圖像方向?qū)挾?，size為圖像方向高度，將視頻序列圖像的以（0，size/5）和（size，4·size/5）為對(duì)角的矩形區(qū)域設(shè)置為關(guān)注區(qū)域（Region of Interest，ROI），在ROI區(qū)域內(nèi)部識(shí)別棉花行[25]。

2.2 棉花行的識(shí)別

在測(cè)試視頻序列圖像的ROI區(qū)域內(nèi)，使用HOG-SVM模型以步長為8像素從上到下，從左到右進(jìn)行窗口滑動(dòng)檢測(cè)。在檢測(cè)的過程中，由于一行棉花可以被多次識(shí)別，得到多個(gè)候選目標(biāo)窗口，使用非極大值抑制（Non-Maximum Suppression，NMS）將同一行棉花所對(duì)應(yīng)的不同候選目標(biāo)窗口進(jìn)行窗口的歸一，處理過程如下：

為所有候選目標(biāo)窗口進(jìn)行置信度打分，并按照從高到低進(jìn)行排序，保留得分最高的候選目標(biāo)窗口，將其余的候選目標(biāo)窗口遍歷該目標(biāo)窗口，計(jì)算每2個(gè)窗口的交并比（Intersection Over Union，IOU），如果IOU > 0.4，則去除該候選目標(biāo)窗口，保留置信度高的窗口，直至得到每一行棉花對(duì)應(yīng)的最佳目標(biāo)窗口。

2.3 棉花行的跟蹤

求解前后幀目標(biāo)窗口的歸一化互相關(guān)（Normalized Cross Correlation，NCC）值，實(shí)現(xiàn)視頻中棉花行的動(dòng)態(tài)匹配跟蹤，NCC的值計(jì)算如式（8）所示

目標(biāo)窗口中的灰度像素值陣列為該窗口所對(duì)應(yīng)樣本數(shù)據(jù)的集合，若連續(xù)2幀圖像目標(biāo)窗口的NCC值越接近1，則2個(gè)目標(biāo)窗口所對(duì)應(yīng)數(shù)據(jù)集合的匹配度越高，2個(gè)目標(biāo)窗口表示同一行作物的可能性越大；若二者的NCC值越接近-1，則表示2個(gè)目標(biāo)窗口匹配度越低，二者表示同一行棉花的可能性越小。將非第一幀圖像中所識(shí)別到的目標(biāo)窗口遍歷上1幀所有目標(biāo)窗口，計(jì)算NCC的值并將其從大到小排列，保留最大值所對(duì)應(yīng)的2個(gè)目標(biāo)窗口進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)對(duì)視頻中棉花行的動(dòng)態(tài)跟蹤。

3 試驗(yàn)結(jié)果與分析

3.1 棉花行數(shù)識(shí)別結(jié)果定量分析

蕾期的棉花行寬度在15 cm以內(nèi)，在圖1所示的拍攝距離與成像角度條件下，棉花行寬在圖像中所占像素?cái)?shù)<80，為了避免偶爾有枝葉延伸到行間，準(zhǔn)確提取棉花行的HOG特征，本研究設(shè)定樣本圖像以及視頻圖像中的HOG-SVM滑動(dòng)模板大小為96×96像素，將棉花行的輪廓嚴(yán)格包含在內(nèi)。胞元所包含像素的行、列，以及窗口移動(dòng)的步長為樣本圖像的10%能夠更好的獲得HOG特征[26]，本研究將胞元的長、寬，以及窗口移動(dòng)步長分別設(shè)為8像素。

表1 不同光照條件下各方向梯度對(duì)識(shí)別效果的影響

注：晴天陽光直射為晴天正午，太陽垂直照射地面的情況。

Note: Sunny day and direct sunlight means that the sunshine vertically on the ground at noon on a clear day.

為測(cè)試刮風(fēng)條件下，棉花枝葉擺動(dòng)對(duì)圖像信息檢測(cè)結(jié)果造成的影響，圖4a～圖4d對(duì)比了不同天氣情況下，不同風(fēng)速下棉花動(dòng)態(tài)數(shù)行效果的影響，當(dāng)風(fēng)力<3級(jí)時(shí)，不同光照條件下識(shí)別率均在90%以上，隨著風(fēng)力增大，識(shí)別率減小，誤檢率增大。

圖4 風(fēng)速對(duì)識(shí)別效果的影響對(duì)比圖

3.2 棉花行數(shù)識(shí)別結(jié)果定性分析

灰度歸一化可有效降低了不同光照條件下的綠色顯著圖像像素的亮度不均勻與對(duì)比度不足。棉花行與行間背景的差別明顯，未受到圖像局部的葉片陰影和光照變化的影響。在圖像的紋理強(qiáng)度中，局部的表層曝光貢獻(xiàn)的比重較大，減小了光照影響[27]，將ROI區(qū)域設(shè)定在圖像縱軸的中間部分，不僅減少了計(jì)算量，提高了計(jì)算速度，并且有效地避免了2個(gè)問題對(duì)棉花行識(shí)別造成的干擾：1）圖像上端棉花行粘連，2）圖像下端棉花的缺苗和倒伏。

棉花枝葉生長的隨機(jī)性導(dǎo)致棉田的圖像信息復(fù)雜、顏色雜亂，無法僅通過顏色分布規(guī)律進(jìn)行棉花行數(shù)的動(dòng)態(tài)判斷。HOG特征提取輪廓外形數(shù)據(jù)是經(jīng)典的特征提取方法，非常適合在像素點(diǎn)顏色不規(guī)律前提下提取物體的邊緣輪廓信息。在田端視角下，棉花行在圖像中自上而下貫穿，具有較明顯的單一梯度方向特征，通過其在圖像中的邊緣特征的分布獲取棉花行的HOG特征，在復(fù)雜的棉田環(huán)境中，能夠在不同光照條件、車輛顛簸，以及刮風(fēng)等實(shí)際的應(yīng)用中有很好的魯棒性。

圖5為植保期間棉花行的識(shí)別過程，對(duì)視頻原圖設(shè)置ROI區(qū)域（圖5a），其內(nèi)部圖像進(jìn)行灰度化，外部圖像不進(jìn)行處理（圖5b）使用HOG-SVM模型進(jìn)行窗口滑動(dòng)進(jìn)行檢測(cè)（圖5c），對(duì)于同一棉花行所檢測(cè)到的多個(gè)窗口使用NMS進(jìn)行窗口歸一（圖5d）。

注：圖5a為原圖，矩形框?yàn)楦信d趣區(qū)域；圖5b為感興趣區(qū)域內(nèi)灰度化效果，感興趣區(qū)域外部的圖像不進(jìn)行計(jì)算；圖5c中的矩形框?yàn)镠OG-SVM模型所識(shí)別的中間兩行棉花結(jié)果，每一行棉花被多次識(shí)別，對(duì)應(yīng)多個(gè)矩形框；圖5d中的矩形框?yàn)閷?duì)中間兩行棉花窗口歸一的最終結(jié)果。

由于HOG-SVM模型滑動(dòng)檢測(cè)所得的候選目標(biāo)窗口為一系列重疊度很高的方框，胞元的方向梯度直方圖將所統(tǒng)計(jì)的局部圖像梯度信息進(jìn)行量化，局部圖像區(qū)域的HOG特征描述了圖像中棉花行的輪廓。由于每個(gè)胞元的梯度都會(huì)在窗口滑動(dòng)的過程中被多次用于最終的HOG描述子的計(jì)算，這種冗余計(jì)算顯著的提升了棉花行識(shí)別效果對(duì)視角變化、光照及刮風(fēng)天氣的魯棒性。對(duì)于HOG-SVM的重疊目標(biāo)窗口使用NMS進(jìn)行歸一，由于棉花行互相之間沒有遮擋，棉花行中心的目標(biāo)窗口為最佳目標(biāo)窗口。

3.3 不同光照條件下棉花行動(dòng)態(tài)計(jì)數(shù)結(jié)果

圖6～圖9為不同光照條件下的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)結(jié)果，其中包含田端缺苗和倒伏的情況。研究所選視頻均為棉花行向左移動(dòng)，輸出的ID為向右遞增，反之亦然。其中，每行棉花的ID號(hào)顯示在所對(duì)應(yīng)目標(biāo)窗口的幾何中心。

圖6為陰天環(huán)境下的視頻序列圖像跟蹤效果，視頻中出現(xiàn)圖像上端棉花行粘連，以及田端缺苗的現(xiàn)象。設(shè)定ROI區(qū)域，去除圖像上方和下方的部分，避免了缺苗對(duì)棉花行識(shí)別效果的影響。由于陰天條件下的葉片反光效果不明顯，棉花行的HOG特征反而更明顯，識(shí)別效果好。

注：數(shù)字為當(dāng)視頻中的棉花行向右移動(dòng)的過程中，所截取圖像中的棉花行動(dòng)態(tài)計(jì)數(shù)結(jié)果，即該行棉花的數(shù)值。下同。

圖7為晴天順光環(huán)境下的棉花行數(shù)動(dòng)態(tài)識(shí)別結(jié)果，在順光條件下，陽光在棉花葉片的反射效果明顯，行間薄膜對(duì)陽光的反射使得葉片變?yōu)樯罹G色。HOG特征不僅能夠捕獲輪廓和紋理信息，還可以弱化光照變化和小量的偏移的敏感程度，對(duì)于紅（Red，R）、綠（Green，G）、藍(lán)（Blue，B）3個(gè)顏色通道，使用2G-R-B進(jìn)行灰度化運(yùn)算，雖然在彩色圖像灰度化的過程中降維丟失了色度和對(duì)比度信息，但是保留了圖像主要的結(jié)構(gòu)特征，棉花行HOG特征需要提取棉花行的邊緣梯度，對(duì)顏色不敏感，即使順光條件下的棉花葉片反光發(fā)亮，也并未影響到的棉花行的行數(shù)及識(shí)別結(jié)果。

圖7 晴天順光環(huán)境下棉花行數(shù)動(dòng)態(tài)識(shí)別結(jié)果

圖8為晴天逆光環(huán)境下的棉花行數(shù)動(dòng)態(tài)識(shí)別結(jié)果，光線從相機(jī)的對(duì)面照射，圖像上方出現(xiàn)曝光過度的現(xiàn)象，第61幀圖像中的第5行棉花在ROI區(qū)域內(nèi)部出現(xiàn)缺苗現(xiàn)象。HOG-SVM模型在ROI區(qū)域內(nèi)的上端匹配出棉花行時(shí)，由于HOG-SVM模型對(duì)圖像ROI區(qū)域進(jìn)行滑動(dòng)窗口檢測(cè)的過程中，檢測(cè)順序?yàn)閺纳系较?，從左到右，?行棉花的ID值窗口在圖像中高于其余正常棉花行的ID值窗口位置。

圖8 晴天逆光環(huán)境下棉花行數(shù)動(dòng)態(tài)識(shí)別結(jié)果

圖9為晴天陽光直射環(huán)境下的棉花行數(shù)動(dòng)態(tài)識(shí)別結(jié)果，第1幀中棉花倒伏，第2、3行棉花葉片在行間相連，由于ROI區(qū)域不包含圖像最下端，雖然在圖像兩側(cè)的棉花行陰影蓋住了行間土壤，但是在ROI區(qū)域內(nèi)，通過HOG檢測(cè)到的棉花行輪廓信息并未受到陰影的干擾。

圖9 晴天陽光直射環(huán)境下棉花行數(shù)動(dòng)態(tài)識(shí)別結(jié)果

在實(shí)際的農(nóng)田作業(yè)環(huán)境中，靠近地頭的棉花植株不如棉田內(nèi)部植株所獲得的水分以及肥料均勻，容易出現(xiàn)缺苗和倒伏的現(xiàn)象，圖6第4行棉花、圖8第5行棉花均有缺苗，圖9第2、3行棉花由于倒伏而粘在一起，本研究將圖像的處理過程及計(jì)算限定在ROI區(qū)域內(nèi)，有效地減小了地頭棉花缺苗、倒伏現(xiàn)象對(duì)動(dòng)態(tài)數(shù)行結(jié)果造成影響。從圖6～圖9的棉花行動(dòng)態(tài)數(shù)行結(jié)果可以看出，不同強(qiáng)度及方向的陽光下動(dòng)態(tài)數(shù)行結(jié)果均正確，本研究算法對(duì)棉田的復(fù)雜自然環(huán)境，以及光照變化均有較強(qiáng)的魯棒性。

視頻晃動(dòng)是實(shí)際作業(yè)中需要考慮的一個(gè)重要因素[28-32]，在視頻采集的過程中，2個(gè)原因會(huì)造成固定在拖拉機(jī)上的相機(jī)抖動(dòng)：一是拖拉機(jī)發(fā)動(dòng)機(jī)的振動(dòng)，這種抖動(dòng)會(huì)造成視頻圖像的低頻小幅度振動(dòng)；二是棉田地頭的土路平整程度有限，不僅如此，農(nóng)田自然環(huán)境中的刮風(fēng)造成圖像中棉花枝葉無規(guī)則的擺動(dòng)，相機(jī)抖動(dòng)以及枝葉晃動(dòng)都會(huì)導(dǎo)致視頻清晰度明顯下降。由于棉花行在圖像內(nèi)為上下貫穿，相機(jī)縱向方向的抖動(dòng)對(duì)棉花行識(shí)別的影響很小，但是對(duì)于相機(jī)的橫向抖動(dòng)或者刮風(fēng)造成的棉花行枝葉晃動(dòng)卻會(huì)產(chǎn)生較大影響，本研究使用HOG-SVM模型的滑動(dòng)檢測(cè)進(jìn)行棉花行的識(shí)別，塊內(nèi)的胞元的方向梯度被多次重復(fù)統(tǒng)計(jì)，梯度方向直方圖通過重疊區(qū)域的密集型描述符加權(quán)計(jì)算，棉花行HOG特征的多次冗余計(jì)算減小了相機(jī)抖動(dòng)及枝葉擺動(dòng)的影響。在小于2級(jí)風(fēng)的刮風(fēng)天氣下，枝葉晃動(dòng)不會(huì)影響到棉花行跟蹤和計(jì)數(shù)效果，本研究所提出的方法對(duì)視頻抖動(dòng)以及刮風(fēng)天氣有較好的魯棒性。

4 結(jié) 論

本研究以蕾期棉田的視覺導(dǎo)航圖像作為研究對(duì)象，提出一種基于方向梯度直方圖（Histogram of Oriented Gradient，HOG）和支持向量機(jī)（Support Vector Machine，SVM）的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法，該方法對(duì)于光線的變化，相機(jī)抖動(dòng)以及刮風(fēng)天氣有較好的魯棒性。

1）通過對(duì)視頻序列圖像設(shè)定ROI區(qū)域，有效地避免了由于透視原理造成的圖像上端棉花行粘連，以及圖像下端棉花缺苗及倒伏現(xiàn)象對(duì)棉花行動(dòng)態(tài)計(jì)數(shù)造成的影響。

2）通過提取樣本的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征，以及采用支持向量機(jī)（Support Vector Machine，SVM）進(jìn)行分類，增強(qiáng)了棉花行識(shí)別的泛化能力，通過歸一化互相關(guān)（Normalized Cross Correlation，NCC）模板匹配實(shí)現(xiàn)棉花行的跟蹤，該方法對(duì)光照條件、相機(jī)抖動(dòng)以及刮風(fēng)環(huán)境具有較好的適應(yīng)性。

3）試驗(yàn)結(jié)果證明，該方法對(duì)于棉花行的識(shí)別率在90%以上，平均每幀檢測(cè)時(shí)間為32 ms，達(dá)到田間作業(yè)要求，該棉花行動(dòng)態(tài)計(jì)數(shù)方法作為視覺植保車在地頭橫移的距離依據(jù)，可為其他半結(jié)構(gòu)化的行種植低矮作物的植保作業(yè)提供理論依據(jù)。

[1] 司永勝，姜國權(quán)，劉剛，等. 基于最小二乘法的早期作物行中心線檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(7)：163-167. Si Yongsheng, Jiang Guoquan, Liu Gang, et al. Early stage crop rows detection based on least square method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(7): 163-167. (in Chinese with English abstract)

[2] 孟慶寬，仇瑞承，張漫，等. 基于改進(jìn)粒子群優(yōu)化模糊控制的農(nóng)業(yè)車輛導(dǎo)航系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(3)：29-36. Meng Qingkuan, Chou Ruicheng, Zhang Man, et al. Navigation system of agricultural vehicle based on fuzzy logic controller with improved particle swarm optimization algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 29-36. (in Chinese with English abstract)

[3] 梁習(xí)卉子，陳兵旗，李民贊，等. 質(zhì)心跟蹤視頻棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(2)：175-182. Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Dynamic counting method of cotton rows in video based on centroid tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 175-182. (in Chinese with English abstract)

[4] 張波，翟長遠(yuǎn)，蔡吉晨，等. 噴桿式施藥機(jī)對(duì)行噴霧控制系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)機(jī)化研究，2017，39(11)：49-58. Zhang Bo, Zhai Zhangyuan, Cai Jichen, et al. Design and experiment of row-follow control system for boom sprayer[J]. Journal of Agricultural Mechanization Research, 2017, 39(11): 49-58. (in Chinese with English abstract)

[5] 寧松瑞，左強(qiáng)，石建初，等. 新疆典型膜下滴灌棉花種植模式的用水效率與效益[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(22)：90-99. Ning Songrui, Zuo Qiang, Shi Jianchu, et al. Water use efficiency and benefit for typical planting modes of drip-irrigated cotton under film in Xinjiang[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(22): 90-99. (in Chinese with English abstract)

[6] Rovira-Más F, Zhang Qin, Reid J F, et al. Hough-transform-based vision algorithm for crop row detection of an automated agricultural vehicle[J]. Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, 2005, 219(8): 999-1010.

[7] S?gaard H T, Olsen H J. Determination of crop rows by image analysis without segmentation[J]. Computers and Electronics in Agriculture, 2003, 38(2): 141-158.

[8] Choi K H, Han S K, Han S H, et al. Morphology-based guidance line extraction for an autonomous weeding robot in paddy fields[J]. Computers and Electronics in Agriculture, 2015, 113(3): 266-274.

[9] Zhang Qin, Chen Shaojie, Li Bin, et al. A visual navigation algorithm for paddy field weeding robot based on image understanding[J]. Computers and Electronics in Agriculture, 2017, 143(12): 66-78.

[10] 陳嬌，姜國權(quán)，杜尚豐，等. 基于壟線平行特征的視覺導(dǎo)航多壟線識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25(12)：107-113. Chen Jiao, Jiang Guoquan, Du Shangfeng, et al. Crop rows detection based on parallel characteristic of crop rows using visual navigation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(12): 107-113. (in Chinese with English abstract)

[11] Jiang Guoquan, Wang Zhiheng, Liu Hongmin. Automatic detection of crop rows based on multi-ROIs[J]. Expert Systems with Applications, 2015, 42(5): 2429-2441.

[12] 姜國權(quán)，楊小亞，王志衡，等. 基于圖像特征點(diǎn)粒子群聚類算法的麥田作物行檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(11)：165-170. Jiang Guoquan, Yang Xiaoya, Wang Zhiheng, et al. Crop rows detection based on image characteristic point and particle swarm optimization-clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 165-170. (in Chinese with English abstract)

[13] Zhang Xiya, Li Xiaona, Zhang Baohua, et al. Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method[J]. Computers and Electronics in Agriculture, 2018, 154(11): 165-175.

[14] 韓永華，汪亞明，孫麒，等. 基于小波變換及Otsu分割的農(nóng)田作物行提取[J]. 電子與信息學(xué)報(bào)，2016，38(1)：63-70. Han Yonghua, Wang Yaming, Sun Qi, et al. Crop row detection based on wavelet transformation and Otsu segmentation algorithm[J]. Journal of Electronics & Information Technology, 2016, 38(1): 63-70. (in Chinese with English abstract)

[15] 周雅文，丁幼春，楊軍強(qiáng)，等. 油菜直播機(jī)導(dǎo)航路徑識(shí)別方法研究[J]. 華中農(nóng)業(yè)大學(xué)學(xué)報(bào)，2016，35(3)：128-133. Zhou Yawen, Ding Youchun, Yang Junqiang, et al. A method of identifying the navigation path of rapeseed direct seeder[J]. Journal of Huazhong Agricultural University 2016, 35(3): 128-133. (in Chinese with English abstract)

[16] 翟志強(qiáng)，朱忠祥，杜岳峰，等. 基于Census變換的雙目視覺作物行識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(11)：205-213. Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Method for detecting crop rows based on binocular vision with Census transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(11): 205-213. (in Chinese with English abstract)

[17] 刁智華，吳貝貝，毋媛媛，等. 基于最大正方形的玉米作物行骨架提取算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(23)：168-172. Diao Zhihua, Wu Beibei, Wu Yuanyuan, et al. Skeleton extraction algorithm of corn crop rows based on maximum square[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(23): 168-172. (in Chinese with English abstract)

[18] 唐晶磊，景旭，何東健，等. 基于串行BP網(wǎng)絡(luò)的農(nóng)業(yè)機(jī)器人視覺導(dǎo)航控制(英文)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(2)：194-198. Tang Jinglei, Jing Xu, He Dongjian, et al. Visual navigation control for agricultural robot using serial BP neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(2): 194-198. (in Chinese with English abstract)

[19] 孟慶寬，劉剛，張漫，等. 基于線性相關(guān)系數(shù)約束的作物行中心線檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(S1)：216-223. Meng Qingkuan, Liu Gang, Zhang Man, et al. Crop rows detection based on constraint of liner correlation coefficient[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(S1): 216-223. (in Chinese with English abstract)

[20] Vidovi? I, Scitovski R. Center-based clustering for line detection and application to crop rows detection[J]. Computers and Electronics in Agriculture, 2014, 109(11): 212-220.

[21] Sainz-Costa N, Ribeiro A, Burgos-Artizzu X P, et al. Mapping wide row crops with video sequences acquired from a tractor moving at treatment speed[J]. Sensors, 2011, 11(7): 7095-7109.

[22] 王剛，張鑫，陳兵，等. 影響棉花化學(xué)打頂施藥機(jī)車噴霧效果與產(chǎn)量的多因素分析[J]. 中國棉花，2016，43(4)：11-13. Wang Gang, Zhang Xin, Chen Bing, et al. Analysis of factors affecting the locomotive spraying effect of cotton topping chemicals and cotton yield[J]. China Cotton, 2016, 43(4): 11-13. (in Chinese with English abstract)

[23] 王萌萌，呂廷波，何新林，等. 氣象要素對(duì)石河子地區(qū)參考作物蒸發(fā)蒸騰量的影響[J]. 石河子大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，34(5)：638-642. Wang Mengmeng, Lyu Tingbo, He Xinlin, et al. Research on reference evapotranspiration with meteorological factors in Shihezi[J]. Journal of Shihezi University: Natural Science, 2016, 34(5): 638-642. (in Chinese with English abstract)

[24] Nguyen T L V, Apopei B, Alameh K. Effective plant discrimination based on the combination of local binary pattern operators and multiclass support vector machine methods[J]. Information Processing in Agriculture, 2019, 6(1): 116-131.

[25] 梁習(xí)卉子，陳兵旗，姜秋慧，等. 基于圖像處理的玉米收割機(jī)導(dǎo)航路線檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(22)：43-49. Liang Xihuizi, Chen Bingqi, Jiang Qiuhui, et al. Detection method of navigation route of corn harvester based on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(22): 43-49. (in Chinese with English abstract)

[26] Li Xing, Guo Xiaosong. A HOG feature and SVM based method for forward vehicle detection with single camera[C]// International Conference on Intelligent Human-machine Systems & Cybernetics-volume. Hangzhou, China. IEEE, 2013.

[27] 安秋，李志臣，姬長英，等. 基于光照無關(guān)圖的農(nóng)業(yè)機(jī)器人視覺導(dǎo)航算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25(11)：208-212. An Qiu, Li Zhichen, Ji Zhangying, et al. Agricultural robot vision navigation algorithm based on illumination invariant image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(11): 208-212. (in Chinese with English abstract)

[28] 方佳，何勇清，余敏芬，等. 植物生長素響應(yīng)因子基因的研究進(jìn)展[J]. 浙江農(nóng)林大學(xué)學(xué)報(bào)，2012，29(4)：611-616. Fang Jia, Heyongqing, Yu Minfen, et al. Recent advances with auxin response factors (ARFs): A review[J]. Journal of Zhejiang A & F University, 2012, 29(4): 611-616. (in Chinese with English abstract)

[29] Ji Ronghua, Qi Lijun. Crop-row detection algorithm based on random Hough transformation[J]. Mathematical & Computer Modelling, 2011, 54(3/4): 1016-1020.

[30] Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Multi-crop-row detection algorithm based on binocular vision[J], Biosystems Engineering, 2016, 150(10): 89-103

[31] Chen Gecheng, Ge Zhiqiang. SVM-tree and SVM-forest algorithms for imbalanced fault classification in industrial processes[J]. IFAC Journal of Systems and Control, 2019, 8(6): 100052.

[32] Campos-Herrera R, Blanco-Pérez R, Bueno-Pallero F á, et al. Vegetation drives assemblages of entomopathogenic nematodes and other soil organisms: Evidence from the Algarve, Portugal[J]. Soil Biology and Biochemistry, 2019, 128(1): 150-163.

Method for dynamic counting of cotton rows based on HOG feature and SVM

Liang Xihuizi1,3, Chen Bingqi1※, Li Minzan2, Wei Chaojie1, Feng Jie1

(1.,,100083,; 2.,,,100083,; 3.,,832003,)

The counting of cotton rows is dynamically a premise of accurate positioning of a visual plant protection vehicle, which can ensure that the vehicle can traverse at the end of a field. In this study, cotton during plant protection periods was taken as the research object, which presented a dynamic counting method of cotton rows based on Histogram of Oriented Gradient (HOG) and Support Vector Machine (SVM). Hogs of cotton rows and inter-row background were extracted as feature descriptors of images, then they were classified by an SVM classifier. In this way, cotton rows could be identified through classifying cotton rows and inter-row backgrounds. 7 000 positive and negative training samples were respectively prepared for HOG characteristics of training samples. Among them, positive samples contained a complete outline of cotton lines in width, by contrast, negative samples contained soil among lines, plastic films and incomplete outline of cotton lines, etc. Besides, 1 000 positive and negative test samples were prepared to optimize parameters of the HOG-SVM model. By setting a sliding window to training samples, hog features of sample images were extracted, meanwhile positive and negative samples were marked for initial training on SVM classifier parameters. The initially trained SVM classifier was used to classify and test the samples, and those with wrong classifications were picked out for re-marking and re-training. Such retraining processes would continue until all test samples were correctly classified. Then the final HOG-SVM model was solidified for video detections. In recognizing processes, the model was used to slide the window in sequence images and to detect. In the sequence images, the HOG-SVM model built in the previous step was used by the sliding window. In this way, cotton rows in the video could be detected. The same rows of cotton could be detected for many times. To accurately identify cotton rows, Non-Maximum Suppression (NMS) was used to normalize target windows of detected cotton rows. All candidate target windows were scored with confidence and sorted from high to low, then the one with the highest score was retained. In two consecutive images, NCC (Normalized Cross-Correlation) values of target windows of front and back frames were solved to match the same rows of cotton, realized dynamic tracking of cotton rows, and further realized counting. Visual perspectives would have different effects on the upper and lower ends of images. There was an adhesion among cotton rows at the upper end of images, and those at the lower end of images were lack of seedlings and lodging. Such interferences had impacts on identifications of cotton rows. To solve this problem, the Region of Interest (ROI) was set for video sequence images in this study, and recognition processes of all cotton rows were within the ROI region with a very complex cotton field environment. This method had strong robustness to change in a camera's view angles and natural environment, such as to change in the light as well as shook of branches and leaves caused by winds, etc. In this algorithm, the recognition rate of cotton rows was higher than 90% under the condition in which winds were lower than level-2 and the average detection time per frame was lower than 32 ms, which met requirements of actual field operations. This dynamic counting method of cotton rows was used as a basis for determining transverse distances of visual plant protection vehicles at field ends, which could be used in other semi-structured rows to plant low and short crops.

machine vision; cotton; recognition; crop row counting; HOG feature; SVM classifier; NCC template matching

梁習(xí)卉子，陳兵旗，李民贊，等. 基于HOG特征和SVM的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(15)：173-181.doi：10.11975/j.issn.1002-6819.2020.15.022 http://www.tcsae.org

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Method for dynamic counting of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.15.022 http://www.tcsae.org

2019-11-23

2020-03-13

國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2017YFD0701000-2017YFD0701003）

梁習(xí)卉子，在職博士生，講師，主要從事圖像處理與機(jī)器視覺方面的研究。Email：liangxihuizi-lxhz@163.com

陳兵旗，博士，教授，主要從事圖像處理與機(jī)器視覺方面的研究。Email：fbcbq@163.com

10.11975/j.issn.1002-6819.2020.15.022

TP391.41

A

1002-6819(2020)-15-0173-09