紅棗收獲機視覺導航路徑檢測

張雄楚，陳兵旗，李景彬，梁習卉子,，姚慶旺，穆述豪，姚文廣

·農(nóng)業(yè)信息與電氣技術·

紅棗收獲機視覺導航路徑檢測

張雄楚1，陳兵旗1※，李景彬2，梁習卉子1,2，姚慶旺2，穆述豪1，姚文廣1

（1. 中國農(nóng)業(yè)大學工學院，北京 100083；2. 石河子大學機械電氣工程學院，石河子 832003）

針對新疆地區(qū)駿棗與灰棗棗園的收獲作業(yè)，該研究提出一種紅棗收獲機棗樹行視覺導航路徑檢測算法。通過棗園圖像固定區(qū)域中B分量垂直累計直方圖的標準差與最小值的關系對棗園種類進行自動判斷。針對灰棗棗園，首先采用色差法與OTSU法對圖像進行灰度化與二值化處理，然后進行面積去噪與補洞處理，在處理區(qū)域內(nèi)從上向下逐行掃描，將每行像素上像素值為0的像素點坐標平均值作為該行候補點的坐標，并將所有候補點坐標的平均值作為Hough變換的已知點坐標，最后基于過已知點的Hough變換擬合導航路徑；針對駿棗棗園，在處理區(qū)域內(nèi)通過垂直累計R分量的方法確定掃描區(qū)間，然后在掃描區(qū)間內(nèi)從上到下逐行掃描，將每行像素上R分量值最小的像素點作為該行的候補點，并將所有候補點的坐標平均值作為Hough變換的已知點，最后使用過已知點的Hough變換擬合導航路徑。試驗結果表明：對于灰棗棗園與駿棗棗園，該算法的路徑檢測準確率平均值分別為94%和93%，處理1幀圖像平均耗時分別為0.042和0.046 s，檢測準確性與實時性滿足紅棗收獲機作業(yè)要求，能夠自動判別棗園種類進行作業(yè)，可為實現(xiàn)紅棗收獲機自動駕駛提供理論依據(jù)。

農(nóng)業(yè)機械；圖像處理；視覺導航；棗園；Hough變換

0 引 言

自動駕駛技術在農(nóng)業(yè)方面的應用是目前的重點研究內(nèi)容，而視覺導航自動駕駛技術因其采集信息豐富、靈活性好、抗干擾能力強以及成本低等優(yōu)勢成為自動駕駛技術的重要組成部分[1-2]。?

導航路徑檢測是農(nóng)機設備自主導航的關鍵技術[3-6]。針對農(nóng)業(yè)的視覺導航路徑檢測，王新忠等[7-15]以溫室、果園、田間除草、小麥收獲、水稻收割以及棉花播種為對象進行了導航路徑檢測的研究。謝忠華等[16-19]重點研究了嵌入式視覺導航、激光導航以及掃描濾波與顏色空間轉換在視覺導航中的應用。Guy等[20-22]針對葡萄園、田間障礙物和田間作業(yè)的拖拉機提出相適應的導航路徑檢測算法。Liu等[23]利用小波變換、線性分析和前后框架的相關理論提出了一種小麥播種機弱導航線檢測算法；梁習卉子等[24]基于加強關注G分量與跳行累計G分量的方式確定候補點；李景彬等[25]通過顏色分量差方法與移動平滑法對收獲時期的棉田圖像進行處理，并基于最低波谷點向未收獲區(qū)方向尋找波峰上升臨界點確定候補點；張雄楚等[26]針對棉花鋪膜播種作業(yè)視覺導航路徑檢測易受光照強度、噪聲及劃線深度影響，設計了一種抗干擾能力強、適應性廣的算法；李革等[27]改進傳統(tǒng)的純追蹤算法，使其滿足曲線路徑跟蹤；何潔等[28]提出了一種將邊緣檢測和掃描濾波相結合的基準線提取方法；孟慶寬等[29]研究了自然光照條件下基于機器視覺的農(nóng)業(yè)機械導航路徑識別技術，降低自然光照影響。

上述研究都是針對低矮作物的行間導航路徑檢測，新疆地區(qū)紅棗棗園收獲作業(yè)導航路徑檢測的相關報道文獻較少。紅棗產(chǎn)業(yè)在新疆地區(qū)社會經(jīng)濟中占有重要地位，主要品種有駿棗和灰棗。彭順正等[30]針對駿棗棗園作業(yè)環(huán)境，提出一種基于“行閾值分割”與“行間區(qū)域”方法的駿棗棗園導航基準線檢測算法。該方法只適用于行間行走，且不適用于灰棗棗園。新疆石河子大學研發(fā)了適用于棗樹行上作業(yè)的紅棗收獲機，是未來新疆紅棗收獲的主要機械之一，本研究基于該紅棗收獲機械提出一種針對駿棗與灰棗棗園棗樹行上作業(yè)并以樹冠中心線為導航路徑的視覺導航路徑檢測算法。

1 作業(yè)圖像采集及導航路徑檢測

1.1 作業(yè)圖像采集

本研究在新疆阿拉爾十四兵團采集駿棗和灰棗棗園的收獲作業(yè)視頻，其中駿棗圖像采集時間是2018年10月15日下午3:00－5:00，灰棗圖像采集時間是2019年10月20日下午3:00－5:00。具體操作如下：如圖1a所示，將采集攝像頭安裝在紅棗收獲機的駕駛室正前方，距離地面2.5 m，與地面水平夾角為=30°（保證能看全紅棗樹行幅寬）；如圖1b所示，開啟作業(yè)模式，駕駛紅棗收獲機械進行紅棗收獲作業(yè)，車速約為2 km/h，同時采集作業(yè)視頻，圖像大小640×480（像素），幀率30幀/s，并存儲為AVI格式?；贛icrosoft Visual Studio 2010系統(tǒng)，在北京現(xiàn)代富博科技有限公司的通用圖像處理系統(tǒng)ImageSys平臺上進行算法開發(fā)。電腦的處理器為Intel(R) Core(TM) i5-4590 CPU、主頻為3.3 GHz、內(nèi)存為8 G。

1.紅棗收獲機 2.相機 3.地面 4.已收獲棗樹行 5.收獲棗樹行 6.待收獲棗樹行

1.Jujube harvester 2.Camera 3.Ground 4.Jujube tree line which has been harvested 5.Jujube tree line in harvesting 6.Jujube tree line to be harvested.

注：為相機光軸與地面的垂直距離，m；為相機光軸與地面的水平夾角，(°)；箭頭表示作業(yè)方向。

Note:is vertical distance between the camera’s optical axis and the ground, m;is horizontal angle between the camera’s optical axis and the ground, (°); Arrow indicates the working direction.

圖1 相機安裝和紅棗收獲機作業(yè)示意圖

Fig.1 Schematic diagram of camera installation and jujube harvester operation

1.2 導航路徑檢測

如圖2所示，圖像左上角為坐標原點，向右為軸正方向，向下為軸正方向。圖像顏色分量分別用R（紅色）、G（綠色）、B（藍色）表示，其值分別用、、表示。像素點的、坐標分別對應像素列和像素行。

圖2 灰棗棗園處理窗口及擬合導航路徑示意圖

灰棗樹干較高，枝干較多，收獲期樹葉殘余較多，導致圖像噪聲較多，像素分布規(guī)律不明顯，需要先對采集的圖像進行面積去噪與補洞處理，再提取樹冠部分的候補點擬合導航路徑。駿棗樹干較矮，枝干較少，收獲期樹葉基本自然脫落，像素分布規(guī)律明顯，可直接通過擬合樹冠部分候補點提取導航路徑。

1.2.1 棗園作業(yè)模式的自動判別

為了避免圖像上方田端以外區(qū)域以及下方近視野噪聲的干擾，將圖像軸方向中間1/3區(qū)域設為處理區(qū)域。在處理區(qū)域內(nèi)將B分量的垂直累計值存入數(shù)組中，求得的最小值和標準差，若/<5則為駿棗棗園作業(yè)模式，其余為灰棗棗園作業(yè)模式。通過對開始作業(yè)第1幀圖像的判斷確定棗園作業(yè)模式，后面都以該模式進行導航線檢測。

1.2.2 灰棗棗園導航路徑檢測

1）圖像的灰度化與二值化處理

通過對灰棗棗園圖像的分析，左右行間區(qū)域像素與樹冠像素區(qū)別較大，且RGB像素值的關系是>>，采用色差法（公式：|2--|）對圖像進行灰度化處理，然后使用OTSU法對灰度圖像進行二值化處理。

2）面積去噪處理

使用ImageSys平臺中的Noise_remover函數(shù)，以黑色像素為對象，去除像素個數(shù)小于50的黑色像素連通區(qū)域。

3）補洞處理

使用ImageSys平臺中的Holl_filling函數(shù)，分別以黑色像素和白色像素為對象進行2次8鄰域補洞處理。

4）提取候補點群

如圖2的中間虛線框所示，以圖像軸方向中間1/3區(qū)域作為處理窗口。在處理窗口內(nèi)從上到下逐行掃描，將每行像素上像素值為0的像素點坐標平均值作為該行候補點的坐標，如圖2中的候補點群。

5）已知點的確定

將所有候補點坐標的平均值作為Hough變換已知點的坐標。

6）擬合導航路徑

基于上述步驟4）中候補點群與步驟5）中已知點，使用過已知點的Hough變換[24]擬合導航路徑，如圖2中實線所示。

1.2.3 駿棗棗園導航路徑檢測

1）處理窗口的確定

根據(jù)相機的安裝位置、距地面高度以及與地面水平夾角等因素，本研究以圖像軸方向中間1/3區(qū)域為處理窗口。

2）棗園田端的判斷

設棗園田端位置為，在處理窗口內(nèi)從上到下逐行掃描像素，并計算其R分量累計值，存入數(shù)組中。完成掃描后，計算數(shù)組的平均值和標準差1。最后，從下向上判斷數(shù)組的數(shù)據(jù)是否小于（-3×1）的值，若連續(xù)10個數(shù)據(jù)滿足條件，則設定第1次出現(xiàn)滿足條件數(shù)據(jù)代表的掃描行為田端，否則=0，即不存在田端。

3）掃描區(qū)間的確定

掃描標準線位置為第列像素，以掃描標準線為中心左右各擴展（本文=30）個像素作為掃描區(qū)間。確定值方法如下：在處理窗口內(nèi)從左向右逐列掃描，將第列像素的R分量累計值存儲在數(shù)組[]，數(shù)組中最小值對應的值為。

4）提取候補點群

每行像素提取1個候補點，方法如下：在掃描區(qū)間內(nèi)，從下向上逐行掃描至田端。將每行R分量最小值的像素點位置作為候補點。

5）已知點的確定

將所有候補點坐標的平均值作為Hough變換已知點的坐標。

6）擬合導航路徑

基于上述步驟4）中候補點群與步驟5）中已知點，使用過已知點的Hough變換[24]擬合導航路徑。

具體檢測流程圖如圖3所示。

圖3 檢測方法流程圖

2 試驗結果與分析

本研究錄制了灰棗棗園和駿棗棗園的導航視頻各5組進行算法的開發(fā)和測試，完成算法開發(fā)以后，分別在2種棗園進行實際導航試驗。選用灰棗棗園和駿棗棗園各3組視頻進行測試。其中，1組為順光工況，2組為逆光工況，每組視頻的幀數(shù)及棗園種類判別試驗結果見表1。

表1 棗園種類判別試驗結果

2.1 棗園種類判別

圖4為灰棗棗園和駿棗棗園圖像與模式判別處理區(qū)域內(nèi)B分量累計直方圖。從圖中可以看出，駿棗棗園的B分量累計直方圖存在明顯波谷且波動較大，而灰棗棗園作業(yè)圖像中波谷不明顯，所以將B分量最小值與標準差作為判別標準。其中灰棗棗園圖像的=18 427，=1 890.777，/=9.75；駿棗棗園圖像的=7 338，=1 979.634，/=3.71。根據(jù)視頻圖像統(tǒng)計結果，初步設定以/閾值為5進行棗園種類判別試驗。從表1中可以看出，灰棗與駿棗棗園類別的判別準確率皆為100%。所以確定/<5.0為駿棗棗園，否則為灰棗棗園。

圖4 棗園類別的判斷區(qū)域及判斷區(qū)域的B分量垂直累計直方圖

2.2 灰棗棗園導航路徑檢測過程與結果分析

圖5為不同工況下灰棗棗園導航路徑檢測過程。

在圖5a與圖5b中，對比二值圖像與去噪可以看出，二值化處理后的圖像中左右行間區(qū)域白色像素中存在黑色像素噪聲，經(jīng)過去噪處理后能夠有效去除噪聲；對比去噪處理與補黑色洞處理可以看出，經(jīng)過黑色像素補洞處理后，樹冠區(qū)域黑色像素中的“洞”（白色像素點）基本被“補上”（去除白色像素點），行間區(qū)域與樹冠界限較為明顯；對比補黑色洞處理與補白色洞處理可以看出，經(jīng)過白色像素補洞處理后，行間區(qū)域白色像素中的黑色像素形成的“洞”被完全被“補上”，使圖像的分區(qū)更為明顯，便于提取候補點（候補點群為樹冠區(qū)域中的白色像素點），擬合的導航路徑精度較高。

在圖5c中，原圖中矩形框區(qū)域的灰棗幾乎脫落且枝干稀疏，經(jīng)過二值化、去噪、補黑色洞和補白色洞處理后，行間區(qū)域與樹冠區(qū)域有黏連部分，使得該區(qū)域候補點的精度降低，最后導致檢測出的導航路徑與目測有一些偏差。

在圖5d中，缺株工況使得行間區(qū)域與樹冠區(qū)域黏連情況嚴重，圖像分區(qū)錯誤，導致檢測出的導航路徑誤差較大。

圖5 不同工況下灰棗棗園導航路徑檢測結果

使用采集到的作業(yè)視頻對算法進行驗證，實際檢測路徑與人工觀測路徑的夾角約大于5°即判為檢測錯誤，結果如表2所示。

表2 導航路徑檢測試驗結果

從表2中可以看出：灰棗棗園的3個視頻的準確率分別為92%、90%和98%，平均準確率為93%，平均處理速度為0.042 s/幀，該算法能夠滿足灰棗實際收獲作業(yè)的需要，其檢測的導航路徑可以作為灰棗棗園收獲作業(yè)視覺導航自動駕駛的導航路徑。產(chǎn)生誤檢的主要原因是枝干稀疏與缺株的情況使得行間區(qū)域與樹冠區(qū)域出現(xiàn)像素黏連，提取的候補點精度低，最終導致誤檢。

2.3 駿棗棗園導航路徑檢測過程與結果分析

圖6是不同工況下駿棗棗園導航路徑檢測結果。從圖6a中可以看出，在順光、車身抖動嚴重的情況下，目標棗行不在處理區(qū)域內(nèi)，導航路徑檢測失敗。對比圖6c、6d可知，人像的干擾會導致導航路徑誤檢。從圖6b中可以看出，針對逆光、缺株、地膜干擾工況，由于地膜逆光導致棗園田端誤檢，而導航路徑檢測準確，這說明使用R分量最小值能夠準確、穩(wěn)定地提取候補點。

圖7a是順光、人像干擾工況掃描區(qū)間圖人像干擾所在行像素R分量折線圖，第240列以前存在2個波谷，分別為第197列與第223列，通過對比可知，前者應為檢測的候補點位置且精度較高，但是由于第240列人像的干擾，使得第240列成為候補點位置，誤檢該行像素的候補點位置，最終導致導航路徑檢測失敗。

圖6 不同工況下駿棗棗園導航路徑檢測結果

圖7b是逆光、地膜干擾工況處理區(qū)域R分量水平累計折線圖，由于第220行為地膜集中區(qū)域，使得該位置出現(xiàn)數(shù)據(jù)大幅下降的波谷，導致田端判別方法誤檢該位置為田端，即地膜干擾致使田端檢測錯誤。圖7c是順光、陰影工況處理區(qū)域隨機像素行R分量折線圖，第240列為樹冠中心區(qū)域與該位置出現(xiàn)波谷相契合，即以R分量最小值提取的候補點位置準確。為驗證R分量最小值作為候補點提取特征的穩(wěn)定性，進行如下試驗：分別從采集的3個駿棗棗園視頻中隨機截取連續(xù)100幀圖像，人工觀察每幀圖像中第40行、第130行、第230行（分別對應圖像遠視端、圖像中間以及圖像近視端隨機像素行）像素候補點提取是否正確。試驗結果如表3所示，3個視頻中的近視端檢測準確率分別為93%、94%、92%，略低于圖像遠視端與圖像中間的檢測準確率，這主要是因為近視端的樹冠像素分布密度較低，噪聲多，干擾嚴重。出現(xiàn)誤檢的原因主要是人像干擾與車身抖動。

表3 候補點提取試驗結果

綜上，使用R分量最小值提取的候補點比較穩(wěn)定，適用于候補點的提取。

圖7 人像干擾、田端誤檢以及候補點特征分析的R分量折線圖

使用采集到的作業(yè)視頻對算法進行驗證，實際檢測路徑與人工觀測路徑的夾角約大于5°即判為檢測錯誤，結果如表4所示。

從表4中可以看出：針對駿棗棗園，3個視頻的準確率分別為93%、95%和90%，平均準確率為92%，平均處理速度為0.046 s/幀，該算法能夠滿足駿棗棗園實際收獲作業(yè)的需要，其檢測的導航路徑可以作為收獲作業(yè)的視覺導航自動駕駛的導航路徑，田端檢測準確。導航路徑出現(xiàn)誤檢的主要原因是車身抖動和人像的干擾導致掃描區(qū)間瞬移與人像所在行像素的候補點提取精度低，最終擬合的導航路徑精度不滿足要求，地膜的干擾是造成田端誤檢的主要原因。

表4 導航路徑檢測試驗結果

3 結 論

本文針對收獲時期灰棗棗園與駿棗棗園棗樹行上作業(yè)圖像，研究了視覺導航路徑檢測算法。該算法能夠自動判別棗園種類，確定作業(yè)模式，同時能夠判別駿棗棗園田端：

1）在開始作業(yè)的第1幀圖像軸方向中間1/3區(qū)域垂直累計B分量，然后基于最小值與標準差的關系確定棗園類型，使得系統(tǒng)能夠自動選擇作業(yè)模式，滿足實際作業(yè)要求。

2）針對灰棗棗園圖像，首先進行灰度化、二值化處理后，此時圖像分區(qū)不明顯，然后進行面積去噪與補洞處理，使得樹冠與行間區(qū)域部分界限明顯。在處理區(qū)域內(nèi)，從上到下逐行掃描，以每行黑色像素坐標平均值作為該行候補點坐標，再以所有候補點坐標平均值作為Hough變換已知點，最后使用過用過已知點的Hough變換擬合導航路徑。

3）針對駿棗棗園，在處理區(qū)域內(nèi)，以行像素為單位累計R分量值，再根據(jù)數(shù)據(jù)的平均值和標準差確定棗園田端的位置。從下到上至田端位置，以R分量最小值提取每行像素中的候補點，并以所有候補點坐標的平均值作為Hough、變換已知點，最后使用過已知點的Hough變換擬合導航路徑。

4）使用采集的多工況灰棗棗園與駿棗棗園圖像進行試驗，試驗的結果表明，灰棗棗園的檢測準確率平均值為93%，平均處理速度為0.042 s/幀，駿棗棗園的檢測準確率平均值為92%，平均處理速度為0.046 s/幀。該算法能夠適用于2種棗園收獲作業(yè)，提取的導航路徑精度與算法的實時性滿足實際作業(yè)的要求，能夠準確識別紅棗種類和駿棗棗園的田端，為實現(xiàn)紅棗收獲視覺導航自動駕駛提供的理論依據(jù)。

[1] Han Shufeng, He Yong, Fang Hui. Recent development in automatic guidance and autonomous vehicle for agriculture: A Review[J]. Journal of Zhejiang University: Agric. & Life Sci, 2018, 44(4): 381-391, 515.

韓樹豐，何勇，方慧. 農(nóng)機自動導航及無人駕駛車輛的發(fā)展綜述[J]. 浙江大學學報：農(nóng)業(yè)與生命科學版，2018，44(4)：381-391，515. (in English with Chinese abstract)

[2] 姬長英，周俊. 農(nóng)業(yè)機械導航技術發(fā)展分析[J]. 農(nóng)業(yè)機械學報，2014，45(9)：44-54.

Ji Changying, Zhou Jun. Current situation of navigation technologies for agricultural machinery [J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 44-54. (in Chinese with English abstract)

[3] 劉陽，高國琴. 農(nóng)業(yè)機械視覺導航基準線識別研究進展[J]. 農(nóng)機化研究，2015，37(5)：7-13.

Liu Yang, Gao Guoqin. Research development of vision- based guidance directrix recognition for agriculture vehicles[J]. Journal of Agricultural Mechanization Research, 2015, 37(5): 7-13. (in Chinese with English abstract)

[4] 陳兵旗. 農(nóng)田作業(yè)視覺導航系統(tǒng)研究[J]. 科技導報，2018，36(11)：66-81.

Chen Bingqi. Study on vision navigation for field work[J]. 2018, 36(11): 66-81. (in Chinese with English abstract)

[5] 劉陽. 自然環(huán)境下目標物的高速圖像檢測算法研究[D]. 北京：中國農(nóng)業(yè)大學，2014.

Liu Yang. Research on Objects Image High-speed Detection Algorithmunder Natural Environments[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)

[6] 翟志強，朱忠祥，杜岳峰，等. 基于虛擬現(xiàn)實的拖拉機雙目視覺導航試驗[J]. 農(nóng)業(yè)工程學報，2017，33(23)：56-65.

Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Test of binocular vision-based guidance for tractor based on virtual reality[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2017, 33(23): 56-65. (in Chinese with English abstract)

[7] 王新忠，韓旭，毛罕平，等. 基于最小二乘法的溫室番茄壟間視覺導航路徑檢[J]. 農(nóng)業(yè)機械學報，2012，43(6)：161-166.

Wang Xinzhong, Han Xu, Mao Hanping, et al. Navigation line detection of tomato ridges in greenhouse based on least square method. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(6): 161-166. (in Chinese with English abstract)

[8] 高國琴，李明. 基于K-means算法的溫室移動機器人導航路徑識別[J]. 農(nóng)業(yè)工程學報，2014，30(7)：25-33.

Gao Guoqin, Li Ming. Navigating path recognition for greenhouse mobile robot based on K-means algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(7): 25-33. (in Chinese with English abstract)

[9] 馮娟，劉剛，司永勝，等. 果園視覺導航基準線生成算法[J]. 農(nóng)業(yè)機械學報，2012，43(7)：185-189，184.

Feng Juan, Liu Gang, Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix inorchard[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(7): 185-189, 184. (in Chinese with English abstract)

[10] Meng Qingkuan, Qiu Ruicheng, He Jie, et al. Development of agricultural implement system based on machine vision and fuzzy control[J]. Computers and Electronics in Agriculture, 2015, 112: 128-138.

[11] 崔維，丁玲. 基于視覺導航和RBF的移動采摘機器人路徑規(guī)劃研究[J]. 農(nóng)機化研究，2016，38(11)：234-238.

Cui Wei, Ding Ling. Research on path planning for mobile picking robot based on visual navigation and RBF[J]. Journal of Agricultural Mechanization Research, 2016, 38(11): 234-238. (in Chinese with English abstract)

[12] 李景彬，陳兵旗，劉陽. 棉花鋪膜播種機導航路線圖像檢測方[J]. 農(nóng)業(yè)機械學報，2014，45(1)：40-45.

Li Jingbin, Chen Bingqi, Liu Yang. Image detection method of navigation route of cotton plastic film mulch planter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(1): 40-45. (in Chinese with English abstract)

[13] 郭翰林，洪瑛杰，張翔，等. 再生稻收割機的視覺導航路徑檢測方法[J]. 福建農(nóng)林大學學報：自然科學版，2017，46(3)：356-360.

Guo Hanlin, Hong Yingjie, Zhang Xiang, et al. Method of identifying the vision navigation path for ratooning rice harvester[J]. Journal of Fujian Agriculture and Forestry University: Natural Science Edition, 2017, 46(3): 356-360. (in Chinese with English abstract)

[14] 趙騰，野口伸，楊亮亮，等. 基于視覺識別的小麥收獲作業(yè)線快速獲取方法[J]. 農(nóng)業(yè)機械學報，2016，47(11)：32-37.

Zhao Teng, Noboru Noguchi, Yang Liangliang, et al. Fast edge detection method for wheat field based on visual recognition[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(11): 32-37. (in Chinese with English abstract)

[15] Zhang Qin, Chen Shaojie, et al. A visual navigation algorithm for paddy field weeding robot based on image understanding[J]. Computers and Electronics in Agriculture, 2017, 143: 66-78.

[16] 謝忠華. 水稻插秧機路徑追蹤設計—基于SOPC嵌入式視覺導航[J]. 農(nóng)機化研究，2017，39(10)：213-217.

Xie Zhonghua. Path tracking design of rice transplanter[J]. Journal of Agricultural Mechanization Research, 2017, 39(10): 213-217. (in Chinese with English abstract)

[17] Pawin T, Tofael A, Tomohiro T. Navigation of autonomous tractor for orchards and plantations using a laser range finde: Automatic control of trailer position with tractor[J]. Biosystems Engineering, 2016, 147: 90-103.

[18] 李茗萱，張漫，孟慶寬，等. 基于掃描濾波的農(nóng)機具視覺導航基準線快速檢測方法[J]. 農(nóng)業(yè)工程學報，2013，29(1)：41-47.

Li Mingxuan, Zhang Man, Meng Qingkuan, et al. Rapid detection of navigation baseline for farm machinery based on scan-filter algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2013, 29(1): 41-47. (in Chinese with English abstract)

[19] Vladimir C, Jarmo A, Vladimir B. Integer-based accurate conversion between RGB and HSV color spac[J]. Computers and Electrical Engineering, 2003, 19(1): 328-337.

[20] Guy Z, Amir S. A novel data fusion algorithm for low-cost localisation and navigation of autonomous vineyard sprayer robots[J]. Biosystems Engineering, 2016, 146: 133-148.

[21] David B, Ben U, Gordon W, et al. Vision‐based obstacle detection and navigation for an agricultural Robot[J]. Journal of Field Robotics, 2016, 33(8): 1107-1130.

[22] Hamed R, Hassan Z D, Hassan M, et al. A new DSWTS algorithm for real-time pedestrian detection in autonomous agricultural tractors as a computer vision system[J]. Measurement, 2016, 93: 126-134.

[23] Liu Yang, Chen Bingqi. Detection for weak navigation line for wheat planter based on machine vision[J]. Applied Mechanics & Materials, 2012, 246-247: 235-240.

[24] 梁習卉子，陳兵旗，姜秋慧，等. 基于圖像處理的玉米收割機導航路線檢測方法[J]. 農(nóng)業(yè)工程學報，2016，32(22): 43-49.

Liangxi Huizi, Chen Bingqi, Jiang Qiuhui, et al. Detection method of navigation route of corn harvester base-d on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2016, 32(22): 43-49. (in Chinese with English abstract)

[25] 李景彬，陳兵旗，劉陽，等. 采棉機視覺導航路線圖像檢測方法[J]. 農(nóng)業(yè)工程學報，2013，29(11)：11-19.

Li Jingbin, Chen Bingqi, Liu Yang, et al. Detection for navigation route for cotton harvester based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2013, 29(11): 11-19. (in Chinese with English abstract)

[26] 張雄楚，李景彬，姚慶旺，等. 棉花鋪膜播種作業(yè)拖拉機的視覺導航路徑檢測[J]. 農(nóng)機化研究，2020，42(5)：33-39.

Zhang Xiongchu, Li Jingbin, Yao Qingwang, et al. Research on visual navigation path detection algorithms of tractor for cotton film-spreading and seeding operation[J]. Journal of Agricultural Mechanization Research, 2020, 42(5): 33-39. (in Chinese with English abstract)

[27] 李革，王宇，郭劉粉，等. 插秧機導航路徑跟蹤改進純追蹤算法[J]. 農(nóng)業(yè)機械學報，2018，49(5)：21-26.

Li Ge, Wang Yu, Guo Liufen, et al. Improved pure pursuit algorithm for rice transplanter path tracking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(5): 21-26. (in Chinese with English abstract)

[28] 何潔，孟慶寬，張漫，等. 基于邊緣檢測與掃描濾波的農(nóng)機導航基準線提取方法[J]. 農(nóng)業(yè)機械學報，2014，45(S1)：265-270.

He Jie, Meng Qingkuan, Zhang Man, et al. Crop baseline extraction method for off-road vehicle based on boundary detection and scan-filter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(S1): 265-270. (in Chinese with English abstract)

[29] 孟慶寬，張漫，楊耿煌，等. 自然光照下基于粒子群算法的農(nóng)業(yè)機械導航路徑識別[J]. 農(nóng)業(yè)機械學報，2016，47(6)：11-20.

Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11-20. (in Chinese with English abstract)

[30] 彭順正，坎雜，李景彬. 矮化密植棗園收獲作業(yè)視覺導航路徑提取. 農(nóng)業(yè)工程學報，2017，33(9)：45-52.

Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked andclose-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2017, 33(9): 45-52. (in Chinese with English abstract)

Path detection of visual navigation for jujube harvesters

Zhang Xiongchu1, Chen Bingqi1※, Li Jingbin2, Liangxi Huizi1,2, Yao Qingwang2, Mu Shuhao1, Yao Wenguang1

(1.,100083,;2.,832003,)

The jujube industry occupies an important position in the social economy of Xinjiang. It is important to realize the automatic driving of the jujube harvester. This study proposes a visual navigation path detection algorithm for the jujube harvester which working above the jujube trees based on image processing, aiming at the harvest operation of the Jun-jujube and Hui-jujube orchards in Xinjiang. First, the variety of the jujube orchard was distinguished. Set the middle 1/3 area in the-axis direction of the image as the processing area, according to the relationship between the standard deviationand the minimum valueof the B-component vertical cumulative histogram of the processing area of the image, the jujube orchard variety was automatically determined. If the value of/was less than 5, it was the Jun-jujube orchard, and the rest was the Hui-jujube orchard. Secondly, navigation path was extracted based on the results of jujube orchard classification. For the Hui-jujube orchard, the cromatic aberration method and the OTSU method weare first used to transform the image into gray and binary, and then to denoise and fill the pixel hole that the black pixels inside white pixels or the white pixels inside black pixels in the binary image. Then, the pixel rows were scanned from the top to the bottom in the processing area, and then the coordinates average value of the pixel points with pixel value of 0 were taken as the candidate points on each pixel row, and the average value of all candidate points’ coordinates was used as the known point coordinates of Hough transform. Finally, the navigation path was fitted based on the Hough transform through the known points. For the Jun-jujube orchard, set the middle 1/3 of the-axis direction of the image as the processing area. The scan interval was determined by vertically accumulating the R-component in the processing area. Then, in the processing area, the scanning interval was determined by accumulating R-component vertically, and then scanned line by line from top to bottom in the scanning area,,the pixel with the smallest R-component value in each row of pixels was taken as the candidate point of the line, and the average coordinate value of all candidate points was taken as the known point of Hough transform. Finally, the Hough transform of known points was used to fit the navigation path The test results showed that for the Hui-jujube orchard and the Jun-jujube orchard, the average path detection accuracy of the algorithm was 94% and 93%, and the average processing time of one frame image was 0.042 and 0.046 s respectively. The detection accuracy and real-time performance can meet the requirements of jujube harvester operation, and can automatically identify the types of jujube orchard for operation, which can provide theoretical basis for the realization of automatic driving of jujube harvester.

agricultural machinery; image processing; vision navigation; jujube orchard; Hough transform

張雄楚，陳兵旗，李景彬，等. 紅棗收獲機視覺導航路徑檢測[J]. 農(nóng)業(yè)工程學報，2020，36(13)：133-140.doi：10.11975/j.issn.1002-6819.2020.13.016 http://www.tcsae.org

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-140. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.016 http://www.tcsae.org

2019-01-12

2020-06-10

國家重點研發(fā)計劃課題（2016YFD07011504）；兵團中青年科技創(chuàng)新領軍人才（2016BC001）

張雄楚，博士生，研究方向：圖像處理與機器視覺方面。Email：781661571@qq.com

陳兵旗，教授，博士生導師，博士，主要從事圖像處理與機器視覺方面研究。Email：fbcbq@163.com

10.11975/j.issn.1002-6819.2020.13.016

TP242.6

A

1002-6819(2020)-13-0133-08