相機與毫米波雷達融合檢測農(nóng)機前方田埂

張　巖，潘勝權，解印山，陳　凱，莫錦秋

相機與毫米波雷達融合檢測農(nóng)機前方田埂

張巖，潘勝權，解印山，陳凱，莫錦秋※

（上海交通大學機械與動力工程學院，上海 200240）

為滿足自主作業(yè)農(nóng)機地頭轉彎的需求，解決單傳感器檢測獲取信息不足的問題，該研究提出了將相機與毫米波雷達所獲取數(shù)據(jù)融合的多傳感前方田埂檢測方案，利用視覺檢測得到田埂形狀后輔助濾除毫米波雷達中干擾點進而得到田埂的距離和高度信息。在視覺檢測方面，根據(jù)前方田埂在圖像中的分布特點，提出了基于漸變重采樣選取部分點的加速處理方式，并在此基礎上利用基于11維顏色紋理特征的支持向量機進行圖像分割和基于等寬假設的幾何模型特征進行誤分類點剔除，然后擬合提取圖像中田埂邊界。在毫米波雷達檢測方面，提出了豎直放置毫米波雷達的檢測方式，以克服安裝高度與地形顛簸的影響，并獲得前方田埂的高度信息。將相機與毫米波雷達獲取的數(shù)據(jù)進行時空對齊后，利用視覺檢測結果濾除毫米波雷達干擾點，并將毫米波雷達獲得的單點距離信息進行擴展，形成維度上的數(shù)據(jù)互補，獲得前方田埂的形狀、距離、高度等更加豐富準確的信息。測試結果表明，在Nvidia Jetson TX2主控制器上，基于視覺的檢測平均用時40.83 ms，準確率95.67%，平均角度偏差0.67°，平均偏移量檢測偏差2.69%；基于融合算法的檢測平均距離檢測偏差0.11 m，距離檢測標準差6.93 cm，平均高度檢測偏差0.13 m，高度檢測標準差0.19 m，可以滿足自主作業(yè)農(nóng)機的實時性與準確性要求。

農(nóng)業(yè)機械；傳感器；數(shù)據(jù)融合；支持向量機；毫米波雷達；田埂

0 引 言

田埂是區(qū)分農(nóng)田區(qū)域與非農(nóng)田區(qū)域或一個農(nóng)田區(qū)域與另一個農(nóng)田區(qū)域的標志。及時準確地獲取田埂的位置形狀信息是自主導航農(nóng)機作業(yè)的前提，對自主導航農(nóng)機精準路徑規(guī)劃、不超區(qū)規(guī)范作業(yè)、高效地頭轉彎等功能起決定性作用。作為自主導航農(nóng)機三大關鍵技術之一的主要內(nèi)容[1]，田埂檢測越來越受到國內(nèi)外學者的廣泛關注。

田埂可以分為前方田埂和側向田埂[2]，其中前方田埂對自主導航農(nóng)機轉彎起主導性作用。田埂檢測的已有研究主要可以分為3類，即基于視覺的檢測、基于特征地圖的檢測和基于測距傳感器的檢測?；谝曈X的檢測主要是利用相機獲得農(nóng)田邊界的彩色圖像，進而得到農(nóng)田邊界線。王僑等[3]將農(nóng)田邊界圖像沿水平方向分為8個子區(qū)域并求取各子區(qū)域灰度跳變特征點，結合穩(wěn)健回歸法線性擬合得到非規(guī)整地頭的主體延伸線。蔡道清等[4]在超像素分割的基礎上利用支持向量機算法對水田田埂圖像進行分割后利用霍夫變換提取得到田埂邊界。陳兵旗[5]利用Kirsch算子進行微分運算，根據(jù)有無長連接成分區(qū)分水泥和土質田埂，再分別進行邊界線提取。朱淑鑫等[6]在HIS色彩空間利用改進區(qū)域分裂算法和Moore邊界追蹤算法，得到了田間道路邊界。Astrand等[7]通過作物行的偏移量和航向角發(fā)生異常判斷作物行是否結束并到達農(nóng)田邊界。基于特征地圖的檢測是結合農(nóng)田完整地圖和農(nóng)機的相對位置判斷是否到達農(nóng)田邊界。胡晨[8]在果園地頭放置路標，并利用激光雷達得到果園特征地圖，從而解決果園作業(yè)機器人的地頭定位。張永澤[9]利用高精度GPS/BD模塊測繪獲得地塊壟行特征點信息并導入百度地圖API，實現(xiàn)植保機器人農(nóng)田邊界轉向決策。Zhang等[10]利用無人機搭載相機與GPS模塊飛行拼接得到完整農(nóng)田地圖。李延華[11]利用激光雷達和GPS建立果園局部坐標和全局坐標系用于指導機器人在地頭處自主轉彎?；跍y距傳感器的檢測建立在農(nóng)田邊界線相對農(nóng)田有明顯的凸起特征的前提上，利用超聲波、激光等測距傳感器感知農(nóng)田邊界。丁筱玲[12]利用激光識別和多自由度運動姿態(tài)控制獲得地頭邊緣的位置。陳加棟[13]在無人機平臺搭載激光探測系統(tǒng)，通過作物和田埂之間的高度差判斷無人機是否到達邊界。Vinod等[14]利用聲納進行障礙物與農(nóng)田邊界的檢測。

基于視覺的檢測具有成本低、信息豐富等優(yōu)點，但易受光照等條件影響，并且難以獲得準確的距離信息；基于特征地圖的檢測具有準確度較高、環(huán)境魯棒性強的優(yōu)點，但是成本較高，并且存在定位信號丟失的問題；基于測距傳感器的檢測成本較低，可以得到農(nóng)田邊界與農(nóng)機的相對距離，但田埂高度突起要較為明顯，并且易受地形起伏的影響。

基于單傳感器檢測獲取的信息較為單一，故越來越多的研究開始聚焦于多傳感器融合檢測，但其中絕大多數(shù)研究主要關注障礙物檢測[15-17]，并且成本較高，有關低成本傳感融合的田埂檢測鮮有涉及。根據(jù)融合層次的不同，多傳感融合可以分為數(shù)據(jù)級融合、特征級融合和目標級融合[18]。

本文提出一種基于多傳感器融合方案，利用相機和豎直放置的毫米波雷達進行數(shù)據(jù)級融合從而獲得前方田埂的詳細信息。在視覺檢測方面，根據(jù)前方田埂在圖像中的特點，選取部分重采樣點代替全圖以加速處理，在此基礎上利用基于顏色紋理特征的支持向量機對重采樣點進行分類，然后基于幾何模型特征的誤分類點剔除，快速得到圖像中田埂邊界線。在毫米波雷達檢測方面，根據(jù)前方田埂連續(xù)存在的特點，將毫米波雷達由傳統(tǒng)的水平放置變?yōu)樨Q直放置，以克服安裝高度與地面起伏的影響。最后將二者數(shù)據(jù)進行時空對齊，將毫米波雷達所得數(shù)據(jù)映射到圖像中濾除掉干擾點，再利用圖像信息與毫米波雷達信息進行互補，得到前方田埂的形狀、距離、高度等更加豐富完善的信息。

1 基于視覺的前方田埂形狀檢測

由于植被生長與管理方式的不同，田埂區(qū)域相對非田埂區(qū)域存在一定的顏色與紋理差異，故以顏色紋理特征差異為依據(jù)，結合支持向量機（Support Vector Machine, SVM）進行不同區(qū)域的圖像分類。

1.1 基于顏色紋理特征的SVM前方田埂檢測

綜合考慮田埂區(qū)域與非田埂區(qū)域在顏色與紋理上的差異以及計算成本，本文提取了7維顏色特征和4維紋理特征組成11維特征向量，其表達式為

田埂區(qū)域相對于非田埂區(qū)域有一定程度上的顏色差異，故選擇RGB色彩空間內(nèi)R、G、B三個通道分量的一階顏色矩作為顏色特征。計算以目標點為中心、×范圍內(nèi)所有點的一階顏色矩均值。取值過小易受噪聲干擾，而取值過大易使顏色特征被均化，故本文取=3，計算公式為

式中p為圖像(,)位置處各通道的值。

式中(,)為灰度值對(,)在灰度共生矩陣中出現(xiàn)的頻率。

構造完特征后，利用SVM構造超平面使特征空間中不同類樣本之間間隔最大[21]，要解決的優(yōu)化問題為

式中為超平面法向量；為超平面位移；為懲罰系數(shù)；ξ為松弛因子；y為第個樣本的標簽；v為第個樣本特征向量。

本文于上海市松江區(qū)一處未播種的水田中，在晴朗的天氣情況下從13∶00到17∶00，以1 h為時間間隔，采集一天中不同時刻的農(nóng)田原始圖像20張，通過人工標注的方式獲得田埂樣本1 602個，非田埂樣本2 356個。隨機選擇其中的80%為訓練集進行SVM模型訓練，剩余的20%為驗證集進行模型效果的驗證。調(diào)整相關參數(shù)，選擇在驗證集上表現(xiàn)最好的模型作為輸出。圖1b為本文訓練模型的預測結果，從圖中可以看出，田埂區(qū)域與非田埂區(qū)域基本被準確分割開來。

1.2 基于重采樣的加速處理

本文采集的原始圖像尺寸為800像素×600像素，在16 GB內(nèi)存、Intel i7-6700K CPU的計算機上按照本文方法對一幅圖像進行預測分割大約需要0.52 s，難以滿足自主導航農(nóng)機的實時性要求。分析圖1a的原始農(nóng)田圖像可知，前方田埂在圖像中呈現(xiàn)縱向連續(xù)分布、橫向貫穿全圖的特征?；谶@一特征，本文提出一種基于重采樣的圖像加速處理算法。

縱向連續(xù)分布指在合適的相機安裝角度條件下，單幅圖像中只會拍攝到1條田埂，即前方田埂在圖像縱向方向是連續(xù)分布的，不存在田埂-非田埂-田埂的分布排列。根據(jù)這一特點，在圖像縱向方向上選取分析間距為d的2個像素點，可以分為如圖2a所示3種情況：①2個點都是非田埂點，則二者連線上所有點均是非田埂點；②2個點都是田埂點，則二者連線上所有點均是田埂點；③1個點是田埂點、另一個點是非田埂點，則二者連線之間存在田埂與非田埂的分界線。針對①、②兩種情況，無需特別補充判斷，針對第三種情況則需利用二分法繼續(xù)找尋出2點之間的邊界位置。

橫向貫穿全圖是指前方田埂在圖像橫向方向是貫穿全圖存在的，不存在斷開的情況。選取合適的橫向分析間距d，則可利用2個邊界點擬合出二者之間的邊界線，如圖2b所示。

1.田埂區(qū)域 2.非田埂區(qū)域 3.非田埂點 4.田埂點 5.邊界點

1.Region of ridge 2.Region of non-ridge 3.Non-ridge point 4.Ridge point 5.Boundary point

注：d為縱向分析間距，像素；d為縱向分析間距，像素。

Note:dis the longitudinal analysis spacing, pixel;dis the longitudinal analysis spacing, pixel.

圖2 車輛前方田埂圖像特征分析

Fig.2 Image feature analysis of ridge in front of vehicle

綜合上述2個特點，選取圖像中的部分重采樣點進行分析即可得到完整的前方田埂位置。考慮到透視效應的影響，圖像上部單位像素內(nèi)包含的信息較多而下部則相對較少。若在縱向方向設計相等的重采樣間隔d，d太小無法有效減少待處理數(shù)據(jù)量，d太大則可能出現(xiàn)上部圖像中待分析2點全為非田埂點而2點連線間卻存在田埂點的誤判情況。本文采用縱向方向重采樣間隔d逐漸變化的重采樣方式，針對本文采集圖像的特點，d取值為

橫向方向采用等間隔重采樣方式，但不宜過大，以免出現(xiàn)2點無法擬合出實際邊界線。本文取d=20像素。

按照上述重采樣方法，重采樣點選取情況如圖3a所示，重采樣后需對1 040個像素點進行預測，僅占原始圖像像素點總數(shù)的0.22%，有效提升檢測速度。

1.3 基于幾何模型的誤分類點剔除

圖3b為根據(jù)前文所述方法得到的前方田埂邊界點位置圖，由于誤分類點的存在，部分列中出現(xiàn)了2個以上的邊界點。根據(jù)前述方法可知，同一列中所求得的邊界點兩兩形成二元組，之間連線區(qū)域代表田埂。對于部分連線長度過短的二元組，其原因是SVM分類器在非田埂區(qū)域對極個別點發(fā)生誤判，可以按照式（7）進行濾除：

式中1為邊界點二元組中靠近圖像上部的點所處行坐標；2為邊界點二元組中靠近圖像下部的點所處行坐標；D為二元組連線長度閾值。

圖3c為按上述方法初步濾除誤判點后的效果圖，大部分誤判點都已經(jīng)被濾除，但仍有少部分無法濾除，為進一步提升視覺檢測效果，本文提出進一步利用圖像中田埂幾何模型特征的方式進行誤判點剔除。幾何模型是指田埂在圖像中呈現(xiàn)一定幾何分布特征，現(xiàn)有研究中大多使用條件過強的幾何模型假設，難以適用于大多數(shù)農(nóng)田[22-24]。根據(jù)調(diào)研分析發(fā)現(xiàn)，由于目前農(nóng)田中的田埂大多為人工或機器修筑，故對某一特定田埂而言，不論其形狀如何，各個位置都近似等寬及等高，在圖像中表現(xiàn)為田埂邊界線沒有劇烈的曲率變化，故本文提出利用田埂邊界線沒有劇烈曲率變化的幾何模型假設來輔助田埂邊界線提取。

當一列中只剩2個邊界點后，認為靠近圖像上部的點為上邊界點，靠近圖像下部的點為下邊界點。首先利用已經(jīng)分類正確的邊界點擬合出粗略的上邊界線方程1rough()和下邊界線方程2rough()，如圖3d所示。然后對剩余仍存在誤判點的列，計算每一個邊界點二元組中靠近圖像上部的點距1rough()的距離和靠近圖像下部的點距2rough()的距離，如式（8）。

式中(i1,j1)為第個二元組中靠近圖像上部像素點的坐標；(i2,j2)為第個二元組中靠近圖像下部像素點的坐標；d1為第個二元組中靠近圖像上部像素點距1rough()在豎直方向距離；d2為第個二元組中靠近圖像下部像素點距2rough()在豎直方向的距離。

分別選取d1和d2中最小值對應的點為上下邊界點，濾除后結果如圖3e所示，可以看出邊界點位置基本被準確提取。最后利用所有濾除后的邊界點擬合上下邊界，如圖3f所示。

2 基于毫米波雷達的田埂距離與高度檢測

基于視覺的前方田埂檢測只能獲得前方田埂是否存在及形狀等信息，難以得到距離等信息。本文提出一種利用豎直放置的毫米波雷達作為測距傳感器獲取前方田埂距離、高度信息的檢測方案。

相對于激光、超聲等測距傳感器，毫米波雷達信號穿透性更強、測距范圍更大，更適宜在環(huán)境復雜的農(nóng)田中工作[25-27]。毫米波雷達是二維雷達，雖然有一個很小的豎直方向視場角，但無法獲取目標高度信息。傳統(tǒng)的毫米波雷達使用時通過其較大的本體水平方向視場角測定目標距離、方向，此時毫米波雷達水平固定在一定高度。田埂相對于其他障礙物高度明顯偏低，若采用如圖4a的水平安裝方式檢測田埂，由于豎直方向視場角較小，需要將毫米波雷達安裝高度設置得非常低。但較低的安裝高度極易受到地形起伏影響[28-30]，難以有效檢測前方田埂。

如圖4b所示，豎直放置毫米波雷達相當于將原有的水平視場角與豎直視場角對調(diào)，擴大了豎直方向的可視域，使毫米波雷達安裝高度更加靈活；水平方向的可視域雖然縮小，但由于前方田埂具有連續(xù)存在的特點，毫米波雷達仍可以檢測到目標。前方田埂目標點距離計算公式為

式中d為正前方田埂目標點距離，m；ρ為毫米波雷達檢測到的田埂距離，m；θ為毫米波雷達檢測到的田埂角度，(°)。

同時，根據(jù)毫米波雷達返回目標物體質心信息的特點，在已知毫米波雷達安裝高度的情況下，還可以額外獲得前方田埂的大致高度信息，具體計算公式為

式中h為前方田埂高度，m；h為毫米波雷達相對地面的安裝高度，m。

3 基于多傳感器數(shù)據(jù)融合的檢測

視覺檢測可以獲得前方田埂的形狀信息，并且可以有效的區(qū)分田埂與非田埂區(qū)域，但無法得到距離、高度等信息；毫米波雷達檢測可以得到正前方的田埂距離與高度信息，但無法獲得完整的田埂信息，并難以區(qū)分其他非田埂部分產(chǎn)生的干擾點。單獨利用某個傳感器都難以獲得完整的前方田埂信息。因此本文提出一種將相機與毫米波雷達所得數(shù)據(jù)進行數(shù)據(jù)級融合的多傳感融合解決方案，以補全單一傳感器缺失的維度信息，獲得更加準確豐富的前方田埂感知結果。

3.1 異構信息時空對齊

進行前方田埂檢測時相機、毫米波雷達的采集頻率可能不同，可利用時間戳完成時間軸上的對齊。本文中相機的采樣頻率為10 Hz，毫米波雷達的采樣頻率為20 Hz，以較低的相機采樣頻率基準進行時間對齊。

對于相機、毫米波雷達2個不同的傳感坐標系，采用將毫米波雷達數(shù)據(jù)向圖像坐標映射的空間對齊方式。毫米波雷達數(shù)據(jù)利用式（11）向圖像坐標系中轉換。

相機內(nèi)參矩陣利用張正友相機標定法即可得到，毫米波雷達坐標系到相機坐標系的轉換矩陣利用毫米波雷達反射錐輔助求得。轉換矩陣具體計算步驟如下：

2）利用相機拍攝下對應的圖片，并人工標注記錄反射錐中心在圖片中的像素坐標；

3）重復步驟1）、2），記錄20組數(shù)據(jù)；

4）隨機選擇其中15組數(shù)據(jù)，以式（12）為目標函數(shù)求解毫米波雷達坐標系到相機坐標系轉換矩陣參數(shù)的非線性優(yōu)化問題：

本文采用列文伯格-馬夸爾特算法對式（12）進行求解；

5）利用剩余5組數(shù)據(jù)驗證得到轉換矩陣參數(shù)的效果，若滿足平均誤差要求則保留轉換矩陣參數(shù)結果；

6）將毫米波雷達旋轉90°變?yōu)樨Q直安裝，并將步驟5）保留的結果中對應旋轉項設置為90°作為最終結果。圖5為毫米波雷達數(shù)據(jù)映射到圖像中的結果。

3.2 異維信息互補融合

利用相機得到了前方田埂在圖像中的上下邊界，將毫米波雷達數(shù)據(jù)映射到圖像后，判斷毫米波雷達數(shù)據(jù)點是否在兩邊界之間即可濾除掉非田埂部分干擾點。設=(,)為毫米波雷達數(shù)據(jù)映射到圖像后的坐標，如果不滿足式（13）則認為點為非田埂干擾點。

式中1()為視覺檢測得到的上邊界方程；2()為視覺檢測得到的下邊界方程；R為容差閾值，像素。

綜上，利用視覺得到的形狀信息可以將毫米波雷達得到的前方田埂單點距離、高度信息中的干擾點進行濾除，利用毫米波雷達可以得到單一視覺檢測難以得到的距離高度等幾何信息。利用2個二維傳感器所得信息進行互補，融合得到了前方田埂的三維信息。

4 試 驗

4.1 試驗平臺

本文使用顯微精工XG300高速工業(yè)相機配合中聯(lián)科創(chuàng)VM0612鏡頭進行圖像采集，采集圖像的分辨率為800像素×600像素，采集頻率為10幀/s。選用的毫米波雷達為大陸ARS404，聚類工作模式。相機與雷達安裝在同一豎直軸線，相機在上，豎直放置的雷達在下。雷達安裝高度為0.8 m，相機安裝高度為1.2 m、向下俯角15°。選用的主控制器為Nvidia Jetson TX2開發(fā)板系列產(chǎn)品，編程環(huán)境為Ubuntu16.04、OpenCV3.3.1、ROS Kinetic。本文試驗數(shù)據(jù)采集于上海市松江區(qū)一片未經(jīng)播種的水田。

4.2 試驗方法

為驗證本文提出的豎直放置毫米波雷達檢測前方田埂方案的正確性，根據(jù)雷達在農(nóng)機上的常見安裝高度與農(nóng)機行駛過程中因顛簸而產(chǎn)生傾角的范圍，將雷達分別安裝在距地0.4、0.8、1.2 m的3個不同高度位置處，并在每個高度設置0°、2°、4°的安裝俯仰角以模擬農(nóng)機行駛過程中產(chǎn)生的顛簸。在距前方田埂的3～8 m的范圍內(nèi)以0.1 m為間隔用水平安裝和豎直安裝2種方式檢測田埂，當在真實田埂距離±0.2 m范圍內(nèi)存在雷達得到的目標點，認為雷達檢出田埂。

為驗證本文所提融合檢測算法的正確性，在上海市松江區(qū)一片尚未播種的水田采集數(shù)據(jù)并制作了原始數(shù)據(jù)集?？紤]到過遠或過近的距離檢測結果對自主導航農(nóng)機意義不大，故在距離田埂5～10 m的距離處，以0.1 m為距離間隔，利用相機采集50幅田埂原始圖像并保存對應時刻雷達得到的目標點信息，同時利用卷尺測量對應位置處雷達中心距田埂的直線距離作為田埂距離真實值?？紤]到光照、距離等因素對視覺檢測有一定影響，從下午13∶00到下午17∶00，以1 h為時間間隔，在距離田埂約3、11、13、15 m的每個位置利用相機補充拍攝5張?zhí)锕D片，共計100張圖片。通過人工標注得到每一張圖片的田埂上下邊界位置，形成具有150張原始圖片、300條田埂邊界真實位置、其中50張圖片包含對應位置雷達目標點與田埂真實距離的原始數(shù)據(jù)集。對原始數(shù)據(jù)集利用本文算法進行數(shù)據(jù)處理，認為雷達所得數(shù)據(jù)向圖像中轉化后落在視覺檢測得到的上下邊界之間的目標點為檢測有效，計算融合算法檢測成功得到的前方田埂距離和高度與真實距離和高度的均值與方差，若無目標點落在圖像田埂區(qū)間內(nèi)，則認為檢測結果無效。

4.3 評價指標

對所拍攝的農(nóng)田原始圖像進行人工標注作為農(nóng)田邊界線的真實值，本文定義檢測率為

由于真實邊界均為直線，故認為滿足如下關系時檢測邊界有效：

4.4 結果與分析

豎直放置毫米波雷達檢測前方田埂結果如表1所示，從表1數(shù)據(jù)分析可知，隨著雷達高度升高，水平安裝的檢測方式受垂直方向可視域較小的限制難以有效檢測到近距離的田埂，但豎直安裝的方式則不受安裝高度的影響。當農(nóng)機因顛簸產(chǎn)生一個俯仰角度后，水平安裝方式極易丟失目標，但豎直安裝方式仍能正常工作。說明本文提出的豎直安裝雷達的田埂檢測方式可以有效克服安裝高度與地形起伏的影響，滿足自主導航農(nóng)機的需求。

表1 不同雷達安裝方式田埂檢測結果

注：[3,4)代表車輛前方田埂位于雷達中心前3～4 m的范圍內(nèi)，其他以此類推。下同。

Note: [3,4) means that ridge in front of vehicle is within the range of 3-4 m in front of the radar center, and so on. The same below.

在原始數(shù)據(jù)集上，分別利用傳統(tǒng)的基于全圖處理的SVM視覺檢測方法和本文提出的視覺檢測方法進行檢測，取θ=2°、E=1.05%，檢測結果如表2所示。從表中可以看出，相對于全圖處理的方式，本文方法雖然在準確率、平均角度和平均偏移量上損失了1.33個百分點，0.04°和0.04個百分點，但是檢測速度提升了794.11 ms，在滿足準確率要求的前提下有效減小了對主控制器的要求，滿足自主導航農(nóng)機的實時性作業(yè)要求。

表2 不同處理方式田埂視覺檢測結果

融合檢測算法結果如表3所示，從表中分析可知，在不同距離區(qū)間內(nèi)，本文提出的融合檢測算法均可有效將視覺檢測結果與雷達檢測結果相融合，在50次樣本驗證中，融合檢測率為100%，不存在視覺檢測結果與雷達檢測結果無法匹配的情況。在距離檢測方面，不同距離區(qū)間內(nèi)的平均距離檢測偏差大致在0.09～0.13 m范圍內(nèi)波動，并且各區(qū)間內(nèi)距離檢測標準差在10-2量級，說明檢測結果離散程度小，可以滿足自主導航農(nóng)機的作業(yè)精度要求。在高度檢測方面，不同距離區(qū)間內(nèi)的平均高度檢測偏差大致在0.09～0.20 m范圍內(nèi)波動，可以為自主導航農(nóng)機作業(yè)提供有效的前方田埂近似三維信息。

表3 融合算法檢測結果

5 結 論

1）提出了基于單目相機與豎直放置毫米波雷達進行融合的多傳感融合田埂檢測方案，使相機與毫米波雷達的所獲取的數(shù)據(jù)進行互補，利用2個二維度傳感器近似得到了三維信息。

2）在視覺檢測中使用基于顏色紋理特征的SVM檢測和基于漸變重采樣的田埂分割加速算法，在Nvidia Jetson TX2上準確率95.67%，平均角度檢測偏差0.67°，平均偏移量檢測偏差2.69%，平均用時40.83 ms，可以滿足農(nóng)機自主導航的準確性和實時性要求。

3）在雷達檢測中，提出豎直放置毫米波雷達的檢測方式，有效解決了測距傳感器受安裝高度與地形起伏影響的問題，同時獲得了田埂高度的信息。

4）基于融合信息的檢測方法，距離檢測偏差0.11 m，高度檢測偏差0.13 m，可以滿足農(nóng)機自主導航的準確性要求。

[1] 張漫，季宇寒，李世超，等. 農(nóng)業(yè)機械導航技術研究進展[J]. 農(nóng)業(yè)機械學報，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18. (in Chinese with English abstract)

[2] 張磊，王書茂，陳兵旗，等. 基于機器視覺的麥田邊界檢測[J]. 農(nóng)業(yè)機械學報，2007，38(2)：111-114.

Zhang Lei, Wang Shumao, Chen Bingqi, et al. Edge detection for wheat field based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(2): 111-114. (in Chinese with English abstract)

[3] 王僑，劉卉，楊鵬樹，等. 基于機器視覺的農(nóng)田地頭邊界線檢測方法[J]. 農(nóng)業(yè)機械學報，2020，51(5)：18-27.

Wang Qiao, Liu Hui, Yang Pengshu, et al. Detection method of headland boundary line based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 18-27. (in Chinese with English abstract)

[4] 蔡道清，李彥明，覃程錦，等. 水田田埂邊界支持向量機檢測方法[J]. 農(nóng)業(yè)機械學報，2019，50(6)：22-27，109.

Cai Daoqing, Li Yanming, Qin Chengjin, et al. Detection method of boundary of paddy fields using support vector machine[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(6): 22-27, 109. (in Chinese with English abstract)

[5] 陳兵旗. 農(nóng)田作業(yè)視覺導航系統(tǒng)研究[J]. 科技導報，2018，36(11)：66-81.

Chen Bingqi. Study on vision navigation for field work[J]. Sience and Technology Review, 2018, 36(11): 66-81. (in Chinese with English abstract)

[6] 朱淑鑫，謝忠紅，徐慧，等. 基于機器視覺的田間道路檢測方法[J]. 江蘇農(nóng)業(yè)學報，2013，29(6)：1291-1296.

Zhu Shuxin, Xie Zhonghong, Xu Hui, et al. An approach to field path detection based on computer vision[J]. Jiangsu Journal of Agricultural Sciences, 2013, 29(6): 1291-1296. (in Chinese with English abstract)

[7] Astrand B, Baerveldt A J. A vision based row-following system for agricultural field machinery[J]. Mechatronics, 2005, 15(2): 251-269.

[8] 胡晨. 果園作業(yè)機器人定位與地圖構建研究[D]. 南京：南京農(nóng)業(yè)大學，2015.

Hu Chen. Research on Localization and Map Building for Robot Working in Orchard[D]. Nanjing: Nanjing Agricultural University, 2015. (in Chinese with English abstract)

[9] 張永澤. 植保機器人作業(yè)規(guī)劃及壟行引導技術研究[D]. 濟南：濟南大學，2017.

Zhang Yongze. Research on Operation Planning and Row Guide Technology of Plant Protection Robot[D]. Jinan: University of Jinan, 2017. (in Chinese with English abstract)

[10] Zhang M, Li L, Wang A, et al. A novel farmland boundaries extraction and obstacle detection method based on unmanned aerial vehicle[C]//ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, 2019.

[11] 李延華. 自主移動果園作業(yè)機器人地頭轉向與定位研究[D]. 南京：南京農(nóng)業(yè)大學，2016.

Li Yanhua. Research on Headland Turning and Localization for Automatic Robot Operation in Orchard[D]. Nanjing: Nanjing Agricultural University, 2016. (in Chinese with English abstract)

[12] 丁筱玲. 小麥智能精播系統(tǒng)及自主導航機理研究與實現(xiàn)[D]. 濟南：山東大學，2018.

Ding Xiaoling. Research and Implementation of Intelligent Wheat Precision Sowing System and Autonomous Navigation Mechanism[D]. Jinan: Shandong University, 2018. (in Chinese with English abstract)

[13] 陳加棟. 無人直升機噴霧作業(yè)高度及邊界的激光傳感探測研究[D]. 鎮(zhèn)江：江蘇大學，2016.

Chen Jiadong. Laser Sensor Detection of Operation Height and Boundary in Unmanned Helicopter Spraying[D]. Zhenjiang: Jiangsu University, 2016. (in Chinese with English abstract)

[14] Vinod D N, Singh T. Autonomous agricultural farming robot in closed field[C]//IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT). IEEE, 2018: 1-7.

[15] 何勇，蔣浩，方慧，等. 車輛智能障礙物檢測方法及其農(nóng)業(yè)應用研究進展[J]. 農(nóng)業(yè)工程學報，2018，34(9)：21-32.

He Yong, Jiang Hao, Fang Hui, et al. Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2018, 34(9): 21-32. (in Chinese with English abstract)

[16] 方華麗，吳晴. 移動機械手主動防碰撞控制系統(tǒng)研究：基于多傳感信息融合[J]. 農(nóng)機化研究，2019，41(11)：234-238.

Fang Huali, Wu Qing. Research on active anti-collision control system for mobile manipulator based on multi sensing information fusion[J]. Journal of Agricultural Mechanization Research, 2019, 41(11): 234-238. (in Chinese with English abstract)

[17] Liu M, Chen J, Zhao X, et al. Dynamic obstacle detection based on multi-sensor information fusion[J]. IFAC-PapersOnLine, 2018, 51(17): 861-865.

[18] 孫寧. 基于多源信息融合的智能汽車環(huán)境感知技術研究[D]. 鎮(zhèn)江：江蘇大學，2018.

Sun Ning. Research on Environment Perception Technology for Intelligent Vehicle Based on Multi-Source Information Fusion[D]. Zhenjiang: Jiangsu University, 2018. (in Chinese with English abstract)

[19] 翟瑞芳，方益杭，林承達，等. 基于高斯HI顏色算法的大田油菜圖像分割[J]. 農(nóng)業(yè)工程學報，2016，32(8)：142-147.

Zhai Ruifang, Fang Yihang, Lin Chengda, et al. Segmentation of field rapeseed plant image based on gaussian HI color algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2016, 32(8): 142-147. (in Chinese with English abstract)

[20] 李明，黃愉淇，李緒孟，等. 基于無人機遙感影像的水稻種植信息提取[J]. 農(nóng)業(yè)工程學報，2018，34(4)：108-114.

Li Ming, Huang Yuqi, Li Xumeng, et al. Extraction of rice planting information based on remote sensing image from UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2018, 34(4): 108-114. (in Chinese with English abstract)

[21] 梁習卉子，陳兵旗，李民贊，等. 基于HOG特征和SVM的棉花行數(shù)動態(tài)計數(shù)方法[J]. 農(nóng)業(yè)工程學報，2020，36(15)：173-181.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Method for dynamic counting of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)

[22] 張明杰. 基于航空影像的平坦區(qū)田埂界線識別與提取研究[D]. 北京：中國礦業(yè)大學，2015.

Zhang Mingjie. Study of Plain Farmland Ridge Boundary Recognition and Extraction Based on Aerial Image[D]. Beijing: China University of Mining and Technology, 2015. (in Chinese with English abstract)

[23] 周俊，姬長英. 基于知識的視覺導航農(nóng)業(yè)機器人行走路徑識別[J]. 農(nóng)業(yè)工程學報，2003，19(6)：101-105.

Zhou Jun, Ji Changying. Road recognition for agricultural robot guided by machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2003, 19(6): 101-105. (in Chinese with English abstract)

[24] Hiremath S, van Evert F K, ter Braak C, et al. Image-based particle filtering for navigation in a semi-structured agricultural environment[J]. Biosystems Engineering, 2014, 121: 85-95.

[25] 蘭玉彬，王林琳，張亞莉. 農(nóng)用無人機避障技術的應用現(xiàn)狀及展望[J]. 農(nóng)業(yè)工程學報，2018，34(9)：104-113.

Lan Yubin, Wang Linlin, Zhang Yali. Application and prospect on obstacle avoidance technology for agricultural UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2018, 34(9): 104-113. (in Chinese with English abstract)

[26] 吳開華，孫學超，張競成，等. 基于高度融合的植保無人機仿地飛行方法研究[J]. 農(nóng)業(yè)機械學報，2018，49(6)：17-23.

Wu Kaihua, Sun Xuechao, Zhang Jingcheng, et al. Terrain following method of plant protection UAV based on height fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(6): 17-23. (in Chinese with English abstract)

[27] 孫學超. 基于毫米波雷達的植保無人機仿地飛行技術研究[D]. 杭州：杭州電子科技大學，2018.

Sun Xuechao. Research on Terrain Following Technology of Plant Protection UAV Based on Millimeter Wave Radar[D]. Hangzhou: Hangzhou Dianzi University, 2018. (in Chinese with English abstract)

[28] Roviramás F, Saizrubio V, Millot C. Sonar-based aid for the execution of headland turns by a vineyard robot[C]// American Society of Agricultural and Biological Engineers Annual International Meeting, 2016: 1-9.

[29] Andersen J C, Ravn O, Andersen N A. Autonomous rule based robot navigation in orchards[J]. IFAC Proceedings Volumes, 2010, 43(16): 43-48.

[30] Subramanian V, Burks T F. Autonomous vehicle turning in the headlands of citrus groves[C]// ASABE Annual International Meeting, 2017: 1.

Detection of ridge in front of agricultural machinery by fusion of camera and millimeter wave radar

Zhang Yan, Pan Shengquan, Xie Yinshan, Chen Kai, Mo Jinqiu※

(,,200240,)

Detection of the front ridge is an important step for navigation and path planning of autonomous agricultural vehicles. In single sensor detection, it is hard to acquire enough information, such as shape, distance, and height, because of the complex environment in the field. In this study, the novel detection of the front ridge was proposed to integrate the camera and millimetre-wave radar. The camera was used to collect the shape, while the radar was used to collect the distance and height of the front ridge. More detailed information of the front ridge was achieved after fusion of the data acquired by the camera and millimetre-wave radar. In visual detection, the distribution characteristics of the front ridge were used in the images, while the gradient resampling was used to accelerate image processing. Only less than 1% of the total needed to be processed. A support vector machine (SVM) was then applied with 11-dimensional colour-texture features in image segmentation. The 11-dimensional colour-texture features contained three-dimensional colour features in RGB colour space, four-dimensional colour features in HSI colour space, and four-dimensional texture features in gray level co-occurrence matrix, indicating both colour and texture features of the front ridge. Furthermore, the equal-width hypothesis of the geometric feature was used to obtain a more accurate shape of the front ridge. The equal-width hypothesis referred to that there were no sharp curvature changes of the front ridge in the images. Some misjudgement points were filtered in this hypothesis. Millimetre-wave radar was installed vertically in the millimetre-wave radar detection. Compared with the common horizontal one, the vertical installation was used to ensure the installation height and bumpy ground, while the height of ridge at the same time. In fusion detection, the millimetre-wave radar data was transferred to the image coordinate system via coordinate transformation formula and pinhole imaging model. The visual detection was then used to filter interference points in the millimetre-wave radar data. An accurate distance of the front ridge was captured, and the interference points in the millimetre-wave radar data were filtered easily using the coupled camera and millimetre-wave radar. Both camera and millimetre-wave radar were two-dimensional sensors, but after fusion, the three-dimensional information was achieved, like shape, distance, and height of the front ridge. The camera and millimetre-wave radar enhanced each other. The radar was placed at different heights and angles in both horizontal and vertical installation, in order to verify the vertical placement of radar. Tests showed that the horizontal installation was greatly affected by the installation height and terrain turbulence, but the vertical installation effectively overcame these effects. A dataset was recorded to verify the correctness of fusion, including 300 images and 50 groups of fusion data with different distance and shooting angles of the front ridge. The test was performed on the Nvidia Jetson TX2 hardware platform, where the visual detection spent 40.83 ms per image, and the accuracy was 95.67%, the average angle deviation was 0.67°, the average offset deviation was 2.69%. The accuracy was slightly reduced by 1.33%, the average angle deviation was slightly reduced by 0.04°, the average offset deviation was slightly reduced by 0.14 percentage points, but the detection speed was improved by 794.11 ms, compared with the traditional whole image processing. The average deviation of distance detection was 0.11 m in fusion detection, the standard deviation of distance detection was 6.93 cm, and the average deviation of height detection was 0.13 m. Consequently, the standard deviation of height detection was 0.19 m. The fusion detection of the camera and millimetre-wave radar can meet the requirements of real-time and accuracy for autonomous agricultural vehicles.

agricultural machinery; sensors; data fusion; support vector machine; millimeter waves radar; ridge

張巖，潘勝權，解印山，等. 相機與毫米波雷達融合檢測農(nóng)機前方田埂[J]. 農(nóng)業(yè)工程學報，2021，37(15)：169-178.doi：10.11975/j.issn.1002-6819.2021.15.021 http://www.tcsae.org

Zhang Yan, Pan Shengquan, Xie Yinshan, et al. Detection of ridge in front of agricultural machinery by fusion of camera and millimeter wave radar[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(15): 169-178. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.15.021 http://www.tcsae.org

2021-06-10

2021-07-18

國家重點研發(fā)計劃項目（2019YFB1312301）

張巖，研究方向為機電系統(tǒng)集成、機器視覺。Email：zhangyansjtu@sjtu.edu.cn.

莫錦秋，博士，副教授，博士生導師，研究方向為機電系統(tǒng)集成控制。Email：mojinqiu@sjtu.edu.cn.

10.11975/j.issn.1002-6819.2021.15.021

S224

A

1002-6819(2021)-15-0169-10