基于毫米波雷達(dá)和攝像頭的農(nóng)用車輛障礙物檢測

宋正根 彭竟德 肖璨

摘 ?要：本文針對單個(gè)傳感器僅能獲得局部環(huán)境特征信息，為進(jìn)一步提高障礙物檢測的準(zhǔn)確性，提出一種融合毫米波雷達(dá)和視覺傳感器的障礙物檢測方法。通過毫米波雷達(dá)得到障礙物的數(shù)量與坐標(biāo)點(diǎn)，同時(shí)對攝像頭采集到的場景圖像進(jìn)行預(yù)處理，得到待分割圖像。然后以毫米波雷達(dá)得到的坐標(biāo)相對應(yīng)的像素坐標(biāo)為種子點(diǎn)，采用區(qū)域生長法進(jìn)行圖像分割。至此，即可檢測到障礙物的位置和輪廓信息。

關(guān)鍵詞：障礙物檢測;信息融合;毫米波雷達(dá);區(qū)域生長法;種子點(diǎn)選取

中圖分類號：TP391.41;TN959.5 ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2019）14-0046-03

Obstacle Detection of Agricultural Vehicles Based on

Millimeter Wave Radar and Camera

SONG Zhenggen，PENG Jingde，XIAO Can

（Nanjing Agriculture University，Nanjing ?210095，China）

Abstract：For a single sensor，only local environment feature information can be obtained，in order to further improve the accuracy of obstacle detection，an obstacle detection method combining millimeter wave radar and vision sensor is proposed. Obtain the number of obstacles and coordinate points through the millimeter wave radar，and preprocess the scene image collected by the camera to obtain the image to be segmented. Then the pixel coordinates corresponding to the coordinates obtained by millimeter waveradar are taken as seed points and the image is segmented by region growing method. So far，the position and contour information of the obstacle can be detected.

Keywords：obstacle detection;information fusion;millimeter wave radar;regional growth method;seed point selection

0 ?引 ?言

實(shí)現(xiàn)農(nóng)用車輛在未知環(huán)境中的自主導(dǎo)航，必須先實(shí)現(xiàn)實(shí)時(shí)檢測、識別環(huán)境中的障礙物，再根據(jù)當(dāng)前信息規(guī)劃路徑。農(nóng)用車輛障礙物的檢測一般通過傳感器進(jìn)行感知，障礙物檢測方法主要有：基于視覺檢測、雷達(dá)檢測、超聲波檢測、紅外檢測、多傳感器融合檢測[1]。由于單一傳感器難以全面、準(zhǔn)確地檢測出障礙物，且適用于特定場合，不適用于農(nóng)業(yè)環(huán)境工況。而多傳感器信息融合的障礙物檢測方法能彌補(bǔ)單個(gè)傳感器的缺陷[2]，進(jìn)一步提高檢測的準(zhǔn)確性。張俊杰[3]等結(jié)合激光雷達(dá)和視覺顯著性應(yīng)用分水嶺算法分割障礙物，饒陽[4]等結(jié)合毫米波雷達(dá)和深度學(xué)習(xí)算法識別前方車輛，徐進(jìn)[5]等人提出結(jié)合Hough算法提取障礙物和激光雷達(dá)再次檢測障礙物。

毫米波雷達(dá)穿透霧、煙、灰塵的能力強(qiáng)，具有全天候、全天時(shí)工作的特點(diǎn)[6]，適用于煙、灰塵多的農(nóng)用車輛作業(yè)環(huán)境。毫米波分辨率略低，且無法得到障礙物輪廓信息，與視覺傳感器融合使用可彌補(bǔ)這一缺點(diǎn)。針對此，本文主要研究了基于毫米波雷達(dá)與攝像頭融合的障礙物檢測方法。

1 ?毫米波雷達(dá)測障

毫米波雷達(dá)測距基于Time Of Flight原理，即利用反射波與發(fā)射波的時(shí)間差，根據(jù)電磁波在空氣中的傳播速度（接近光速）計(jì)算得到距離。S=c·△t/2，其中c為光速，△t為時(shí)間差。測距方式有脈沖雷達(dá)測距和連續(xù)波雷達(dá)測距，技術(shù)上脈沖雷達(dá)測距存在一定難度[7]，故主要采用調(diào)頻連續(xù)波的（Frequency Modulated Continuous Wave）測距方式。雷達(dá)發(fā)射調(diào)頻連續(xù)波，通過檢測回波與發(fā)射波的時(shí)間差，可計(jì)算得到雷達(dá)與障礙物的距離。

毫米波雷達(dá)對目標(biāo)的速度測量有兩種方式，一種應(yīng)用多普勒頻移公式，即當(dāng)目標(biāo)物運(yùn)動(dòng)時(shí)，回波的頻率相對于發(fā)射波有改變，這種改變與目標(biāo)物的速度成正比，基于此可測得目標(biāo)物的移動(dòng)速度。另一種為基于位置（角度）跟蹤，通過對其進(jìn)行微分進(jìn)而求得目標(biāo)物的速度。

2 ?圖像分割

圖像分割指的是將圖像分為若干個(gè)區(qū)域，并將感興趣的區(qū)域從圖像中提取出來的技術(shù)。應(yīng)用圖像分割技術(shù)，可簡化數(shù)字圖像的信息量，直觀地檢測出障礙物的輪廓信息。圖像分割分為以下五類：基于邊緣的圖像檢測法、基于閾值的圖像分割法、基于區(qū)域生長的圖像分割法、其他復(fù)合分割法[8]。在障礙物檢測應(yīng)用中，常用的是區(qū)域分割算法，區(qū)域生長法計(jì)算簡單，分割效果良好，邊界信息清晰。因此，本文所提出的障礙物檢測算法中采用區(qū)域生長分割算法。

區(qū)域生長法對噪聲比較敏感，在噪點(diǎn)比較多的圖像的分割結(jié)果中會(huì)出現(xiàn)很多不連續(xù)的小區(qū)域[9]。由于噪聲的干擾可能會(huì)出現(xiàn)空洞以及過度分割的現(xiàn)象，故在分割前可針對圖片進(jìn)行預(yù)處理。對輸入圖像進(jìn)行卡爾曼濾波，消除圖像中的噪聲，增強(qiáng)檢測的可靠性，縮短分割時(shí)長。

區(qū)域生長法的基本思路為：確定種子點(diǎn)，根據(jù)特定的生長準(zhǔn)則，將種子點(diǎn)周圍符合相似條件的像素劃入種子區(qū)域。以新劃入的像素為種子點(diǎn)繼續(xù)生長，直至種子點(diǎn)與周圍像素的灰度差超過生長準(zhǔn)則。以集合R代表整個(gè)圖像區(qū)域，對R的分割可理解為將R分成N個(gè)滿足下列條件的非空子集（子區(qū)域）R1，R2，…，RN[10]。

3 ?融合檢測

區(qū)域生長法最終的分割效果與種子點(diǎn)的選擇位置有密切關(guān)系，由種子點(diǎn)確定分割相似區(qū)域的起始位置，故此算法中選取毫米波雷達(dá)檢測到的障礙物坐標(biāo)點(diǎn)投影到像素坐標(biāo)點(diǎn)為種子點(diǎn)，確保有效地分割出障礙物輪廓。此算法的框架圖如圖1所示，具體實(shí)施步驟如下：

（1）由單目相機(jī)獲取場景圖像;

（2）對場景圖像進(jìn)行濾波、灰度化處理，得到待分割圖;

（3）通過毫米波雷達(dá)掃描得到障礙物數(shù)據(jù);

（4）獲取障礙物位置坐標(biāo);

（5）將障礙物坐標(biāo)點(diǎn)進(jìn)行轉(zhuǎn)化，得到在待分割圖上的像素坐標(biāo)。

根據(jù)攝像頭內(nèi)外部參數(shù)和雷達(dá)與攝像頭的位置關(guān)系獲得二者坐標(biāo)系空間轉(zhuǎn)換關(guān)系[11]，設(shè)空間內(nèi)某點(diǎn)A在攝像頭坐標(biāo)系中的坐標(biāo)為AS=[Xs，Ys，Zs]T，在雷達(dá)坐標(biāo)系中的坐標(biāo)為AR=[XR，YR，ZR]T，XR，YR，ZR分別表示目標(biāo)物體在雷達(dá)坐標(biāo)系中的橫坐標(biāo)、縱坐標(biāo)和垂直高度。As和AR的坐標(biāo)存在轉(zhuǎn)換關(guān)系：

4 ?實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺為智能小車，攝像頭采集圖像分辨率為1920× 1080，焦距6.0mm。毫米波雷達(dá)為德國Continental公司生產(chǎn)的ARS408-21，目標(biāo)更新頻率為17Hz。在模擬環(huán)境中選取背景較為復(fù)雜的場景進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果如圖2所示。

圖2中a、b為根據(jù)毫米波雷達(dá)反饋的障礙物信息選取種子點(diǎn)進(jìn)行分割得到的效果圖，從效果圖中看出障礙物的輪廓被較為完整地分割出。圖2中c、d為隨機(jī)選取種子點(diǎn)進(jìn)行分割得到的效果圖。從圖中可明顯看出，此時(shí)分割效果差，無法完整分割出障礙物輪廓。

在農(nóng)田作業(yè)環(huán)境下，背景雜亂，易出現(xiàn)過度分割和分割不足的情況，影響分割效果。張小祥[12]提出的顯著性檢測方法MAX算法，可突出整體一致性和局部差異性的顯著性信息應(yīng)用到圖像分割上，從而可避免出現(xiàn)分割不足和過度分割的情況。

5 ?結(jié) ?論

基于毫米波雷達(dá)和攝像頭的障礙物檢測方法，充分發(fā)揮視覺傳感器可檢測障礙物輪廓形狀和毫米波雷達(dá)檢測障礙物位置信息的特點(diǎn)，結(jié)合區(qū)域生長法可有效地檢測出障礙物的信息，排除環(huán)境因素的干擾。試驗(yàn)表明，此方法有效。由于本次試驗(yàn)為模擬場景，對于實(shí)際農(nóng)田作業(yè)環(huán)境下應(yīng)用需結(jié)合顯著性檢測等算法，以排除背景的干擾。

參考文獻(xiàn)：

[1] 何勇，蔣浩，方慧，等.車輛智能障礙物檢測方法及其農(nóng)業(yè)應(yīng)用研究進(jìn)展 [J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（9）：21-32.

[2] 丁幼春，王書茂，陳紅.農(nóng)用車輛作業(yè)環(huán)境障礙物檢測方法 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40（S1）：23-27+17.

[3] 張俊杰，丁淑艷，李倫波，等.基于視覺顯著性的無人車圖像檢測及分割方法 [J].計(jì)算機(jī)工程與應(yīng)用，2017，53（22）：176-179+242.

[4] 饒陽.基于毫米波雷達(dá)與機(jī)器視覺的前車識別研究 [D].武漢：武漢理工大學(xué)，2017.

[5] 徐進(jìn)，帥立國.激光傳感器和視覺傳感器的機(jī)器人障礙物檢測 [J].激光雜志，2016，37（5）：56-59.

[6] 袁帥.毫米波雷達(dá)在智能網(wǎng)聯(lián)汽車中的應(yīng)用 [J].信息技術(shù)與標(biāo)準(zhǔn)化，2018（Z1）：62-64.

[7] 卞清，王迪，黃智.基于毫米波雷達(dá)汽車測距報(bào)警系統(tǒng)設(shè)計(jì) [J].科技風(fēng)，2013（24）：87+91.

[8] 王小丫.圖像分割算法研究與展望 [J].科技傳播，2019，11（8）：165-166.

[9] 孟祥峰.圖像分割技術(shù)在遙感影像地物信息自動(dòng)提取中的應(yīng)用研究 [D].哈爾濱：哈爾濱工程大學(xué)，2015.

[10] 陳方昕.基于區(qū)域生長法的圖像分割技術(shù) [J].科技信息（科學(xué)教研），2008（15）：58-59.

[11] 王寶鋒，齊志權(quán)，馬國成，等.一種基于雷達(dá)和機(jī)器視覺信息融合的車輛識別方法 [J].汽車工程，2015，37（6）：674-678+736.

[12] 張小祥.圖像目標(biāo)顯著性檢測的研究與應(yīng)用 [D].南京：南京航空航天大學(xué)，2016.

作者簡介：宋正根（1997.01-），男，漢族，江西宜春人，本科，研究方向：車輛工程;彭竟德（1998.10-），女，漢族，湖南婁底人，本科，研究方向：車輛工程;肖璨（1998.05-），男，漢族，湖南衡陽人，本科，研究方向：車輛工程。