基于單目視覺和毫米波雷達(dá)的測距算法研究

邱悅添

摘 要：距離測量是無人駕駛的一項(xiàng)基礎(chǔ)技術(shù)，本文提出的方法是基于單目機(jī)器視覺和毫米波雷達(dá)數(shù)據(jù)，以視覺數(shù)據(jù)為主，毫米波雷達(dá)數(shù)據(jù)作為輔助。先用深度神經(jīng)網(wǎng)絡(luò)對圖像數(shù)據(jù)進(jìn)行處理，檢測出圖像中的障礙物，結(jié)果以障礙物的圖像坐標(biāo)表示。在檢測的基礎(chǔ)上，利用成像模型，將圖像坐標(biāo)轉(zhuǎn)換為真實(shí)世界坐標(biāo)從而計(jì)算與本車的實(shí)際距離。在對毫米波雷達(dá)的數(shù)據(jù)進(jìn)行處理時，只需要找到一個目標(biāo)的精確距離，即可實(shí)現(xiàn)對成像模型中的俯仰角參數(shù)進(jìn)行反向校正，得到較為精確的值，提高視覺測距算法的精度。實(shí)驗(yàn)表明，這種融合方式可以在實(shí)際使用過程中大大減少設(shè)備成本和計(jì)算成本，降低了毫米波設(shè)備本身帶來的諸多限制，也解決了單靠視覺測距的參數(shù)標(biāo)定問題。

關(guān)鍵詞：單目視覺；卷積神經(jīng)網(wǎng)絡(luò)；成像模型；數(shù)據(jù)融合

中圖分類號：U463.6 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2018）22-0223-03

世界衛(wèi)生組織的一項(xiàng)數(shù)據(jù)表明，每年全球有124萬人死于車禍，并且呈上升趨勢，但如果公路上90%是無人汽車，那么交通事故數(shù)量將會從600萬降到130萬，這足以看出無人駕駛技術(shù)的優(yōu)勢。但無人駕駛技術(shù)在現(xiàn)階段依然不成熟，例如在美國亞利桑那州Tempe的一個十字路口附近曾發(fā)生無人駕駛汽車導(dǎo)致行人死亡的事故，還有谷歌旗下的Waymo公司的一輛自動駕駛測試車輛在美國亞利桑那州Chandler市發(fā)生的車禍?zhǔn)鹿实取?/p>

為了提高無人駕駛的安全性，很重要的是實(shí)現(xiàn)對周邊障礙物的精確定位，得到正確的距離?；谏鲜鲈颍疚奶岢隽艘环N基于單目視覺和毫米波雷達(dá)的實(shí)時障礙物測距算法，融合了單目視覺和毫米波雷達(dá)數(shù)據(jù)，經(jīng)過實(shí)驗(yàn)驗(yàn)證，該算法較單獨(dú)使用單目視覺或者單獨(dú)利用毫米波雷達(dá)等，在準(zhǔn)確性和魯棒性上都有較大提升。

1 研究背景

現(xiàn)階段的主流測距手段都是依靠各類傳感設(shè)備。各類傳感設(shè)備都存在各自的優(yōu)缺點(diǎn)。

目前上路的自動駕駛車輛基本都配備了激光雷達(dá)，激光雷達(dá)距離檢測的原理是基于光的返回時間，激光二極管發(fā)射脈沖光來檢測反射信號并計(jì)算。激光雷達(dá)的優(yōu)點(diǎn)和缺點(diǎn)都非常明顯，優(yōu)點(diǎn)是探測范圍廣，探測精度高。缺點(diǎn)是在極端的天氣如雨雪霧等環(huán)境下性能會降低，而且激光雷達(dá)設(shè)備價格較高（64線的激光雷達(dá)售價高達(dá)70萬人民幣）。毫米波雷達(dá)的波長介于厘米波和光波之間，因而同時具有厘米波和光波的一些優(yōu)點(diǎn)。毫米波雷達(dá)的缺點(diǎn)在于其對木材的穿透力低，容易受到路面金屬物的影響等。但其同樣具有較大市場需求，毫米波雷達(dá)的硬件設(shè)備成本更低。人類主要利用視覺系統(tǒng)獲取駕駛過程中所需要的信息。對車載攝像頭而言，成像過程是三維空間中的點(diǎn)在二維空間上的投影，攝像頭獲取車輛周邊場景時，得到的是二維信息，丟失了深度信息，因此需要對成像過程進(jìn)行建模，找到從二維到三維的逆的過程，這樣能將二維平面圖像上的點(diǎn)還原到三維空間中，找回丟失的深度信息。

實(shí)時測距方法的第一步是在每一幀圖像中找出該物體，同時確定物體的位置和類別，即計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)檢測問題。基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)，在數(shù)據(jù)量的訓(xùn)練后已經(jīng)可以基本解決檢測的問題。本文利用了開源的faster-rcnn，實(shí)現(xiàn)了對圖像中障礙物的檢測。

2 研究方法

結(jié)合單目視覺和毫米波雷達(dá)實(shí)現(xiàn)對車輛周邊障礙物的測距定位主要包括，目標(biāo)檢測、在檢測基礎(chǔ)上的建模、毫米波數(shù)據(jù)的處理和數(shù)據(jù)融合幾個關(guān)鍵步驟，下面分別對其進(jìn)行詳細(xì)介紹。

3 目標(biāo)檢測

對車輛周邊障礙物進(jìn)行定位時，第一步要實(shí)現(xiàn)對車外目標(biāo)的識別，而后才能進(jìn)一步分析確定具體行為。本項(xiàng)目的目標(biāo)檢測網(wǎng)絡(luò)是基于Faster RCNN的，復(fù)雜網(wǎng)絡(luò)可以達(dá)到5fps，準(zhǔn)確率為78.8%。目標(biāo)檢測網(wǎng)絡(luò)基本都是使用四個基本步驟實(shí)現(xiàn)目標(biāo)檢測。首先在圖像中確定若干候選框；其次，對于每個候選框內(nèi)的區(qū)域，使用深度網(wǎng)絡(luò)提取特征；對候選框中提出的特征，使用分類器判別是否屬于一個特定類別；最后對于某一矩形框，用回歸器進(jìn)一步調(diào)整其位置。Faster RCNN的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

利用faster-rcnn對圖像數(shù)據(jù)處理后，可以得到圖片中各類障礙物的類別和其在圖像中的位置，結(jié)果以障礙物的外接矩形框表示。

4 成像模型

為了找回成像過程中丟失的深度信息，本文建立了攝像機(jī)的投影模型，首先推導(dǎo)從真實(shí)世界的坐標(biāo)到像素坐標(biāo)之間的轉(zhuǎn)換關(guān)系，最后得到道路坐標(biāo)和圖像坐標(biāo)之間的相互轉(zhuǎn)換關(guān)系。攝像頭的成像是基于小孔成像原理的，因此可以在不考慮畸變的情況下，將整體成像過程建模，如圖2。

在（a）中，道路為平面ABU，ABCD為實(shí)際能拍攝的區(qū)域，攝像機(jī)鏡頭中心點(diǎn)為點(diǎn)O，光軸為OG，光軸和道路平面的相交于點(diǎn)G，點(diǎn)O在路平面上的垂直投影為點(diǎn)I。在三維路面坐標(biāo)系中，定義坐標(biāo)原點(diǎn)為點(diǎn)G，Y軸的正方向?yàn)檐囕v前進(jìn)的方向。GABCD各點(diǎn)在圖像平面內(nèi)的對應(yīng)點(diǎn)如（b）所示，圖像的高度和寬度分別為H和W。圖像是規(guī)則的矩形，定義圖像的中點(diǎn)g為圖像坐標(biāo)系的原點(diǎn)，車輛前進(jìn)正方向?yàn)閥軸。假設(shè)在實(shí)際路面坐標(biāo)中存在一點(diǎn)P，則點(diǎn)p為對應(yīng)的圖像平面坐標(biāo)系中的P點(diǎn)，根據(jù)成像原理和坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，可以推導(dǎo)出路面坐標(biāo)和圖像像素坐標(biāo)的轉(zhuǎn)換關(guān)系。

總結(jié)公式來表示真實(shí)世界中的路面坐標(biāo)和圖像像素坐標(biāo)之間的轉(zhuǎn)換關(guān)系。

式中，H和W為圖像的高和寬，h為高度，2β0為鏡頭水平視野角，2α0為鏡頭垂直視野角，γ0為攝像機(jī)俯仰角。利用成像模型，可以實(shí)現(xiàn)圖像坐標(biāo)和實(shí)際世界坐標(biāo)之間的相互轉(zhuǎn)換。

理論上，利用目標(biāo)檢測得到圖像中障礙物的圖像坐標(biāo)，再通過成像模型將圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，即可實(shí)現(xiàn)對障礙物的測距和定位。用算法計(jì)算得到圖中某一目標(biāo)到攝像機(jī)最近視野點(diǎn)的距離d1，在設(shè)備標(biāo)定時，測量得到攝像機(jī)最近視野到本車前端的距離d2，根據(jù)距離公式得到本車與前方目標(biāo)的準(zhǔn)確距離d，d=d1+d2。

求d1的方法如下：

（1）通過目標(biāo)檢測模型識別圖像中的障礙物，并用矩形框?qū)⑵錁?biāo)記出來；

（2）求該矩形框底邊中點(diǎn)的圖像平面坐標(biāo)；

（3）求圖像平面底邊中點(diǎn)的圖像平面坐標(biāo)；

（4）將兩個圖像平面坐標(biāo)通過幾何關(guān)系推導(dǎo)成道路平面坐標(biāo)；

（5）套用兩點(diǎn)間距離公式求解距離d1。

上述方法只利用了視覺信息，隨后本文將雷達(dá)數(shù)據(jù)與視覺信息進(jìn)行了融合，可以達(dá)到更好的效果。

5 毫米波雷達(dá)數(shù)據(jù)處理

毫米波雷達(dá)數(shù)據(jù)采用純文本格式保存數(shù)據(jù)，以當(dāng)前系統(tǒng)時間為時間戳，包含距離、角度和速度，數(shù)據(jù)頻率不低于10HZ，原始數(shù)據(jù)均以十六進(jìn)制保存。抓取一條雷達(dá)數(shù)據(jù)（十六進(jìn)制）進(jìn)行解析。如47 80 30 00 00 F1 33 00，解析后的結(jié)果為雷達(dá)正前方0°偏差，位置4.8米，速度為0米/秒。

6 數(shù)據(jù)融合實(shí)現(xiàn)更精確的距離測量

距離求解實(shí)際是已知函數(shù)參數(shù)，給定輸入求輸出的過程。誤差來源是不精確的參數(shù)，因此若能已知多組輸入輸出，則可以反向求解函數(shù)參數(shù)，再將校正后的參數(shù)用于其他距離求解。在車輛實(shí)際行駛過程中，由于抖動或上下坡，高度和俯仰角等均會發(fā)生變化，所以參數(shù)是動態(tài)改變的，需要實(shí)時標(biāo)定。經(jīng)過實(shí)驗(yàn)分，得到影響模型精度的最主要因素是俯仰角，其次是高度，因此可以根據(jù)實(shí)際情況對俯仰角和高度進(jìn)行校正，或在可利用條件較少時，只對俯仰角進(jìn)行校正。

在車輛行駛過程中，可以利用毫米波雷達(dá)不斷采集車輛前方障礙物距離和速度，且精度極高，可以認(rèn)為是準(zhǔn)確值。因此，在通過毫米波雷達(dá)得到幾組準(zhǔn)確的距離后，可以求解俯仰角和高度兩個未知參數(shù)。在實(shí)際使用中，可以采用步進(jìn)法進(jìn)行求解，給定初始值，增加或減少一個較小的數(shù)值，直到使視覺計(jì)算距離與毫米波雷達(dá)距離的絕對誤差值最小。

7 測試

本文僅在車輛靜止?fàn)顟B(tài)下進(jìn)行了測距實(shí)驗(yàn)，分別得到了單靠單目視覺，單目視覺結(jié)合毫米波雷達(dá)測距的結(jié)果。

車輛靜止?fàn)顟B(tài)下，于車輛前方水平距離為0到40米的范圍分別放置障礙物，距離誤差為絕對誤差，在目標(biāo)檢測模型識別出障礙物后，分別依靠單目視覺測距，結(jié)合毫米波雷達(dá)對俯仰角進(jìn)行標(biāo)定后再次計(jì)算距離，兩者進(jìn)行對比，結(jié)果見表1。

8 研究結(jié)論

從測試結(jié)果可以看出，結(jié)合毫米波雷達(dá)標(biāo)定俯仰角之后，絕對誤差大幅降低。因此可以得出如下結(jié)論，若能通過毫米波雷達(dá)，通過某一障礙物的精確距離反向校正俯仰角，可以得到更準(zhǔn)確的距離結(jié)果，在車輛前方40米范圍內(nèi)，最大誤差不超過0.13米。這種方案的精確度最高。同時，車輛行駛過程中，由于融合算法較低的復(fù)雜度，也可以實(shí)現(xiàn)實(shí)時計(jì)算。

9 展望

在這個快速發(fā)展的時代，無人駕駛技術(shù)是未來交通發(fā)展的必然。本文采取的方法是結(jié)合單目視覺和毫米波雷達(dá)實(shí)現(xiàn)對車輛周邊障礙物的測距定位，運(yùn)用了目標(biāo)檢測、成像建模、毫米波數(shù)據(jù)的處理和數(shù)據(jù)融合等技術(shù)，達(dá)到更加準(zhǔn)確的距離結(jié)果的目的。解決了用低成本測距不精準(zhǔn)的難題，達(dá)到了較高的精度。

未來，在只標(biāo)定俯仰角的基礎(chǔ)上，可以考慮標(biāo)定更多的成像模型參數(shù)、加入更多的先驗(yàn)知識，或考慮更準(zhǔn)確的目標(biāo)檢測模型等進(jìn)一步提升精度。

參考文獻(xiàn)

[1]Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015：1-1.

[2]陳卓.基于車載單目機(jī)器視覺的前方車輛測速測距系統(tǒng)的研究與實(shí)現(xiàn)[D].浙江工商大學(xué)，2012.