基于圖像與雷達(dá)信息融合的校園巡邏車識別方案

高 宇,李 進(jìn),盧明宇,秦雪薇,王正華

(安徽科技學(xué)院 機(jī)械工程學(xué)院,安徽 鳳陽 233100)

當(dāng)代技術(shù)的快速發(fā)展,各類行業(yè)都開始使用自動(dòng)化、現(xiàn)代化、智能化種種詞匯,從汽車結(jié)構(gòu)優(yōu)化發(fā)展方向轉(zhuǎn)型為自動(dòng)駕駛智能識別路況中,可以窺見技術(shù)在逐漸達(dá)成節(jié)省勞動(dòng)力以及工作成本的目的。當(dāng)代交通行駛逐漸趨向智能化,行駛違禁信息可以通過智能交通管理實(shí)現(xiàn);智能駕駛通過傳感器環(huán)境感知識別路況,規(guī)劃識別最優(yōu)行駛路線,通過智能模塊控制轉(zhuǎn)向、行駛速度以保證智能駕駛的穩(wěn)定性。其中環(huán)境感知主要通過傳感器感知分辨行駛路徑上的障礙物,主要可以分為雷達(dá)與視覺檢測兩個(gè)方向。計(jì)算機(jī)視覺的成熟推動(dòng)智能駕駛產(chǎn)業(yè)發(fā)展,用于車輛視覺分為兩個(gè)方面:目標(biāo)檢測、圖像分割,以分割為標(biāo)準(zhǔn)又有實(shí)例分割、語義分割。雷達(dá)則通過激光雷達(dá)測定障礙物位置,毫米波雷達(dá)近距離感知。將視覺與雷達(dá)融合的多傳感器融合技術(shù),在二十世紀(jì)八十年代就早已運(yùn)用于軍事并逐漸走向民用。信息融合不同于單一類型傳感器的檢測方式,而是對于傳感器信息的測量、評價(jià)與決斷,從而提高時(shí)效性與準(zhǔn)確性。根據(jù)校園巡邏車行駛速度在25km/h以下,行駛環(huán)境有單行道與雙行道,檢測環(huán)境包含大量行人,視覺與雷達(dá)傳感器相互配合可以提高校園巡邏車不同環(huán)境下的檢測精度。

1 結(jié)構(gòu)設(shè)計(jì)與安裝

本文所采用的校園巡邏車數(shù)據(jù)均為市面常用型號三排六座封閉治安電動(dòng)巡邏車,由于學(xué)校環(huán)境下,道路多以單車道為主,道路上受環(huán)境以及光照影響很大,特殊時(shí)間段人流量大,校內(nèi)路標(biāo)各種障礙物較多。校園行駛過程屬于行駛速度慢,突發(fā)情況多,環(huán)境影響較大。需要滿足校園情況的檢測傳感器,同樣要考慮巡邏車的輕便性,減少所搭載的設(shè)備,減少計(jì)算量增加穩(wěn)定性。

考慮到應(yīng)用于校園路面環(huán)境的情況,相機(jī)需要高成像質(zhì)量、高準(zhǔn)確度以及高處理速度。因此相機(jī)采用?？低暼蕯z像機(jī)固定機(jī)位,相比普通相機(jī)具有抗干擾能力強(qiáng)、成像穩(wěn)定快速等優(yōu)點(diǎn)。此相機(jī)為單目相機(jī),單目相機(jī)有別于雙目多目相機(jī)更適用于小型車輛處理簡單數(shù)據(jù),算法邏輯簡單處理速度快,成本低。當(dāng)然硬件劣勢較大、應(yīng)用場景有限,綜合來看適用于校園巡邏車較簡單的路況環(huán)境。

雷達(dá)選用16線激光雷達(dá),三維激光雷達(dá)相較二維激光雷達(dá)更適用于校園錯(cuò)綜的行人與路況環(huán)境,同樣無人駕駛領(lǐng)域三維雷達(dá)也更優(yōu)于二維雷達(dá)。16線三維雷達(dá)在戶外行駛狀況中的雨雪天氣、霧霾天氣一樣可以發(fā)揮檢測作用,多個(gè)單線激光可以準(zhǔn)確完整地輸出檢測結(jié)果。三維激光雷達(dá)也比二維激光雷達(dá)更能體現(xiàn)空間信息,容易獲得障礙物距車體的距離。校園巡邏車基本參數(shù)如表1所示,校園巡邏車實(shí)體圖,如圖1所示。

圖1 校園巡邏車實(shí)體圖

表1 校園巡邏車基本參數(shù)

2 圖像信息識別

校園巡邏車行駛環(huán)境下所選取的視覺識別為深度學(xué)習(xí)模型進(jìn)行語義分割,該方法是計(jì)算機(jī)視覺研究的一大類,其中也包含圖像信息、計(jì)算機(jī)學(xué)習(xí)、計(jì)算機(jī)視覺。圖像采集由單目攝像機(jī)獲得圖像信息。

2.1 基于圖像信息的語義分割

基于計(jì)算機(jī)視覺處理圖像的方法很多,圖像語義分割屬于計(jì)算機(jī)視覺經(jīng)常使用的一類計(jì)算機(jī)視覺識別方法,近年來計(jì)算機(jī)深度學(xué)習(xí)的發(fā)展使語義分割計(jì)算更加多樣[1]。用于車輛語義分割的卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)、常用的幾種優(yōu)化函數(shù)中,圍繞構(gòu)建車輛語義分割的簡化全卷積神經(jīng)網(wǎng)絡(luò)通常包括完全卷積網(wǎng)絡(luò)(FCN),SegNet和U-Net[2]。語義分割對比圖像檢測更傾向于利用預(yù)訓(xùn)練模型區(qū)分識別區(qū)域,適用于校園巡邏車較為簡單的環(huán)境,在輕便化的巡邏車上也可以保持穩(wěn)定性以及計(jì)算的快速性。

2.2 語義分割訓(xùn)練模型

本文使用預(yù)訓(xùn)練的Resnet-18網(wǎng)絡(luò)初始化權(quán)重創(chuàng)建Deeplab v3+網(wǎng)絡(luò),為了將32個(gè)類別減少為11個(gè)類別,將原始數(shù)據(jù)集中的多個(gè)類別組合在一起。例如,將各類別的車輛定義為“Car”標(biāo)簽。Resnet-18編碼語言在巡邏車這種輕便的落地環(huán)境有更快更小的模型,數(shù)據(jù)場景較為簡單足夠勝任識別任務(wù)。訓(xùn)練模型流程圖,如圖2所示。

圖2 訓(xùn)練模型流程圖

之后利用SegNet編碼輸出復(fù)原圖片點(diǎn)云的類型,形成將圖片分割各部分的解碼過程。訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)上來說因?yàn)镾egNet采取先將計(jì)算量記錄池化替代反卷積操作,SegNet訓(xùn)練過程要比FCN要簡單很多。

以上是兩種不同的算法方式,SegNet是將攝像頭檢測到的視覺信息點(diǎn)生成特征點(diǎn)云圖,之后根據(jù)卷積計(jì)算將稀疏點(diǎn)云聚類構(gòu)成多點(diǎn)特征圖。而FCN則跳過預(yù)生成的點(diǎn)云圖直接進(jìn)行反卷積再加上編碼器的計(jì)算結(jié)果,計(jì)算量相較上述更大。關(guān)于解碼方式所體現(xiàn)出的優(yōu)點(diǎn)在于特征圖實(shí)現(xiàn)的效果更好,體現(xiàn)在Boundary-F1輪廓匹配分?jǐn)?shù)上以及運(yùn)行過程中內(nèi)存受限的情況下SegNet可以使用特征圖的壓縮形式來提升表現(xiàn),得到明顯分割點(diǎn)云圖。

利用matlab軟件訓(xùn)練語義分割網(wǎng)絡(luò)DeeplabV3+,執(zhí)行訓(xùn)練或使用預(yù)訓(xùn)練模型建立數(shù)據(jù)集。首先選擇符合校園場景的數(shù)據(jù)圖片庫設(shè)置圖片尺寸,根據(jù)訓(xùn)練模型其中60%的圖片用于訓(xùn)練,剩下20%圖片用于驗(yàn)證評估,20%的圖片用于測試結(jié)果即訓(xùn)練集、驗(yàn)證集、測試集[3]。將訓(xùn)練集圖片RGB值灰度化根據(jù)灰度值分割區(qū)域評估分類,通過對CamVid數(shù)據(jù)集中的類加權(quán)平衡提高訓(xùn)練水平。

3 雷達(dá)信息識別

本節(jié)介紹該車?yán)走_(dá)的參數(shù)與識別過程,基于16線激光雷達(dá)的坐標(biāo)系建立與點(diǎn)云生成和用于測量車輛前方障礙物的毫米波雷達(dá)。雷達(dá)信息的識別相較于視覺信息更能體現(xiàn)空間性,可以體現(xiàn)出障礙物的具體位置確定其分布。

3.1 多線激光雷達(dá)的安裝與參數(shù)

對于單一傳感器識別路況障礙物的原理在不同方面各有優(yōu)缺點(diǎn)。雷達(dá)與視覺傳感器的區(qū)別是通過檢視前方行人及障礙物的位置進(jìn)行構(gòu)圖確定位置分布,視覺則是通過檢視圖像區(qū)別及邊緣特征去分辨障礙物及定位分布。激光雷達(dá)作為單一傳感器確定障礙物位置的流程為激光束掃描、數(shù)據(jù)轉(zhuǎn)換、建立點(diǎn)云圖。這種基于相對距離的方法更加準(zhǔn)確地獲取障礙物的位置,同樣由于激光射線的分布關(guān)系2.5m內(nèi)誤差較大,越遠(yuǎn)激光射線越稀疏精確度越低。

雷達(dá)的安裝位置根據(jù)雷達(dá)激光器的垂直角度范圍是-15°～+15°,安裝高度為2.32米,距車頂40cm。具體參數(shù)如表2所示。

表2 16線激光雷達(dá)重要參數(shù)

激光雷達(dá)檢測物體的精度根據(jù)距離誤差逐漸增大,誤差變化如圖3所示。

圖3 雷達(dá)檢測誤差范圍變化圖

3.2 激光雷達(dá)的識別

雷達(dá)點(diǎn)云的呈現(xiàn)原理為坐標(biāo)映射,為呈現(xiàn)三維點(diǎn)云圖效果通過笛卡爾坐標(biāo)系轉(zhuǎn)化極坐標(biāo)下的角度距離信息為x、y、z坐標(biāo)[4],轉(zhuǎn)換公式如式(1)所示。

(1)

式(1)中,d為實(shí)測距離,ω為雷達(dá)激光角度,α為水平旋轉(zhuǎn)角度,可以得出任意第i根雷達(dá)激光線距目標(biāo)水平距離D為式(2)所示。

D=h×tan(αi+i×2),i∈[0,15]

(2)

h為雷達(dá)中心點(diǎn)到地面高度,由式(2)可得16根激光掃描線之間與巡邏車的位置關(guān)系,重新以巡邏車前輪中間點(diǎn)建立新的坐標(biāo)系。以車輛行駛方向?yàn)樾陆╕軸正方向,Y軸正方向水平旋轉(zhuǎn)90°為新建X軸正方向,水平向上為Z軸正方向,建立車體坐標(biāo)系。θ為激光與y軸正方向的夾角,φ為雷達(dá)掃描面與新坐標(biāo)系XOY平面夾角[5],該坐標(biāo)系命名為車體坐標(biāo)系,三維坐標(biāo)P=(X,Y,Z)將雷達(dá)坐標(biāo)系中的點(diǎn)轉(zhuǎn)換為汽車坐標(biāo)系數(shù)據(jù),如式(3)所示。

(3)

坐標(biāo)系的轉(zhuǎn)換也是將以雷達(dá)為中心轉(zhuǎn)換為以車頭尾中心保證行駛識別的準(zhǔn)確度。

攝像頭信息與激光雷達(dá)信息的數(shù)據(jù)融合的主要特征是結(jié)合多個(gè)傳感器的獲取信息,合理分配利用資源根據(jù)規(guī)則分析、綜合用于完成所需的決策和評估任務(wù)[6]。雷達(dá)與視覺兩種類型的傳感器優(yōu)化感知數(shù)據(jù)融合根據(jù)處理方式的不同主要有三個(gè)層面:數(shù)據(jù)采集層面、特征分辨層面和處理決策層面。本章節(jié)考慮視覺雷達(dá)信息融合用于校園巡邏車行駛的方法,根據(jù)校園巡邏車行駛速度在20km/h左右的特性以及路邊行人較多的路況需要視覺根據(jù)雷達(dá)所檢測到的目標(biāo)數(shù)據(jù)更準(zhǔn)確地確定位置。

4 多傳感器的融合與標(biāo)定

這部分描述的多傳感器即視覺與雷達(dá)相關(guān)傳感器的坐標(biāo)系標(biāo)定融合,根據(jù)上一章節(jié)所介紹的兩種坐標(biāo)系雷達(dá)坐標(biāo)系與車體坐標(biāo)系中加入圖像視覺信息,提供多種參考數(shù)據(jù)使其融合處理以達(dá)到多傳感器的精度優(yōu)勢,使檢測的原始數(shù)據(jù)轉(zhuǎn)化為更有效的目標(biāo)數(shù)據(jù)[8]。

4.1 視覺與雷達(dá)的坐標(biāo)標(biāo)定

通過16線激光雷達(dá)中心與車前輪中心相對位置所建立的新坐標(biāo)系車體坐標(biāo)系P=(X,Y,Z)以及原始坐標(biāo)系p=(x,y,z)將雷達(dá)的角度距離信息體現(xiàn)在車與障礙物的距離位置上以此為依據(jù)將建立雷達(dá)與視覺同步計(jì)算的標(biāo)定坐標(biāo)系,使視覺信息體現(xiàn)在雷達(dá)坐標(biāo)系決策中[7]。首先建立雷達(dá)標(biāo)定坐標(biāo)系,取任意障礙物p點(diǎn)車體坐標(biāo)系與雷達(dá)坐標(biāo)系的數(shù)據(jù)(xp,yp,zp)與汽車車體坐標(biāo)系數(shù)據(jù)(Xp,Yp,Zp)得到轉(zhuǎn)化關(guān)系式,如式(4)所示。

(4)

式(4)中的(xp,yp,zp)T與(Xp,Yp,Zp)T代表雷達(dá)坐標(biāo)系與車體坐標(biāo)系數(shù)據(jù)通過取點(diǎn)可通過超定方程求出旋轉(zhuǎn)矩陣R與平移矩陣T,兩個(gè)量分別表達(dá)角度與雷達(dá)中心到前車輪中心的距離。具體參照物數(shù)據(jù),如表3所示。

表3 車體坐標(biāo)系與雷達(dá)坐標(biāo)系中的參照物數(shù)據(jù)

將上述表3中數(shù)據(jù)代入式(4)通過使用matlab求解超定方程可以得到旋轉(zhuǎn)矩陣R與平移矩陣T的量,如式(5)所示。

(5)

之后再將雷達(dá)坐標(biāo)系數(shù)據(jù)代入式(5)計(jì)算誤差評估標(biāo)定方程準(zhǔn)確度,主要考慮水平面上坐標(biāo)度量的精度可以得到x,y方向誤差,如表4所示。

表4 車體坐標(biāo)系與雷達(dá)坐標(biāo)系中標(biāo)定誤差分析

可以得出誤差水準(zhǔn)均小于5cm,雷達(dá)工作的過程中,精度滿足識別要求。

4.2 視覺與雷達(dá)的信息融合

雷達(dá)數(shù)據(jù)所體現(xiàn)的信息為車體坐標(biāo)系中的P= (X,Y,Z),根據(jù)車體坐標(biāo)系的建立其中三個(gè)參數(shù)X,Y,Z綜合表達(dá)了巡邏車前輪中線距障礙物的空間位置,將坐標(biāo)映射到圖像坐標(biāo)中簡化計(jì)算減低計(jì)算量。當(dāng)雷達(dá)的車體坐標(biāo)信息與圖像信息相對應(yīng)可以忽略雷達(dá)的誤差信息只保留大致的位置信息。

其中的難點(diǎn)就是視覺采集的信息在空間上與之對齊,因此去車體坐標(biāo)系P中的Z值是兩種信息高度相對應(yīng)以確定空間位置的一致其中的步驟如下:

(1)將雷達(dá)坐標(biāo)系中的坐標(biāo)信息轉(zhuǎn)化車體坐標(biāo)系中的坐標(biāo)信息,取其中Y值;

(2)將視覺信息中感興趣的特征區(qū)域范圍與Z值查看是否相匹配;

(3)完成雷達(dá)與視覺信息的融合。

另外的一個(gè)難點(diǎn)是如何做到時(shí)間上的對齊,時(shí)間對齊的問題是如何將圖像信息的幀數(shù)時(shí)間對齊雷達(dá)數(shù)據(jù)時(shí)間。為了解決這種問題使用計(jì)時(shí)器設(shè)定采集一段時(shí)間的圖像幀數(shù)使之與雷達(dá)幀數(shù),并保證兩者幀率相同,若數(shù)據(jù)一致可以在誤差較小的情況下認(rèn)為兩者數(shù)據(jù)其時(shí)間對齊。

5 結(jié)論

根據(jù)標(biāo)點(diǎn)坐標(biāo)系的建立提出一種融合視覺與雷達(dá)多傳感器處理校園巡邏車路況信息的方案,并用建立數(shù)據(jù)庫深度學(xué)習(xí)的方法使圖像識別部分更加輕便,激光雷達(dá)坐標(biāo)系的建立也更直觀體現(xiàn)車頭距障礙物的位置關(guān)系。在光照的強(qiáng)弱影響、陰影影響以及路況擁堵場景都有很好的表現(xiàn)。