基于信息融合的無人駕駛圖像數(shù)據(jù)處理方法

◆戴耀威 高正創(chuàng) 唐樹銀 李宏宇 葉繼銘

（中國礦業(yè)大學(xué)徐海學(xué)院 江蘇 221000）

0 引言

根據(jù)阿里巴巴達(dá)摩院公布的2019年十大科技趨勢(shì)，無人駕駛技術(shù)進(jìn)入冷靜的發(fā)展期，無人駕駛技術(shù)的環(huán)境復(fù)雜性使得無人駕駛的研究方向不再僅僅局限于真正行駛在路上的汽車，而是面向于自動(dòng)公交，無人車物流配送，園區(qū)循環(huán)利用等相對(duì)固定的應(yīng)用模式。無人駕駛目前更加專用化、小型化、嵌入式化。

激光雷達(dá)有精確度高，探測(cè)范圍廣，受環(huán)境干擾小的優(yōu)點(diǎn)，圖像識(shí)別結(jié)合深度學(xué)習(xí)，可以自主學(xué)習(xí)，具有優(yōu)化能力。因此以激光雷達(dá)、基于深度學(xué)習(xí)技術(shù)的圖像識(shí)別為基礎(chǔ)的無人車傳感系統(tǒng)將是一個(gè)理想的方案。

本研究采用 MobileNet的輕量化網(wǎng)絡(luò)結(jié)合 Movidius加速器對(duì)圖像數(shù)據(jù)信息進(jìn)行處理，再采用MK60主控板對(duì)激光雷達(dá)數(shù)據(jù)進(jìn)行采樣，將圖像數(shù)據(jù)信息與激光雷達(dá)信息進(jìn)行疊加生成深度圖，最終完成對(duì)障礙物的識(shí)別。

1 基于MobileNet的圖片數(shù)據(jù)處理

基于MobileNet的圖像處理算法在小型化嵌入式系統(tǒng)中有著良好的應(yīng)用，其以低功耗為主要目標(biāo),設(shè)計(jì)功耗低于15瓦。

1.1 圖像預(yù)處理

圖像信息采集中最為根本的是圖像的處理，而采集到的圖像往往是不準(zhǔn)確的。首先，由于存在大量干擾信息，因此最初采集到的圖像信息中往往含有錯(cuò)誤信息，需要對(duì)圖像進(jìn)行初步的處理。本研究首先對(duì)最初的圖像做中值濾波的處理，以減小噪聲對(duì)圖像質(zhì)量的干擾。其次，由于圖像采集裝置往往與水平地面存在一定的夾角，因此對(duì)采集到的圖像有一定畸變，需要對(duì)濾過波的圖像再采取畸變的分析與矯正，以便采集的圖像信息數(shù)據(jù)更為準(zhǔn)確和方便以后使用。

1.2 圖像信息數(shù)據(jù)的處理結(jié)果

經(jīng)過多種網(wǎng)絡(luò)模型的組合比較和試驗(yàn)，決定采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和MobileNet模型來進(jìn)行圖像信息數(shù)據(jù)的處理。處理結(jié)果如圖1所示，原圖經(jīng)過預(yù)處理之后，成功識(shí)別到圖中的人物信息，并返回坐標(biāo)等信息。

1.3 模型優(yōu)化

MobileNet模型配合使用TensorFlow深度學(xué)習(xí)框架，進(jìn)行數(shù)值計(jì)算，可移植性更強(qiáng)。第一步，將數(shù)據(jù)集劃分，通過代碼轉(zhuǎn)化，將采集和處理好的數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集，再用MobileNet模型訓(xùn)練。第二步，當(dāng)模型訓(xùn)練好后，儲(chǔ)存測(cè)試數(shù)據(jù)集，并進(jìn)行測(cè)試。如果模型沒有訓(xùn)練成功，繼續(xù)對(duì)模型訓(xùn)練，最終訓(xùn)練好模型。

2 激光雷達(dá)的聚類分析

2.1 激光雷達(dá)與聚類分析

激光雷達(dá)精度高，識(shí)別范圍廣，但其數(shù)據(jù)量大。所以，如何從海量的數(shù)據(jù)中挖掘有用的數(shù)據(jù)進(jìn)行分析，是研究激光雷達(dá)的重中之重。聚類分析的基本思想，在于所研究的云點(diǎn)或變量之間存在程度不同的相似性，找出一些能夠度量云點(diǎn)或變量之間相似程度的統(tǒng)計(jì)量，以此為依據(jù)劃分，把一些相似程度較大的指標(biāo)聚合為一類，直到把所指標(biāo)聚合完畢。

目前常用的聚類分析方法有 K-Means、K-Means++以及ISOData，為了使設(shè)備小型化、低功耗化，并且在不影響性能的前提下，決定采用較為簡(jiǎn)單的斜率分析法對(duì)激光雷達(dá)返回的數(shù)據(jù)進(jìn)行分析。

圖1 成功識(shí)別到圖中的人物信息，并返回坐標(biāo)等信息

2.2 數(shù)據(jù)的聚類

單線激光雷達(dá)數(shù)據(jù)以無人車為中心，遵循一定方向與速度向四周未知環(huán)境進(jìn)行掃描采集，經(jīng)上位機(jī)處理后返回的數(shù)據(jù)為角度與距離，由此便可以直觀地知道障礙物與無人車的位置關(guān)系，如圖2所示。

圖2 障礙物與無人車的位置關(guān)系

圖3 散點(diǎn)圖

如圖2中所示，同一物體是由連續(xù)的點(diǎn)所組成，也就是雷達(dá)在物體表面所掃描出來的一系列點(diǎn)。以這些點(diǎn)為基準(zhǔn)作散點(diǎn)圖，如圖3所示，同一類物體高度基本不變，所以點(diǎn)與點(diǎn)之間斜率基本為零，而兩類物體之間存在距離的突變，臨界兩點(diǎn)間的斜率會(huì)有劇烈的波動(dòng)。定義以下公式用于求數(shù)據(jù)的斜率：

其中θn為角度，dn為對(duì)應(yīng)角度下的距離，σ 為誤差容忍度，Δθn是角度差，Δdn是距離差，ρ是所求得的斜率，處理后的數(shù)據(jù)圖如圖4所示。

圖4 處理后的數(shù)據(jù)圖

由圖4可知，如果檢測(cè)到的是同一個(gè)物體，則激光雷達(dá)返回的云點(diǎn)數(shù)據(jù)經(jīng)過處理后的ρ值基本相同，如果物體之間有間隔或者沒有檢測(cè)到物體則ρ值會(huì)發(fā)生突變，在圖中表現(xiàn)為一個(gè)尖峰。兩突變之間即為一類物體，規(guī)定當(dāng)|ρ|>φ，即ρ的絕對(duì)值大于某一個(gè)閾值時(shí)，物體應(yīng)該分類，否則歸為同一類。根據(jù)以上分析，圖4中有5類物體，與圖2符合。

圖5 激光雷達(dá)獲取深度信息

3 信息疊加

由前所述可知，圖片經(jīng) MobileNet處理后返回一系列數(shù)據(jù)，包括已識(shí)別目標(biāo)在圖片上的位置坐標(biāo)等相關(guān)信息，但是缺乏目標(biāo)的深度信息，因此通過激光雷達(dá)來獲取深度信息。如圖5所示，攝像頭與雷達(dá)在同一鉛垂線上，已知攝像頭的視角為φ 并與雷達(dá)極坐標(biāo)下的角度相對(duì)應(yīng)，照片寬度為l,則每一像素點(diǎn)對(duì)應(yīng)角度為φ/ι,通過目標(biāo)的位置坐標(biāo)可得到目標(biāo)相對(duì)于攝像頭的角度，也就得到了目標(biāo)對(duì)應(yīng)于雷達(dá)的角度θ。通過雷達(dá)聚類分析可知，在圖像識(shí)別的目標(biāo)處，雷達(dá)亦做好了物體的聚類，經(jīng)上位機(jī)處理的雷達(dá)數(shù)據(jù)又包含角度與距離信息，因此可通過角度θ獲得目標(biāo)的深度信息，即L值，無人車與障礙物的直線距離，通過極坐標(biāo)與直角坐標(biāo)間的轉(zhuǎn)換關(guān)系，也可求出障礙物相對(duì)對(duì)于無人車前進(jìn)道路上的距離。獲得目標(biāo)的深度信息后，無人車能夠判斷車與物體的距離，從而更好地進(jìn)行避障等功能。

圖6 疊加效果

由這兩部分?jǐn)?shù)據(jù)進(jìn)行固定角度于像素之間的疊加之后就可以在一張2D圖片的基礎(chǔ)上形成一張具有特定識(shí)別物體深度信息的深度圖片，得到此圖片后對(duì)于后續(xù)的無人車路徑規(guī)劃，避障與跟隨等功能都可以很方便地實(shí)現(xiàn)，疊加效果如圖6所示。

4 結(jié)論

該研究采用了MobileNet神經(jīng)網(wǎng)絡(luò)結(jié)合加速器對(duì)攝像頭采集的圖像進(jìn)行處理，并采用聚類分析的方法對(duì)激光雷達(dá)的云點(diǎn)數(shù)據(jù)進(jìn)行處理，最終將云點(diǎn)數(shù)據(jù)與圖像數(shù)據(jù)進(jìn)行疊加生成深度信息，經(jīng)多次檢測(cè)優(yōu)化，本系統(tǒng)完成了對(duì)障礙物的識(shí)別和對(duì)所識(shí)別的障礙物深度信息的標(biāo)定。