基于視覺的道路場景建模

種玉祥　梁耀中

摘要：步入21世紀(jì)，隨著人工智能的發(fā)展，智能車的研究成為一大熱點(diǎn)，而智能汽車研究的基礎(chǔ)就是定位問題。目前有2種定位方法，一種是實(shí)時(shí)定位與建圖（SLAM），另一種則是基于道路場景表征建模的定位方法，兩者各有所長。本文針對基于視覺的道路場景表征建模定位方法進(jìn)行了優(yōu)化與改進(jìn)。首先，本文提出了一種對點(diǎn)云處理的方法，對當(dāng)前Z坐標(biāo)一定距離內(nèi)的點(diǎn)云取不同權(quán)值，進(jìn)行加權(quán)投影，以此來構(gòu)建道路的二維場景。采用ORB特征提取算子提取二維特征，并采用視覺里程計(jì)算法獲取車輛運(yùn)動(dòng)軌跡信息。構(gòu)建了輕量級神經(jīng)網(wǎng)絡(luò)，用來檢測道路標(biāo)志特征，例如車道線、斑馬線、道路標(biāo)志牌等。對二維場景精度差的問題進(jìn)行補(bǔ)充。

關(guān)鍵詞：視覺SLAM;GPS;融合定位;智能車定位;輕量級神經(jīng)網(wǎng)絡(luò)

【Abstract】Inthe21stcentury，withthedevelopmentofartificialintelligence，theresearchofsmartcarshasbecomeahottopic，andthebasisofsmartcarresearchisthepositioningproblem.Therearecurrentlytwopositioningmethods，oneissimultaneouslocalizationandmapping（SLAM），theotherisapositioningmethodbasedonroadscenerepresentationmodeling.Eachmethodhascorrespondingadvantage.Thispaperoptimizesandimprovesthevision-basedroadscenerepresentationmodelingandpositioningmethod.Firstofall，thispaperproposesamethodforpointcloudprocessing，whichtakesdifferentweightsforthepointcloudwithinacertaindistanceofthecurrentZcoordinateandperformsweightedprojectiontoconstructatwo-dimensionalroadscene.TheORBfeatureextractionoperatorisusedtoextracttwo-dimensionalfeatures，andthevisualmileagecalculationmethodisusedtoobtainvehicletrajectoryinformation.Alightweightneuralnetworkisconstructedtodetectroadsignfeatures，suchaslanelines，zebracrossings，roadsigns，etc.Andtheproblemofpooraccuracyintwo-dimensionalscenesissupplemented.

【Keywords】visualSLAM;GPS;fusionpositioning;intelligentvehiclepositioning;lightweightnetwork

作者簡介：種玉祥（1995-），男，碩士研究生，主要研究方向：視覺SLAM。

1基于道路場景建模的自動(dòng)駕駛車輛定位

自從SLAM方法問世以后，自動(dòng)駕駛車輛的定位方法就分成了兩大類。一類是以激光和視覺相機(jī)進(jìn)行的實(shí)時(shí)定位與建圖，即SLAM。另一類則是根據(jù)已經(jīng)建立好的地圖來進(jìn)行定位的道路場景建模定位。

實(shí)時(shí)定位與建圖是根據(jù)建圖時(shí)所使用的傳感器不同，可再分為視覺SLAM[1]和激光SLAM[2]。其中，視覺SLAM方法主要流程可表述為：前端、視覺里程計(jì)、后端、回環(huán)檢測等。在小型家用掃地機(jī)器人等應(yīng)用場景中已取得較好應(yīng)用成效，但是在戶外無人駕駛領(lǐng)域的應(yīng)用卻仍亟待繼續(xù)深入研究。

而基于道路場景建模的定位方法，是先要建立道路的多維地圖，再與行駛過程中的地圖進(jìn)行匹配，這種定位方法和平常在看地圖尋找目的地時(shí)具有相同的邏輯過程。所以，當(dāng)車輛使用這種方法進(jìn)行定位時(shí)，對道路的建模和表征，每個(gè)節(jié)點(diǎn)所包含的信息的準(zhǔn)確性，以及相應(yīng)的信息維度，就是其獲得定位精確性的根本和基礎(chǔ)。

一般來說，為了進(jìn)行更加精確的定位，在進(jìn)行道路場景建模時(shí)，就會(huì)使用精度較高的傳感器。例如GPS和高精度慣性導(dǎo)航傳感器、激光雷達(dá)、高清攝像頭等等。在進(jìn)行道路多維地圖構(gòu)建時(shí)，建圖車輛以某一固定的速度在地圖標(biāo)識路段行駛，將采集多種數(shù)據(jù)信息，例如GPS信號、慣性導(dǎo)航傳感器信號、視覺圖像等等。而在采集了多重傳感器的數(shù)據(jù)后，通過傳感器標(biāo)定，數(shù)據(jù)融合，將采集到的信息進(jìn)行關(guān)聯(lián)[3-5]。

在道路場景建模完成后，先通過普通的GPS進(jìn)行定位，并在所建立的模型中得到一定范圍內(nèi)的采集點(diǎn)，接著對采集車采集到的各種信息，諸如視覺圖像、點(diǎn)云信息、慣導(dǎo)數(shù)據(jù)等與事先建立好的多維地圖進(jìn)行匹配。根據(jù)采集車選用傳感器的不同，道路多維地圖通常可分為2類，即：基于視覺攝像頭的多維地圖構(gòu)建;基于高精度激光雷達(dá)的多維地圖構(gòu)建。

和采用激光雷達(dá)相比，運(yùn)用相機(jī)進(jìn)行地圖的構(gòu)建和定位可以大大降低制圖與定位的成本，所以，近年來，多種視覺地圖構(gòu)建方法陸續(xù)涌現(xiàn)出來。本文也提出了一種視覺地圖構(gòu)建方式，該方法包含諸如節(jié)點(diǎn)位姿、二維場景特征、道路標(biāo)志特征等節(jié)點(diǎn)要素，如圖1所示。

其中，道路二維投影特征由文中提出的區(qū)域點(diǎn)云加權(quán)投影方法，由優(yōu)化后的點(diǎn)云圖中運(yùn)算獲取。節(jié)點(diǎn)位姿則可以通過傳統(tǒng)的視覺里程計(jì)算法等獲取。道路標(biāo)識特征由輕量級神經(jīng)網(wǎng)絡(luò)識別得到。

本文提出的節(jié)點(diǎn)要素獲取方法將在下文進(jìn)行闡釋與分析。

2道路投影特征

不管是基于視覺、還是激光所構(gòu)建的多維地圖，都是由大量的數(shù)據(jù)采集節(jié)點(diǎn)組成，在每個(gè)節(jié)點(diǎn)，都要采集視覺數(shù)據(jù)、GPS信息、以及與RTK組合系統(tǒng)采集的高精度位置信息。為了使文中構(gòu)建的視覺多維地圖能夠更加準(zhǔn)確，本文在每個(gè)節(jié)點(diǎn)選擇存儲的信息分別為：節(jié)點(diǎn)位姿、道路投影特征、道路標(biāo)志特征、GPS信號等。

2.1點(diǎn)云預(yù)處理

本方法要對三維點(diǎn)云進(jìn)行處理，用來形成二維特征。車載系統(tǒng)對計(jì)算性能存儲容量有較高的要求。不論是出于降低所占用的存儲資源，還是去除噪聲，降低運(yùn)算負(fù)荷等目的，都要對點(diǎn)云進(jìn)行預(yù)先處理。在預(yù)處理時(shí)，為保證點(diǎn)云的質(zhì)量，需要對所選定的點(diǎn)云的區(qū)域范圍進(jìn)行選擇。首先考慮的目標(biāo)是要選擇的區(qū)域，點(diǎn)云要盡可能地稠密，同時(shí)，還要滿足成像清晰，誤差小等要求?？紤]到是用作建圖來使用，所以只需要保留道路信息，對于采集時(shí)得到的車輛和行人等動(dòng)態(tài)目標(biāo)要采用濾波器進(jìn)行剔除，防止這些因素影響構(gòu)建好的地圖使用時(shí)的配準(zhǔn)率。BAL數(shù)據(jù)集在使用CeresBA優(yōu)化后的可視化點(diǎn)云圖，如圖2所示。

2.2區(qū)域點(diǎn)云加權(quán)投影方法

傳統(tǒng)的經(jīng)典配準(zhǔn)算法，主要有ICP。雖然定位精度高，但是運(yùn)行速度慢，消耗的時(shí)間過長。當(dāng)用于車輛自動(dòng)駕駛時(shí)，研究發(fā)現(xiàn)最終準(zhǔn)確度達(dá)到了較好效果，其運(yùn)行速度卻過慢，因而不能滿足智能車輛行駛時(shí)對即時(shí)性的要求。基于此，本文提出了一種視覺點(diǎn)云區(qū)域加權(quán)投影方法，通過這種方法，能夠?qū)⒀芯恐惺孪冗M(jìn)行過預(yù)處理的點(diǎn)云轉(zhuǎn)換成二維場景特征，繼而采用目前一些運(yùn)行速度較快，穩(wěn)定性較高的視覺特征提取算法進(jìn)行特征匹配與特征提取，經(jīng)仿真驗(yàn)證可知，這對提升點(diǎn)云的配準(zhǔn)效率有較大的幫助。

此外，在將點(diǎn)云投影到地表平面上時(shí)，難免會(huì)丟失垂直方向上的信息。因此，在對點(diǎn)云進(jìn)行投影時(shí)，計(jì)算研究過程中劃分的小區(qū)域內(nèi)點(diǎn)云的平均高度，以此來保留Z軸上的高度信息。

在校區(qū)教學(xué)樓附近運(yùn)行時(shí)生成的部分二維場景圖像如圖4所示。

2.3ORB特征提取算子

在獲取了由視覺信息轉(zhuǎn)換后的二維場景地圖后，如何運(yùn)用一種圖像特征提取方法，才能在不損失準(zhǔn)確度的前提下盡可能地提高運(yùn)算速度則是本次研究中在構(gòu)建視覺多維地圖時(shí)需要考慮的重點(diǎn)問題。目前，SIFT[6]與SURF[7]是熱門流行的特征提取算子，具有良好的性能，識別準(zhǔn)確，但是這兩種算法在運(yùn)行速度上都有些不足，特別是在行駛的車輛上使用時(shí)這一不足就體現(xiàn)得更加明顯，車輛在行駛時(shí)對定位和匹配的實(shí)時(shí)性就提出了很高的要求，因此，運(yùn)行速度慢就成了很大的缺點(diǎn)。綜上，為了解決前述問題，Rublee等人[8]提出了ORB特征檢測算法，和SIFT、SURF相比，該算法具有更加優(yōu)良的性能。ORB算法的特征提取方法是檢測相鄰域中像素的灰度以及角點(diǎn)，因此該方法在保證檢測效率前提下，對速度有較大的提升。

ORB算子特征匹配示意圖如圖5所示。ORB算子在圖片發(fā)生拉伸等情形時(shí)，仍能對所獲取的圖像進(jìn)行較準(zhǔn)確的識別與匹配，能夠更好地滿足智能駕駛中二維場景的匹配與定位需求。

3車道標(biāo)志信息獲取

本小節(jié)提出了一種輕量級的神經(jīng)網(wǎng)絡(luò)，對道路特征標(biāo)志，如車道線、斑馬線、路牌等信息進(jìn)行識別和記錄，和前文獲取的視覺點(diǎn)云，二維結(jié)構(gòu)等信息相結(jié)合，使建模時(shí)采集的每一個(gè)節(jié)點(diǎn)都具有不可替代性，用以增加使用地圖定位匹配時(shí)的準(zhǔn)確度。

由于內(nèi)存和計(jì)算資源有限，現(xiàn)實(shí)中在車輛上部署深度神經(jīng)網(wǎng)絡(luò)較為困難?；诖耍疚脑O(shè)計(jì)了一種全新的神經(jīng)網(wǎng)絡(luò)基本單元Shadow模塊，并搭建出輕量級神經(jīng)網(wǎng)絡(luò)架構(gòu)ShadowNet。在一個(gè)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，通常會(huì)包含豐富甚至冗余的特征圖，以保證對輸入數(shù)據(jù)有全面的理解。但是，并非所有特征圖的獲取都要用到卷積操作，也可通過線性運(yùn)算與恒等映射的操作來生成。

鑒于主流神經(jīng)網(wǎng)絡(luò)計(jì)算出的中間特征圖中存在大量的冗余，為了減少所需的資源，Shadow的主要作用是生成其中的卷積核。首先，輸入數(shù)據(jù)X∈Rc×h×w，這里c是輸入通道數(shù)，w和h是輸入數(shù)據(jù)的寬度與高度，所以，生成特征圖的卷積層可用如下運(yùn)算來表示：

通過上述Shadow的模塊，構(gòu)建出專門為移動(dòng)設(shè)備中神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的Shadowbottleneck。Shadowbottleneck主要由2個(gè)堆疊的Shadow模塊組成。第一個(gè)Shadow模塊用作擴(kuò)展層，增加了通道數(shù)。第二個(gè)Shadow模塊減少通道數(shù)，以與shortcut路徑匹配。通過使用shortcut連接與這兩個(gè)Shadow模塊的輸入、輸出相連接，能夠很好地減少計(jì)算資源的消耗，降低模型的過擬合，有效緩解梯度消失或梯度爆炸。

在道路實(shí)際模擬時(shí)采集的道路特征信息如圖7所示。

4基于視覺的多維地圖構(gòu)建方法綜述

本文提出的基于視覺的多維地圖構(gòu)建方法總體可以歸納為如下步驟：

（1）運(yùn)用車載單目攝像機(jī)、車載GPS等結(jié)合慣性導(dǎo)航傳感器，對需要建立視覺多維地圖的路段進(jìn)行數(shù)據(jù)采集，并做三維重建，在獲取其他信息的同時(shí)，也得到了點(diǎn)云信息。

（2）對生成點(diǎn)云進(jìn)行加權(quán)二維投影，對處理后的二維場景采用ORB算子進(jìn)行特征提取，用以進(jìn)行節(jié)點(diǎn)匹配。

（3）由于點(diǎn)云轉(zhuǎn)二維后場景清晰度不足，本文在這里采用的是構(gòu)建輕量級神經(jīng)網(wǎng)絡(luò)的方法，對道路標(biāo)志特征如車道線、斑馬線、道路交通標(biāo)志牌等進(jìn)行識別與記錄，與GPS定位，以及（2）中提及的道路二維特征進(jìn)行同步匹配，使每個(gè)節(jié)點(diǎn)更加具有獨(dú)特性，增加匹配準(zhǔn)確率。

（4）本文的建圖方法中，每個(gè)節(jié)點(diǎn)都存儲了點(diǎn)云信息、二維信息、道路標(biāo)志特征信息。在定位時(shí)可先利用GPS等進(jìn)行粗定位，再借由二維場景特征和道路特征信息進(jìn)行精確定位，最后運(yùn)用點(diǎn)云和軌跡信息進(jìn)行空間位姿的精確定位。

5實(shí)驗(yàn)結(jié)果分析

本文試驗(yàn)采用上海工程技術(shù)大學(xué)參與改進(jìn)的無人駕駛試驗(yàn)采集車進(jìn)行數(shù)據(jù)的獲取。實(shí)驗(yàn)的測試路段選擇在上海工程技術(shù)大學(xué)內(nèi)的教學(xué)樓附近，試驗(yàn)路段的俯瞰圖及試驗(yàn)路段道路場景如圖8所示。由圖8可知，試驗(yàn)路段完全滿足機(jī)動(dòng)車行駛要求，且道路行車路線和路面都具有一般性，故認(rèn)為實(shí)驗(yàn)結(jié)果可作為最終結(jié)論。本次實(shí)驗(yàn)的實(shí)驗(yàn)線路總長度約為900m。

根據(jù)本文提出方法進(jìn)行地圖構(gòu)建時(shí)，先使用車載相機(jī)對道路信息進(jìn)行采集，運(yùn)用視覺SLAM技術(shù)生成點(diǎn)云，同時(shí)對點(diǎn)云進(jìn)行處理，獲得二維投影信息;在獲取了點(diǎn)云、位姿和二維投影信息后，運(yùn)用輕量級神經(jīng)網(wǎng)絡(luò)對道路標(biāo)志特征如：車道線、路燈、告示牌等進(jìn)行道路標(biāo)志特征提取。在構(gòu)建的眾多信息采集點(diǎn)中，隨機(jī)選擇1～2個(gè)作為多維地圖的起點(diǎn)，并進(jìn)行特征匹配。通過視覺SLAM方法獲得視覺軌跡，最后結(jié)合視覺軌跡和地理軌跡的相對位置關(guān)系，生成視覺地圖。

驗(yàn)證環(huán)節(jié)主要對視覺軌跡產(chǎn)生的累積誤差進(jìn)行分析。針對多維信息構(gòu)建出的視覺多維地圖，在分析誤差時(shí)同樣要進(jìn)行多維分析。本文以每10m為一個(gè)單元，選取了長度為100m的實(shí)驗(yàn)路段，用以進(jìn)行累積誤差的分析。測試結(jié)果如圖9所示。由圖9可知，當(dāng)測試路段長度在10～90m之間時(shí)，累積誤差較低，僅在0.5m以下;當(dāng)測量長度為100m時(shí)，累積誤差也能控制在0.5m左右。

6結(jié)束語

本文提出了一種基于視覺的多維地圖構(gòu)建方法。首先利用視覺SLAM原理獲取點(diǎn)云信息，再使用視覺點(diǎn)云的區(qū)域加權(quán)三維投影方法，生成二維場景表征圖像，使用ORB特征提取算子對生成的二維表征圖像進(jìn)行特征提取。對于生成的二維場景表征圖像準(zhǔn)確率低的問題，構(gòu)建了新的輕量級神經(jīng)網(wǎng)絡(luò)，識別道路標(biāo)志特征，作為補(bǔ)充，增強(qiáng)每個(gè)節(jié)點(diǎn)的獨(dú)特性，提高視覺配準(zhǔn)的準(zhǔn)確率。同時(shí)，也記錄GPS等信息，在定位時(shí)先通過GPS信號進(jìn)行粗定位，提高了定位的速度。經(jīng)試驗(yàn)驗(yàn)證，地圖制圖誤差在合理范圍內(nèi)。

參考文獻(xiàn)

[1]MAHONI，WILLIAMSSB，PIZARROO，etal.Efficientview-basedSLAMusingvisualloopclosures[J].IEEETransactionsonRobotics，2008，24（5）：1002-1014.

[2]TANGJian，CHENYuwei，NIUXiaoji，etal.LiDARscanmatchingaidedinertialnavigationsysteminGNSS-deniedenvironments[J].Sensors，2015，15（7）：16710-16728.

[3]ZHANGZ.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2000，22（11）：1330-1334.

[4]HWANGBOM，KIMJS，KANADET.IMUself-calibrationusingfactorization[J].IEEETransactionsonRobotics，2013，29（2）：493-507.

[5]BouguetJY.CameracalibrationtoolboxforMatlab[EB/OL].[2019-05-05].http：//www.vision.caltech.edu/bouguetj/calib_doc/.

[6]LOWEDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91-110.

[7]BAYH，ESSA，TUYTELAARST，etal.Speeded-UpRobustFeatures（SURF）[J].ComputerVision&ImageUnderstanding，2008，110（3）：346-359.

[8]RUBLEEE，RABAUDV，KONOLIGEK，etal.ORB：AnefficientalternativetoSIFTorSURF[C]//InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2012：2564-2571.