面向地下停車場的無人車視覺語義建圖與定位

曹文冠 黃孝慈 舒方林 孫昊 劉景鋒

摘 要： 無人車在狹窄、沒有GPS信號的地下停車場中行駛，精確的定位能力非常重要。傳統(tǒng)的基于視覺的定位方法由于無紋理的區(qū)域、重復(fù)的結(jié)構(gòu)和外觀的變化而導(dǎo)致跟蹤丟失。本文利用視覺語義信息構(gòu)建停車場地圖并對車輛進行定位。語義特征包括經(jīng)常出現(xiàn)在停車場中的路標、停車線、減速帶等，與傳統(tǒng)特征相比，這些語義特征無紋理區(qū)域和外觀的變化具有長期穩(wěn)定和魯棒性。文中采用單目相機對外界環(huán)境進行感知。在慣性測量單元（IMU）和車輪編碼器的協(xié)助下，提出一種生成全局語義地圖的方法。此地圖用于厘米級別上車輛定位。分析了該系統(tǒng)的準確性和召回率，并與現(xiàn)有的方法進行了比較。最后，通過自動停車的應(yīng)用驗證了該系統(tǒng)的實用性。

關(guān)鍵詞： 視覺語義信息;語義地圖;定位;單目相機

文章編號： 2095-2163（2021）03-0205-05 中圖分類號：TN929.51 文獻標志碼：A

【Abstract】For unmanned vehicles to drive in narrow underground parking lots without GPS signals， accurate positioning capabilities are very important. Traditional vision-based localization methods lead to loss of tracking due to untextured regions， repetitive structures and changes in appearance. This paper uses visual semantic information to construct a parking lot map and locate vehicles. Semantic features include road signs， parking lines， speed bumps， etc， which often appear in parking lots. Compared with traditional features， these semantic features have long-term stability and robustness for their textureless areas and appearance changes. The research uses monocular cameras to perceive the external environment. With the assistance of IMU （Inertial Measurement Unit） and wheel encoders， a method to generate a global semantic map is proposed. This map is used for vehicle positioning on the centimeter level. The accuracy and recall rate of the system are analyzed and compared with existing methods. Finally， the practicability of the system is verified through the application of automatic parking.

【Key words】 visual semantic information; semantic map; location; monocular camera

0 引 言

近年來，城市發(fā)展過程中，停車問題已經(jīng)成為了一個亟待解決的研究熱點。作為解決這一問題的有效方法，自動泊車技術(shù)逐漸受到多方關(guān)注。同時研究可知，該技術(shù)也是自動駕駛技術(shù)的重要組成部分[1]。自動泊車系統(tǒng)的主要功能包括：高精度定位、車位識別、軌跡規(guī)劃與路徑跟蹤控制。系統(tǒng)運行時，車載環(huán)境感知傳感器（如視覺傳感器、激光雷達、超聲波雷達等）開始工作，感知車輛周邊的車位情況，并確定車位的相對位置信息;然后，由系統(tǒng)控制單元判定車位是否可用，且規(guī)劃出合理可行的泊車路徑;接著，車輛的控制權(quán)移交給泊車控制器，由控制單元向車輛執(zhí)行機構(gòu)發(fā)出控制信號，與此同時則利用車輛傳感器信息實時計算車輛的估計位姿，估計位姿與規(guī)劃軌跡的誤差作為跟蹤控制的反饋信息實現(xiàn)軌跡準確跟蹤，控制車輛按預(yù)定的軌跡泊入車位[2]。

目前的自動泊車功能難以在無GPS信號，環(huán)境復(fù)雜的地下停車場進行推廣[3]。針對這一狀況，文中采用了一種新的視覺方法特征，即語義特征。語義特征中包括路標、停車線和減速帶，通常情況下這些指示標識都會在停車場出現(xiàn)。與傳統(tǒng)的幾何特征相比，上述語義特征具有長期穩(wěn)定、魯棒性強的特點[3]。在本次研究中，提出了一個基于語義特征的地圖和定位系統(tǒng)，使車輛能夠在停車場自動導(dǎo)航。

1 語義地圖構(gòu)建與定位

系統(tǒng)采用相機和慣導(dǎo)提高定位精度。這是無人駕駛常見配置。IMU和車輪編碼器構(gòu)成測程法，提供相對位姿，但存在累積誤差。該框架由2部分組成，如圖1所示。圖1中，第一部分是建圖，可為環(huán)境構(gòu)建一個全局語義導(dǎo)圖。神經(jīng)網(wǎng)絡(luò)檢測語義特征，包括：車道、停車線、路標和減速帶。第二部分是定位。與建圖部分相同，從圖像中提取語義特征，與前期構(gòu)建的地圖進行匹配，可以對車輛進行定位。在此基礎(chǔ)上，為保證無紋理區(qū)域定位與建圖的精度，利用（擴展卡爾曼濾波器（EKF）將視覺定位結(jié)果與里程計融合，保證了系統(tǒng)的平滑輸出和無紋理區(qū)域的魯棒性。

1.1 語義分割

本文采用卷積神經(jīng)網(wǎng)絡(luò)方法進行語義特征檢測。有很多分割網(wǎng)絡(luò)可以用于特征檢測，參見文獻[4-6]。在本文中，研究對DeelLab3[7]進行了改進， 在DeepLabv3的基礎(chǔ)上增加了一個解碼器模型用來增強物體邊緣的分割效果。此外，本文引用Xception網(wǎng)絡(luò)[8]中的深度可分卷積，應(yīng)用在空間金字塔（Atrous Spatial Pyramid Pooling， ASPP）[9]和解碼器模型上，提高了編碼器-解碼器網(wǎng)絡(luò)的訓(xùn)練速度和魯棒性。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

整個網(wǎng)絡(luò)會對停車場獲得的圖像進行訓(xùn)練，將像素分為車道、停車線、路標、減速帶、自由空間、障礙和墻壁。結(jié)果示例如圖3所示。在這些類別中，停車線、路標和減速帶是用于定位的獨特而穩(wěn)定的特征。停車線也用于停車位檢測。自由空間和障礙物用于規(guī)劃。

1.2 局部地圖構(gòu)建

經(jīng)過圖像分割，將有用的特征（停車線、路標、減速帶等）提升到三維空間，如式（1）所示：

轉(zhuǎn)換為世界坐標：

其中，[Ro，to]是里程計中的位姿。這些點聚合成一個局部地圖，每隔25m就保留一份局部地圖。局部地圖的樣本如圖4所示。2個局部地圖之間有重合的部分，可以進行合并生成全局地圖。

1.3 閉環(huán)檢測與全局優(yōu)化

由于測程法存在長時間的漂移，本文通過檢測環(huán)路閉合來消除漂移誤差。對于最新的局部地圖，文中將其與其他的局部地圖進行比較。采用迭代最近點方法對2個局部地圖進行匹配。如果2個局部地圖匹配成功，則得到2個局部地圖之間的相對位姿。該相對位姿將用于全局位姿圖的優(yōu)化以糾正漂移誤差。

在循環(huán)檢測后，對姿態(tài)圖進行全局優(yōu)化，消除累積漂移，保持整個地圖的一致性。在該位姿圖中，節(jié)點為每個局部地圖的位姿，其中包含3個旋轉(zhuǎn)軸，r=rxryrzT，和平移矩陣t=txtytzT。局部地圖存在2類邊緣。一個是測程邊緣，通過測程測量來約束2個連續(xù)的局部地圖;另一個是閉環(huán)檢測邊緣，可約束局部地圖閉環(huán)。位姿圖優(yōu)化可表示為以下代價函數(shù)：

在對全局位姿圖進行優(yōu)化后，利用更新后的位姿將局部地圖疊加在一起。這樣，就生成了一致的全局地圖。處理后的地圖效果見圖5。

1.4 定位

基于語義地圖，當車輛再次到達該停車場時，可以對車輛進行定位。與建圖過程類似，在圖像上檢測語義特征并將其提升到車輛坐標中，然后通過地圖匹配當前特征點來估計車輛位姿，其對應(yīng)的數(shù)學(xué)公式可寫為：

2 實驗與結(jié)果分析

2.1 系統(tǒng)硬件介紹

本文實驗結(jié)果均在NVIDIA GeForce GTX1050Ti顯卡，Intel Core i5-8300H處理器、Ubuntu16.04操作系統(tǒng)上。實驗裝置設(shè)備如圖6所示。

由于只采用單目相機進行環(huán)境感知，因此選擇視角較大的攝像頭作為實驗傳感器，攝像頭的型號為林柏視F.MONCAN-S970。該攝像頭支持3種不同的分辨率和幀率，分辨率可達1080P，最高幀率可達60幀/s， 滿足無人車自動泊車場景下的需求。

2.2 建圖精度評估

在地圖度量評價中，文中選擇了一個形狀規(guī)則的停車場，便于仿真中測量停車場的真實值。無人車沿著一條T形路徑運行，然后返回到起點。在這種情況下會發(fā)生循環(huán)閉包?？傞L度為34m。本文提出的方案與IMU和車輪編碼器組成的測程法，以及ORB-SLAM3[10]進行了對比。

絕對軌跡誤差見表1。由表1可以看出，使用視覺方法的精度明顯優(yōu)于純測程法。由于測量噪聲的存在，測程法不可避免地會產(chǎn)生漂移。本文的方案與ORB-SLAM3都通過使用視覺特征的精確環(huán)路檢測來補償累積誤差，但不同之處則在于，ORB-SLAM3使用幾何特征，本文提出的方案使用語義特征。分析可知，本文提出的方法明顯優(yōu)于ORB-SLAM3。

表1中，RMSE是均方根誤差。NEES是歸一化估計誤差的平方，等于RMSE /總長度。

2.3 實車驗證

本文實車實驗是在上海工程技術(shù)大學(xué)現(xiàn)代交通工程中心地下停車場進行的。為了驗證本文提出的位姿估計方法的有效性，在泊車試驗區(qū)域建立全局坐標，通過全站儀測得車輛的實際位姿。

首先對停車場部分區(qū)域進行地圖構(gòu)建，然后使用研究構(gòu)建的地圖進行定位。本次研究中構(gòu)建的地圖如圖7所示。

接下來，對本文提出的語義特征位姿估計方法進行驗證，分別對車輛的平移誤差和旋轉(zhuǎn)誤差進行試驗。世界坐標系原點與車輛初始位置的后軸中點重合，x軸沿車輛縱軸線向前，y軸指向車輛的正左方向，試驗車速控制在 10km/h 以內(nèi)，其結(jié)果見表2。

文中將這2種估計方法得到的相機運動軌跡位姿與本文測得的實軌跡位姿進行比較，從旋轉(zhuǎn)角度誤差及平移角度誤差兩個維度，直觀地比較這些方法的定位精度。分析后可以發(fā)現(xiàn)，本文提出的方法在平移和旋轉(zhuǎn)兩方面的能力皆優(yōu)于orb-slam3的方法?？梢娫诤罄m(xù)的車輛軌跡跟蹤控制中可以使用本文提出的方法進行地圖構(gòu)建與估計車輛位姿。

3 結(jié)束語

在本文中，研究提出了一個基于視覺語義信息的建圖與定位方案，利用魯棒的語義特征來幫助車輛在停車場導(dǎo)航。本文提出的算法僅在前后端引入了機器學(xué)習(xí)技術(shù)，然而并沒有將所有環(huán)節(jié)融入到機器學(xué)習(xí)中，例如回環(huán)檢測和位姿估計都是SLAM算法的重要一環(huán)，在這2方面加入機器學(xué)習(xí)策略，可能會進一步提高建圖與定位的精確度，并且能夠降低SLAM算法對精密傳感器的依賴。同時由于本次研究使用的語義特征的特殊性，文中提出的系統(tǒng)目前只適用于停車場。在未來，則將專注于通用的語義特征的研究，并為更多的場景推廣本文的方案。

參考文獻

[1] 林澤. 面向自動泊車環(huán)境的視覺SLAM技術(shù)研究[D]. 長春：吉林大學(xué)，2020.

[2] 王成雨. 基于視覺環(huán)境感知技術(shù)的自動泊車系統(tǒng)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2019.

[3] 王鵬. 語義地圖及其關(guān)鍵技術(shù)研究[D]. 深圳：中國科學(xué)院大學(xué)（中國科學(xué)院深圳先進技術(shù)研究院），2020.

[4] LI Xia， ZHONG Zhisheng， WU Jianlong， et al. Expectation-maximization attention networks for semantic segmentation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision（ICCV）. ?Seoul， Korea （South）：IEEE， 2019： 9167-9176.

[5] LI Yanwei， CHEN Xinze， ZHU Zheng， et al. Attention-guided unified network for panoptic segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. ?Long Beach， CA， USA：IEEE， 2019： 7026-7035.

[6] JIAO Jianbo， WEI Yunchao， JIE Zequn， et al.Geometry aware distillation for indoor semantic segmentation[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Long Beach， CA， USA：IEEE， 2019：2869-2878.

[7] CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[M]//FERRARI V， HEBERT M， SMINCHISESCU C， et al. Computer Vision-ECCV 2018. Lecture Notes in Computer Science. Cham： Springer，2018，11211： 833-851.

[8] CHOLLET F . Xception： Deep Learning with depthwise separable convolutions[C]// 2017 IEEE Conference On Computer Vision And Pattern Recognition （CVPR）. Honolulu， HI， USA：IEEE，2017：1800-1807.

[9] HE Kaiming ， ZHANG Xiangyu ， REN Shaoqing， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2014， 37（9）：1904-1916.

[10]CAMPOS C， ELVIRA R， RODRGUEZ J J G， et al. ORB-SLAM3： An accurate open-source library for visual， visual-inertial and multi-map SLAM[J]. arXiv preprint arXiv：2007.11898， 2020.