基于端到端學(xué)習(xí)的視覺(jué)車(chē)道線保持方法研究

張育綺 廖志恒 馮嵐?jié)? 代苑 李小松

摘 要：針對(duì)傳統(tǒng)自主駕駛汽車(chē)復(fù)雜的車(chē)道檢測(cè)、路徑規(guī)劃和運(yùn)動(dòng)控制技術(shù)問(wèn)題，基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了一種視覺(jué)車(chē)道保持系統(tǒng)，該方法可直接從視覺(jué)傳感器中獲取數(shù)據(jù)以控制車(chē)輛轉(zhuǎn)向?；谙Ь€方法對(duì)圖像進(jìn)行區(qū)域剪切獲取感興趣區(qū)域，解決了訓(xùn)練過(guò)程需標(biāo)記大量的數(shù)據(jù)集而時(shí)間成本高的問(wèn)題。采用上、下采樣結(jié)合及色彩空間轉(zhuǎn)換方法進(jìn)行數(shù)據(jù)增強(qiáng)，避免了數(shù)據(jù)不平衡和過(guò)擬合現(xiàn)象。最后，結(jié)合實(shí)際情況修正了轉(zhuǎn)角損失與油門(mén)損失權(quán)重比。將預(yù)處理后的數(shù)據(jù)饋送到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了方法的可行性，實(shí)現(xiàn)了基于端到端學(xué)習(xí)的DIY小車(chē)在所設(shè)置軌道上的自主駕駛。

關(guān)鍵詞：車(chē)道保持;端對(duì)端學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);數(shù)據(jù)增強(qiáng)

中圖分類(lèi)號(hào)：TP391.7? 文獻(xiàn)標(biāo)識(shí)碼：B? 文章編號(hào)：1671-7988（2020）22-34-03

Abstract： Aiming at the complex lane detection， path planning and motion control technology of traditional autonomous driving vehicles， a visual lane keeping system is designed based on the convolutional neural network， which can directly obtain data from the vision sensor to control the vehicle steering. Find the region of interest based on the vanishing line method. This solves the problem of requiring a large amount of time to mark a large data set during training. The method of up-down sampling and color space conversion is used to enhance the data， which avoids the phenomenon of data imbalance and overfitting. Finally， the weight ratio between the Angle loss and the throttle loss is corrected according to the actual situation. The pre-processed data were fed to the neural network for training.?The feasibility of the method was verified by simulation experiments， and the autonomous driving of the DIY car on the set track based on end-to-end learning was realized.

Keywords： Lane keeping; End - to - end learning; Convolutional neural network; Enhance the data

CLC NO.： TP391.7? Document Code： B? Article ID： 1671-7988（2020）22-34-03

1 引言

車(chē)道保持是自動(dòng)駕駛汽車(chē)的一個(gè)基本功能，相比雷達(dá)、激光雷達(dá)等傳感器，普通彩色相機(jī)由于成本低、獲取信息豐富，仍廣泛用于基于視覺(jué)的車(chē)道線保持系統(tǒng)[1，2]。基于端到端學(xué)習(xí)的方法可從原始圖片中自適應(yīng)提取特征，有效避免了人工特征提取的局限性[3]。

2 數(shù)據(jù)預(yù)處理

2.1 基于消失點(diǎn)檢測(cè)設(shè)定感興趣區(qū)域

通過(guò)透視投影在世界坐標(biāo)系中的一組平行線收斂到圖像空間中的一個(gè)公共點(diǎn)，在二維圖像像素平面中，當(dāng)前行駛車(chē)道的終點(diǎn)即消失點(diǎn)（VP）[4，5]。先對(duì)原圖像進(jìn)行二值化處理，之后進(jìn)行Hough變換得到當(dāng)前車(chē)道左、右車(chē)道線的斜率和截距為（kl，bl），（kr，br），帶入式（1）求兩條直線的交點(diǎn)縱坐標(biāo)，即為消失點(diǎn)。由于CNN僅遍歷道路部分，即訓(xùn)練時(shí)間成本會(huì)降低。

2.2 數(shù)據(jù)增強(qiáng)

2.2.1 基于上、下采樣的數(shù)據(jù)增強(qiáng)

由于人工誤操作致使轉(zhuǎn)角值為0的數(shù)據(jù)占比過(guò)半，轉(zhuǎn)角為-1的數(shù)據(jù)次之，轉(zhuǎn)角為1的數(shù)據(jù)只有200個(gè)左右，轉(zhuǎn)角在（-1，0）和（0，1）的彎道數(shù)據(jù)占比極小。采用這類(lèi)數(shù)據(jù)訓(xùn)練出的駕駛模型更傾向于直線行駛，左轉(zhuǎn)向過(guò)急或者喪失右轉(zhuǎn)向。本文采用上、下采樣相結(jié)合的方法去解決數(shù)據(jù)不平衡問(wèn)題。采樣分為上采樣和下采樣，上采樣是把小眾類(lèi)復(fù)制多份，下采樣是從大眾類(lèi)中剔除一些樣本，處理后轉(zhuǎn)角在（-1，0）和（0，1）的小批量且重要的數(shù)據(jù)明顯增強(qiáng)，轉(zhuǎn)角為零的數(shù)據(jù)量從之前的4900張左右減至700張左右，數(shù)據(jù)均衡效果明顯。

2.2.2 HSV色彩空間轉(zhuǎn)換

本文將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，并分別提取出H、S、V分量，V通道使得白色和黃色車(chē)道線特征更加明顯，因此選擇V通道作為CNN的輸入。且將V通道元素分別乘以一個(gè)在一定范圍內(nèi)變化的隨機(jī)值，也即是加入了隨機(jī)光照噪聲，范圍越寬，增強(qiáng)幀與原始幀的差異就越大，這樣經(jīng)過(guò)CNN訓(xùn)練之后模型對(duì)外界環(huán)境光照的變化適應(yīng)性會(huì)更強(qiáng)。

2.2.3 添加高斯擾動(dòng)噪聲

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高頻特征時(shí)易發(fā)生過(guò)擬合，而學(xué)習(xí)高頻特征對(duì)模型提升無(wú)幫助。采用具有零均值特性的高斯噪聲，可有效地使高頻特征失真，減弱其對(duì)模型的影響。同時(shí)會(huì)使得低頻成分（重要的特征）受到影響，但神經(jīng)網(wǎng)絡(luò)能夠通過(guò)學(xué)習(xí)而忽略那些影響。當(dāng)具體給出某一視頻幀時(shí)，就會(huì)獲取相應(yīng)的標(biāo)記轉(zhuǎn)向角，由于轉(zhuǎn)向方向是一個(gè)連續(xù)值，所以標(biāo)記值不一定是唯一工作的方向，稍微不同的轉(zhuǎn)向值都可能會(huì)起作用。因此在訓(xùn)練過(guò)程中，在標(biāo)記轉(zhuǎn)向值中隨機(jī)加入輕微的高斯擾動(dòng)噪聲。通過(guò)此方法，在不完全扭曲原始轉(zhuǎn)向值的情況下，在數(shù)據(jù)中創(chuàng)建更多的變化，使數(shù)據(jù)信息量更加豐富。

3 CNN架構(gòu)

通過(guò)激活函數(shù)f（x）的非線性運(yùn)算輸出特征圖Tx。計(jì)算公式如（2）所示：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 仿真實(shí)驗(yàn)

在經(jīng)過(guò)CNN訓(xùn)練的端對(duì)端駕駛模型進(jìn)行道路測(cè)試之前，首先對(duì)搭建的卷積神經(jīng)網(wǎng)絡(luò)性能進(jìn)行評(píng)估和對(duì)數(shù)據(jù)預(yù)處理方法的有效性進(jìn)行仿真驗(yàn)證。

基于前期研究發(fā)現(xiàn)，損失權(quán)重比設(shè)置會(huì)影響訓(xùn)練結(jié)果總損失進(jìn)而影響實(shí)驗(yàn)結(jié)果，因此設(shè)計(jì)四種損失權(quán)重比：（1）轉(zhuǎn)角損失：油門(mén)損失=9：1;（2）轉(zhuǎn)角損失：油門(mén)損失=8：2;（3）轉(zhuǎn)角損失：油門(mén)損失=7：3;（4）轉(zhuǎn)角損失：油門(mén)損失=6：4。損失值收斂點(diǎn)是訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的一個(gè)良好指標(biāo)，由圖1可直觀觀測(cè)出4種情況下訓(xùn)練結(jié)果在1000次迭代后均收斂。

綜合圖2、表1、 2可得出結(jié)論：（1）所設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)預(yù)處理方法均滿(mǎn)足可行性要求;（2）轉(zhuǎn)角信息對(duì)實(shí)驗(yàn)的成功率更重要，因此合理控制轉(zhuǎn)角損失與油門(mén)損失權(quán)重比是提高實(shí)驗(yàn)成功率的關(guān)鍵。

4.2 道路測(cè)試

通過(guò)WiFi實(shí)現(xiàn)工作站、智能小車(chē)、X-Box和智能手機(jī)之間的通訊而進(jìn)行路試。

綜合表3可以得出，智能小車(chē)的轉(zhuǎn)角信息更為重要，較大的轉(zhuǎn)角損失與油門(mén)損失權(quán)重比能提高車(chē)道線保持的成功率，又結(jié)合表2可知，仿真實(shí)驗(yàn)與真實(shí)路測(cè)得出的結(jié)果相同。因此本文所提出的基于端對(duì)端學(xué)習(xí)的車(chē)道線保持可以實(shí)現(xiàn)。

5 結(jié)束語(yǔ)

本文基于端到端學(xué)習(xí)方法實(shí)現(xiàn)了車(chē)道線保持，該方法從前置車(chē)載視攝像機(jī)拍攝的圖像幀中自動(dòng)生成適當(dāng)?shù)霓D(zhuǎn)向角控制車(chē)輛。針對(duì)傳統(tǒng)視覺(jué)傳感器使用過(guò)程中出現(xiàn)的魯棒性差和神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間成本高等問(wèn)題進(jìn)行了研究，采用尋找消失線的方法對(duì)圖像進(jìn)行感興趣區(qū)域剪切。又針對(duì)深度學(xué)習(xí)過(guò)程中出現(xiàn)的數(shù)據(jù)不平衡、數(shù)據(jù)信息不豐富以及過(guò)擬合等問(wèn)題分別采取了上、下采樣相結(jié)合的方法、隨機(jī)添加高斯擾動(dòng)噪聲和將圖片進(jìn)行HSV色彩空間轉(zhuǎn)換并提取V通道作為CNN的輸入等方法對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。然后綜合實(shí)際情況考慮了影響神經(jīng)網(wǎng)絡(luò)訓(xùn)練損失值結(jié)果的因素，并通過(guò)仿真實(shí)驗(yàn)和道路實(shí)驗(yàn)驗(yàn)證了轉(zhuǎn)角損失與油門(mén)損失權(quán)重比對(duì)實(shí)驗(yàn)結(jié)果的影響。

參考文獻(xiàn)

[1] Broggi A.Vision-based driving assistance[J].IEEE Intelligent Sys -tems & Their Applications，1998，13（6）：22-23.

[2] 周欣，黃席樾，黎昱.基于單目視覺(jué)的高速公路車(chē)道保持與距離測(cè)量[J].中國(guó)圖象圖形學(xué)報(bào)，2018， 8（5）：590-595.

[3] Schmidhuber，Jürgen.Deep learning in neural networks：An overview [J]. Neural Networks， 2015， 61：85-117.

[4] Simond N，Rives P.Homography from a vanishing point in urban sce -nes[C]//Intelligent Robots and Systems，2003.（IROS 2003）. Procee -dings.2003 IEEE/RSJ International Conference on. IEEE， 2003， 1： 1005-1010.

[5] Miksik O.Rapid vanishing point estimation for general road detection [C]//Robotics and Automation （ICRA）， 2012 IEEE International Conference on. IEEE， 2012： 4844-484.