融合車道線視覺(jué)增強(qiáng)的擬人化車道保持算法

李智，覃小藝，鄧勝，閆春香，王玉龍,2

融合車道線視覺(jué)增強(qiáng)的擬人化車道保持算法

李智1，覃小藝1，鄧勝1，閆春香1，王玉龍1,2

（1.廣州汽車集團(tuán)股份有限公司汽車工程研究院，廣東 廣州 510641；2.湖南大學(xué)汽車車身先進(jìn)設(shè)計(jì)制造國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙 410082）

基于深度學(xué)習(xí)端到端網(wǎng)絡(luò)模型建立了擬人化車道保持算法，同時(shí)在模型訓(xùn)練過(guò)程中采用車道線視覺(jué)增強(qiáng)的方法，解決了直接由圖像映射到控制信號(hào)使得自動(dòng)駕駛?cè)菀资艿礁蓴_信息影響的問(wèn)題，提高了模型的魯棒性。首先基于GoogLeNet建立了高識(shí)別率的車道線檢測(cè)模型，通過(guò)車道線高亮增強(qiáng)和增加車道線圖像通道兩種不同的方式對(duì)原始圖像進(jìn)行視覺(jué)增強(qiáng)。然后將增強(qiáng)后的圖像輸入到車道保持網(wǎng)絡(luò)中。最終離線測(cè)試結(jié)果顯示兩種增強(qiáng)方式均可降低方向盤轉(zhuǎn)角預(yù)測(cè)誤差，RMSE值分別減少了16%和26%。實(shí)車測(cè)試表明增加車道線圖像通道的方式取得較好的車道保持效果。

車道線檢測(cè)；視覺(jué)增強(qiáng)；擬人化；車道保持

引言

車道保持是自動(dòng)駕駛過(guò)程中的重要功能，一般是通過(guò)圖像檢測(cè)獲得車道線并根據(jù)車道線參數(shù)確定行駛軌跡，然后利用相應(yīng)的控制策略計(jì)算出方向盤轉(zhuǎn)角大小[1-2]。但車輛在行駛過(guò)程中具有非線性、時(shí)變性和不確定性等特性，在控制過(guò)程中需要盡量平滑系統(tǒng)響應(yīng)和保證車輛的乘坐舒適性，因此行駛軌跡的選擇和控制策略的設(shè)計(jì)難度較大。同時(shí)，特殊工況下車道線可能會(huì)不清晰、被遮擋甚至丟失，使得車道保持模型失效。

人類駕駛員在開(kāi)車過(guò)程中會(huì)根據(jù)車道線變化調(diào)整方向盤轉(zhuǎn)角，在車道線不清晰或消失的情況下根據(jù)車輛周圍環(huán)境確定行駛路線，因此人類駕駛行為對(duì)自動(dòng)駕駛功能設(shè)計(jì)具有非常重要的借鑒意義，而擬人化車道保持算法就是通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)人類的駕駛行為。該算法通過(guò)網(wǎng)絡(luò)模型直接將圖像信息映射到車輛方向盤轉(zhuǎn)角，不需要人為編寫車道保持規(guī)則，只需要提供足夠多的駕駛數(shù)據(jù)，模型可以自動(dòng)學(xué)習(xí)不同場(chǎng)景下的車道保持能力。英偉達(dá)Bojarski[3]等人基于CNN網(wǎng)絡(luò)模型建立了從單幀圖像映射到車輛方向盤轉(zhuǎn)角的端到端模型，其測(cè)試結(jié)果表明該模型在多種測(cè)試工況下，包括高速公路、有無(wú)車道線的地區(qū)道路以及鄉(xiāng)村道路，均可取得良好的車道保持效果。Chowdhuri[4]等人通過(guò)在CNN網(wǎng)絡(luò)中加入駕駛模式使得模型對(duì)方向盤轉(zhuǎn)角進(jìn)行更好的預(yù)測(cè)。焦新宇[5]等人采用場(chǎng)景切分和特征預(yù)提取的方法提高了CNN網(wǎng)絡(luò)對(duì)高速公路行駛軌跡預(yù)測(cè)的準(zhǔn)確性和可靠性。上述CNN網(wǎng)絡(luò)并未考慮自動(dòng)駕駛過(guò)程中涉及的時(shí)序問(wèn)題，因此Chi[6]等人采用了CNN+LSTM的網(wǎng)絡(luò)模型，通過(guò)圖像序列對(duì)方向盤轉(zhuǎn)角進(jìn)行預(yù)測(cè)，相比文獻(xiàn)[3]設(shè)計(jì)的模型更加穩(wěn)定和有效。Chen[7]等人通過(guò)CNN網(wǎng)絡(luò)識(shí)別出自動(dòng)駕駛過(guò)程中的關(guān)鍵環(huán)境參數(shù)，并以此參數(shù)作為輸入進(jìn)行自動(dòng)駕駛決策，輸出對(duì)車輛的橫向控制參數(shù)。

擬人化車道保持算法可以避免建立復(fù)雜的決策控制模型并增加車道保持功能的適用場(chǎng)景，但直接從傳感器原始信號(hào)映射到車輛控制信號(hào)導(dǎo)致自動(dòng)駕駛決策鏈條過(guò)長(zhǎng)，模型易受到圖像中干擾信息的影響，使得車輛在行駛過(guò)程中控制不穩(wěn)定，偶爾出現(xiàn)偏離車道的現(xiàn)象。因此，為提高模型的安全駕駛能力，本文提出了針對(duì)車道線進(jìn)行視覺(jué)增強(qiáng)的擬人化車道保持算法。首先建立高識(shí)別率的車道線檢測(cè)模型，然后采用車道線高亮顯示和增加車道線圖像通道兩種不同的方式對(duì)原始圖像進(jìn)行視覺(jué)增強(qiáng)，然后將增強(qiáng)后的圖像輸入到擬人化車道保持網(wǎng)絡(luò)中，最后通過(guò)離線和實(shí)車測(cè)試驗(yàn)證模型的車道保持效果。

1 擬人化車道保持算法

1.1 擬人化車道保持算法架構(gòu)

為提高網(wǎng)絡(luò)模型在車道保持功能中的魯棒性，本文建立了融合車道線視覺(jué)增強(qiáng)的擬人化車道保持算法，其架構(gòu)如圖1所示。首先選取前五幀圖像作為輸入序列，課題組基于GoogLeNet建立了高識(shí)別率的車道線檢測(cè)模型，通過(guò)該模型獲得車道線參數(shù)，然后利用兩種不同的方式對(duì)車道線進(jìn)行視覺(jué)增強(qiáng)：一種方式是直接對(duì)車道線進(jìn)行黃色高亮顯示，另一種方式是把檢測(cè)出的車道線轉(zhuǎn)化為二值圖，并將其作為車道線通道與原始圖像通道結(jié)合形成四通道圖像，最后將增強(qiáng)后的圖像輸入到車道保持網(wǎng)絡(luò)模型中，輸出當(dāng)前車輛方向盤轉(zhuǎn)角的預(yù)測(cè)值。其中車道保持網(wǎng)絡(luò)模型是通過(guò)采集圖像數(shù)據(jù)和駕駛員駕駛行為數(shù)據(jù)，利用神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)人類的駕駛行為，從而完成車道保持功能。

圖1 擬人化車道保持算法架構(gòu)

1.2 融合視覺(jué)增強(qiáng)的擬人化車道保持算法

擬人化車道保持網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示，網(wǎng)絡(luò)輸入為經(jīng)過(guò)增強(qiáng)后的前向多幀圖像以及方向盤轉(zhuǎn)角和速度的歷史軌跡，輸出為預(yù)測(cè)的方向盤轉(zhuǎn)角。網(wǎng)絡(luò)整體結(jié)構(gòu)由ConvLSTM神經(jīng)網(wǎng)絡(luò)層（Convolutional Long Short-Term Memory）和全連接網(wǎng)絡(luò)層（Full Connection, FC）組成。文獻(xiàn)[3]中采用了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）對(duì)方向盤轉(zhuǎn)角進(jìn)行預(yù)測(cè)，雖然CNN網(wǎng)絡(luò)可以有效提取圖像特征，但卻無(wú)法獲得圖像間的時(shí)序關(guān)系，而自動(dòng)駕駛本身是一個(gè)時(shí)序過(guò)程，時(shí)序變化對(duì)車輛控制參數(shù)具有重要影響。ConvLSTM是將LSTM網(wǎng)絡(luò)中的全連接網(wǎng)絡(luò)替換為卷積神經(jīng)網(wǎng)絡(luò)，使其不僅可以像LSTM一樣建立圖像之間的時(shí)序關(guān)系，而且可以像CNN一樣刻畫局部空間特征，實(shí)驗(yàn)結(jié)果也表明ConvLSTM在獲取時(shí)空關(guān)系上比LSTM有更好的效果[8]。

圖2 擬人化車道保持算法結(jié)構(gòu)

本文中輸入的圖像幀數(shù)為5幀，即包括當(dāng)前幀在內(nèi)的前5幀圖像，經(jīng)過(guò)裁剪和縮放后圖像大小為5×240×75×4。ConvLSTM網(wǎng)絡(luò)一共包括5層，不同層的超參數(shù)為[5,5,4,24]、[5,5,24,36]、[5,5,36,48]、[3,3,48,64]、[3,3,64,64]，其中前兩個(gè)超參數(shù)為圖像序列寬和高的卷積核大小，第三個(gè)超參數(shù)為輸入圖像的通道數(shù)目，第四個(gè)是輸出圖像的通道數(shù)目，最終ConvLSTM網(wǎng)絡(luò)層輸出的特征維度為[1,10,4,64]，即網(wǎng)絡(luò)輸出由64個(gè)10x4的圖像塊表示，將圖像塊進(jìn)行展平獲得維度為[1,256 0]的特征向量。FC層共包括5層，在第二個(gè)FC層拼接了速度和方向盤轉(zhuǎn)角的歷史軌跡，輸出層激活函數(shù)為反正切函數(shù)，輸出方向盤轉(zhuǎn)角的預(yù)測(cè)值。

2 訓(xùn)練數(shù)據(jù)采集與處理

擬人化車道保持模型是基于人類駕駛數(shù)據(jù)進(jìn)行模型訓(xùn)練，因此數(shù)據(jù)對(duì)自動(dòng)駕駛能力具有很大的影響。通過(guò)車輛前端安裝的攝像頭采集車輛行駛環(huán)境數(shù)據(jù)，攝像頭FOV角度為60°，采集頻率為10 Hz，圖像尺寸為960×604，采集圖像樣本不少于30萬(wàn)張，同時(shí)利用車載傳感器采集駕駛行為數(shù)據(jù)，包括車輛方向盤轉(zhuǎn)角、速度以及車輛橫擺角速度等，采集頻率為10 Hz，采集的場(chǎng)景包括不同時(shí)間、道路、天氣、光線以及車流等。

在自動(dòng)駕駛行駛過(guò)程中，所遇到的場(chǎng)景非常復(fù)雜，為了提高模型的泛化能力和魯棒性，需要針對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，如圖3所示，基于車輛行駛環(huán)境的變化，本文主要對(duì)圖像進(jìn)行光線調(diào)整、陰影處理、平行移動(dòng)、翻轉(zhuǎn)以及加入高斯噪聲等處理。

3 網(wǎng)絡(luò)訓(xùn)練與結(jié)果

3.1 擬人化車道保持網(wǎng)絡(luò)損失函數(shù)

擬人化車道保持網(wǎng)絡(luò)模型輸入為經(jīng)過(guò)增強(qiáng)后的前向多幀圖像以及方向盤轉(zhuǎn)角和速度的歷史軌跡，輸出為當(dāng)前方向盤轉(zhuǎn)角預(yù)測(cè)值，其中I表示輸入的原始圖像序列，L表示檢測(cè)的車道線通道序列，T表示輸入的方向盤轉(zhuǎn)角和速度的歷史軌跡，表示網(wǎng)絡(luò)中的優(yōu)化參數(shù)，表示網(wǎng)絡(luò)的表達(dá)式，Y表示網(wǎng)絡(luò)預(yù)測(cè)的方向盤轉(zhuǎn)角，y表示駕駛員輸出的實(shí)際方向盤轉(zhuǎn)角，最終的優(yōu)化函數(shù)為公式（1）所示，為正則化權(quán)重系數(shù)，取值為1e-5。

=argmin{(y?(I,L,T,))2+2} （1）

3.2 擬人化車道保持網(wǎng)絡(luò)模型訓(xùn)練結(jié)果

為評(píng)估不同模型的預(yù)測(cè)性能，本文采用均方根誤差（）和方（2）進(jìn)行評(píng)價(jià)[5]。和2的表達(dá)式如公式（2）所示，是預(yù)測(cè)值和實(shí)際值之間的平均偏差，的值越小代表模型的預(yù)測(cè)值和實(shí)際值的偏差就越小，模型的預(yù)測(cè)能力就越強(qiáng)。2是用1減去模型預(yù)測(cè)偏差與實(shí)際方差的比值，2代表可解釋方差占總方差的比例，反映了模型對(duì)樣本的擬合程度，因此2的值越大表示模型預(yù)測(cè)的精度越高，一般回歸模型的2應(yīng)該在0.7以上才會(huì)取得較高的可信度。

圖4所示為模型在直道、彎道以及急轉(zhuǎn)彎等場(chǎng)景下，無(wú)車道線視覺(jué)增強(qiáng)和兩種不同增強(qiáng)方式對(duì)方向盤轉(zhuǎn)角的離線預(yù)測(cè)結(jié)果。車輛首先經(jīng)過(guò)一段直道行駛，然后通過(guò)一個(gè)急轉(zhuǎn)彎，之后再進(jìn)入直道行駛，最后經(jīng)過(guò)一個(gè)長(zhǎng)距離的彎道，時(shí)間總長(zhǎng)度為200 s。從曲線圖中可以看出，無(wú)論是否對(duì)車道線進(jìn)行視覺(jué)增強(qiáng)，方向盤轉(zhuǎn)角的預(yù)測(cè)值與實(shí)際駕駛員輸出值均比較吻合，但經(jīng)過(guò)車道線視覺(jué)增強(qiáng)后預(yù)測(cè)的方向盤轉(zhuǎn)角與實(shí)際駕駛員輸出值更加接近。三種不同方式的方向盤轉(zhuǎn)角值分別為3.1°、2.6°和2.3°，相對(duì)于無(wú)視覺(jué)增強(qiáng)的方式，高亮顯示增強(qiáng)方式的方向盤轉(zhuǎn)角值減少了16%，而增加車道線圖像通道的增強(qiáng)方式則減少了26%。同時(shí)三種不同方式的2分別為0.87、0.91和0.93，相對(duì)提高了4.6%和6.9%。從放大圖中可以看出，在沒(méi)有車道線視覺(jué)增強(qiáng)的情況下，模型容易受到圖像中干擾因素的影響，使得預(yù)測(cè)過(guò)程中出現(xiàn)干擾點(diǎn)，導(dǎo)致車輛運(yùn)行不平穩(wěn)，而采用車道線視覺(jué)增強(qiáng)的方式使得模型更多的關(guān)注車道線，從而減少了干擾點(diǎn)的產(chǎn)生，同時(shí)增加車道線圖像通道的增強(qiáng)方式改善效果更加明顯。

4 實(shí)車測(cè)試

采用電動(dòng)車作為線控平臺(tái)（圖5(a)），擋風(fēng)玻璃處安裝有單目攝像頭，控制器采用英偉達(dá)drivePx2，控制軟件基于ROS系統(tǒng)開(kāi)發(fā)。網(wǎng)絡(luò)模型輸出為方向盤轉(zhuǎn)角，通過(guò)車載EPS系統(tǒng)進(jìn)行閉環(huán)。測(cè)試區(qū)域選擇圖5(b)所示的島內(nèi)區(qū)域，主要測(cè)試路線為環(huán)島路線，全長(zhǎng)為5公里，測(cè)試過(guò)程中涉及直道、彎道、急轉(zhuǎn)彎以及路口。實(shí)車測(cè)試結(jié)果表明，不同模型均可完成繞島行駛，而增加車道線圖像通道的增強(qiáng)方式運(yùn)行更加平穩(wěn)，圖5(c)和5(d)為模型順利通過(guò)急彎和路口。

圖5 實(shí)車測(cè)試場(chǎng)景

5 結(jié)論

（1）建立了融合車道線視覺(jué)增強(qiáng)的擬人化車道保持算法，通過(guò)和2對(duì)不同模型性能進(jìn)行量化評(píng)估，離線測(cè)試結(jié)果表明采用車道線高亮顯示和增加車道線圖像通道兩種不同的方式均可降低方向盤轉(zhuǎn)角預(yù)測(cè)誤差，值分別減少了16%和26%。

（2）搭建了自動(dòng)駕駛實(shí)車測(cè)試平臺(tái)，針對(duì)3種不同網(wǎng)絡(luò)分別進(jìn)行了小曲率車道保持測(cè)試、大曲率彎道保持測(cè)試以及無(wú)車道線路口通過(guò)測(cè)試，測(cè)試結(jié)果表明，增加車道線圖像通道的方式取得較好的效果。

[1] 張海林,羅禹貢,江青云,等.基于電動(dòng)助力轉(zhuǎn)向的車道保持系統(tǒng)[J].汽車工程,2013,35(6):526-531.

[2] 李進(jìn),陳杰平,易克傳,等.不同光照下基于自適應(yīng)圖像閾值的車道保持系統(tǒng)設(shè)計(jì)[J].機(jī)械工程學(xué)報(bào),2014,50(2):146-152.

[3] Bojarski M, Del Testa D, Dworakowski D,et al. End to end learning for self-driving cars[J]. arXiv preprint arXiv,1604.07316, 2016.

[4] Chowdhuri S,Pankaj T,Zipser K.MultiNet: Multi-Modal Multi-Task Learning for Autonomous Driving[C].2019 IEEE Winter Conference on Applications of Computer Vision (WACV),2019:1496-1504.

[5] 焦新宇,楊殿閣,江昆,等.基于端到端學(xué)習(xí)機(jī)制的高速公路行駛軌跡曲率預(yù)測(cè)[J].汽車工程,2018,40(12):1494-1499.

[6] Chi L, Mu Y. Deep steering: Learning end-to-end driving model from spatial and temporal visual cues[J].arXiv preprint arXiv,1708.03798, 2017.

[7] Chen C,Seff A, Kornhauser A,et al.Deepdriving: Learning affordance for direct perception in autonomous driving[C].Proceedings of the IEEE International Conference on Computer Vision,2015: 2722-2730.

[8] Xu H, Gao Y, Yu F, et al. End-to-end learning of driving models from large-scale video datasets[C].Proceedings of the IEEE conference on computer vision and pattern recognition,2017:2174-2182.

Human-imitative Lane Keeping Algorithm with Visual Enhancement of Lane Lines

LI Zhi1, QIN Xiaoyi1, DENG Sheng1, YAN Chunxiang1, WANG Yulong1,2

( 1.Auto Engineering Research Institute, Guangzhou Automobile Group, Guangdong Guangzhou 510641;2.State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body, Hunan Changsha 410082 )

Human-imitative lane keeping algorithm is established based on the end-to-end deep learning neural network model. At the same time, the lane line visual enhancement method is used in the model training process, which solves the problem that the automatic driving is easily affected by the interference information when the image is directly mapped to the control signal. Firstly, a lane detection model with high performance is established based on GoogLeNet. The original image is enhanced by two different ways: highlight the detected lanes on the image or add an image channel with detected lanes to the RGB channel.Then, the enhanced image is input into the lane keeping network. Off-line test results show that both enhancement methods can reduce the prediction error of steering angle, and RMSE values are reduced by 16% and 26% respectively. Real world test results show that the lane keeping performance is better by adding the lane image channel.

Lane detection;Visual enhancement;Human-imitative;Lane keeping

U495

B

1671-7988(2021)23-16-04

U495

B

1671-7988(2021)23-16-04

10.16638/j.cnki.1671-7988.2021.023.005

李智，碩士研究生，高級(jí)技術(shù)經(jīng)理，就職于廣州汽車集團(tuán)股份有限公司汽車工程研究院，研究方向?yàn)槿斯ぶ悄芘c自動(dòng)駕駛。

湖南大學(xué)汽車車身先進(jìn)設(shè)計(jì)制造國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金資助項(xiàng)目（編號(hào)：31825011）。