基于深度學(xué)習(xí)的多模態(tài)多任務(wù)端到端自動(dòng)駕駛研究

田 晟，馮宇鵬，張?jiān)Ｌ欤S 偉，王 蕾

（1. 華南理工大學(xué)土木與交通學(xué)院，廣東 廣州 510640；2. 廣州市交通設(shè)計(jì)研究院有限公司，廣東 廣州 511430）

目前，比較傳統(tǒng)的自動(dòng)駕駛方案是間接感知方法，又稱為基于規(guī)則的系統(tǒng)[1 ? 3]。主要思路是將自動(dòng)駕駛問題劃分為多個(gè)子任務(wù)來解決，根據(jù)人為設(shè)定規(guī)則做出決策，其優(yōu)點(diǎn)是較易獲取數(shù)據(jù)，有嚴(yán)謹(jǐn)規(guī)則，系統(tǒng)可解釋性強(qiáng)，缺點(diǎn)是系統(tǒng)復(fù)雜、計(jì)算量大和對硬件要求高[4 ? 6]。

基于深度學(xué)習(xí)的端到端方法，通過采用監(jiān)督學(xué)習(xí)的方法學(xué)習(xí)人類駕駛動(dòng)作，建立傳感器與駕駛動(dòng)作之間的直接映射關(guān)系[7 ? 9]。2005 年，Lecun等[10]基于端到端學(xué)習(xí)利用智能車進(jìn)行了野外避障研究，構(gòu)建了具有6 層卷積神經(jīng)網(wǎng)絡(luò)的端到端模型。2016 年，NVIDIA 通過采集實(shí)車數(shù)據(jù)訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，該模型能夠根據(jù)前置攝像頭傳輸?shù)膱D像得出轉(zhuǎn)向命令，經(jīng)實(shí)車路測，證明了端到端控制方法的可行性[11]。

Xu 等[12]進(jìn)一步提出了 FCN-LSTM(Fully Convolutional Network-Long Short Term Memory，全卷積網(wǎng)絡(luò)長短時(shí)記憶)的網(wǎng)絡(luò)架構(gòu)，增強(qiáng)了模型對場景的理解能力，實(shí)現(xiàn)了對離散或連續(xù)的車輛動(dòng)作進(jìn)行預(yù)測。Chi 等[13]采用ConvLSTM（Convolutional Long Short Term Memory，卷積長短時(shí)記憶）神經(jīng)網(wǎng)絡(luò)進(jìn)一步提高了端到端模型對自動(dòng)駕駛車輛方向盤轉(zhuǎn)角的預(yù)測精度。Dosovitskiy 等[14]在Carla 上通過模仿學(xué)習(xí)訓(xùn)練端到端自動(dòng)駕駛模型。

端到端方法與間接感知方法相比，能夠有效減少系統(tǒng)復(fù)雜度。當(dāng)前端到端自動(dòng)駕駛系統(tǒng)的研究方法主要是使用卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測方向盤轉(zhuǎn)角，存在著自動(dòng)駕駛控制的局限性。本文主要提出一種基于端到端學(xué)習(xí)的CNN-LSTM(Convolutional Neural Network-Long Short Term Memory，卷積神經(jīng)網(wǎng)絡(luò)-長短時(shí)記憶)多模態(tài)多任務(wù)神經(jīng)網(wǎng)絡(luò)模型，同時(shí)預(yù)測方向盤轉(zhuǎn)角和速度，實(shí)現(xiàn)自動(dòng)駕駛的橫縱向控制。

1 方法

1.1 神經(jīng)網(wǎng)絡(luò)模型架構(gòu)

基于端到端學(xué)習(xí)的CNN-LSTM 多模態(tài)多任務(wù)神經(jīng)網(wǎng)絡(luò)模型主要由CNN 分支網(wǎng)絡(luò)、LSTM 分支網(wǎng)絡(luò)、橫向控制網(wǎng)絡(luò)和縱向控制網(wǎng)絡(luò)組成，網(wǎng)絡(luò)輸入為單幀圖像、速度序列和方向盤轉(zhuǎn)角序列等模態(tài)信息。2 個(gè)LSTM 分支網(wǎng)絡(luò)的輸入分別為包含之前10 個(gè)時(shí)間戳的速度序列和方向盤轉(zhuǎn)角序列，先經(jīng)過1 層維度為128 維的LSTM 層，再通過2 個(gè)全連接層進(jìn)一步提取特征后，輸出均為128 維的時(shí)間序列特征，最后分別流向橫向控制網(wǎng)絡(luò)和縱向控制網(wǎng)絡(luò)。CNN 分支網(wǎng)絡(luò)的輸入圖像尺寸為224×224×3，采用的卷積神經(jīng)網(wǎng)絡(luò)為ResNet50[15]。首先，第1 個(gè)卷積層采用64 個(gè)大小為7×7、步長為2 的卷積核，輸出尺寸為112×112，然后進(jìn)行大小為3×3、步長為2 的最大池化操作后緊接4 種不同的殘差模塊，每個(gè)殘差模塊均由大小為1×1 和3×3 卷積核組合而成，ResNet50 提取特征之后輸出1000 維的特征向量，最后通過3 層全連接層降維成128 維后分別流向兩個(gè)分支網(wǎng)絡(luò)。一個(gè)流向橫向控制網(wǎng)絡(luò)，另一個(gè)流向縱向控制網(wǎng)絡(luò)，與LSTM 分支網(wǎng)絡(luò)提取到的時(shí)間序列特征相融合，最后輸出方向盤轉(zhuǎn)角和速度的預(yù)測值，完成車輛的橫縱向控制任務(wù)。圖1為CNN-LSTM 多模態(tài)多任務(wù)神經(jīng)網(wǎng)絡(luò)模型架構(gòu)圖。其中，多模態(tài)指網(wǎng)絡(luò)輸入的單幀圖像、速度序列和方向盤轉(zhuǎn)角序列信號，多任務(wù)指橫向控制和縱向控制任務(wù)。

1.2 神經(jīng)網(wǎng)絡(luò)作用層

本文所構(gòu)建的CNN-LSTM 神經(jīng)網(wǎng)絡(luò)模型主要由卷積層、池化層、LSTM 層、特征融合層、激活層、全連接層和Dropout 層組成。卷積層用于提取圖像特征。池化層的作用是有效縮小節(jié)點(diǎn)矩陣的尺寸，降低特征維數(shù)，壓縮數(shù)據(jù)和參數(shù)的數(shù)量。LSTM 層的作用是提取序列數(shù)據(jù)之間的時(shí)間上下文特征。特征融合層的作用主要是融合兩個(gè)或多個(gè)特征向量，并生成新的語義特征。激活層的主要作用是通過非線性變換來增強(qiáng)神經(jīng)網(wǎng)絡(luò)的表示能力和學(xué)習(xí)能力。本文采用的激活函數(shù)為ELU[16]（Exponential Linear Unit，指數(shù)線性單元）函數(shù)，函數(shù)定義如式（1）所示。

圖 1 CNN-LSTM 神經(jīng)網(wǎng)絡(luò)模型架構(gòu)

式中：x為 輸入的加權(quán)和；γ為可調(diào)整的超參數(shù)，定義為當(dāng)輸入x是一個(gè)較大的負(fù)數(shù)時(shí)，ELU 函數(shù)接近的值，通常設(shè)置為1。

全連接層的作用有兩點(diǎn)：一是維度變換，將高維的特征向量降到低維；二是整合提取到的圖像特征，獲取圖像特征具有的高層含義。Dropout 層的主要作用是解決深層網(wǎng)絡(luò)訓(xùn)練過程中產(chǎn)生的過擬合問題。

1.3 損失函數(shù)和訓(xùn)練算法

本文構(gòu)建的CNN-LSTM 神經(jīng)網(wǎng)絡(luò)模型輸出的決策值是連續(xù)值，屬于回歸問題，因此采用的是回歸模型中使用最廣泛的均方誤差（Mean Squared Error Loss，MSE）損失函數(shù)，其定義如式（2）所示。

式中：n為 樣本量；為第i個(gè)樣本的輸出預(yù)測值；yi為對應(yīng)的真實(shí)值。

訓(xùn)練算法采用的是 Nadam[17]（Nesterovaccelerated Adaptive Moment Estimation）算法。該算法能計(jì)算出每個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率，對學(xué)習(xí)率的約束更強(qiáng)，學(xué)習(xí)速度更快，擁有更好的優(yōu)化效果，具體公式為：

式中：θ為網(wǎng)絡(luò)權(quán)重；gt為梯度，下標(biāo)t表示第t步迭代過程；mt為一階矩，即梯度的期望值，表示一階矩的Nesterov 加速值；vt為二階矩，即梯度平方的期望值；表示糾正一階矩；表示糾正二階矩；β1、β2表示衰減率；η表示學(xué)習(xí)率；ε表示微小量。β1、β2、η、ε為訓(xùn)練開始前人為設(shè)置的超參數(shù)，不需要 通過訓(xùn)練進(jìn)行學(xué)習(xí)。

2 數(shù)據(jù)

2.1 GTAV 數(shù)據(jù)集

本文選擇GTAV 搭建自動(dòng)駕駛仿真平臺。GTAV是由Rockstar Games 公司開發(fā)的一款開放世界游戲，里面場景充分模擬了現(xiàn)實(shí)世界中的洛杉磯，能夠自由采集游戲內(nèi)場景的數(shù)據(jù)。圖2 為基于GTAV的自動(dòng)駕駛仿真平臺架構(gòu)圖。仿真平臺主要由環(huán)境端和代理端組成，環(huán)境端的ScriptHookV 是一個(gè)dll 插件，提供超過5000 個(gè)C++的APIs 接口，通過修改腳本實(shí)現(xiàn)對GTAV 中多種環(huán)境因素的控制，有利于采集不同場景下的數(shù)據(jù)。當(dāng)GTAV 主程序啟動(dòng)時(shí)，它的控制插件DeepGTAV 開始工作，通過TCP 協(xié)議連接的方式實(shí)現(xiàn)消息的發(fā)送和接收。代理端能夠使用Python 語言編寫代碼通過DeepGTAV 實(shí)現(xiàn)與環(huán)境端的通信。虛擬環(huán)境啟動(dòng)后，DeepGTAV 開始從游戲中采集數(shù)據(jù)并以JSON格式發(fā)送回代理端的Dataset 模塊，經(jīng)由Python pickle 模塊序列化后生成數(shù)據(jù)集，輸入到深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。DeepGTAV 最終能將模型生成的控制命令發(fā)送回環(huán)境端，實(shí)現(xiàn)GTAV 游戲世界車輛的控制以測試模型效果。

圖 2 基于GTAV 的自動(dòng)駕駛仿真平臺架構(gòu)圖

通過基于GTAV 自動(dòng)駕駛仿真平臺采集的數(shù)據(jù)集進(jìn)行模型的訓(xùn)練和測試，共采集了30 萬張圖像，場景包括高速公路和城市街道，同時(shí)記錄下圖像所對應(yīng)的方向盤轉(zhuǎn)角、速度、剎車和油門等數(shù)據(jù)。圖3 為采集到的GTAV 場景圖像示例。

圖 3 GTAV 數(shù)據(jù)集圖像示例

2.2 真實(shí)場景數(shù)據(jù)集

本文所用的實(shí)車采集和道路測試平臺的硬件核心為NVIDIA Drive PX2 計(jì)算平臺。本文自動(dòng)駕駛平臺硬件連接如圖4 所示，PX2 的ParkerA 連接有1 路前向攝像頭，ParkerB 連接有7 路GMSL 攝像頭，1 個(gè)前向激光雷達(dá)，通過4 路USB 轉(zhuǎn)CAN卡連接4 個(gè)側(cè)向毫米波雷達(dá)、1 個(gè)前向毫米波雷達(dá)以及整車。

圖 4 自動(dòng)駕駛平臺硬件連接

自動(dòng)駕駛實(shí)車軟件平臺架構(gòu)為模塊化框架，包含有端到端模塊、感知模塊、決策模塊、控制模塊、導(dǎo)航模塊等?；赗OS[18]（Robot Operating System，機(jī)器人操作系統(tǒng)）的自動(dòng)駕駛實(shí)車軟件平臺架構(gòu)如圖5 所示。為了加快自動(dòng)駕駛技術(shù)開發(fā)的速度，在ROS 下，將傳感器驅(qū)動(dòng)、控制策略、通信和底層執(zhí)行機(jī)構(gòu)控制等任務(wù)分成若干節(jié)點(diǎn)，節(jié)點(diǎn)間可以通過發(fā)布/訂閱消息話題的形式進(jìn)行通信。本文所討論的是端到端模塊，在ParkerA 上運(yùn)行，只使用1 路前向攝像頭。首先傳感器驅(qū)動(dòng)節(jié)點(diǎn)采集傳感器數(shù)據(jù)后通過話題的形式發(fā)布特定類型的數(shù)據(jù)，接著控制策略節(jié)點(diǎn)訂閱來自各傳感器的數(shù)據(jù)話題，經(jīng)端到端深度學(xué)習(xí)算法得出方向盤轉(zhuǎn)角和速度信號2 個(gè)控制量，然后將這2 個(gè)控制量以話題形式發(fā)布到串口驅(qū)動(dòng)和CAN 驅(qū)動(dòng)，最后將這些控制信號發(fā)送到車內(nèi)總線，使底層執(zhí)行機(jī)構(gòu)完成控制。

圖 5 基于ROS 的自動(dòng)駕駛實(shí)車軟件平臺架構(gòu)圖

通過該平臺采集真實(shí)場景數(shù)據(jù)。圖6 為采集到的真實(shí)場景圖像示例，采集地點(diǎn)為廣州市國際生物島區(qū)域。生物島的道路交通環(huán)境良好，車流量和人流量都比較少，車輛行駛速度低，車道線明顯，采集到的數(shù)據(jù)質(zhì)量較高，適合進(jìn)行自動(dòng)駕駛數(shù)據(jù)采集和道路測試工作。選擇在晴朗天氣下進(jìn)行數(shù)據(jù)采集，場景中的車道線、車輛等比較清晰，有利于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，共采集圖像數(shù)據(jù)10 萬張。

圖 6 真實(shí)場景圖像示例

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境與評判標(biāo)準(zhǔn)

訓(xùn)練模型所用的GPU 為NVIDIA Titan X 顯卡，軟件環(huán)境為Keras2.1 深度學(xué)習(xí)框架，后端為Tensorflow-gpu 1.4。

本文采用均方根誤差（Root Mean Square Error，RMSE）作為評價(jià)CNN-LSTM 神經(jīng)網(wǎng)絡(luò)模型好壞的客觀標(biāo)準(zhǔn)，衡量預(yù)測值和真實(shí)值之間的偏差如式（9）所示。采用對神經(jīng)網(wǎng)絡(luò)模型預(yù)測曲線與實(shí)際曲線的相似性度量作為主觀評價(jià)標(biāo)準(zhǔn)。

式中：n為 樣本量；為第i個(gè)樣本的輸出預(yù)測值；yi為對 應(yīng)的真實(shí)值。

3.2 基于仿真平臺的實(shí)驗(yàn)與分析

對采集到的GTAV 數(shù)據(jù)集進(jìn)行分析和預(yù)處理，方向盤轉(zhuǎn)角數(shù)據(jù)分布如圖7 所示，數(shù)據(jù)集分布不平衡，大部分樣本的轉(zhuǎn)向角標(biāo)簽集中分布在0 的附近。為解決這一問題，采用圖像增強(qiáng)及采樣的方式，對圖像進(jìn)行隨機(jī)偏轉(zhuǎn)，即給方向盤轉(zhuǎn)角標(biāo)簽值設(shè)置隨機(jī)偏移量，同時(shí)調(diào)整相應(yīng)圖像的像素，從而使得圖像向左或向右偏轉(zhuǎn)。另外對轉(zhuǎn)向角接近0 的圖像進(jìn)行欠采樣，對轉(zhuǎn)向角大的圖像進(jìn)行過采樣，經(jīng)過圖像增強(qiáng)和數(shù)據(jù)采樣之后的數(shù)據(jù)分布如圖8所示。

圖 7 調(diào)整前的方向盤轉(zhuǎn)角數(shù)據(jù)分布圖

圖 8 調(diào)整后的方向盤轉(zhuǎn)角數(shù)據(jù)分布圖

模型訓(xùn)練的超參數(shù)設(shè)置如下：訓(xùn)練算法為Nadam 算法，學(xué)習(xí)率η設(shè)為0.002，β1設(shè)為0.9，β2設(shè)為0.999，ε設(shè)為1e-8，Dropout 的概率值設(shè)為0.5。當(dāng)驗(yàn)證集的誤差不再下降時(shí)，模型訓(xùn)練完成。為了對比分析引入長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)對方向盤轉(zhuǎn)角預(yù)測的影響，將LSTM 分支網(wǎng)絡(luò)移除后，使用相同的訓(xùn)練集對CNN 模型進(jìn)行訓(xùn)練。

如表1 所示，表中CNN-LSTM 的MSE 損失函數(shù)值為方向盤轉(zhuǎn)角、速度兩個(gè)損失函數(shù)誤差之和，方向盤轉(zhuǎn)角和速度損失函數(shù)的比重為1∶1。從表中可以看出CNN-LSTM 模型在訓(xùn)練集、驗(yàn)證集和測試集上的MSE 損失值都低于CNN 模型，能夠更好地收斂。

表 1 模型誤差值

對方向盤轉(zhuǎn)角預(yù)測性能進(jìn)行評估，表2 為模型方向盤轉(zhuǎn)角均方根誤差值，CNN 模型的均方根誤差值為0.302，CNN-LSTM 模型的均方根誤差值為0.092，CNN-LSTM 模型的均方根誤差值更小，其方向盤轉(zhuǎn)角預(yù)測值更接近真實(shí)值。這說明加入LSTM分支網(wǎng)絡(luò)能夠改善模型對方向盤轉(zhuǎn)角的預(yù)測效果，使得預(yù)測精度更進(jìn)一步地提升。

表 2 模型方向盤轉(zhuǎn)角均方根誤差值

圖9 和圖10 為方向盤轉(zhuǎn)角預(yù)測曲線和實(shí)際曲線的對比圖，其中橙色曲線表示實(shí)際曲線，藍(lán)色曲線表示預(yù)測曲線。通過對比兩個(gè)圖可以發(fā)現(xiàn)，CNN 模型的預(yù)測曲線從整體上來看能夠擬合實(shí)際曲線，但抖動(dòng)幅度比較大，出現(xiàn)高頻震蕩的現(xiàn)象。而CNN-LSTM 模型的預(yù)測曲線能夠更好地?cái)M合實(shí)際曲線，預(yù)測曲線更為平滑，抖動(dòng)幅度更小，能夠更準(zhǔn)確地預(yù)測方向盤轉(zhuǎn)角值。

圖 9 CNN 模型的方向盤轉(zhuǎn)角預(yù)測曲線

圖 10 CNN-LSTM 模型的方向盤轉(zhuǎn)角預(yù)測曲線

圖 12 城市路況下CNN 分支網(wǎng)絡(luò)的可視化圖

接下來對速度預(yù)測性能進(jìn)行評估，計(jì)算出CNN-LSTM 模型對速度的均方根誤差值為0.194，選用測試集上的2 000 幀圖像做出如圖11 所示的速度預(yù)測曲線和實(shí)際曲線的對比圖。從圖中可以看到預(yù)測曲線能夠很好地?cái)M合實(shí)際曲線，LSTM 分支網(wǎng)絡(luò)的加入能夠更好地促進(jìn)縱向控制網(wǎng)絡(luò)的學(xué)習(xí)，提高了模型的預(yù)測精度。

圖 11 CNN-LSTM 模型的速度預(yù)測曲線

為了更好地理解CNN-LSTM 多模態(tài)多任務(wù)神經(jīng)網(wǎng)絡(luò)模型做出決策的依據(jù)，對模型的關(guān)注點(diǎn)進(jìn)行可視化分析。圖12 為城市路況下CNN 分支網(wǎng)絡(luò)的關(guān)注點(diǎn)，可以清晰地看到網(wǎng)絡(luò)對于地面道路邊界、車道線和前方車輛以及部分建筑物有明顯關(guān)注。模型決策過程中所重點(diǎn)關(guān)注的點(diǎn)與人類駕駛員開車過程中所關(guān)注的點(diǎn)相同，推測神經(jīng)網(wǎng)絡(luò)模型是通過這些關(guān)注點(diǎn)來預(yù)測決策量。

3.3 基于真實(shí)場景數(shù)據(jù)的實(shí)驗(yàn)與分析

通過在GTAV 數(shù)據(jù)集上完成端到端自動(dòng)駕駛模型的訓(xùn)練后，把表現(xiàn)良好的模型固化下來，接下來采用真實(shí)場景數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)[19]再訓(xùn)練。神經(jīng)網(wǎng)絡(luò)的前幾層學(xué)習(xí)到的特征通常為通用特征，后面更深層次的網(wǎng)絡(luò)學(xué)習(xí)到的特征為特定任務(wù)場景下的特定特征，對學(xué)習(xí)到通用特征的網(wǎng)絡(luò)層進(jìn)行遷移，同時(shí)對學(xué)習(xí)到特定特征的層進(jìn)行微調(diào)(finetune)。微調(diào)是指針對新的學(xué)習(xí)任務(wù)將他人已經(jīng)訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行權(quán)重參數(shù)調(diào)整的方法，采用微調(diào)能夠更好地解決數(shù)據(jù)之間的差異導(dǎo)致模型效果下降的問題。

采用微調(diào)對在GTAV 數(shù)據(jù)集上訓(xùn)練好的CNN-LSTM 模型進(jìn)行再訓(xùn)練，使用的數(shù)據(jù)集為生物島真實(shí)場景數(shù)據(jù)集。生物島真實(shí)場景數(shù)據(jù)集與GTAV 數(shù)據(jù)集相比，包括車道線、車輛等對影響自動(dòng)駕駛車輛的決策控制量的因素雖然有差異，但具有很高的相似性。有較大差異的是橋梁、建筑物及交通標(biāo)志，這些對于使用本文神經(jīng)網(wǎng)絡(luò)模型進(jìn)行橫縱向控制來講沒有車道線和車輛等的影響程度大，并且生物島的場景中路邊的建筑物較少，與GTAV 場景中郊區(qū)的道路狀況更為類似，GTAV 中的場景與國內(nèi)部分道路的真實(shí)場景的相似度高。因此本文進(jìn)行遷移學(xué)習(xí)時(shí)的微調(diào)策略為將ResNet50 和LSTM 層的權(quán)重固定，初始化全連接層進(jìn)行訓(xùn)練，利用反向傳播機(jī)制來對網(wǎng)絡(luò)權(quán)重進(jìn)行再訓(xùn)練。學(xué)習(xí)率設(shè)為0.0001，訓(xùn)練算法為Nadam算法，當(dāng)誤差不再下降時(shí)，模型訓(xùn)練完成。圖13為CNN-LSTM 網(wǎng)絡(luò)在生物島真實(shí)場景數(shù)據(jù)集上訓(xùn)練的損失函數(shù)曲線，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中收斂較快，最終誤差值趨近于0，誤差值很小。

圖 13 CNN-LSTM 網(wǎng)絡(luò)損失函數(shù)曲線圖

對模型的預(yù)測性能進(jìn)行評估，計(jì)算出CNNLSTM 模型對方向盤轉(zhuǎn)角和速度的預(yù)測值與真實(shí)值的均方根誤差值分別為0.146 和0.347，RMSE 值比較小。這說明CNN-LSTM 網(wǎng)絡(luò)模型在真實(shí)場景數(shù)據(jù)集上通過遷移學(xué)習(xí)再訓(xùn)練后的方向盤轉(zhuǎn)角和速度預(yù)測效果好，有著良好的泛化性，對方向盤轉(zhuǎn)角和速度的預(yù)測比較準(zhǔn)確。

圖14 示出可視化預(yù)測的方向盤轉(zhuǎn)角。在測試集上選取1 組連續(xù)5 幀的圖像，將模型的方向盤轉(zhuǎn)角預(yù)測值和真實(shí)值疊加顯示在圖像上，其中藍(lán)色線代表方向盤轉(zhuǎn)角預(yù)測值，黃色線代表真實(shí)值，可以看出藍(lán)色線與黃色線基本重合，在連續(xù)過彎時(shí)預(yù)測值與真實(shí)值的偏差很小。

圖 14 可視化預(yù)測的方向盤轉(zhuǎn)角圖

圖15 和圖16 分別為方向盤轉(zhuǎn)角和速度的預(yù)測曲線與實(shí)際曲線的對比圖。從整體上看，CNNLSTM 模型預(yù)測的方向盤轉(zhuǎn)角與人類駕駛員的方向盤轉(zhuǎn)角的整體變化趨勢一致，能夠很好地?cái)M合實(shí)際曲線，偏差較小，能夠較為準(zhǔn)確地預(yù)測方向盤轉(zhuǎn)角值。從圖16 中可以看到速度預(yù)測曲線與實(shí)際曲線能夠很好地?cái)M合，表明CNN-LSTM 神經(jīng)網(wǎng)絡(luò)模型能夠較為準(zhǔn)確地預(yù)測速度值。

3.4 實(shí)車測試

通過在測試集上進(jìn)行的離線測試結(jié)果表明CNN-LSTM 神經(jīng)網(wǎng)絡(luò)模型的效果較好。為進(jìn)一步驗(yàn)證神經(jīng)網(wǎng)絡(luò)模型的有效性，將端到端模型部署到車上的自動(dòng)駕駛平臺上以驗(yàn)證模型的效果。測試地點(diǎn)為廣州市國際生物島部分路段，為保證測試過程中的安全，選擇行人和車輛較少的路段進(jìn)行測試，分別對端到端模型的車道保持和避障功能進(jìn)行了測試。

圖 15 真實(shí)方向盤轉(zhuǎn)角與預(yù)測方向盤轉(zhuǎn)角對比曲線

圖 16 真實(shí)速度值與預(yù)測速度值對比

車道保持測試過程如圖17 所示。在實(shí)際測試過程中車輛的車道保持效果令人滿意，能夠跟隨車道線行駛，且運(yùn)動(dòng)軌跡基本處于道路中間，只有在過十字路口后發(fā)生偏離車道線的情況，之后車輛逐漸修正回到道路中間，在行駛過程中方向盤和車速均保持穩(wěn)定。

圖 17 車道保持實(shí)車測試

自動(dòng)駕駛車輛避障測試如圖18 所示。圖中車輛障礙物用紅色圓圈標(biāo)出，在測試過程中車輛能夠在遇到障礙物時(shí)減速并繞開，證明神經(jīng)網(wǎng)絡(luò)模型能夠有效地完成車輛的橫縱向控制，基本實(shí)現(xiàn)避障的功能，在10 次測試過程中有7 次能完成避障。分析避障成功率未接近完美的原因是訓(xùn)練數(shù)據(jù)中車道保持的數(shù)據(jù)量遠(yuǎn)多于避障的數(shù)據(jù)量，因此神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)帶有一定的偏向性，更多地學(xué)會了車道保持，未來工作可以考慮采集更多的避障數(shù)據(jù)對模型進(jìn)行訓(xùn)練。

4 結(jié)論

本文構(gòu)建了一個(gè)基于端到端學(xué)習(xí)的CNNLSTM 多模態(tài)多任務(wù)神經(jīng)網(wǎng)絡(luò)模型來解決自動(dòng)駕駛的控制難題，搭建了基于GTAV 的自動(dòng)駕駛仿真平臺，在自動(dòng)駕駛仿真平臺上訓(xùn)練出性能較好的模型，采用深度遷移學(xué)習(xí)的方法解決了仿真場景與真實(shí)場景的差異問題，將預(yù)訓(xùn)練網(wǎng)絡(luò)模型在真實(shí)場景數(shù)據(jù)集上進(jìn)行了再訓(xùn)練，并搭載在實(shí)車上進(jìn)行了道路測試。測試結(jié)果表明，神經(jīng)網(wǎng)絡(luò)模型能夠較為準(zhǔn)確地預(yù)測方向盤轉(zhuǎn)角和速度，在真實(shí)環(huán)境中能夠完成車道保持任務(wù)和基本實(shí)現(xiàn)自動(dòng)駕駛避障測試，但仍然存在著不足之處，還有提升空間。本文認(rèn)為未來的研究工作可以從以下幾個(gè)方面進(jìn)行：

1）解決模型存在的累計(jì)誤差問題，累計(jì)誤差的存在會導(dǎo)致車輛出現(xiàn)偏離車道等問題；

2）傳感器融合技術(shù)，將激光雷達(dá)和毫米波雷達(dá)的數(shù)據(jù)融合進(jìn)來有助于提高模型的性能；

3）輔助駕駛?cè)蝿?wù)，加入語義分割作為輔助駕駛?cè)蝿?wù)，為模型提供可行駛域。