基于RNN-LSTM神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的無(wú)人駕駛小車使用環(huán)境與數(shù)據(jù)處理

范俊宇，徐中林，高暢

（滄州師范學(xué)院，河北滄州，061001）

1 整體設(shè)計(jì)

■1.1 機(jī)械組成架構(gòu)

采用DAVE智能車系統(tǒng)啟發(fā)，系統(tǒng)硬件由主控板、PWM轉(zhuǎn)換板、電機(jī)、舵機(jī)、電池、輪胎。從上到下依次為控制層、電機(jī)驅(qū)動(dòng)層。控制層以樹莓派微處理器為主控電路，PWM芯片選型PCA9685，電機(jī)驅(qū)動(dòng)層主要以電機(jī)驅(qū)動(dòng)電路、電源組成，為四輪車提供動(dòng)力。

■1.2 硬件電路設(shè)計(jì)

硬件電路主要包含樹莓派微處理器、PWM模塊、電機(jī)模塊、舵機(jī)模塊連接構(gòu)成。樹莓派微處理器連接電機(jī)驅(qū)動(dòng)電路采用I2C通信與PWM模塊連接實(shí)現(xiàn)的，電機(jī)控制利用芯片MP1584與PWM模塊連接實(shí)現(xiàn)的。硬件原理圖如圖1所示。

圖1 硬件原理圖

■1.3 小車組合

設(shè)計(jì)實(shí)現(xiàn)小車屬于微縮模型小車，便于攜帶、數(shù)據(jù)集采集迅速、調(diào)試方便，主要用于數(shù)據(jù)采集和模型測(cè)試，小車采用阿克曼轉(zhuǎn)向原理，前端裝有攝像機(jī)，在數(shù)據(jù)采集過(guò)程中作為神經(jīng)網(wǎng)絡(luò)的輸入，在模型測(cè)試時(shí)可作為神經(jīng)網(wǎng)絡(luò)的感知系統(tǒng)。

由于受到DAVE智能車設(shè)計(jì)影響，通過(guò)機(jī)械結(jié)構(gòu)和硬件設(shè)計(jì)可充分體現(xiàn)出小車的輕巧與變攜帶性，利用圖像處理技術(shù)可以增強(qiáng)小車決策能力。智能車實(shí)物圖如圖2所示。

圖2 智能車實(shí)物圖

2 實(shí)驗(yàn)環(huán)境

基于深度學(xué)習(xí)的無(wú)人駕駛小車系統(tǒng)，是由上位機(jī)PC電腦和下位機(jī)樹莓派系統(tǒng)共同構(gòu)成，在Keras框架下配置深度學(xué)習(xí)環(huán)境，使用英偉達(dá)公司開發(fā)的專門針對(duì)深度學(xué)習(xí)加速GPU運(yùn)算速度技術(shù)的cuDNN，顯著的加快了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速度，提高了實(shí)驗(yàn)效率。

實(shí)驗(yàn)環(huán)境上位機(jī)配置如表1所示。

表1 上位機(jī)

實(shí)驗(yàn)環(huán)境下位機(jī)配置如表2所示。

表2 下位機(jī)

從系統(tǒng)上來(lái)分析小車通過(guò)模型部署后，在無(wú)人駕駛方式中，僅僅依靠無(wú)人小車系統(tǒng)其自身算力，即可實(shí)現(xiàn)小車預(yù)測(cè)直行、左轉(zhuǎn)、右轉(zhuǎn)等動(dòng)作具有較強(qiáng)的可行性，從應(yīng)用角度來(lái)說(shuō)，由于采用端到端控制型無(wú)人駕駛技術(shù)，降低了系統(tǒng)對(duì)實(shí)時(shí)性的要求。

■2.1 數(shù)據(jù)集采集

數(shù)據(jù)集中每條數(shù)據(jù)均為小車在行駛時(shí)第一視角拍攝照片和采集站選擇的轉(zhuǎn)彎路線，構(gòu)成一條數(shù)據(jù)樣本，小車行走路線為環(huán)形路線圖，文中不再描述。在數(shù)據(jù)采集過(guò)程中，采用監(jiān)督學(xué)習(xí)辦法，監(jiān)督者為人類駕駛員，轉(zhuǎn)彎路線由人工選擇，轉(zhuǎn)彎路線確定后無(wú)人小車按照該路線行駛連續(xù)拍攝照片數(shù)據(jù)，經(jīng)過(guò)一段距離行駛后，再次選擇合適直線路線和入彎路線。經(jīng)過(guò)多圈數(shù)據(jù)采集，最終達(dá)到訓(xùn)練數(shù)據(jù)集要求。為了保證數(shù)據(jù)集的語(yǔ)義明確，故選擇限定場(chǎng)景，同時(shí)保證無(wú)人小車行駛地圖地面環(huán)鏡在照明亮好房間內(nèi)且無(wú)過(guò)多雜物情況下進(jìn)行。本文中采用地圖標(biāo)志線模擬交通環(huán)境，共采集數(shù)據(jù)20000幅。小車在行駛過(guò)程中停止，采用兩種方式，第一種以遙控方式的遠(yuǎn)程命令使小車停止運(yùn)行，第二種為無(wú)法識(shí)別出的障礙物停止，主要以麻袋為障礙物。

■2.2 采集策略

在正常行駛時(shí)，無(wú)人小車應(yīng)保持與道路中央位置行駛；在遇到彎路時(shí)，小車應(yīng)貼向與一側(cè)轉(zhuǎn)彎，盡量保持車速，避免急轉(zhuǎn)彎情況；由于采取限定場(chǎng)景下無(wú)人駕駛，在數(shù)據(jù)采集時(shí)利用OpenCV圖像處理技術(shù)進(jìn)行的，室內(nèi)應(yīng)保持光照條件充足的情況下進(jìn)行；在極端行為下，例如交通場(chǎng)景地面塌陷等，能夠?qū)崿F(xiàn)停止。數(shù)據(jù)采集策略流程圖如圖3所示。采集數(shù)據(jù)如圖4所示。

圖3 數(shù)據(jù)采集策略流程圖

圖4 采集數(shù)據(jù)

3 實(shí)驗(yàn)過(guò)程及結(jié)果分析

■3.1 實(shí)驗(yàn)過(guò)程

數(shù)據(jù)集采集完成后，將下位機(jī)中數(shù)據(jù)，利用FileZilla傳輸至上位機(jī)中，當(dāng)文件上傳于上位機(jī)之后，先對(duì)采集數(shù)據(jù)進(jìn)行測(cè)試，再利用miniconda集成開發(fā)軟件，輸入訓(xùn)練命令，樣本通過(guò)預(yù)處理后進(jìn)行數(shù)據(jù)增強(qiáng)，再輸入至預(yù)先設(shè)計(jì)好的RNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，由卷積核進(jìn)行運(yùn)算，采樣層負(fù)責(zé)特征提取，全鏈接層負(fù)責(zé)分類，在訓(xùn)練結(jié)束時(shí)利用DropOut層，防止訓(xùn)練模型過(guò)擬合。每一次迭代訓(xùn)練后都會(huì)計(jì)算驗(yàn)證數(shù)據(jù)的損失，當(dāng)數(shù)據(jù)集損失率下降到不在丟失時(shí)，即5次相近迭代損失相差0.005以內(nèi)時(shí)，訓(xùn)練過(guò)程停止。

3.1.1 數(shù)據(jù)樣本測(cè)試

數(shù)據(jù)樣本測(cè)試采用Canny邊緣檢測(cè)方法。通過(guò)設(shè)置高低閾值，將圖像邊緣變成輪廓。未經(jīng)處理過(guò)數(shù)據(jù)邊緣檢測(cè)的效果圖如圖5所示。經(jīng)過(guò)處理后數(shù)據(jù)邊緣檢測(cè)效果圖如圖6所示。

圖5 未經(jīng)處理過(guò)數(shù)據(jù)邊緣檢測(cè)的效果圖

圖6 經(jīng)過(guò)處理后數(shù)據(jù)邊緣檢測(cè)效果圖

3.1.2 圖像增強(qiáng)

圖像增強(qiáng)方式是采用的是python的第三方圖像處理庫(kù)PIL(Python Image Library)，整個(gè)過(guò)程分為濾波、剪裁、腐蝕、銳化、反轉(zhuǎn)、組合。圖像增強(qiáng)示意圖如圖7所示。

圖7 圖像增強(qiáng)示意圖

3.1.3 卷積核與特征提取

神經(jīng)網(wǎng)絡(luò)中卷積層負(fù)責(zé)特征提取。卷積核與特征提取示意圖如圖8所示。

圖8 卷積核與特征提取示意圖

3.1.4 訓(xùn)練結(jié)果

整個(gè)訓(xùn)練過(guò)程消耗12個(gè)小時(shí)，經(jīng)過(guò)輪迭代后，驗(yàn)證數(shù)據(jù)集損失率不在下降，最終損失率保持在了0.175，由于誤差是不可避免的，訓(xùn)練數(shù)據(jù)集人工選擇入彎轉(zhuǎn)向角度存在誤差，通過(guò)換算后預(yù)測(cè)誤差保持在了6°以內(nèi)。訓(xùn)練數(shù)據(jù)流程圖如圖9所示。訓(xùn)練損失率和驗(yàn)證數(shù)據(jù)集損失率如圖10所示。

圖9 訓(xùn)練數(shù)據(jù)流程圖

圖10 訓(xùn)練損失率和驗(yàn)證數(shù)據(jù)集損失率

■3.2 無(wú)人小車行駛過(guò)程

小車在正常行駛時(shí)，輸入神經(jīng)網(wǎng)絡(luò)視覺(jué)信息利用OpenCV圖像處理技術(shù)進(jìn)行增強(qiáng)，來(lái)提升預(yù)測(cè)未來(lái)行駛決策準(zhǔn)確度。行駛過(guò)程測(cè)試主要分為正常行駛與障礙物測(cè)試。輸入小車神經(jīng)網(wǎng)絡(luò)視覺(jué)信息如圖11無(wú)人小車第一視角圖像。

圖11 無(wú)人小車第一視角圖像

如圖12無(wú)人小車行駛示意圖所示。無(wú)人小車行駛測(cè)試結(jié)果如圖13所示。

圖12 無(wú)人小車行駛示意圖

圖13 無(wú)人小車行駛測(cè)試結(jié)果

■3.3 結(jié)果分析

經(jīng)模型部署于無(wú)人小車后，測(cè)試流程圖如圖14所示。

圖14 測(cè)試流程圖

經(jīng)實(shí)測(cè)，無(wú)人小車表現(xiàn)如下：

（1）使用OpenCV圖像處理技術(shù)后，小車感覺(jué)環(huán)境相比未利用圖像處理技術(shù)時(shí)，感知能力增強(qiáng)較多。

（2）無(wú)人小車在限定場(chǎng)景的直線行駛中，運(yùn)動(dòng)軌跡基本上可以保證處于道路中央。

（3）無(wú)人小車在限定場(chǎng)景進(jìn)行轉(zhuǎn)彎時(shí)表現(xiàn)性能相對(duì)較弱，但能在轉(zhuǎn)彎結(jié)束后重新實(shí)現(xiàn)直線行駛，并隨機(jī)改變自身位置，根據(jù)自身行駛線路進(jìn)行調(diào)整。模型實(shí)現(xiàn)效果如表3所示。

表3 模型實(shí)現(xiàn)效果

（4）無(wú)人小車在遇到限定障礙物時(shí)，可以成功的停止行駛。障礙物密度變率如表4所示。

表4 障礙物密度變率

從表中分析，發(fā)現(xiàn)當(dāng)障礙物密度較大時(shí)，直線行駛的無(wú)人小車，會(huì)停止行駛。

從實(shí)際應(yīng)用角度來(lái)分析，無(wú)人小車在行駛過(guò)程中對(duì)行駛路徑進(jìn)行了提前規(guī)劃，降低了系統(tǒng)對(duì)實(shí)時(shí)性的要求。

從實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)，課題設(shè)計(jì)任務(wù)設(shè)計(jì)無(wú)人駕駛小車系統(tǒng)，利用小車采集大量實(shí)驗(yàn)數(shù)據(jù)構(gòu)成數(shù)據(jù)集，通過(guò)遠(yuǎn)程軟件傳輸至PC電腦中，經(jīng)過(guò)圖像增強(qiáng)的方式，輸入至神經(jīng)網(wǎng)絡(luò)當(dāng)中進(jìn)行運(yùn)算，生成跑道模型，再部署至小車中，即可實(shí)現(xiàn)限定場(chǎng)景的無(wú)人駕駛?cè)蝿?wù)。而端到端控制系統(tǒng)，僅需采集小車在駕駛時(shí)，現(xiàn)場(chǎng)記錄的圖片、轉(zhuǎn)彎路徑和轉(zhuǎn)向角度作為數(shù)據(jù)集樣本。結(jié)果表明在部署模型測(cè)試時(shí)，只需要無(wú)人小車現(xiàn)場(chǎng)行駛，感知周圍環(huán)境，利用圖像增強(qiáng)技術(shù)后神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)行駛路徑，實(shí)現(xiàn)決策功能準(zhǔn)確率提升顯著，即可實(shí)現(xiàn)限定場(chǎng)景中良好的無(wú)人駕駛率。相對(duì)于直接型感知方法降低了設(shè)計(jì)難度與設(shè)計(jì)成本。

4 總結(jié)與展望

基于深度學(xué)習(xí)的無(wú)人駕駛小車屬于微縮智能車。在無(wú)人駕駛技術(shù)中，微縮智能車是真實(shí)車輛的簡(jiǎn)化版，攜帶傳感器較少，數(shù)據(jù)分析較容易，可以在有限的場(chǎng)地中模擬更高級(jí)別的無(wú)人駕駛技術(shù)。課題設(shè)計(jì)任務(wù)中無(wú)人駕駛系統(tǒng)采用端到端控制方式，在上位機(jī)中通過(guò)Keras框架設(shè)計(jì)了循環(huán)神經(jīng)網(wǎng)絡(luò)，在下位機(jī)中經(jīng)有效的驗(yàn)證。

■4.1 主要工作與成果

（1）課題設(shè)計(jì)任務(wù)通過(guò)以離線深度學(xué)習(xí)為目的，建立的無(wú)人駕駛小車系統(tǒng)是端到端控制的無(wú)人駕駛系統(tǒng)，通過(guò)利用圖像處理技術(shù)，驗(yàn)證算法的有效性，模型部署，最終在人工模擬交通環(huán)境中，無(wú)人小車?yán)脧V角攝像頭，能夠成功的預(yù)測(cè)行駛路線及轉(zhuǎn)向角度。

（2）從實(shí)驗(yàn)結(jié)過(guò)中發(fā)現(xiàn)，課題任務(wù)設(shè)計(jì)的無(wú)人駕駛小車，經(jīng)過(guò)采集大量數(shù)據(jù)集，添加更多道路標(biāo)志可以實(shí)現(xiàn)更加復(fù)雜場(chǎng)景的無(wú)人駕駛?cè)蝿?wù)。

（3）采用循環(huán)神經(jīng)網(wǎng)絡(luò)在與LSTM網(wǎng)絡(luò)結(jié)合使用時(shí)網(wǎng)絡(luò)性能更強(qiáng)大。

（4）采用圖像處理技術(shù)后小車在測(cè)試時(shí)，能夠顯著提升神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)能力。

■4.2 發(fā)現(xiàn)問(wèn)題以及需要改進(jìn)措施

無(wú)人駕駛是一個(gè)龐大的系統(tǒng)，課題設(shè)計(jì)任務(wù)僅對(duì)其端對(duì)端控制方式進(jìn)行了初步的探索，受于局限性限制和今后努力的方向有以下幾點(diǎn)：

（1）實(shí)驗(yàn)場(chǎng)景采用限定場(chǎng)景，是相對(duì)簡(jiǎn)單、理想的交通場(chǎng)景下完成的駕駛?cè)蝿?wù)，數(shù)據(jù)集的建立缺少?gòu)?fù)雜交通場(chǎng)景的情況，接下來(lái)可尋求更加龐大、復(fù)雜的交通模擬場(chǎng)地。

（2）無(wú)人小車由于車輛本身轉(zhuǎn)彎角度限制，在彎路較為急的交通場(chǎng)景下，轉(zhuǎn)彎預(yù)測(cè)與車輛速度存在差異，具有較大改善方法。

（3）由于神經(jīng)網(wǎng)絡(luò)中，引入RELU函數(shù)，在回歸時(shí)，容易導(dǎo)致神經(jīng)元死亡，至使收斂下降，有引發(fā)過(guò)擬合現(xiàn)象，后期將通過(guò)更換激活函數(shù)更加良好的抑制過(guò)擬合。