融合空間注意力機(jī)制的行車障礙預(yù)測網(wǎng)絡(luò)

雷俊鋒，賀 睿，肖進(jìn)勝

(武漢大學(xué) 電子信息學(xué)院,湖北 武漢 430072)

1 引 言

先進(jìn)輔助駕駛系統(tǒng)(Automatic Data Acquisition System,ADAS)是智能交通領(lǐng)域內(nèi)的研究熱點。ADAS實時收集和處理車內(nèi)外環(huán)境數(shù)據(jù)并做出反饋，從而讓駕駛者迅速察覺可能發(fā)生的危險。前碰撞預(yù)警系統(tǒng)(Forward Collision Warning System,FCWS)是ADAS系統(tǒng)的一部分，通過車前傳感器感知環(huán)境并獲得障礙信息，在碰撞前發(fā)出緊急碰撞警告。早期的機(jī)器視覺研究者通常采用目標(biāo)檢測的方法，定位圖像中的常見障礙物[1-2]； YOLO(You Only Look Once)，RCNN(Regions with Convolutional Neural Notworks)等[3-4]目標(biāo)檢測網(wǎng)絡(luò)的出現(xiàn)，在車輛和行人目標(biāo)的檢測上有較好的效果[5]，但對于樹木、墻壁等不常見障礙物的檢測效果不好；由于全卷積網(wǎng)絡(luò)的出現(xiàn)[6-7]，也有研究者采用語義分割的方法進(jìn)行自動駕駛場景的識別[8]，但是硬件開銷大且預(yù)測速度慢，無法達(dá)成實時檢測的任務(wù)。

伴隨著從AlexNet[9]到EfficientNet[10]的目標(biāo)分類網(wǎng)絡(luò)的發(fā)展，部分研究人員提出將障礙預(yù)測從檢測車輛、行人等具體目標(biāo)，轉(zhuǎn)變?yōu)橹苯宇A(yù)測前方障礙的概率?；谠撍枷?，Giusti等[11]提出使用神經(jīng)網(wǎng)絡(luò)將輸入圖分為可繼續(xù)行駛類與不可行駛類；Richter[12]研究了DNN在障礙預(yù)測中的場景不確定性問題。這些研究使得障礙預(yù)測不再局限于車和人目標(biāo)的檢測，對大部分障礙物都有一定的預(yù)測能力，但預(yù)測準(zhǔn)確性不佳，不能確定障礙物方位，缺乏對行車控制的研究，仍不能滿足行車避障需求。針對以上不足，本文提出一種融合空間注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)Coll-Net(意Collision Network)，與現(xiàn)有算法相比，Coll-Net在滿足實時運行的前提下較大提升了障礙預(yù)測算法的準(zhǔn)確性，并對護(hù)欄、樹叢等障礙均具有預(yù)測能力；同時，提出了基于Coll-Net的行車策略，輔助系統(tǒng)進(jìn)行障礙方位的判定以及車速控制，以滿足智能駕駛中的避障需求。

2 基于駕駛員視覺信息的障礙預(yù)測

行車時駕駛員判斷前方障礙的重點是障礙的視覺特征而非障礙物與行車的絕對距離，比如針對出現(xiàn)在前方路面的電動車，駕駛員首先根據(jù)視覺中電動車較遠(yuǎn)判斷不會發(fā)生碰撞，然后根據(jù)電動車由遠(yuǎn)及近的視覺信息判斷可能與電動車發(fā)生碰撞，如圖1所示。據(jù)此，本文將行車視野圖劃分為不發(fā)生障礙碰撞與可能碰撞兩類，并設(shè)計Coll-Net網(wǎng)絡(luò)對前方出現(xiàn)障礙的概率進(jìn)行預(yù)測。

圖1 行車視野Fig.1 Driving visual field

本文構(gòu)建Coll-Net行車障礙預(yù)測系統(tǒng)如圖2，其工作原理是：單目攝像頭捕捉前方視野圖像，這些圖像經(jīng)預(yù)處理[13]后送入Coll-Net，經(jīng)池化下采樣處理以及殘差網(wǎng)絡(luò)骨架提取空間特征后，由重標(biāo)定網(wǎng)絡(luò)進(jìn)行通道特征加權(quán)以挑選出重要特征并生成空間特征圖，這些圖最后由全連接層處理并歸一化為障礙概率。Coll-Net的預(yù)測值供處理器做出行車決策，系統(tǒng)將根據(jù)障礙概率進(jìn)行車速控制，并結(jié)合圖像中多窗口的預(yù)測值進(jìn)行障礙方向判定。

圖2 Coll-Net行車障礙預(yù)測系統(tǒng)構(gòu)成Fig.2 Framework of Coll-Net obstacle prediction system

3 障礙預(yù)測網(wǎng)絡(luò)設(shè)計

3.1 Coll-Net網(wǎng)絡(luò)設(shè)計

3.1.1 整體網(wǎng)絡(luò)框架

Coll-Net是由殘差網(wǎng)絡(luò)骨架Residual Network[14]根據(jù)空間注意力機(jī)制改良而得到的卷積神經(jīng)網(wǎng)絡(luò)，如圖3所示，系統(tǒng)工作時，采集圖像首先預(yù)處理成200×200的單通道圖像，然后輸入到含有32個尺寸為5×5的卷積核且步長為2的卷積層，再采用尺寸為3×3且步長為2的最大池化層對其進(jìn)行下采樣而生成32張尺寸為50×50的特征圖，然后在同一批次圖像中完成特征圖的批標(biāo)準(zhǔn)化(BN)和非線性化(PReLU)操作。采樣層輸出的特征圖尺寸為:

Lout=(Lin-Wkernel)/Sstride+2,

(1)

圖3 Coll-Net深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Coll-Net deep neural network structure

其中：Lin,Lout表示輸入與輸出圖尺寸，Sstride,Wkernel表示步長與核尺寸；然后，特征圖依次經(jīng)過3個結(jié)構(gòu)相同但通道數(shù)和步長不同的改良?xì)埐罹矸e塊，得到空間注意力機(jī)制挑選后的關(guān)鍵特征；最后，采用全局平均池化方法(Global Average Pooling, GAP)和全連接層進(jìn)行處理后，使用Sigmoid函數(shù)輸出歸一化的障礙預(yù)測概率。表1給出了Coll-Net行車障礙預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)涉及的操作，表中Rescale表示是否使用通道注意力機(jī)制進(jìn)行重標(biāo)定，Add表示與上個卷積塊的輸出進(jìn)行連接，S表示步長，F(xiàn)C表示全連接層處理。

表1 Coll-Net結(jié)構(gòu)與輸出

3.1.2 殘差網(wǎng)絡(luò)骨架

殘差塊是殘差網(wǎng)絡(luò)骨架的基本組成單元而卷積層是殘差塊的處理單元。圖4(a)為殘差塊的運算過程，即輸入量x依次通過兩個卷積層變換為F(x)后，再與F(x)做求和計算，得到結(jié)果則輸入到下一殘差塊進(jìn)行處理。殘差層卷積塊的輸入輸出關(guān)系為：

F(x)=W2?[σ(W1?x+b1)]+b2

y=σ[F(x)+x]，

(2)

圖4 殘差塊和卷積層的邏輯構(gòu)成Fig.4 Structure of residual block and conv. layer

其中：W1，b1，W2，b2分別表示Conv. layer 1層和Conv. layer 2層的權(quán)重和偏移量；σ(.)表示批標(biāo)準(zhǔn)化與非線性激活操作；?表示卷積操作；y表示輸出。圖4(b)為卷積層涉及的運算，即它先對輸入x做卷積操作以提取局部特征圖；然后針對同批次中各輸入圖對應(yīng)的特征圖進(jìn)行批標(biāo)準(zhǔn)化處理BN[15]，并把各神經(jīng)元輸入的分布拉回均值為0方差為1的標(biāo)準(zhǔn)正態(tài)分布，使后續(xù)激活函數(shù)的輸入值落到函數(shù)敏感區(qū)域；最后利用激活函數(shù)對卷積層輸出進(jìn)行非線性化以提高網(wǎng)絡(luò)的非線性處理能力。Coll-Net的卷積層使用PReLU函數(shù)進(jìn)行非線性激活，這樣便能在不增加網(wǎng)絡(luò)計算開銷和過擬合風(fēng)險情況下，較好地解決ReLU函數(shù)帶來的神經(jīng)元死亡問題，并有利于提升小網(wǎng)絡(luò)的表達(dá)能力。BN和PReLU的輸入輸出關(guān)系如式(3)，式(4):

(3)

(4)

3.1.3 空間特征重標(biāo)定網(wǎng)絡(luò)

針對行車安全系統(tǒng)障礙預(yù)測精度要求高的特點，Coll-Net引入空間注意力機(jī)制對殘差塊進(jìn)行改造，如圖5所示。改進(jìn)之處在于：采用注意力機(jī)制對第二個卷積層的結(jié)果進(jìn)行通道加權(quán)，并且權(quán)重由空間特征重標(biāo)定模塊(Rescale Module)獲得。加權(quán)后的空間特征按下式計算:

y′=Padding(Scale)⊙y,

(5)

其中：yJ,y′為加權(quán)前、后的特征圖，Padding(Scale)表示填充后的加權(quán)值；算子⊙表示Hadamard乘積。

圖5 改良?xì)埐顗K結(jié)構(gòu)Fig.5 Structure of improved residual block

考慮到各特征圖對預(yù)測結(jié)果的貢獻(xiàn)度不同，改良?xì)埐顗K采用特征重標(biāo)定模塊獲取每個特征通道的權(quán)值Scale，以衡量對應(yīng)通道特征的重要程度，如圖6?？赏ㄟ^訓(xùn)練的方式來學(xué)習(xí)Scale，即先令經(jīng)卷積層處理后得到的通道數(shù)為C的特征圖y，經(jīng)過全局平均池化處理而使輸出Y具有全局感受野；然后將其送入有C/n個神經(jīng)元的全連接層(FC1)；再令其經(jīng)過PReLU以提升重標(biāo)定網(wǎng)絡(luò)的非線性表達(dá)能力，進(jìn)而與具有C個神經(jīng)元的全連接層(FC2)相連；最后通過Sigmoid函數(shù)獲得歸一化的加權(quán)值Scale。

圖6 重標(biāo)定模塊結(jié)構(gòu)Fig.6 Structure of rescale module

重標(biāo)定模塊的計算公式為:

Scale=Sig{ω2·PRe[(ω1Y+ε1)]+ε2},

(6)

其中y,Y,Scale分別表示輸入的空間特征圖、全局池化輸出和重標(biāo)定獲得的加權(quán)值；W,H表示空間特征圖的寬和高；Ci表示第i個通道；ω1，ω2，ε1，ε2分別表示FC1和FC2層的權(quán)重及偏移量；Pre(.)，Sig(.)表示PReLU和Sigmoid函數(shù)，并且Sigmoid函數(shù)的數(shù)學(xué)表達(dá)式為:

Sig(α)=1/[1+exp(-α)].

(7)

重標(biāo)定模塊采用兩個全連接層，旨在更好地擬合各通道間相互關(guān)系。為了降低計算復(fù)雜度，將FC1層的通道數(shù)從原空間特征圖的C降至C/n， FC2層的通道數(shù)繼續(xù)保持為C。改良?xì)埐顗K的輸出為:

Add=x+y′.

(8)

3.1.4 輸出網(wǎng)絡(luò)

先將第3個改良?xì)埐顗K提取的128張?zhí)卣鲌D進(jìn)行全局平均池化處理，然后將其送入全連接層以擬合特征圖與預(yù)測值的線性關(guān)系，最后采用Sigmoid生成歸一化的障礙預(yù)測值。輸出網(wǎng)絡(luò)采用全局池化與全連接層組合構(gòu)式，這樣既可減少特征圖直接連接全連接層時產(chǎn)生的大量模型參數(shù)，又可降低全連接層過擬合的危險。

3.2 訓(xùn)練策略

3.2.1 障礙數(shù)據(jù)集

本文結(jié)合行車實際，依據(jù)駕駛員視覺內(nèi)障礙物由遠(yuǎn)及近的變化以及應(yīng)用場景中可能出現(xiàn)汽車、自行車、行人、電線桿、護(hù)欄、墻壁等障礙物，構(gòu)建適用于Coll-Net網(wǎng)絡(luò)的數(shù)據(jù)集。該數(shù)據(jù)集基于UZH開放數(shù)據(jù)集Driving Event Camera Datasets(DECA)[16-17]。本文從中挑選由遠(yuǎn)及近的障礙物圖片(尺寸640×480)，并將其中可能發(fā)生車輛碰撞的圖片標(biāo)記為1，無碰撞可能的圖片標(biāo)記0，在此基礎(chǔ)上按比例對訓(xùn)練集、測試集和驗證集進(jìn)行劃分。Coll-Net要求輸入200×200的單通道圖，故須對數(shù)據(jù)集做預(yù)處理。為此將數(shù)據(jù)圖片二值化并從中心向四周截取尺寸為480×480的圖塊，再將其縮小為200×200標(biāo)準(zhǔn)圖片，作為最終實驗用數(shù)據(jù)。

3.2.2 損失函數(shù)

Coll-Net的輸出經(jīng)Sigmoid函數(shù)處理后取值處于[0,1]之內(nèi)，該輸出視作輸入圖被判定為正類(有障礙)的概率，因此訓(xùn)練中以二分類交叉熵函數(shù)作為基本損失函數(shù)。該函數(shù)數(shù)學(xué)形式如式(9):

BCEk=-log[p(Pk|Παk)]=

(9)

(10)

其中μ表示正樣本的權(quán)重。

3.2.3 困難樣本挖掘

(11)

式中γ為困難樣本權(quán)重調(diào)節(jié)因子，當(dāng)加大γ時樣本損失權(quán)重將降低。網(wǎng)絡(luò)訓(xùn)練損失函數(shù)最終為:

(12)

式中N表示樣本總數(shù)。

4 基于障礙預(yù)測的行車策略

4.1 車速控制策略

基于Coll-Net輸出的行車障礙概率，本文提出一種車速控制方法，即當(dāng)Coll-Net對輸入的車前圖像做出概率預(yù)測后，處理器便開始基于預(yù)測概率p進(jìn)行駕駛分析：當(dāng)p=0時，因無發(fā)生碰撞的可能故可保持正常行車速度；但當(dāng)p=1時，因會發(fā)生碰撞故應(yīng)將車速降至0。循此思路，本文構(gòu)建出基于碰撞概率的實時控制車速模型如式(13)所示:

Vk+1=(1-pk)[(1-ρ)Vk+ρVnorm],

(13)

其中：Vk，Vk+1為k,k+1時刻行車速度；Vnorm為正常行車速度；ρ∈(0,1)表示增速控制系數(shù)，當(dāng)ρ較大時車速增長較快，反之則車速增加較慢；pk為k時刻預(yù)測碰撞概率，當(dāng)碰撞概率較小時，系統(tǒng)以(1-pk)(Vnorm-Vk)速度提速直至正常行車速度；當(dāng)碰撞概率較大時則令系統(tǒng)逐漸減速至0。此法不僅為行車避障提供參考速度，而且為推進(jìn)Coll-Net在無人車和自動駕駛上的應(yīng)用提供一定的支撐。

4.2 障礙方向判定

為提升行車系統(tǒng)的避障能力，提出基于多窗口Coll-Net預(yù)測的障礙方向判定策略，以控制行車方向。該策略的思路是：先將攝像頭捕獲的圖像尺寸縮小為640×480，并在圖像上方截取尺寸為640×400的感興趣區(qū)域；然后在該區(qū)域的左、中、右三個區(qū)域分別截取尺寸400×400的窗口；再將三個窗口圖像轉(zhuǎn)變?yōu)槌叽?00×200的灰度圖，并將其輸入到Coll-Net中進(jìn)行障礙預(yù)測。值得一提的是，每個窗口的預(yù)測值pred均表征對應(yīng)車前方向出現(xiàn)障礙的概率，并且當(dāng)pred≥0.5時可判定該方向出現(xiàn)障礙物。圖7給出了多窗口Coll-Net預(yù)測障礙方向的流程。

圖7 障礙物方向定位流程Fig.7 Process of obstacle direction localization

5 實驗結(jié)果分析

5.1 實驗準(zhǔn)備

5.1.1 實驗數(shù)據(jù)與平臺

本文基于DECD構(gòu)造網(wǎng)絡(luò)訓(xùn)練集(含28 806張訓(xùn)練圖和1 590張驗證圖)而對Coll-Net進(jìn)行訓(xùn)練；使用基于DECD構(gòu)建的測試集(含1 576張測試圖)對Coll-Net的障礙預(yù)測能力進(jìn)行評估；而且將實驗結(jié)果與同等訓(xùn)練條件下采用VGG-16[18]，ResNet，EfficientNet-B0，InceptionV3[19]等大型深度學(xué)習(xí)網(wǎng)絡(luò)及谷歌專門針對嵌入式設(shè)備設(shè)計的目標(biāo)檢測網(wǎng)絡(luò)MobileNetV3[20-21]得到的結(jié)果做對比。特別是為了驗證Coll-Net的障礙預(yù)測及其行車策略的有效性，文中還在Udacity開放的Self-Driving無人駕駛數(shù)據(jù)集中選取具有代表性的行車場景進(jìn)行模擬實驗。全部輸入圖片均采用與訓(xùn)練數(shù)據(jù)預(yù)處理相同的前處理方式。訓(xùn)練及測試代碼均運行于Linux系統(tǒng)并使用Intel(R) Xeon (R) W-2133 @ 3.60 GHz六核CPU，至于Coll-Net網(wǎng)絡(luò)的搭建則使用以Tensorflow作為后端的Keras框架且使用opencv進(jìn)行圖像預(yù)處理，且使用python作為編程語言。訓(xùn)練時使用Nvidia RTX2080Ti進(jìn)行計算加速，考慮到嵌入式設(shè)備的計算能力，故測試中只使用CPU單核進(jìn)行模型評估。

5.1.2 訓(xùn)練過程

當(dāng)對Coll-Net模型進(jìn)行訓(xùn)練時,使用了Adam優(yōu)化器并將學(xué)習(xí)率設(shè)為0.000 1，將批樣本數(shù)設(shè)定為64，正樣本權(quán)重μ設(shè)為0.75，訓(xùn)練迭代輪數(shù)epoch設(shè)定為50次。為增強(qiáng)預(yù)測模型的泛化能力，訓(xùn)練時在輸出網(wǎng)絡(luò)的全連接層設(shè)置Dropout為0.4。圖8給出了訓(xùn)練集損失值train_loss、準(zhǔn)確率train_acc以及驗證集的損失值val_loss、準(zhǔn)確率val_acc的變化。圖中可見，當(dāng)γ=0時損失函數(shù)退化為交叉熵函數(shù)；針對訓(xùn)練集，當(dāng)增大γ時訓(xùn)練集的模型損失值在較低輪次上得到收斂，并當(dāng)γ=2時預(yù)測模型不僅有較快的收斂速度而且還能保證很高的準(zhǔn)確性；針對驗證集，當(dāng)γ=2時模型損失值和準(zhǔn)確性具有理想的穩(wěn)定性。故本文將困難樣本權(quán)重調(diào)節(jié)因子γ設(shè)定為2。

圖8 訓(xùn)練過程中的損失率與準(zhǔn)確率Fig.8 Loss and accuracy on training process

5.2 Coll-Net模型測試與分析

為了全面客觀地評估根據(jù)本文方法訓(xùn)練的Coll-Net模型的障礙預(yù)測性能，本文測試了不同網(wǎng)絡(luò)模型在測試集上的準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1-score、模型參數(shù)量(Parameters)、浮點運算次數(shù)(FLOPs)和計算耗時(Latency)的性能指標(biāo)，計算式分別為:

Precision=TP/(TP+FP)

Recall=TP/(TP+FN)

(14)

其中：TP，TN分別表示預(yù)測正確的正樣本和負(fù)樣本數(shù)，F(xiàn)P，F(xiàn)N表示預(yù)測為正而實際為負(fù)的樣本及預(yù)測為負(fù)而實際為正的樣本。測試中將Coll-Net輸出概率prediction≥0.5的樣本記為預(yù)測正樣本，其他的記為預(yù)測負(fù)樣本。表2列出了所得到的Coll-Net性能指標(biāo)。

表2 模型測試指標(biāo)和運算性能

Coll-Net在障礙預(yù)測準(zhǔn)確率和F1-score兩個指標(biāo)上的表現(xiàn)稍遜于VGG-16(-0.63%，-0.07)和MobileNetV3-Large(-0.38%,-0.02)，但它對處理器運算能力的要求(參數(shù)量和浮點運算數(shù))遠(yuǎn)低于VGG-16和MobileNetV3-Large，特別是Coll-Net的24 ms預(yù)測耗時完全達(dá)到了實時處理要求，足以適配車載嵌入式處理器計算性能。圖9是Coll-Net在測試集上的預(yù)測結(jié)果混淆矩陣，圖中的Predicion和True分別表示預(yù)測值與真實值，Pos，Neg表示正、負(fù)并分別代表有碰撞可能和無碰撞可能。

圖9可見，系統(tǒng)對測試集中341個正樣本和1 172個負(fù)樣本進(jìn)行了正確預(yù)測，但將12張正樣本誤判為負(fù)(占正樣本數(shù)的3.4%)并將51張負(fù)樣本誤判為正樣本(占負(fù)樣本數(shù)的4.2%)。該結(jié)果表明Coll-Net在障礙預(yù)測中傾向于危險判定。

此外，本文采用受試者操作特性曲線(Receiver Operating Characteristic Curve, ROC)及其對應(yīng)面積(Area under the curve, AUC)作為衡量指標(biāo)來對比Coll-Net與前文所述Giusti，Richter等研究者提出的障礙預(yù)測方法，如圖10所示，Coll-Net相比類似算法在ROC和AUC指標(biāo)上取得了更好的效果。

圖9 測試集上Coll-Net預(yù)測結(jié)果Fig.9 Coll-Net prediction result on test set

圖10 不同障礙預(yù)測方法的ROC曲線Fig.10 ROC curves of different obstacle method

為了反映Coll-Net的空間敏感性，本文采用可視化方法獲取了在Udacity數(shù)據(jù)集上進(jìn)行Coll-Net障礙預(yù)測的激活圖(Classification Activation Map, CAM)[22]如圖11、圖12(彩圖見期刊電子版)。圖中紅色加深部分代表Coll-Net重點關(guān)注區(qū)域。圖11為圖像采集車在十字路口前逐漸靠近前車的CAM，當(dāng)采集車逐漸靠近前車時，網(wǎng)絡(luò)注意力集中在前車與道路明暗差異明顯的區(qū)域，這表明Coll-Net網(wǎng)絡(luò)對明暗變化具有較強(qiáng)的敏感性。

圖11 Coll-Net十字路口場景測試Fig.11 Coll-Net test on crossroad

圖12 Coll-Net丁字路場景測試Fig.12 Coll-Net test on T-shaped road

圖12為圖像采集車在丁字路前逐漸向樹墻行進(jìn)時的CAM圖。當(dāng)采集車逐漸靠近障礙時，網(wǎng)絡(luò)的關(guān)注區(qū)域從道路轉(zhuǎn)移到障礙物本身。綜合兩圖結(jié)果可知，Coll-Net網(wǎng)絡(luò)能通過道路與障礙的明暗差異以及障礙自身的特征進(jìn)行障礙預(yù)測，具有廣泛的行車場景適應(yīng)性。

5.3 障礙預(yù)測和行車策略測試

為檢驗Coll-Net對其它障礙物及在不同光照條件下的預(yù)測能力，分別選取道路護(hù)欄、行人和低對比度場景進(jìn)行測試。圖13和圖14分別為車輛逐漸靠近護(hù)欄和行人的預(yù)測結(jié)果，圖中橫坐標(biāo)表示圖片出現(xiàn)順序，縱坐標(biāo)為預(yù)測值。當(dāng)障礙物較遠(yuǎn)時，預(yù)測值處于0～0.2的較低水平；當(dāng)障礙物距離逐漸減少時預(yù)測值不斷增長，最終達(dá)到1，這表明Coll-Net對行人和護(hù)欄有較好的預(yù)測能力。圖15為低對比度條件下在某十字路口前行駛圖像，在采集車與前車相距較遠(yuǎn)、逐漸靠近和前車啟動遠(yuǎn)離的過程中預(yù)測值則先保持不變，然后逐漸增長為1并保持，最后下降至0附近。這表明Coll-Net在低對比度條件下仍有良好預(yù)測能力。

圖13 護(hù)欄障礙測試Fig.13 Guardrail obstacle test

圖14 行人障礙測試Fig.14 Pedestrian obstacle test

圖15 低對比度場景測試Fig.15 Low-contrast condition test

為了驗證本文車速控制策略的有效性，在實驗過程中，依據(jù)式(12)速度模式并設(shè)置增速系數(shù)ρ=0.5且使用Udacity連續(xù)圖像做車速計算，得到圖16所示結(jié)果。圖中，Pred為Coll-Net預(yù)測值，Speed表示控制車速與正常車速Vnorm的比值?？梢?，當(dāng)車距減少時則車速隨預(yù)測值增大而迅速減小，這表明了本文基于Coll-Net的車速控制策略的有效性。

圖16 車速控制策略測試結(jié)果Fig.16 Speed control policy test

圖17是利用多窗口Coll-Net預(yù)測障礙方向的結(jié)果(彩 圖見期刊電子版)。當(dāng)將左、中、右三個窗口的圖像輸入Coll-Net后得到對應(yīng)的窗口預(yù)測值，將預(yù)測值p≥0.5的窗口用紅色定位框在原圖中進(jìn)行標(biāo)記，以表明該方向出現(xiàn)障礙。當(dāng)行人分別在車輛的右方、中央和左方出現(xiàn)時，Coll-Net都能準(zhǔn)確判斷了行人所在的區(qū)域，這也表明了本文障礙方向預(yù)測策略具有可行性。

圖17 障礙方向定位測試結(jié)果Fig.17 Result of obstacle direction localization

6 結(jié) 論

本文提出了融合空間注意力機(jī)制的障礙預(yù)測網(wǎng)絡(luò)Coll-Net用于各類行車障礙的預(yù)測。Coll-Net網(wǎng)絡(luò)以單目圖作為輸入，利用空間注意力機(jī)制改良的殘差塊網(wǎng)絡(luò)提取圖像的重要特征，通過全連接層輸出預(yù)測的障礙概率，解決了基于目標(biāo)檢測的障礙預(yù)測算法中的目標(biāo)單一性問題，對各類典型障礙物均具有預(yù)測能力；與現(xiàn)有算法相比較大提升了預(yù)測的準(zhǔn)確性，并且能根據(jù)多窗口方式大體定位障礙物方向。Coll-Net在DECD數(shù)據(jù)集上準(zhǔn)確率達(dá)到96.01%，F(xiàn)1-score達(dá)到0.915，模型推理時間僅需24 ms，達(dá)到處理的準(zhǔn)確性和實時性需求，為Coll-Net在智能駕駛的應(yīng)用上奠定了一定的技術(shù)基礎(chǔ)。