基于傳感器融合和方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的車道檢測算法研究?

潘順莉 吳訓(xùn)成 張偉偉

（上海工程技術(shù)大學(xué) 上海 201620）

1 引言

車道檢測在智能交通系統(tǒng)中起著重要作用，可用于自動(dòng)車輛駕駛和高級(jí)駕駛輔助系統(tǒng)。在高級(jí)輔助駕駛功能中，車道偏離預(yù)警和換道輔助都與車道檢測密切相關(guān)。目前大多數(shù)車道檢測研究都使用相機(jī)傳感器作為唯一的道路數(shù)據(jù)來源［1～3］，這在復(fù)雜場景下可靠性不足。一方面當(dāng)傳感器出現(xiàn)誤差時(shí)，沒有其他測量結(jié)果用于比較修正，另一方面基于相機(jī)的車道檢測算法的檢測距離有限且很容易受到外界環(huán)境的干擾。T.Ogawa和K.Takagi［4］利用激光雷達(dá)的反射強(qiáng)度信息來檢測車道線。雖然雷達(dá)傳感器具有較相機(jī)傳感器檢測更遠(yuǎn)的距離和抗環(huán)境干擾的能力［5～7］，但純粹地基于激光反射的車道檢測是不夠的，還需要結(jié)合相機(jī)視覺信息［8］。激光雷達(dá)更適合使用距離信息來檢測道路表面［9］。因而需要采用相機(jī)和雷達(dá)融合的方式進(jìn)行車道檢測，提高檢測結(jié)果的魯棒性。Guangtao Cui等［10］將車道線檢測任務(wù)分為兩步進(jìn)行，首先利用相機(jī)采集的圖像進(jìn)行車道特征檢測，然后利用雷達(dá)點(diǎn)云分割駕駛區(qū)域，之后對(duì)應(yīng)到第一步的車道特征提取結(jié)果，消除道路區(qū)域障礙物。朱雨桐［11］利用激光雷達(dá)檢測道路邊緣，相機(jī)檢測車道線，最后將基于激光雷達(dá)和相機(jī)的檢測特征進(jìn)行了融合，適用于結(jié)構(gòu)化和非結(jié)構(gòu)化道路。

不同于已有的方法，本文中提出了一種基于傳感器融合和方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的車道檢測算法。首先利用滑動(dòng)窗口對(duì)雷達(dá)點(diǎn)云進(jìn)行道路表面提取，將提取好的道路表面投影到圖像坐標(biāo)后，限制車道特征提取的范圍為道路表面；其次將融合道路空間信息的二維圖像作為方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)輸入，提取道路中的車道特征。同時(shí)，本算法在方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)用于目標(biāo)檢測的現(xiàn)有基礎(chǔ)上改變了方向可調(diào)卷積濾波器的方向函數(shù)和網(wǎng)絡(luò)的輸出層，提高了車道線上下文信息提取的準(zhǔn)確率。該方法適合于各種復(fù)雜道路場景，具有較好的檢測性能。

2 算法概述

本文提出的算法的輸入為多傳感器融合的實(shí)時(shí)數(shù)據(jù)（相機(jī)和激光雷達(dá)），輸出為當(dāng)前車輛行駛的車道線信息，主要分為道路提取、車道特征提取和車道擬合回歸三大模塊，如圖1所示。其中，道路提取模塊是車道檢測的預(yù)處理部分，道路表面提取以激光雷達(dá)點(diǎn)作為輸入，利用滑動(dòng)窗口提取道路表面，并投影到圖像坐標(biāo)；車道特征提取模塊是基于方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型［12］，并針對(duì)本文所應(yīng)用的復(fù)雜道路場景進(jìn)行了優(yōu)化；車道擬合和回歸模塊利用隨機(jī)抽樣一致（RANSAC）擬合方法［13］擬合車道特征。

圖1 系統(tǒng)框架示意圖

3 道路表面提取

為了有效地組織激光雷達(dá)點(diǎn)，本文直接利用滑動(dòng)窗口沿著掃描線提取道路點(diǎn)。由于相鄰點(diǎn)的高度值具有相似的特征，因此在提取過程中僅使用高度參數(shù)。道路表面提取主要分為兩步：第一步是利用連續(xù)點(diǎn)之間的范圍、角度或者GPS時(shí)間差［1］提取掃描線；第二步是滑動(dòng)窗口的構(gòu)造，基于同一掃描線中的相鄰激光點(diǎn)構(gòu)建滑動(dòng)窗口，如圖2所示。本文使用式（1）和（2）提取路面點(diǎn)。

其中HP0是滑動(dòng)窗口中心點(diǎn)的高度，HPn是滑動(dòng)窗口中其他點(diǎn)的高度，n是滑動(dòng)窗口的大?。ɑ瑒?dòng)窗口的規(guī)格通常是3×3，5×5和7×7），H0是掃描車下激光點(diǎn)的高度，ΔH1與道路粗糙度和密度有關(guān)，ΔH2用于限制激光點(diǎn)的分布范圍。通過使用式（1）和（2）的計(jì)算，可以快速獲取地面激光點(diǎn)并消除干擾或噪聲（例如：行人，車輛，樹木，建筑物和其他輔助設(shè)施）。最后移除道路邊界外的地面點(diǎn)［14］，并將這些地面點(diǎn)保留在道路邊界內(nèi)以獲得路面激光點(diǎn)。文獻(xiàn)［15］使用了四個(gè)數(shù)據(jù)集對(duì)道路表面提取進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)ΔH1=0.15，ΔH2=0.50且n=3×3時(shí)實(shí)驗(yàn)結(jié)果最優(yōu)，因此本文使用同樣的參數(shù)值進(jìn)行實(shí)驗(yàn)。

圖2 基于掃描線的滑動(dòng)窗口的結(jié)構(gòu)

本文中激光雷達(dá)與相機(jī)的外部聯(lián)合標(biāo)定采取文獻(xiàn)［11］中的標(biāo)定方法，通過校準(zhǔn)結(jié)果將LIDAR點(diǎn)轉(zhuǎn)換為相機(jī)坐標(biāo)，如式（3）所示：

式中PLIDAR代表在雷達(dá)坐標(biāo)系上的一個(gè)坐標(biāo)點(diǎn)［x LIDAR，y LIDAR，zLIDAR］T，Pcamera代表在相機(jī)坐標(biāo)系上的一個(gè)坐標(biāo)點(diǎn)［xcamera，ycamera，zcamera］T，Φ和Δ分別是LIDAR坐標(biāo)到相機(jī)坐標(biāo)變換的外部旋轉(zhuǎn)矩陣和平移矩陣。將已提取好的道路表面激光點(diǎn)按照如上方法投影到相機(jī)坐標(biāo)系中。

4 方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)

方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)是基于方向可調(diào)濾波器的深度卷積網(wǎng)絡(luò)，下文中將討論如何在深度卷積神經(jīng)網(wǎng)絡(luò)中實(shí)施方向可調(diào)卷積濾波器的三個(gè)部分。首先，詳細(xì)介紹了如何通過方向可調(diào)濾波器獲得方向可調(diào)卷積濾波器；其次，系統(tǒng)地解釋了網(wǎng)絡(luò)的具體結(jié)構(gòu)；最后，展示了在反向傳播階段如何學(xué)習(xí)方向可調(diào)卷積濾波器。

4.1 方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)

為了將方向特性結(jié)合到方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)中，方向信息需要被編碼到卷積濾波器中。方向可調(diào)卷積濾波器中基濾波器可以捕獲圖像中的方向信息，增強(qiáng)了相應(yīng)的卷積特征。用于車道檢測的方向可調(diào)濾波器是基于高斯函數(shù)的二階導(dǎo)數(shù)，Gxx、Gxy和Gyy分別對(duì)應(yīng)圖像中x、x-y和y方向的二階導(dǎo)數(shù)。對(duì)式（4）、（5）和（6）進(jìn)行線性組合能夠得到任意方向的濾波輸出，如式（7）所示。

式中θ是指方向可調(diào)濾波器的方向輸入。在被方向可調(diào)濾波器學(xué)習(xí)之前，標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)是通過反向傳播算法進(jìn)行學(xué)習(xí)。基于卷積濾波器上使用方向可調(diào)濾波器的學(xué)習(xí)過程來獲得方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)如圖3所示，具體的濾波器學(xué)習(xí)的信息如式（8）所示。

式中Ci，o是指標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)中的卷積濾波器；?是指方向可調(diào)濾波器S(x，y)和每個(gè)卷積濾波器Ci，o之間的逐元素乘積運(yùn)算；Ci，u是指卷積濾波器通過方向可調(diào)濾波器S(x，y)學(xué)習(xí)后獲得對(duì)應(yīng)u方向上的方向可調(diào)卷積濾波器。

圖3 方向可調(diào)卷積濾波器的學(xué)習(xí)過程

4.2 網(wǎng)絡(luò)結(jié)構(gòu)

本部分將具體介紹方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，主要從輸入層、特征提取層和輸出層具體描述，如圖4所示。

圖4 方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)

輸入層：預(yù)處理后的圖像經(jīng)過方向可調(diào)卷積濾波器卷積后輸入到特征提取層。

特征提取層：在方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)中，方向可調(diào)卷積濾波器主要用來產(chǎn)生特征映射，這些特征映射增強(qiáng)了深層特征的方向信息。網(wǎng)絡(luò)的輸出特征映射定義如下：

式中F(j)是指輸入的特征映射，F(xiàn)(j+1)是指輸出的特征映射。F(j)的通道個(gè)數(shù)通過以下卷積獲得：

式中(n)是指特征映射F和Ci，u的第n個(gè)通道，是F(j)的第u個(gè)方向上的響應(yīng)。

輸出層：為了更好地檢測車道線信息，本文在原先的方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上改變了網(wǎng)絡(luò)的輸出層，直接利用了Faster R-CNN［16］網(wǎng)絡(luò)的輸出層，包括了Region Proposal Networks（PRN）、ROI Pooling和全連接層（Full Connection Layer）。PRN用于生成目標(biāo)區(qū)域，該層利用Softmax判斷目標(biāo)候選框，在通過位置回歸算法修正目標(biāo)候選框的位置，獲得精確的目標(biāo)區(qū)域。ROIPooling層收集輸入的特征圖和目標(biāo)區(qū)域，綜合以上信息提取目標(biāo)提議區(qū)域的特征圖，最后送入后續(xù)的全連接層判定目標(biāo)。

4.3 更新方向可調(diào)卷積濾波器

與標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)不同，方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的前向計(jì)算中涉及的權(quán)重是指方向可調(diào)卷積濾波器的權(quán)重，但是被保存的權(quán)重僅僅是指卷積濾波器中的權(quán)重。因此，在方向傳播過程中，只需要更新卷積濾波器。文中將方向可調(diào)卷積濾波器中的子濾波器的梯度總結(jié)為相應(yīng)的卷積濾波器，計(jì)算如下：

式中L是損失函數(shù)。從以上公式發(fā)現(xiàn)，反向傳播過程很容易被實(shí)施，僅需要更新卷積濾波器的參數(shù)。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 數(shù)據(jù)集

本文使用兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別為KITTI道路數(shù)據(jù)集和SUES道路數(shù)據(jù)集。KITTI數(shù)據(jù)集包含了289個(gè)訓(xùn)練圖像和290個(gè)測試圖像，大多數(shù)圖像是在良好的天氣和光照環(huán)境下采集的，這是模糊相機(jī)圖像和激光雷達(dá)相結(jié)合的好處。出于這個(gè)原因，本文以圖5所示的自主研制的智能車采集復(fù)雜場景下的道路數(shù)據(jù)集，即SUES道路數(shù)據(jù)集。表1提供了數(shù)據(jù)集具體分配信息，城市良好的道路場景來自于KITTI道路數(shù)據(jù)集，城市復(fù)雜的道路場景來自于SUES道路數(shù)據(jù)集。由于RGB圖像在整流過程具有不同的尺寸，因此使用零填充以確保每個(gè)訓(xùn)練圖像具有384×1248像素的相同尺寸。

圖5 SUES道路數(shù)據(jù)采集車

表1 數(shù)據(jù)集分配信息

5.2 車道檢測算法比較

文中選取了方向可調(diào)濾波器算法［17］和標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)算法［18］與本文提出的方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)對(duì)車道線的檢測性能進(jìn)行對(duì)比。本部分實(shí)驗(yàn)均在KITTI數(shù)據(jù)集上開展，從召回率和精確率對(duì)檢測性能進(jìn)行定量評(píng)價(jià)，召回率（REC）和精確率（PRE）的定義如下：

式中TP表示的是車道線被正確識(shí)別的事件；FP表示的是場景內(nèi)容被誤判成車道線的事件；FN表示的是車道線沒有被識(shí)別的事件。為了凸顯傳感器融合下的道路表面提取步驟的優(yōu)勢(shì)，三種算法的召回率和準(zhǔn)確率在有無道路提取步驟的情況下分別進(jìn)行比較，如圖6所示。

圖6 基于KITTI道路數(shù)據(jù)集的算法比較結(jié)果

從圖6中可以看出，本文提出的算法對(duì)于城市良好道路場景下的車道線識(shí)別的精確率更高，且基于相機(jī)和雷達(dá)的道路表面提取使得整個(gè)算法的魯棒性增強(qiáng)。圖7展示了標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)和方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的檢測結(jié)果的輸出樣本，淺色邊界框代表標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)算法，深色邊界框代表方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)算法。其中，左側(cè)四張圖是在無道路表面提取步驟的情況下進(jìn)行車道檢測，右側(cè)四張圖是在有道路表面提取步驟的情況開展車道檢測實(shí)驗(yàn)。如圖所示，基于道路表面提取下的車道檢測算法即使在噪聲干擾的情況下，依舊很容易檢測到車道標(biāo)記，并且方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)對(duì)車道線的響應(yīng)更加準(zhǔn)確。

圖7 基于KITTI道路數(shù)據(jù)集的車道特征提取結(jié)果

5.3 復(fù)雜場景下車道檢測結(jié)果

為了證明本文提出的算法在復(fù)雜場景下具有較強(qiáng)的魯棒性，本節(jié)在SUES道路數(shù)據(jù)集上開展實(shí)驗(yàn)。三種比較算法實(shí)驗(yàn)結(jié)果如表2所示。值得注意的是，方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)性能表現(xiàn)最佳，在復(fù)雜場景下的準(zhǔn)確率達(dá)到了92.21%并且F1分?jǐn)?shù)最高。

表2 基于SUES道路數(shù)據(jù)集的算法比較結(jié)果（有道路表面提取步驟）

圖8選取了三種復(fù)雜的道路場景，即復(fù)雜的照明條件、較多的道路表面障礙物和車道標(biāo)記模糊的道路場景。在最終的車道擬合過程中，本文還將道路表面提取過程中的路肩檢測結(jié)果與車道檢測結(jié)果結(jié)合起來，使得無車道標(biāo)記的道路路肩也能同時(shí)被檢測出來。圖8示出了在不同情況下的車道檢測結(jié)果，結(jié)果表明本文所提出的算法在道路復(fù)雜場景下能準(zhǔn)確地識(shí)別出車道線和無車道線標(biāo)記的道路路肩。

圖8 不同情況下的車道線檢測結(jié)果

6 結(jié)語

針對(duì)目前單傳感器檢測車道時(shí)所存在的缺點(diǎn)，本文提出了一種基于傳感器融合和方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)的車道檢測算法。通過圖像和點(diǎn)云的融合，區(qū)分輸入圖像上的道路區(qū)域和非道路區(qū)域。并且利用了方向可調(diào)卷積神經(jīng)網(wǎng)絡(luò)有效提取車道特征，極大地提高了車道檢測的正確率。實(shí)驗(yàn)表明，本文實(shí)現(xiàn)的算法具備較強(qiáng)的魯棒性和較高的檢測準(zhǔn)確度。