卷積神經(jīng)網(wǎng)絡(luò)雙目視覺路面障礙物檢測

胡 穎，馬國軍，何 康，王亞軍

(江蘇科技大學(xué) 電子信息學(xué)院， 江蘇 鎮(zhèn)江 212003)

0 引 言

傳統(tǒng)立體匹配算法[1]有SAD/SSD[2]、Adapt weight[3]等基于像素灰度值相似度的算法以及歸一化互相關(guān)(normalized cross correlation，NCC)[4]、Gradient[2]和Census[5]變換等基于像素灰度提取特征相似度的算法，這些算法對(duì)紋理不明顯的路面場景匹配精度差。卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)[6]是一種數(shù)據(jù)驅(qū)動(dòng)型算法，能從大量的樣本數(shù)據(jù)中自動(dòng)提取圖像中多種隱性特征，因此得到廣泛應(yīng)用。在立體匹配方面，文獻(xiàn)[7]設(shè)計(jì)一種孿生結(jié)構(gòu)MC-CNN，應(yīng)用于圖像塊的相似度度量，全連接層的采用極大地增加了網(wǎng)絡(luò)參數(shù)，有效提取圖像對(duì)的深度信息，但由于卷積層數(shù)較少，無法提取深層特征；文獻(xiàn)[8]改進(jìn)MC-CNN孿生結(jié)構(gòu)，增加卷積層數(shù)并使用支持向量機(jī)(support vector machine，SVM)作為網(wǎng)絡(luò)輸出層，應(yīng)用于雙目視差評(píng)估，取得較好的精度。

在障礙物檢測方法中，文獻(xiàn)[9]采用數(shù)字高程圖(di-gital elevation model，DEM)的方法實(shí)現(xiàn)障礙物檢測，具有較好的魯棒性，但需要對(duì)環(huán)境進(jìn)行三維重建，計(jì)算復(fù)雜，不適合車載計(jì)算機(jī)實(shí)時(shí)演算；文獻(xiàn)[10]采用光流法檢測路面運(yùn)動(dòng)障礙物，但無法檢測靜止的障礙物；文獻(xiàn)[11]采用V視差法實(shí)現(xiàn)障礙物檢測，該方法計(jì)算簡單，但在道路信息較少的場景中，道路直線提取會(huì)受到干擾，降低了障礙物檢測效果。

本文提出一種利用卷積神經(jīng)網(wǎng)絡(luò)的路面障礙物檢測方法，以解決傳統(tǒng)方法在匹配精度差，檢測算法穩(wěn)定性與魯棒性差等問題。首先，設(shè)計(jì)一種孿生卷積神經(jīng)網(wǎng)絡(luò)用于生成立體圖像對(duì)的視差圖；其次，提出道路直線自適應(yīng)閾值提取算法，以精確提取V視差圖中道路直線；最后，逐個(gè)判斷各個(gè)像素點(diǎn)是否為障礙物點(diǎn)。

1 視差計(jì)算

在局部匹配方法中，NCC、Gradient和Census變換等只提取圖像中的人工特征，進(jìn)行匹配代價(jià)的計(jì)算，CNN能夠自動(dòng)提取圖像中多個(gè)隱性特征并計(jì)算匹配代價(jià)，從而獲得更高精度的視差圖。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文設(shè)計(jì)如圖1所示的孿生網(wǎng)絡(luò)結(jié)構(gòu)，其左右分支參數(shù)共享。該孿生網(wǎng)絡(luò)結(jié)構(gòu)由特征提取子網(wǎng)絡(luò)(L1-L8)和特征分類子網(wǎng)絡(luò)(L9-L10)兩部分組成。特征提取子網(wǎng)絡(luò)左右分支能夠分別從輸入的圖像方塊和圖像長條中提取對(duì)應(yīng)的特征描述；特征分類子網(wǎng)絡(luò)將提取的左右分支特征描述作點(diǎn)積運(yùn)算，得到視差搜索范圍內(nèi)待匹配像素點(diǎn)的相似性得分，然后作為softmax層的輸入得到視差概率分布。

圖1 孿生卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

特征提取子網(wǎng)絡(luò)左右分支分均包含一個(gè)輸入層(L0)，6個(gè)卷積層(L1,L3,L5,L6,L7,L8)和2個(gè)池化層(L2,L4)。卷積層采用大小為5×5，數(shù)量為32或64個(gè)卷積核提取各層信息；同時(shí)，使用Batch Normalization技術(shù)以弱化網(wǎng)絡(luò)對(duì)初始化的依賴，使得卷積神經(jīng)網(wǎng)絡(luò)更容易訓(xùn)練；最后在卷積層上使用PRELU激活函數(shù)，輸出卷積層結(jié)果。在L8卷積層中不使用激活函數(shù)是為了保留輸出的特征描述負(fù)值信息。在池化層中，采用最大池化方式，其中L2層采用9×9池化核，L4采用5×5池化核。最終，特征提取子網(wǎng)絡(luò)左分支輸出1×64維特征描述，右分支輸出201×64維特征描述。特征分類子網(wǎng)絡(luò)包含1個(gè)點(diǎn)積層(L9)，1個(gè)softmax層(L10)。L9層將L8層提取的兩個(gè)特征描述對(duì)應(yīng)各個(gè)視差作點(diǎn)積運(yùn)算，得到視差搜索范圍內(nèi)待匹配像素點(diǎn)的相似性得分，輸入softmax層得到視差范圍內(nèi)視差概率分布。表1給出了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的具體參數(shù)。

表1 孿生卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

局部匹配時(shí)，通常選擇像素點(diǎn)的局部支持窗口作為匹配單元，根據(jù)文獻(xiàn)[12]的對(duì)比實(shí)驗(yàn)，選取37×37像素大小的窗口可以得到最優(yōu)的匹配效果。針對(duì)KITTI數(shù)據(jù)集[13]的真實(shí)最大視差，設(shè)定視差搜索范圍為201像素，故輸入網(wǎng)絡(luò)右分支的圖像長條的大小為37×(201+37-1)，即37×237像素。

1.2 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

1.2.1 訓(xùn)練集構(gòu)建

(1)樣本裁剪

基于CNN的視差計(jì)算方法屬于局部匹配方法，要求輸入給CNN的數(shù)據(jù)為圖像局部方塊。本文使用KITTI雙目數(shù)據(jù)集中的圖像的分辨率為375×1242，不能直接輸入本文的CNN結(jié)構(gòu)，需要將其進(jìn)行相應(yīng)的裁剪，步驟如下：

1)根據(jù)KITTI數(shù)據(jù)集中的真實(shí)視差數(shù)據(jù)，在左圖像中選取具有真實(shí)視差的像素點(diǎn)p，并記錄該點(diǎn)圖像坐標(biāo)(xi,yi)；然后提取以該像素點(diǎn)為中心的37×37的圖像方塊，如圖2(a)所示；

2)在右圖像中選取像素點(diǎn)q，其坐標(biāo)為(xi,yi)，并以q為中心選擇37×37的圖像方塊。根據(jù)視差搜索范圍，在右圖像中選擇以q為中心，圖像方塊右邊界左側(cè)大小為37×237的圖像長條，如圖2(b)所示。從而該圖像長條包含了視差搜索范圍內(nèi)所有待匹配圖像方塊。

圖2 樣本裁剪

以此步驟，提取KITTI數(shù)據(jù)集中所有的圖像構(gòu)建訓(xùn)練集。選用KITTI數(shù)據(jù)集中200對(duì)圖像中160對(duì)圖像用于網(wǎng)絡(luò)訓(xùn)練，由此方法提取的圖像塊共有14 248 394對(duì)。

(2)標(biāo)準(zhǔn)化處理

樣本裁剪后得到的訓(xùn)練集中，原始數(shù)據(jù)范圍為[0,255]，不能直接作為網(wǎng)絡(luò)的輸入，需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。利用式(1)將原始數(shù)據(jù)變換到[-1,1]范圍內(nèi)，并以此作為網(wǎng)絡(luò)的輸入

(1)

其中

(2)

(3)

1.2.2 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)的輸出為softmax分類層，在訓(xùn)練過程中需要對(duì)網(wǎng)絡(luò)權(quán)重w最小化互熵?fù)p失函數(shù)。針對(duì)本文的應(yīng)用場景，對(duì)原始互熵?fù)p失函數(shù)進(jìn)行了相應(yīng)的修改，如式(4)

j(ω)=∑i,dipgt(di)lgpi(di,w)

(4)

其中

(5)

本文采用自適應(yīng)矩估計(jì)的隨機(jī)梯度下降算法(Adam)[14]來優(yōu)化式(4)的損失函數(shù)，并調(diào)整網(wǎng)絡(luò)參數(shù)，根據(jù)損失函數(shù)對(duì)每個(gè)參數(shù)的梯度的一階矩估計(jì)和二階矩估計(jì)，動(dòng)態(tài)調(diào)整每個(gè)權(quán)值的學(xué)習(xí)速率，使得網(wǎng)絡(luò)權(quán)值平穩(wěn)、迅速達(dá)到最優(yōu)解。

1.3 視差計(jì)算

訓(xùn)練良好的卷積神經(jīng)網(wǎng)絡(luò)能夠有效提取左右圖像中各像素點(diǎn)的64維特征描述，分別記作SL(p)和SR(q)，其中p和q表示為左右圖像中的點(diǎn)；將SL(p)與SR(q)作點(diǎn)積運(yùn)算得到圖像對(duì)相似性得分，然后將該相似性得分取相反數(shù)作為圖像對(duì)之間的匹配代價(jià)CCNN(p,d)

CCNN(p,d)=-s()

(6)

式中：s()為卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)積輸出，即圖像對(duì)相似性得分。

最后，采用勝者為王(winner-take-all)策略[15]，在視差搜索范圍內(nèi),選擇匹配代價(jià)最小的點(diǎn)作為匹配點(diǎn)進(jìn)行視差選擇，進(jìn)而生成視差圖D

(7)

2 障礙物檢測

V視差法通過累計(jì)視差圖的同一行中視差值相同點(diǎn)的個(gè)數(shù)，將原圖像中的平面投影成一條直線。在障礙物檢測問題中，路平面被投影成V視差圖中的一條斜線，即路面檢測由平面檢測轉(zhuǎn)化成直線檢測。通過引入直線檢測算法，提取V視差圖中的路面直線，即可準(zhǔn)確獲取路面在圖像中的區(qū)域，進(jìn)而判斷非路面區(qū)域?yàn)檎系K物區(qū)域。

2.1 道路直線提取

針對(duì)傳統(tǒng)的V視差法在道路信息較少，且存在較多較大障礙物干擾時(shí)，不能準(zhǔn)確提取道路直線的問題，本文提出了道路直線自適應(yīng)閾值提取算法。

(1)在視差圖的列方向上，路面像素值均勻變化，而障礙物區(qū)域，像素值基本不變，本文采用Prewitt算子計(jì)算視差圖列方向的梯度，并保留梯度為負(fù)值位置的視差，以濾除障礙物像素點(diǎn)，如式(8)

D(G≥0)=0

(8)

其中

(9)

G=D?h

(10)

其中，h為Prewitt算子，D為原視差圖，G為視差圖列方向梯度，符號(hào)?表示卷積。

圖3(a)為原始視差圖，濾波后如圖3(b)所示，可以看出圖像中大部分的障礙區(qū)域被濾除并保留了大部分的路面信息。

圖3 道路直線提取自適應(yīng)閾值算法過程

(2)對(duì)濾波后的視差圖計(jì)算其V視差圖I1，如圖3(c)所示。由于路面為平面，在視差圖中每一行的視差值相等，而在V視差圖中表現(xiàn)為每一行的最大值，搜索I1中的每一行最大值并保留，其余像素點(diǎn)灰度值置0，從而獲得V視差圖I2，如圖3(d)所示。

(3)為去除攝像機(jī)遠(yuǎn)端非路面像素點(diǎn)的干擾，設(shè)定閾值T，將I2中大于T的像素灰度值置1，其余置0，生成僅包含道路信息的V視差二值圖I3，如圖3(e)所示，閾值T的計(jì)算公式為

(11)

式中：xi為I2中各像素值；N為I2中像素總個(gè)數(shù)；1{xi≠0}表示xi不等于0時(shí)取1，否則取0。

(4)運(yùn)用hough變換提取I3中路面直線，如圖3(f)中紅線所示。

2.2 障礙物區(qū)域判定

在V視差圖中，道路直線是路面投影，道路直線上方的點(diǎn)是障礙物投影。將視差圖中每個(gè)像素點(diǎn)投影到V視差圖中，通過判斷其是否在道路直線上，從而檢測視差圖中像素點(diǎn)是否為障礙點(diǎn)，步驟如下：

(1)計(jì)算道路直線在V視差圖中圖像坐標(biāo)的斜率k和截距b；

(2)按照光柵掃描法，從下往上從左往右逐點(diǎn)掃描視差圖D(x,y,d)，對(duì)每個(gè)像素點(diǎn)計(jì)算f=kd+b；

(3)若(f-y)>T1，則視差圖中像素點(diǎn)投影在V視差圖中高于道路直線，即高于路面，則該像素點(diǎn)為障礙點(diǎn)，其中，T1為去除路面不平現(xiàn)象而設(shè)定的閾值；

(4)重復(fù)步驟(2)、步驟(3)，直至完全掃描視差圖，得到圖像中障礙物區(qū)域。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法，使用Torch深度學(xué)習(xí)框架和MATLAB2015a軟件進(jìn)行仿真實(shí)驗(yàn)。硬件平臺(tái)為Intel core i5-6500 CPU、12 GB內(nèi)存和NVIDIA GTX 1070，使用KITTI雙目數(shù)據(jù)集中的200對(duì)圖像，包含鄉(xiāng)村、城市、高速公路等多種道路場景。實(shí)驗(yàn)時(shí)，選取其中160對(duì)圖像作訓(xùn)練集，40對(duì)圖像作測試集。

3.1 視差圖生成實(shí)驗(yàn)

為了驗(yàn)證本文孿生卷積神經(jīng)網(wǎng)絡(luò)計(jì)算視差圖的有效性，在測試集選取21組不同場景的圖像，其中鄉(xiāng)村、城市、高速公路場景各7張，進(jìn)行測試。圖4列舉部分場景的測試結(jié)果，圖4(a)、(c)、(e)為原始圖像；圖4(b)、(d)、(f)為計(jì)算的視差圖。

圖4 部分場景視差計(jì)算結(jié)果

采用誤匹配像素百分比(percentage of bad matching，PBM)的評(píng)價(jià)，估算出的視差圖與標(biāo)準(zhǔn)視差圖的誤匹配率，并與NCC、Gradient、Census視差計(jì)算方法進(jìn)行對(duì)比。表2為21組場景的平均誤匹配像素百分比，本文方法的平均PBM為4.29%，遠(yuǎn)低于NCC的16.78%、Gradient的37.31%、Census的12.16%；圖5為21組場景誤匹配像素百分比分布，本文方法PBM的標(biāo)準(zhǔn)差為0.0207低于NCC的0.0832、Gradient的0.1005以及Census的0.0569。表明本文視差計(jì)算方法的穩(wěn)定性與魯棒性更好。

表2 不同方法平均誤匹配百分比

圖5 不同方法誤匹配百分比

3.2 障礙物檢測實(shí)驗(yàn)

圖6列舉了鄉(xiāng)村、城市、高速公路場景使用本文V視差法的障礙物檢測結(jié)果，其中，閾值T1=5。圖6(a)、(c)、(e)為原圖像，圖6(b)、(d)、(f)為障礙物檢測圖，圖中亮色區(qū)域?yàn)檎系K物區(qū)域。

為進(jìn)一步的評(píng)價(jià)本文V視差法，與傳統(tǒng)V視差法在召回率和精確率兩個(gè)指標(biāo)上進(jìn)行比較。召回率表示障礙像素點(diǎn)被預(yù)測正確的比率；精確率表示預(yù)測為障礙像素點(diǎn)是真障礙點(diǎn)的比率，計(jì)算公式如下

(12)

(13)

其中，TP表示正確的正檢測結(jié)果，F(xiàn)P表示錯(cuò)誤的正檢測結(jié)果，F(xiàn)N表示錯(cuò)誤的負(fù)檢測結(jié)果。本文V視差法與傳統(tǒng)V視差法在召回率和精確率的對(duì)比如圖7所示。

圖7 召回率與精確率對(duì)比

本文的V視差法在所有的場景中均能夠有效地識(shí)別出障礙區(qū)域，且召回率和精確率要優(yōu)于傳統(tǒng)V視差法，其標(biāo)準(zhǔn)差分別為0.0901和0.024，小于傳統(tǒng)V視差法的召回率與精確率標(biāo)準(zhǔn)差0.2667和0.0884，表明本文V視差法檢測障礙物的可靠性。

3.3 閾值T1對(duì)障礙物檢測結(jié)果影響

在障礙物檢測過程中，閾值T1是為了去除真實(shí)路面不平的現(xiàn)象，閾值T1的選取對(duì)檢測效果有較大影響。本文對(duì)T1在[0,30]范圍內(nèi)進(jìn)行取值實(shí)驗(yàn)，計(jì)算其召回率和精確率，由表3可知，召回率隨著閾值T1的增大逐漸的減小，精確率在閾值T1=5時(shí)為99.05%，并隨著閾值的增大緩慢增大。綜合考慮，當(dāng)閾值T1=5時(shí)障礙物檢測效果最好。

表3 不同閾值T1召回率與精確率

4 結(jié)束語

本文設(shè)計(jì)一種孿生結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)生成視差圖，在傳統(tǒng)V視差法基礎(chǔ)上提出道路直線自適應(yīng)閾值提取算法，利用KITTI數(shù)據(jù)集對(duì)該方法進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明，該方法具有如下優(yōu)勢：

(1)孿生卷積神經(jīng)網(wǎng)絡(luò)在處理立體圖像對(duì)時(shí)，可提取單個(gè)像素點(diǎn)的64維特征，用于匹配代價(jià)計(jì)算，避免了人工特征的局限性。相比于傳統(tǒng)的視差生成方法，具有更高的精度。

(2)本文V視差法通過道路直線自適應(yīng)閾值提取算法有效提取道路直線，從而完成路面障礙物檢測，相較于傳統(tǒng)V視差法具有較高的召回率、精確率和可靠性。