一種融合分割和消失點(diǎn)提取的車道線檢測方法

許小偉，熊 豪，陳乾坤，蔡永祥，嚴(yán)運(yùn)兵，劉暢然

(1.武漢科技大學(xué) 汽車與交通工程學(xué)院，湖北 武漢 430081；2.中國汽車技術(shù)研究中心 汽車工程研究院，天津 300300)

0 引言

車道線檢測可以幫助估計(jì)車輛前方道路的幾何形狀，以及車輛在道路上的橫向位置，精準(zhǔn)實(shí)時(shí)地檢測車道線是駕駛員輔助系統(tǒng)(advanced driving assistance system，ADAS)的關(guān)鍵技術(shù)之一。

現(xiàn)有車道線檢測研究中，主要是基于特征(比如顏色[1-2]、邊緣[3])或基于模型[4]的方法對車道進(jìn)行檢測。文獻(xiàn)[5]提出了一種基于線性判別分析的梯度增強(qiáng)變換方法，對從RGB(red,green,blue)彩色圖像轉(zhuǎn)化到灰度圖像的轉(zhuǎn)化矢量進(jìn)行了動(dòng)態(tài)更新，并使用自適應(yīng)坎尼(Canny)和霍夫(Hough)變換等手段增強(qiáng)車道邊緣信息。文獻(xiàn)[2]將顏色和邊緣信息相結(jié)合，通過道路和標(biāo)記表面之間的顏色變化，使用概率密度函數(shù)和直線聚類方法提取車道線。文獻(xiàn)[6]將黃色、白色像素作為優(yōu)先像素處理，采用最小二乘法擬合車道線輪廓的點(diǎn)的方法提取車道線，并結(jié)合卡爾曼濾波跟蹤感興趣區(qū)域，提高了車道檢測的魯棒性。文獻(xiàn)[7]通過組合車道標(biāo)記的邊緣和顏色信息來完成車道標(biāo)記聚類，采用拉格朗日(Lagrange)插值多項(xiàng)式計(jì)算擬合曲線參數(shù)完成車道線提取。文獻(xiàn)[8]對感興趣區(qū)域圖像進(jìn)行逆透視變換，利用疊加閾值算法進(jìn)行邊緣檢測，采用三階B樣條曲線模型進(jìn)行車道線擬合。文獻(xiàn)[9]采用基于梯度和背景差異的多通道閾值融合方法，結(jié)合車道線的HSV(hue,saturation,value)特征進(jìn)行車道線檢測。文獻(xiàn)[10]對圖像進(jìn)行預(yù)處理之后，運(yùn)用最小二乘算法和自適應(yīng)角度濾波器提取車道線，并采用透視映射和雙卡爾曼(Kalman)濾波的自適應(yīng)感興趣區(qū)域選擇方法進(jìn)行車道跟蹤，該方法在存在陰影的環(huán)境下具有良好性能。然而，在實(shí)際應(yīng)用上，許多算法存在一些缺點(diǎn)，如對于陰影和光照變化等強(qiáng)干擾很敏感，算法計(jì)算量大，實(shí)時(shí)性不足，易受周圍環(huán)境干擾等缺點(diǎn)。

針對以上問題，同時(shí)為了滿足車道線檢測在ADAS應(yīng)用中的實(shí)時(shí)性需求，本文提出了一種基于融合分割和消失點(diǎn)提取的車道線檢測方法。結(jié)合邊緣特征和大津算法(OTSU)設(shè)置動(dòng)態(tài)感興趣區(qū)域(region of interest,ROI)，極大地剔除了樹木、建筑等背景信息，并結(jié)合改進(jìn)的消失點(diǎn)檢測方法快速提取車道線。

1 圖像預(yù)處理

1.1 圖像灰度化

本文采集的車載相機(jī)為彩色RGB圖像，這種格式的數(shù)據(jù)量較大，每個(gè)像素都包含有R、G、B 3個(gè)數(shù)據(jù)，直接對此種格式的圖像進(jìn)行計(jì)算，將會(huì)導(dǎo)致計(jì)算量加大，增加計(jì)算復(fù)雜度，而本文利用車道線梯度進(jìn)行車道線提取，與顏色特征信息無關(guān)。因此，需要對彩色RGB圖像進(jìn)行灰度化處理，以降低運(yùn)算復(fù)雜度。

為了能充分反映彩色RGB圖像中3個(gè)通道的信息，采用最常用的加權(quán)平均法對彩色RGB圖像進(jìn)行灰度化處理，公式[11]為：

Gray(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y),

(1)

其中：(x,y)為圖像像素點(diǎn)坐標(biāo)；R(x,y)、G(x,y)和B(x,y)分別為紅色、綠色和藍(lán)色通道中像素點(diǎn)的灰度值。

1.2 圖像高斯濾波

車載相機(jī)由于相機(jī)自身設(shè)備性能原因，采集到的圖像在進(jìn)行數(shù)字化轉(zhuǎn)化的過程中，將會(huì)產(chǎn)生或者混入較多高斯噪聲，同時(shí)車載相機(jī)會(huì)隨著車輛行駛發(fā)生一定抖動(dòng)，并且易受到陰影、路面污染和光照變化等的影響。這些內(nèi)外在的因素都會(huì)對車道的提取帶來不利的因素[12]。因此，需要對灰度化的圖像做降噪預(yù)處理，減少圖像的噪聲與干擾，以便后續(xù)算法能夠準(zhǔn)確提取車道線。

本文采用高斯濾波算法進(jìn)行降噪處理，高斯濾波通過一個(gè)高斯濾波卷積核對圖像像素依次進(jìn)行掃描，使用該卷積核內(nèi)的數(shù)值對被掃描的像素點(diǎn)進(jìn)行加權(quán)平均運(yùn)算，得到的平均灰度值為被掃描的像素塊中心點(diǎn)的值。高斯濾波的具體流程為先尋找合適的高斯模板，然后對圖像進(jìn)行卷積運(yùn)算。二維高斯函數(shù)的公式[13]為：

(2)

其中：h(x,y)為圖像像素點(diǎn)的灰度值；(x,y)為圖像像素點(diǎn)坐標(biāo)；σ為標(biāo)準(zhǔn)差。

本文采用大小為(5×5)高斯卷積模板對灰度化后的圖片進(jìn)行濾波，道路圖像經(jīng)過灰度化和高斯濾波降噪后的預(yù)處理效果如圖1所示。

圖1 道路圖像預(yù)處理效果圖

2 融合算法分割

基于Canny算法，對邊緣圖像每一行的邊緣點(diǎn)進(jìn)行計(jì)算，以邊緣點(diǎn)最多的一行作為ROI區(qū)域的上邊界,剔除大量的環(huán)境干擾信息，盡可能小地提取目標(biāo)區(qū)域。然后，采用OTSU邊緣檢測算法求解ROI區(qū)域內(nèi)圖像分割最佳閾值，對圖像像素進(jìn)行車道線背景分割。

2.1 ROI區(qū)域確定

ROI區(qū)域的選取在車道線檢測中相當(dāng)重要，它直接涉及到算法的魯棒性和實(shí)時(shí)性。對本文車載相機(jī)采集到的大量圖像序列進(jìn)行分析時(shí)發(fā)現(xiàn)，在遠(yuǎn)離汽車的地方有大量物體聚集在地平線附近，如電線桿、建筑等，這些物體與道路梯度之間變化較大，會(huì)產(chǎn)生大量的邊緣點(diǎn)。根據(jù)這一特征，本文提出了利用邊緣像素的統(tǒng)計(jì)特性來確定圖像的ROI區(qū)域。采用Canny方法[14]對預(yù)處理圖像進(jìn)行邊緣檢測，計(jì)算行搜索區(qū)域內(nèi)每行邊緣像素個(gè)數(shù)，并以邊緣點(diǎn)最多的一行作為上界來劃分預(yù)處理圖像的動(dòng)態(tài)ROI區(qū)域。

Canny檢測算法的基本思想是尋找圖像中灰度變化最強(qiáng)的位置，即尋找梯度方向，對平滑后的圖像使用Sobel算子分別計(jì)算水平以及豎直方向的圖像梯度，即一階導(dǎo)數(shù)，然后根據(jù)兩個(gè)梯度找到邊界的梯度和方向，并通過兩個(gè)上下限值來控制像素梯度的選取。

采用Canny邊緣檢測提取ROI區(qū)域的效果圖如圖2所示,圖2a中采用Canny算法對預(yù)處理圖像進(jìn)行邊緣點(diǎn)檢測，在遠(yuǎn)離汽車的地方聚集著大量的邊緣點(diǎn)，圖2b中將邊緣點(diǎn)統(tǒng)計(jì)最多的一行作為上界進(jìn)行動(dòng)態(tài)ROI區(qū)域分割，極大地剔除了圖像背景信息。

(a) 邊緣檢測

2.2 OTSU邊緣檢測

在進(jìn)行了圖像預(yù)處理、ROI區(qū)域確定之后，得到的圖像已經(jīng)含有較強(qiáng)的道路信息，但其中仍然還有較多干擾，如道路背景環(huán)境等，提取車道信息時(shí)，需要對圖像進(jìn)行分割處理，以分離圖像前景與背景。由于道路車道線相比于道路灰度值較高，有明顯的灰度變化，因此本文基于OTSU邊緣檢測算法求解出ROI區(qū)域內(nèi)的分割閾值，將預(yù)處理圖像像素分割成二值化圖像，以便后續(xù)車道線進(jìn)行直線提取。

最大類間方差法OTSU是一種自適應(yīng)全局閾值的分割算法。該算法是基于判別式分析最小二乘法原理推導(dǎo)出來的，運(yùn)用圖像灰度來分割圖像的前景與背景，并使類間方差最大化[15]，運(yùn)算速度較快，非常適用于實(shí)時(shí)性要求較高的場合。通常OTSU算法指一維OTSU閾值分割算法[16]，設(shè)圖像有L個(gè)灰度級(jí)[0,1,…,L-1]，其中圖像像素總數(shù)為N，假設(shè)存在閾值TH將圖像所有像素分為前景C0[0,1,…,T]和背景C1[T+1,T+2,…,L-1]兩個(gè)部分，C0部分出現(xiàn)的概率W0和C1部分出現(xiàn)的概率W1計(jì)算公式分別為：

(3)

則C0部分出現(xiàn)的平均灰度μ0和C1部分出現(xiàn)的平均灰度μ1分別為：

(4)

其中：圖像總的平均灰度μT為：

(5)

則圖像的類間方差σ2為：

σ2=W0(μ0-μ)2+W1(μ1-μ)=

W0W1(μ0-μ1)2=

(6)

圖像方差是圖像灰度分布均勻性的一種度量，當(dāng)圖像前后景差別大時(shí)，方差也就越大，當(dāng)圖像前后景差別小時(shí)，方差也就越小。因此，當(dāng)C0和C1兩類類間方差最大時(shí)，能使前后景分割最為準(zhǔn)確，使方差最大時(shí)的TH值，為所求分割閾值。

Canny邊緣檢測提取感興趣區(qū)域之后，采用OTSU算法分割的效果圖如圖3所示。由圖3可以發(fā)現(xiàn)：閾值分割后的圖像能夠有效區(qū)分背景信息和前景信息，分割出的車道線更加清晰。

圖3 OTSU算法分割效果圖

3 車道線檢測方法

3.1 直線段檢測算法

直線段檢測(line segment dector,LSD)算法[17]是一種以梯度特征為基礎(chǔ)的直線檢測分割算法，核心是像素合并的同時(shí)進(jìn)行誤差控制，它能夠在線性時(shí)間內(nèi)提供亞像素級(jí)精度的結(jié)果[18]。LSD相對于傳統(tǒng)的直線檢測算法，具有結(jié)果準(zhǔn)確、不需要調(diào)節(jié)參數(shù)的優(yōu)點(diǎn)。

LSD算法的原理是通過計(jì)算圖像中每個(gè)像素點(diǎn)附近的level-line角度，并由此生成level-line區(qū)域，其中的所有向量都和通過基準(zhǔn)點(diǎn)的level-line相切。每個(gè)line-support區(qū)域都是直線分割的候選區(qū)域。采用矩形對該區(qū)域進(jìn)行擬合，該矩形的主方向?yàn)榫€段支持域的慣性主軸方向。將該矩形區(qū)域內(nèi)像素點(diǎn)的level-line角度與矩形主方向角度的夾角在容忍角度τ內(nèi)的像素點(diǎn)稱之為內(nèi)點(diǎn)，對每個(gè)矩形區(qū)域的寬、高以及該區(qū)域內(nèi)總的像素點(diǎn)個(gè)數(shù)、內(nèi)點(diǎn)個(gè)數(shù)進(jìn)行整合，計(jì)算基于這些數(shù)值下該矩形區(qū)域的錯(cuò)誤警報(bào)數(shù)量(the number of false alarms,NFA)值，當(dāng)NFA小于1的時(shí)候，則認(rèn)為該矩形是一條線段[19]。LSD算法檢測后的直線段結(jié)果圖如圖4所示，能夠準(zhǔn)確分割車道線。

3.2 消失點(diǎn)檢測

由于三維立體空間圖像投影轉(zhuǎn)為二維平面圖像時(shí)會(huì)產(chǎn)生透視效果，真實(shí)空間中的平行線會(huì)在圖像中相交于一個(gè)點(diǎn)，此點(diǎn)稱為消失點(diǎn)。對于道路圖像，只有兩條車道線為較長且明顯的平行線，其余干擾線段一般較短或者不與車道線平行，并且車道線在圖像上會(huì)相交于一個(gè)消失點(diǎn)，可利用消失點(diǎn)來提取車道，一些干擾直線并不會(huì)平行于車道線，可進(jìn)行干擾濾除。

LSD算法檢測的直線由對齊的像素點(diǎn)組成，但在提取過程中，直線旁出現(xiàn)的曲線、雜波引起的像素對齊誤差將會(huì)影響消失點(diǎn)檢測結(jié)果，所以先對LSD算法檢測后的直線進(jìn)行濾除。參照文獻(xiàn)[20]的做法引入線段強(qiáng)度概念，線段強(qiáng)度表示形成線段的像素方向?qū)R的好壞程度，用τ表示，τ的含義為賦予更長、對齊更清晰的線段更高的值，τ值越高，則與車道線的相關(guān)度越高，τ的公式表達(dá)為：

(7)

其中：l為線段長度；w為線段寬度；n為1，2，3，…，n個(gè)線段。

當(dāng)線段強(qiáng)度τ大于線段強(qiáng)度閾值τthreshold，則認(rèn)為此線段與車道線的相關(guān)程度較高，進(jìn)行保留；當(dāng)線段強(qiáng)度τ小于線段強(qiáng)度閾值τthreshold，則認(rèn)為此線段與車道線的相關(guān)程度較低，進(jìn)行濾除。經(jīng)多次實(shí)驗(yàn)，本文選取τthreshold=6。

得到車道線相關(guān)線段以及線段強(qiáng)度后，再進(jìn)行線段交點(diǎn)計(jì)算。遍歷任意兩條直線并計(jì)算交點(diǎn)坐標(biāo)，同時(shí)將兩條直線的線段強(qiáng)度τ進(jìn)行相加并賦值于交點(diǎn)，當(dāng)多個(gè)交點(diǎn)為同一個(gè)坐標(biāo)像素時(shí)，將交點(diǎn)處的線段強(qiáng)度τ進(jìn)行疊加，此時(shí)每一個(gè)計(jì)算得到的交點(diǎn)除坐標(biāo)信息外還包含一個(gè)線段強(qiáng)度信息，計(jì)算公式為：

τ(i,j)=τp+τq,

(8)

其中：p、q為任意檢測后得到的直線線段，p∈n、q∈n；τp、τq分別為直線p、q的線段強(qiáng)度；(i,j)為兩直線交點(diǎn)坐標(biāo)；τ(i,j)為此交點(diǎn)坐標(biāo)的線段強(qiáng)度值。

遍歷計(jì)算任意兩條直線計(jì)算交點(diǎn)及交點(diǎn)線段強(qiáng)度后，選取擁有最大線段強(qiáng)度的交點(diǎn)為最大強(qiáng)度交點(diǎn)，此點(diǎn)同時(shí)也為消失點(diǎn)，計(jì)算交點(diǎn)的結(jié)果如圖5所示。

圖4 LSD直線段檢測結(jié)果

如圖5所示，紅色線表示車道線邊緣，白色點(diǎn)表示消失點(diǎn)，在圖像中間，即車道線相交處相交點(diǎn)尤為密集，此處同一像素點(diǎn)相交的可能性最大，線段強(qiáng)度有最高值，消失點(diǎn)最有可能在此處。

3.3 車道線檢測

得到消失點(diǎn)后，對采用Hough變換得到的直線進(jìn)行再次篩選。利用不與車道線平行的直線不會(huì)與消失點(diǎn)相交的特點(diǎn)，以消失點(diǎn)坐標(biāo)為圓心，以5個(gè)像素為半徑畫圓，直線與圓心相交認(rèn)為與車道線平行，則保留；不相交則認(rèn)為不與車道線平行，應(yīng)舍棄。同時(shí)，由于車道直線一般為有角度的斜線，不可能為傾斜角度較大或較小的斜線，所以應(yīng)對直線做一定的斜率限制，斜率大于最大斜度閾值θmax或小于最小斜度閾值θmin的直線，應(yīng)進(jìn)行刪除，θmax和θmin取值為：

(9)

其中：θL_max和θL_min分別為左車道線最大斜度閾值和最小斜度閾值；θR_max和θR_min分別為右車道線最大斜度閾值和最小斜度閾值。

直接進(jìn)行Hough檢測，得到的直線含有較多干擾，包括中間的道路標(biāo)示干擾，檢測到的道路其他短線段干擾，通過計(jì)算消失點(diǎn)后，利用消失點(diǎn)以及斜率限制篩選剔除了無用的干擾線段，得到車道線直線線段。

此時(shí)篩選獲得的左右車道線直線有多條，將多條直線按斜率分為左車道kil、右車道kir集合后，對兩個(gè)集合進(jìn)一步處理，將車道線斜率進(jìn)行平均，以獲得更為準(zhǔn)確的車道線斜率；

(10)

圖6 最終獲得車道直線結(jié)果圖

其中：kl，kr分別為最終左、右車道線斜率；l為篩選的車道線數(shù)目；kil、kir分別為篩選的左、右車道線斜率。

最終獲得的車道直線如圖6所示。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本算法的有效性，在Python和Opencv搭建的平臺(tái)上進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)采用離線處理的方式，通過車載采集武漢市多段真實(shí)車道線照片，包括實(shí)線、虛線、干擾等，視頻幀率為33.33 ms/幀。本文所采用的實(shí)驗(yàn)平臺(tái)配置為CPU：i7-8750H，RAM為8 GB。在64位的Windows操作系統(tǒng)中，本文算法對結(jié)構(gòu)化道路車道線的平均識(shí)別速度是34 ms/幀，滿足車道線檢測實(shí)時(shí)性要求。

根據(jù)所搭建的離線實(shí)驗(yàn)平臺(tái)，對上述算法進(jìn)行驗(yàn)證，最終不同情況下檢測出來的車道線信息如圖7中白色線所示。

(a) 直線及虛線邊界道路

圖7a為同時(shí)含有虛線邊界車道線和直線邊界車道線的道路，圖7b為有較多路面連接處干擾的道路，圖7c為含有較多減速帶的彎道下坡道路，圖7d為含有文字提示等標(biāo)識(shí)干擾道路，圖7e為駕駛員在相機(jī)鏡頭前的阻擋干擾。由圖7可知：本算法在結(jié)構(gòu)化簡單道路上能適應(yīng)變化的道路環(huán)境，能準(zhǔn)確檢測出車道信息。

針對直線路段和干擾路段下的視頻片段進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表1所示。

表1 統(tǒng)計(jì)識(shí)別結(jié)果

從表1可以看出:在直線道路及干擾道路環(huán)境中，本文提出的算法具有較低的誤檢率、漏檢率和較高的正檢率。在直線道路上正檢率較高；在干擾道路上，會(huì)出現(xiàn)較多誤檢及漏檢，但正檢率依然較高；算法總體的正檢率為97.16%。

5 結(jié)論

(1)利用Canny邊緣檢測算法對圖像進(jìn)行邊緣提取，以邊緣點(diǎn)最多的一行作為上界劃分預(yù)處理圖像的動(dòng)態(tài)ROI區(qū)域，并對ROI區(qū)域采用大津算法進(jìn)行車道線分割，大大剔除了背景干擾信息，提高了車道線檢測的魯棒性。

(2)采用LSD 算法對ROI區(qū)域內(nèi)車道線標(biāo)志進(jìn)行提取，并結(jié)合改進(jìn)的消失點(diǎn)檢測方法提取車道線，提高了車道線檢測的速度。

(3)本文算法在直線道路和多種干擾的道路環(huán)境下，正檢率達(dá)到了95%以上，識(shí)別速度為34 ms/幀，證明了所提算法能夠準(zhǔn)確提取出車道信息，檢測速度滿足車輛對車道線檢測實(shí)時(shí)性的需求。