基于改進(jìn)Hough變換與雙點(diǎn)去除R-最小二乘法的車道線檢測(cè)優(yōu)化算法

姜立標(biāo), 李靜軒

(華南理工大學(xué)機(jī)械與汽車工程學(xué)院, 廣州 510641)

隨著汽車行業(yè)的發(fā)展，車輛的自動(dòng)駕駛技術(shù)在汽車的安全行駛上發(fā)揮著越來(lái)越重要的作用，而車道線檢測(cè)是自動(dòng)駕駛的重要組成部分。

傳統(tǒng)的車道線檢測(cè)方法主要有基于特征和基于模型方法。Borkar等[1]首先對(duì)原圖進(jìn)行逆透視變換，后使用自適應(yīng)閾值得到二值化后的圖像，通過(guò)霍夫變換檢測(cè)出車道線然后分段提取特征，得到長(zhǎng)直線的特征，利于后期檢測(cè)。賈會(huì)群等[2]提出一種基于反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)與最小二乘法曲線模型的車道線檢測(cè)算法，假設(shè)道路為上凸函數(shù)，但當(dāng)實(shí)際道路不符合上凸函數(shù)特征時(shí)，檢測(cè)算法失效。程文冬等[3]提出一種基于可調(diào)向?yàn)V波器的車道線識(shí)別方法；并提出基于時(shí)空窗口灰度特性統(tǒng)計(jì)的虛實(shí)車道線分類方法。李亞娣等[4]針對(duì)夜間只有車燈照射路面圖像整體較暗、光照不均勻、車道線不易檢測(cè)的問(wèn)題,提出一種夜間車道線識(shí)別方法。

由于實(shí)際道路環(huán)境復(fù)雜多變，現(xiàn)有基于機(jī)器視覺(jué)的車道線檢測(cè)算法易受到光照變化、行人遮擋以及道路破損的影響，導(dǎo)致算法的魯棒性不強(qiáng)，準(zhǔn)確率低。

提出基于車道線特征形態(tài)的優(yōu)化檢測(cè)算法。首先分析圖像預(yù)處理技術(shù)，包括劃分圖像感興趣區(qū)域，灰度化，中值濾波去除圖像噪點(diǎn)，大津法(OTSU)二值化圖像得到自適應(yīng)分割閾值，再運(yùn)用Sobel算子提取圖像的邊緣。然后，針對(duì)傳統(tǒng)Hough變換和最小二乘法的不足分別提出改進(jìn)算法，并結(jié)合改進(jìn)后的算法擬合車道線，利用Kalman濾波器對(duì)車道線進(jìn)行追蹤，解決車道線抖動(dòng)和暫時(shí)性缺失時(shí)的檢測(cè)問(wèn)題。最后結(jié)合改進(jìn)后的算法，設(shè)計(jì)車道線檢測(cè)的算法流程。

1 預(yù)處理

為了排除圖像中影響車道線檢測(cè)的雜質(zhì)，以篩選重要信息，突出車道線的輪廓信息，保證檢測(cè)的精度，需要先對(duì)道路圖像進(jìn)行預(yù)處理。

1.1 感興趣區(qū)域提取

針對(duì)車道線檢測(cè)任務(wù)，車輛前方包含車道線的矩形區(qū)域是檢測(cè)的重點(diǎn)，劃分感興趣區(qū)域時(shí)需要去除圖片中的行道樹(shù)、天空、建筑等干擾檢測(cè)的區(qū)域。在實(shí)際的行駛路況下，攝像頭通常固定在汽車后視鏡后位置不再變動(dòng)，焦距和位置參數(shù)等也確定下來(lái)，因此，考慮算法魯棒性和實(shí)時(shí)性，采用靜態(tài)劃分感興趣區(qū)域的方法。

圖1(a)為靜態(tài)劃分示意圖，圖1(b)為根據(jù)實(shí)際攝像頭安裝位置反復(fù)調(diào)整確定的感興趣區(qū)域。在圖1(a)中，區(qū)域A是天空區(qū)域，予以去除，留下區(qū)域B，即為感興趣區(qū)域。

圖1 靜態(tài)劃分感興趣區(qū)域Fig.1 Static partition of the region of interest

1.2 道路圖像灰度化

在車輛實(shí)際行駛過(guò)程中，攝像頭采集的圖像是三通道彩色圖像。選擇加權(quán)平均法進(jìn)行道路圖像灰度化，減小圖像的數(shù)據(jù)量，提高后續(xù)算法的處理效率，效果如圖2所示。

圖2 道路圖像灰度化Fig.2 Road image graying

1.3 圖像濾波

在對(duì)彩色圖像灰度化處理之后還需要進(jìn)行濾波處理，去除無(wú)用噪點(diǎn)，保留車道信息。本研究采用中值濾波算法[5]。實(shí)際處理效果如圖3所示，圖像為經(jīng)過(guò)灰度化處理后的實(shí)際雨天路況下采集的原始圖像，為了檢驗(yàn)中值濾波的效果，添加了椒鹽噪聲，經(jīng)過(guò)濾波處理后明顯消除了噪聲。

圖3 3×3中值濾波處理結(jié)果Fig.3 3×3 median filtering results

1.4 基于大津法的Sobel算子的車道線邊緣提取

車道線的邊緣提取是利用一定的技術(shù)手段強(qiáng)化車道線的邊緣特征，消除非車道信息的干擾。道路圖像中車道線與路面相鄰處的灰度值變化較大，所以根據(jù)車道線邊緣處灰度值的突變進(jìn)行車道線的邊緣提取。本研究采用微分法提取車道線邊緣。

設(shè)圖像f(x,y)，梯度方向?yàn)樽鴺?biāo)最大變化率的方向，則圖像f(x,y)在位置(x,y)處的梯度可以表示為

(1)

進(jìn)而求出向量的幅值和方向角θ為

(2)

式中：Gx和Gy分別表示圖像f(x,y)在水平方向和垂直方向的偏導(dǎo)數(shù)。通過(guò)一階和二階導(dǎo)數(shù)檢測(cè)目標(biāo)對(duì)象的邊緣，一階導(dǎo)數(shù)最大值所在位置表示圖像邊緣，二階導(dǎo)數(shù)零點(diǎn)處所在位置表示圖像邊緣。對(duì)于導(dǎo)數(shù)和分別采用不同的模板，再結(jié)合不同系數(shù)構(gòu)成梯度算子[6]。

選擇Sobel算子作為邊緣提取算法。Sobel算子在領(lǐng)域內(nèi)求得的梯度分量代表像素值的變化率，圖像邊緣點(diǎn)梯度值較大，非圖像邊緣點(diǎn)梯度較小。算子采用兩個(gè)3×3模板窗口，分別為水平和垂直模板Gx和Gy，將之于圖像作平面卷積，即可分別得到水平和垂直亮度差分近似值，如圖4所示。

圖4 Sobel算子模板Fig.4 Sobel operator template

大津法(OTSU)又稱為最大類間方差法，通過(guò)設(shè)定一個(gè)自適應(yīng)的閾值將圖像分為前景(目標(biāo))和背景。通過(guò)大津法設(shè)定圖像分割的自適應(yīng)閾值，以適應(yīng)不同場(chǎng)景下的車道線邊緣的提取。

對(duì)于圖像I(x,y)，設(shè)目標(biāo)和背景的分割閾值為T，圖像的大小為M×N，屬于目標(biāo)的像素點(diǎn)個(gè)數(shù)N0占整張圖像的比例為ω0， 其平均灰度為μ0；屬于背景的像素點(diǎn)個(gè)數(shù)N1占整張圖像的比例為ω1，其平度灰度為μ1；圖像總平均灰度為μ。OTSU方法假設(shè)圖像的背景較暗[3]，圖像中像素灰度值小于閾值T的像素個(gè)數(shù)為N0，像素值大于閾值T的像素個(gè)數(shù)為N1。

大于和小于閾值T的像素點(diǎn)之和為總像素點(diǎn)：

N0+N1=M×N

(3)

ω0和ω1計(jì)算公式為

(4)

圖像總平均灰度公式為

μ=ω0μ0+ω1μ1

(5)

目標(biāo)和背景類之間的方差

g=ω0(μ0-μ)2+ω1(μ1-μ)2

(6)

將式(5)帶入式(6)中可以求得類間方差

g=ω0ω1(μ0-μ1)2

(7)

遍歷對(duì)于整張圖像，使得類間方差g的最大閾值T即為所求。

檢測(cè)的結(jié)果如圖5所示。結(jié)果表明，結(jié)合OTSU算法和Sobel算子的方法能夠在不同的環(huán)境下較好地提取出車道線邊緣。

圖5 基于OTSU算法的Sobel算子邊緣檢測(cè)結(jié)果(正常光照)Fig.5 Edge detection results of Sobel operator based on OTSU algorithm (normal illumination)

2 車道線檢測(cè)

對(duì)于預(yù)處理提取出的車道線邊緣，常用Hough變換和最小二乘法擬合車道線邊界點(diǎn)。

2.1 Hough變換及改進(jìn)

Hough變換通過(guò)將圖像坐標(biāo)變換到參數(shù)空間，來(lái)實(shí)現(xiàn)直線的擬合。該方法具有提取穩(wěn)定、穩(wěn)定性高的優(yōu)點(diǎn)，但算法實(shí)時(shí)性差，受干擾時(shí)易檢測(cè)出多條直線。

針對(duì)上述檢測(cè)時(shí)存在的缺點(diǎn)，對(duì)Hough提出以下改進(jìn)方法[7]：

(1)極角大小和方向約束。將左車道線極角大小約束為[-80°,-10°]，右車道線極角約束范圍為[10°,80°]。

(3)使用兩次Sobel算子，得到單像素寬度的邊緣。

(4)計(jì)算每個(gè)邊緣點(diǎn)的梯度方向，統(tǒng)計(jì)每個(gè)方向上的點(diǎn)的個(gè)數(shù)，找出邊緣點(diǎn)個(gè)數(shù)最多的兩個(gè)方向作為車道線的粗略方向。

圖6所示為Hough變換受干擾情況，圖7所示為改進(jìn)后的Hough檢測(cè)結(jié)果?？梢钥闯?，改進(jìn)后的Hough變換能夠很好地檢測(cè)車道線。

圖6 Hough變換受干擾情況Fig.6 Interference of Hough transform

圖7 改進(jìn)Hough變換檢測(cè)結(jié)果Fig.7 Improved Hough transform detection results

2.2 最小二乘法及優(yōu)化

最小二乘法(least squares， LS)是最常用的直線擬合方法，一般用于對(duì)二維圖像中的離散點(diǎn)直線擬合，通過(guò)最小化離散點(diǎn)到直線的距離求出最接近的直線方程。其數(shù)學(xué)原理如圖8所示。

圖8 最小二乘法原理Fig.8 Principle of least square method

LS計(jì)算簡(jiǎn)單，速度快，只需要對(duì)離散點(diǎn)遍歷一次即可，檢測(cè)實(shí)時(shí)性好，但算法對(duì)噪聲敏感，魯棒性不強(qiáng)。

為克服缺陷，提出R-LSDR。LS改進(jìn)方法有以下兩種：

方法1：根據(jù)與LS擬合直線間的誤差分布，將誤差過(guò)大的樣本點(diǎn)以某個(gè)閾值予以剔除。

方法2：通過(guò)迭代的思想剔除噪聲點(diǎn)，將檢測(cè)到的單個(gè)噪聲點(diǎn)剔除再更新回歸直線方程，然后再剔除新的直線下的誤差最大的樣本點(diǎn)，如此循環(huán)直到剩下點(diǎn)的數(shù)量占原始樣本數(shù)量的比例為設(shè)定閾值R。

基于上述兩種方法，提出R-LSDR算法。相對(duì)于方法2，每次同時(shí)剔除正反兩個(gè)方向誤差最大的樣本點(diǎn)，然后更新回歸直線方程，直到剩下的點(diǎn)的數(shù)量占總樣本點(diǎn)的比例為R。

R-LSDR算法的步驟如下。

圖像中存在的二維點(diǎn)集P0={(xi,yj)|1≤i≤N}與預(yù)設(shè)保留數(shù)據(jù)點(diǎn)比例R，經(jīng)過(guò)試驗(yàn)設(shè)置為0.85。

(1)設(shè)i=0，n=N。計(jì)算最終保留的點(diǎn)數(shù)Nf=pN。

(2)求得二維點(diǎn)集Pi的回歸直線參數(shù)θi、ρi。

(3)求取Pi中每個(gè)樣本點(diǎn)到回歸直線的帶符號(hào)的誤差。

eij=ρij-ρi=

xjcosθi+yjsinθi-ρi,(xj,yj)∈Pi

(8)

(4)分別求取達(dá)到正負(fù)最大誤差的兩個(gè)樣本點(diǎn)的索引值jPOS和jNEG，則

(9)

(5)從Pi中剔除點(diǎn)(xjPOS,yjPOS)和(xjNEG,yjNEG)，則剩下的點(diǎn)集為Pi+1，n=n-2，i=i+1。

(6)判斷如果n≤Nf，則將θi與ρi的結(jié)果作為回歸直線的方程，否則至步驟(2)繼續(xù)循環(huán)。

圖9給出了LS與R-LSDR算法的對(duì)比結(jié)果，可以看出R-LSDR算法能夠明顯消除樣本集中噪聲的影響，回歸得到的直線方程更加符合實(shí)際樣本分布的趨勢(shì)，有利于車道線的檢測(cè)。

圖9 LS與R-LSDR算法的直線回歸對(duì)比Fig.9 Linear regression comparison of LS and R-LSDR algorithm

3 車道線跟蹤

3.1 Kalman濾波器跟蹤車道線

完成車道線檢測(cè)后，由于車道線殘缺或車輛行人的遮擋，可能出現(xiàn)檢測(cè)失效的情況，所以需要進(jìn)行車道線跟蹤。

Hough 變換中極坐標(biāo)空間的一點(diǎn)為直線的參數(shù)ρ和θ，兩條直線的距離定義為Hough 變換極坐標(biāo)空間中點(diǎn)之間的距離，公式為[8]

(10)

式(10)中：Rρ和θρ是根據(jù)Hough變換參數(shù)空間的分辨率進(jìn)行預(yù)設(shè)的ρ和θ的修正系數(shù)。

因?yàn)檫B續(xù)前后兩幀道路圖像中的車道線相差不大，所以可以根據(jù)參數(shù)空間點(diǎn)與點(diǎn)距離的方法判斷檢測(cè)當(dāng)前幀與上一幀中的車道線是否為同一條。當(dāng)計(jì)算得到的前后幀的車道線的距離小于預(yù)設(shè)的閾值時(shí)，判斷為同一條車道線。因?yàn)樵肼暤母蓴_，通過(guò)Kalman濾波器跟蹤車道線在Hough參數(shù)空間中的參數(shù)ρ和θ，則車道線在k時(shí)刻的觀測(cè)量Z(k)和狀態(tài)量X(k)分別表示為

(11)

(12)

式中：vρ和vθ表示ρ和θ在汽車行駛道路圖像的變換速度。系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣用A(k)表示，輸出矩陣用H(k)表示，公式為

(13)

根據(jù)多次實(shí)驗(yàn)結(jié)果，將系統(tǒng)的動(dòng)態(tài)噪聲W(k)的協(xié)方差Q(k)初始值設(shè)置為

(14)

測(cè)量誤差的協(xié)方差R(k)初始值設(shè)置為

(15)

將每一時(shí)刻的觀測(cè)值代入Kalman濾波器的迭代模型中求得估計(jì)值，利用估計(jì)值表示車道線信息。在實(shí)際應(yīng)用中，為增強(qiáng)Kalman濾波器跟蹤車道線系統(tǒng)的魯棒性，對(duì)預(yù)測(cè)值進(jìn)行修正，當(dāng)連續(xù)出現(xiàn)若干幀車道線檢測(cè)異常時(shí)，重置Kalman濾波器的參數(shù)。計(jì)算前后兩幀圖像中車道線的距離，當(dāng)距離在設(shè)定的閾值范圍內(nèi)即認(rèn)為屬于同一條車道線，并把當(dāng)前幀作為有效幀更新濾波器的參數(shù)值；否則，放棄當(dāng)前幀檢測(cè)值，用上一幀的參數(shù)代替，繼續(xù)檢測(cè)下一幀圖像。

路況較差時(shí)，當(dāng)連續(xù)多幀檢測(cè)異常時(shí)，應(yīng)該在設(shè)定的異常幀數(shù)閾值TNum之后，重新復(fù)位Kalman濾波器的參數(shù)。當(dāng)再次檢測(cè)到車道線時(shí)，使用新的車道線參數(shù)初始化Kalman濾波器。設(shè)定前后兩幀車道線的距離閾值Tdis為個(gè)像素點(diǎn)，異常幀數(shù)閾值TNum為5幀。Kalman濾波器跟蹤車道線策略如圖10所示。

圖10 Kalman濾波器跟蹤車道線策略Fig.10 Kalman filter tracking lane line strategy

3.2 車道線檢測(cè)優(yōu)化算法

Hough變換計(jì)算量大，最小二乘法計(jì)算簡(jiǎn)單但容易受噪聲干擾。分別對(duì)兩種算法進(jìn)行改進(jìn)，并結(jié)合車道線的形態(tài)特征，采用改進(jìn)Hough變換和R-LSDR算法結(jié)合的車道線檢測(cè)算法?？紤]到實(shí)車檢測(cè)場(chǎng)景，采取的策略是在初始幀檢測(cè)時(shí)用Hough變換檢測(cè)車道線的直線方程，以確定車道線的預(yù)設(shè)區(qū)域，減小后續(xù)車道線的搜索區(qū)域，后續(xù)幀使用R-LSDR算法檢測(cè)車道線，再使用Kalman濾波跟蹤車道線，如果在斜率發(fā)生突變時(shí)重新用Hough變換檢測(cè)車道線。充分結(jié)合車道線的特征和不同算法的優(yōu)點(diǎn)，進(jìn)行車道線的檢測(cè)，準(zhǔn)確率高，運(yùn)行效率快。算法的整體流程如圖11所示。

圖11 車道線檢測(cè)算法整體流程Fig.11 Overall flow chart of lane line detection algorithm

4 車道檢測(cè)與跟蹤結(jié)果分析

實(shí)驗(yàn)分別對(duì)存在干擾情況下的左右車道線進(jìn)行檢測(cè)，連續(xù)幀的檢測(cè)結(jié)果如圖12～圖14所示，其中綠色表示不加濾波檢測(cè)結(jié)果，紅色表示濾波跟蹤結(jié)果。

圖12檢測(cè)結(jié)果表明，在車道線清晰無(wú)干擾的路況下，能夠較好地識(shí)別車道線信息。存在車道線缺失時(shí)，加了Kalman濾波之后，檢測(cè)結(jié)果更加準(zhǔn)確。

圖12 車道線濾波檢測(cè)結(jié)果(無(wú)干擾)Fig.12 Detection results of lane line filtering (no interference)

圖13 車道線濾波檢測(cè)結(jié)果(存在車輛、道路標(biāo)識(shí)線干擾)Fig.13 Detection results of lane line filtering (interference of vehicles and road marking lines exists)

圖13表示存在車輛和行人干擾下的車道線檢測(cè)結(jié)果。車道線被遮擋，造成車道線暫時(shí)消失，Kalman濾波器能夠很好地根據(jù)前一幀的檢測(cè)結(jié)果，跟蹤車道線。

圖14表示存在短暫車道線缺失情況下的檢測(cè)結(jié)果。道路圖像為在鄉(xiāng)村道路采集的道路數(shù)據(jù)，路況較差，右側(cè)車道性短暫性缺失，Kalman濾波能夠較好地跟蹤車道線信息，彌補(bǔ)短時(shí)間內(nèi)車道線缺失的問(wèn)題。

5 結(jié)論

提出一種基于車道線特征形態(tài)的優(yōu)化檢測(cè)算法，針對(duì)傳統(tǒng)Hough變換和最小二乘法的不足分別提出改進(jìn)算法，并結(jié)合改進(jìn)后的算法擬合車道線，最后利用Kalman濾波器對(duì)車道線進(jìn)行追蹤。

對(duì)存在干擾情況下的左右車道線進(jìn)行檢測(cè)，結(jié)果表明，算法在解決車道線抖動(dòng)和暫時(shí)性缺失時(shí)的檢測(cè)問(wèn)題上具有較好的魯棒性。研究對(duì)改進(jìn)現(xiàn)有的車道線檢測(cè)和跟蹤算法具有理論意義。