基于線性逼近的車道線彎道識(shí)別方法

王寶鋒， 齊志權(quán)， 馬國(guó)成， 陳思忠

(北京理工大學(xué) 機(jī)械與車輛學(xué)院，北京 100081)

?

基于線性逼近的車道線彎道識(shí)別方法

王寶鋒， 齊志權(quán)， 馬國(guó)成， 陳思忠

(北京理工大學(xué) 機(jī)械與車輛學(xué)院，北京 100081)

為提高車道線識(shí)別算法在大曲率彎道下的識(shí)別性能，提出一種基于線性逼近的彎道識(shí)別方法. 基于車道線先驗(yàn)知識(shí)，利用改進(jìn)的局部逆透視變換和Hough變換對(duì)車道線進(jìn)行初步提取. 根據(jù)初步提取結(jié)果，對(duì)未知區(qū)域進(jìn)行循環(huán)線性逼近并提取車道線邊界點(diǎn). 通過(guò)最小二乘法利用B-樣條曲線完成車道線擬合. 實(shí)驗(yàn)證明，該算法對(duì)大曲率彎道的車道線識(shí)別具有較高的精確性.

彎道識(shí)別；線性逼近；逆透視變換；Hough變換

先進(jìn)駕駛員輔助系統(tǒng)(advanced driver assistance system， ADAS)的應(yīng)用，可以有效地避免駕駛員因?yàn)檎`操作而造成的交通事故，提高車輛行駛安全性. 作為ADAS系統(tǒng)的重要組成部分，車道線識(shí)別系統(tǒng)通過(guò)視傳感器對(duì)車輛所行駛的路面進(jìn)行監(jiān)測(cè)，確定車輛所在車道橫向的位置及前方道路的趨勢(shì)，并為車道偏離預(yù)警、車道保持及自適應(yīng)巡航控制等ADAS系統(tǒng)提供車道信息.

近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)于基于視覺(jué)的車道標(biāo)識(shí)線及道路邊界的識(shí)別方法進(jìn)行了大量的研究. 姜巖等[1]采用了一種改進(jìn)的Hough變換的車道線識(shí)別方法，并通過(guò)感興趣區(qū)域動(dòng)態(tài)規(guī)劃減少了運(yùn)算量，提高了車道線識(shí)別速度和可靠性. 但該方法基于車道線近距離為直線的假設(shè)，無(wú)法進(jìn)行彎道識(shí)別，不具備車道線延伸趨勢(shì)預(yù)測(cè)的能力. 王寶鋒等[2]提出了基于動(dòng)態(tài)區(qū)域劃分的車道線識(shí)別方法，并將直線和B-樣條曲線用于車道線重構(gòu). 為了更好地提取車道線幾何特征；McCall[3-4]利用逆透視變換(inverse perspective mapping，IPM)將原始圖像全部轉(zhuǎn)化為俯視圖，并利用平行特性對(duì)車道線進(jìn)行提取. IPM的引入提高了車道線識(shí)別的精度，但是IPM運(yùn)算量巨大，處理效率較低. 車道線識(shí)別算法的難點(diǎn)在于車道線模型的選取及模型對(duì)于復(fù)雜車道線的適應(yīng)能力. 為了提高車道線模型的適應(yīng)性，Wang Yue等[5]將B-樣條曲線應(yīng)用于車道線擬合過(guò)程中，并提出了CHEVP(Canny/Hough estimation of vanishing points)的車道線識(shí)別方法. 實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)車道線曲率較大時(shí)(盤橋匝道)，分區(qū)內(nèi)依然是曲線，無(wú)法滿足分區(qū)內(nèi)車道線直線假設(shè).

針對(duì)以往研究車道線模型適應(yīng)性差，彎道車道線邊界提取能力差等缺點(diǎn). 文中作者提出一種連續(xù)函數(shù)線性逼近的彎道識(shí)別方法. 首先根據(jù)攝像頭內(nèi)外部參數(shù)及消失點(diǎn)對(duì)圖像識(shí)別感興趣區(qū)域(region of interest，ROI)進(jìn)行規(guī)劃，然后利用改進(jìn)的局部逆透視變換及先驗(yàn)知識(shí)對(duì)車道線進(jìn)行初步提取. 在車道線初步提取的基礎(chǔ)上，利用線性逼近原理對(duì)車道線延伸方向及區(qū)域進(jìn)行循環(huán)估計(jì)并提取邊車道線邊界點(diǎn). 在車道線邊界點(diǎn)的基礎(chǔ)上通過(guò)B-樣條曲線對(duì)車道線進(jìn)行重構(gòu)，完成車道線識(shí)別.

1 攝像頭標(biāo)定及車道識(shí)別區(qū)域規(guī)劃

1.1 攝像頭標(biāo)定

攝像頭安裝在前擋風(fēng)玻璃上，后視鏡下方. 如圖1在整個(gè)車道線識(shí)別系統(tǒng)中共有3個(gè)坐標(biāo)系：車輛坐標(biāo)系Ov-xyz，攝像頭坐標(biāo)系Oc-xyz，及圖像坐標(biāo)系OI-xy. 攝像頭安裝完畢后，文中利用Matlab Toolbox進(jìn)行標(biāo)定，通過(guò)對(duì)不同姿態(tài)下標(biāo)定板圖像處理，最終獲得攝像頭內(nèi)外部參數(shù)及坐標(biāo)系變換關(guān)系

(1)

(2)

(3)

1.2 車道識(shí)別區(qū)域規(guī)劃

原始圖像中包含大量非車道信息，如天空、發(fā)動(dòng)機(jī)艙蓋等如圖2(a)所示. 如果對(duì)原始圖像進(jìn)行全局處理，不但增加系統(tǒng)算法的運(yùn)算量，降低算法實(shí)時(shí)性，而且該區(qū)域無(wú)效信息也會(huì)對(duì)車道線信息造成干擾，影響車道線識(shí)別的精度. 因此，在車道線識(shí)別之前首先對(duì)車道線識(shí)別感興趣區(qū)域進(jìn)行規(guī)劃，剔除無(wú)效信息.

透視原理中將水平無(wú)窮遠(yuǎn)出的點(diǎn)在圖像中的投影稱為消失點(diǎn)，消失點(diǎn)所在的水平線為消失線，即地面和天空的分界線. 圖像中所有的道路信息都處于消失線下方，因此將消失線以上的區(qū)域剔除，其中消失點(diǎn)在圖像中的坐標(biāo)可通過(guò)式(1)～(2)求出. 此外，圖像底部區(qū)域被發(fā)動(dòng)機(jī)艙蓋覆蓋，由于攝像頭與車輛的相對(duì)位置是固定的，因此該區(qū)域不會(huì)發(fā)生變化，可以直接剔除.

2 車道線初步提取

2.1 圖像逆透視變換

在俯視圖中車道線呈現(xiàn)明顯的平行特性，所以在俯視圖中車道線更容易被識(shí)別. 為避免全局IPM運(yùn)算量大的缺點(diǎn)，文中通過(guò)兩種手段對(duì)逆透視變換過(guò)程進(jìn)行加速. 首先縮小圖像處理范圍，僅對(duì)車輛前方10 m×10 m的范圍進(jìn)行逆透視變換，如圖3所示.

其次，對(duì)逆透視變進(jìn)行模塊化處理，并在攝像頭標(biāo)定中完成，在車道識(shí)別過(guò)程中僅需要通過(guò)查表便可完成整IPM過(guò)程，大大提高了運(yùn)算速度.

公路路線設(shè)計(jì)規(guī)范JTGD20—2006規(guī)定，高速公路彎道極限最小半徑為250 m，所以該俯視圖范圍內(nèi)的車道弧度為0.04 rad，且sin(0.04)≈0.04，因此在車道線提取中將該區(qū)域內(nèi)車道線近似為直線. 首先采用Canny算子對(duì)俯視圖進(jìn)行梯度化，獲得邊界信息強(qiáng)的二值圖像，如圖4. 然后根據(jù)車道線在俯視圖中近似垂直的特性對(duì)二值圖像進(jìn)行基于θ角規(guī)劃的Hough變換[2]，定義θ∈[-5°，5°]，從而有效剔除其他干擾直線，得到候選車道線如圖4中直線所示.

2.2 車道內(nèi)邊界提取

識(shí)別出的候選車道線中既含有內(nèi)側(cè)邊界線，又含有外側(cè)邊界線. 如果直接忽略車道線寬度直接進(jìn)行車道重建，不但影響車道描述的精度，而且降低車道跟蹤能力.

為了更準(zhǔn)確地描述車輛與車道線的位置關(guān)系，提高算法在車道重建結(jié)果的穩(wěn)定性，文中統(tǒng)一將車道內(nèi)邊界作為車道線識(shí)別邊界，并提出了一種基于向量叉乘原理的車道內(nèi)邊界檢測(cè)方法.

以右側(cè)候選車道線為例，如圖5所示，假設(shè)存在n條候選車道線psipei，i∈{1，2，…，n}. 分別取任一起始點(diǎn)psj和終止點(diǎn)pek，j，k∈{1，2，…，n}. 然后根據(jù)式(3)進(jìn)行叉乘運(yùn)算求取符號(hào)函數(shù)Sjk，

(4)

如果在定義域范圍內(nèi)，符號(hào)函數(shù)Sjk全部大于0，則候選車道線psjpek為車道內(nèi)邊界. 最后通過(guò)車道寬度和平行性等先驗(yàn)知識(shí)對(duì)車道得到的內(nèi)側(cè)邊界進(jìn)行驗(yàn)證，并根據(jù)式(1)～(2)利用透視變換將其轉(zhuǎn)換到原始圖像中，如圖6所示.

3 基于線性逼近的彎道識(shí)別

車道線初步提取完成后，獲得近距離的車道邊界信息. 公路路線設(shè)計(jì)規(guī)范要求所有道路路徑都是連續(xù)平滑曲線，基于該先驗(yàn)知識(shí)在已檢測(cè)出的邊界信息基礎(chǔ)上，利用牛頓-拉夫遜迭代法對(duì)未知區(qū)域進(jìn)行線性逼近，并完成車道線邊界點(diǎn)搜索.

設(shè)已獲得的車道線直線部分邊界點(diǎn)集為P={Pi=(xi，yi)|i=1，2，3，…，n}. 如圖7所示，取總點(diǎn)集P中最后m個(gè)點(diǎn)進(jìn)行線性擬合獲得逼近直線y=f(x). 過(guò)點(diǎn)Pn做其切線L，L方程為

(5)

以l為步長(zhǎng)，根據(jù)擬合所得的直線對(duì)未知區(qū)域進(jìn)行規(guī)劃，

(6)

(7)

將點(diǎn)(xn，yn)和點(diǎn)(xe，ye)之間左右距離小于d的區(qū)域作為車道線規(guī)劃范圍，并將該范圍內(nèi)檢測(cè)到的點(diǎn)作為車道線邊界候選點(diǎn). m個(gè)擬合點(diǎn)，規(guī)劃范圍內(nèi)候選點(diǎn)分別如圖7中所示.

根據(jù)車道線灰度特征對(duì)邊界候點(diǎn)進(jìn)行驗(yàn)證. 如圖8(a)所示，首先在原始圖像內(nèi)對(duì)候選點(diǎn)所附近的矩形區(qū)域Lm×n進(jìn)行采樣，然后按式(8)，(9)對(duì)采樣區(qū)域進(jìn)行灰度分布運(yùn)算：

(8)

(9)

式中：p(j)為車道線橫截面的灰度分布. 如圖8(b)所示，典型的車道線橫截面輪廓呈明顯的單峰特性，通過(guò)對(duì)p(j)進(jìn)行輪廓分析對(duì)檢測(cè)到的候選點(diǎn)進(jìn)行驗(yàn)證，然后采用擾動(dòng)分析的方法對(duì)基于候選點(diǎn)進(jìn)行篩選，從而得到真正的車道邊界并將其存入邊界點(diǎn)點(diǎn)集P. 重復(fù)循環(huán)上述過(guò)程直到所有車道線邊界點(diǎn)都被搜索出，當(dāng)搜索范圍內(nèi)搜索結(jié)果為空，或者出現(xiàn)奇異點(diǎn)(導(dǎo)致車道線斜率發(fā)生突變)時(shí)，減小步長(zhǎng)l并重新進(jìn)行搜索，最終完成彎道區(qū)域邊界點(diǎn)搜索.

樣條曲線具有易實(shí)現(xiàn)任意形狀曲線擬合，以及光滑、連續(xù)等優(yōu)點(diǎn)，能夠?qū)崿F(xiàn)車道線的準(zhǔn)確表達(dá). 在上述步驟采集到的車道線邊界點(diǎn)的基礎(chǔ)上，利用最小二乘法基于3次B樣條曲線進(jìn)行車道線重構(gòu). 最終獲得車道線識(shí)別結(jié)果如圖9所示.

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證車道線識(shí)別算法的性能，在北京北五環(huán)和京承等高速路匝道進(jìn)行實(shí)車實(shí)驗(yàn)采集視頻數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行離線處理. 圖像采集過(guò)程中利用大恒GV400UM圖像傳感器，并配置6 mm固定光圈鏡頭，圖像分辨率為752×480，攝像頭內(nèi)外部參數(shù)標(biāo)定結(jié)果見(jiàn)表1.

車道線識(shí)別處理算法采用Matlab 2012a實(shí)現(xiàn)，典型識(shí)別結(jié)果如圖10所示. 圖中可以看出算法在直道、彎道(左右向)及駛?cè)氤鰪澋谰休^好的識(shí)別結(jié)果，并對(duì)樹(shù)影、路面拼接等干擾具有較強(qiáng)的魯棒性. 算法在未進(jìn)行代碼優(yōu)化，未進(jìn)行任何硬件加速的情況下，在Intel Core i5 CPU，2.5 GHz，2.5 GB內(nèi)存環(huán)境下，每幀圖像處理時(shí)間為100 ms左右.

攝像頭內(nèi)部參數(shù)攝像頭內(nèi)部參數(shù)等效焦距[fcufcv]/像素像主點(diǎn)[cucv]/像素像素夾角αc/(°)平移向量Tcv旋轉(zhuǎn)矩陣Vcv[1020.2 1020.2][375.5 239.5]0[68.2 564.0 1370.6][-3.05 0.0095 0.045]

5 結(jié)束語(yǔ)

實(shí)驗(yàn)結(jié)果表明，提出的一種基于線性逼近原理的彎道車道線識(shí)別算法對(duì)環(huán)道、匝道等大曲率車道線的識(shí)別有較強(qiáng)的適應(yīng)性和準(zhǔn)確性，在不同彎道曲率下均能準(zhǔn)確識(shí)別車道線. 但文中僅對(duì)識(shí)別算法進(jìn)行了初步論證，算法的優(yōu)化及實(shí)時(shí)性有待研究. 此外，車道線識(shí)別只是車道線檢測(cè)系統(tǒng)的初始化過(guò)程，為了提高系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性，在后續(xù)工作中需對(duì)車道線跟蹤算法進(jìn)行探究.

[1] 姜巖，趙熙俊，龔建偉，等.簡(jiǎn)單城市環(huán)境下地面無(wú)人駕駛系統(tǒng)的設(shè)計(jì)研究[J].機(jī)械工程學(xué)報(bào)，2012，48(20):103-112.

Jiang Yan， Zhao Xijun， Gong Jianwei， et al. System design of self-driving in simplified urban environments[J]. Journal of Mechanical Engineering， 2012，48(20):103-112.(in Chinese)

[2] 王寶鋒，齊志權(quán)，馬國(guó)成，等.基于動(dòng)態(tài)區(qū)域規(guī)劃的雙模型車道線識(shí)別方法[J].北京理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，34(5):485-489.

Wang Baofeng， Qi Zhiquan， Ma Guocheng， et al. A lane detection system based on region dynamically planning and dual model fitting[J]. Transactions of Beijing Institute of Technology， 2014，34(5):485-489.(in Chinese)

[3] Joel McCall， Mohan M Trivedi. Video-based lane estimation and tracking for driver assistance: survey， system， and evaluation[J]. IEEE Transactions on Intelligent Transportation Systems， 2006，7(1):20-37.

[4] Borkar A， Hayes M， Smith M. A novel lane detection system with efficient ground truth generation[J]. IEEE Transaction on Intelligent Transportation Systems, 2012(13):365-374.

[5] Wang Yue， Shen Dinggang， Eamakhwang Teoh. Lane detection using spline model[J]. Pattern Recognition Letters， 2000,21:677-689.

(責(zé)任編輯：孫竹鳳)

Novel Lane Curve Detection Method Using Linear Approximation

WANG Bao-feng， QI Zhi-quan， MA Guo-cheng， CHEN Si-zhong

(School of Mechanical Engineering， Beijing Institute of Technology， Beijing 100081， China)

In order to improve the performance of lane detection for curve road, a lane detection system was presented with a linear approximation method. Based on the priori knowledge of lane geometry, some initial edge points of the lane were extracted through inverse perspective mapping and Hough transformation. Considering the initial results, a method of linear approximation was applied to search the future lane edge points. Finally, the detected points were used to rebuild the lane according to a B-spline model using least square method. Test of this system shows a promising detection result for curve lanes.

curve lane detection; linear approximation; inverse perspective mapping; Hough transformation

2014-12-17

國(guó)家自然科學(xué)基金資助項(xiàng)目(51005019)

王寶鋒(1987—)男，博士生，E-mail：wang_bao_feng@126.com.

齊志權(quán)(1976—)男，講師，E-mail:qizhiquan@bit.edu.cn.

U 463

A

1001-0645(2016)05-0470-05

10.15918/j.tbit1001-0645.2016.05.006