基于SIFT和SSDA特征匹配的實(shí)時(shí)車道線檢測(cè)

呂亞運(yùn),郎 朗,楊會(huì)成

(安徽工程大學(xué)安徽省電氣傳動(dòng)與控制重點(diǎn)實(shí)驗(yàn)室,安徽蕪湖 241000)

基于SIFT和SSDA特征匹配的實(shí)時(shí)車道線檢測(cè)

呂亞運(yùn),郎 朗?,楊會(huì)成

(安徽工程大學(xué)安徽省電氣傳動(dòng)與控制重點(diǎn)實(shí)驗(yàn)室,安徽蕪湖 241000)

車道線檢測(cè)是智能交通系統(tǒng)研究的一個(gè)重要方向．提出了一種基于SIFT和SSDA特征匹配的車道線檢測(cè)算法．首先通過改進(jìn)Sobel算子來提取車道線邊緣特征,并設(shè)置感興趣區(qū)域(ROI)縮小范圍,然后進(jìn)一步提取車道線特征點(diǎn)并通過Hough算法擬合成直線,接著采用SIFT算法提取影像關(guān)鍵點(diǎn)并進(jìn)行初次匹配,最后運(yùn)用SSDA算法進(jìn)行影像精匹配,從而融合成完整車道線影像．結(jié)果表明,采用改進(jìn)Sobel算子可以提取到更多的車道線資訊;而采用SSDA算法,比傳統(tǒng)NCC算法匹配精度更高,實(shí)時(shí)性進(jìn)一步提高．

車道線檢測(cè);SIFT;圖像匹配;SSDA

近年來,由于交通事故的頻發(fā),人們對(duì)行車安全的關(guān)注度越來越高．研究人員開始研究一種駕駛輔助系統(tǒng)來提高駕駛安全性——IVSS(Intelligent Vehicle Safety System智能行駛安全系統(tǒng))．IVSS通常通過在車輛上裝載影像處理系統(tǒng)或者感測(cè)系統(tǒng)提升駕駛?cè)藛T行車安全．例如,使用傳感器實(shí)現(xiàn)偏移警示功能,或者通過鏡頭拍攝道路影像處理技術(shù),實(shí)現(xiàn)車道線檢測(cè)功能來降低交通事故發(fā)生．車道線的偏移檢測(cè)占據(jù)IVSS中一個(gè)重要方面．在前人的研究中,文獻(xiàn)[1-4]采用設(shè)定閾值或者建立車道線特征模型來檢測(cè)．文獻(xiàn)[5]根據(jù)車道線梯度分布特征來提取車道線特征．文獻(xiàn)[6]根據(jù)影像顏色層次劃分生成描述子來跟蹤車道線標(biāo)志．文獻(xiàn)[8-9]是通過確定尺度不變的關(guān)鍵點(diǎn)來得到特征鮮明的圖像．前人對(duì)車道線檢測(cè)算法大部分都是基于單目視覺進(jìn)行,但單目攝像頭無法采集更多的車道線資訊,并且對(duì)于雙目視覺甚至多個(gè)攝像頭綜合采集后的影像融合問題沒有解決．文章提出的算法就是為了解決基于雙目視覺影像融合的問題,從而得到更多的車道線檢測(cè)結(jié)果．

提出了一種基于SIFT和SSDA特征匹配的車道線檢測(cè)算法,通過雙目鏡頭采集到的實(shí)時(shí)影像,經(jīng)過改進(jìn)Sobel算子過濾后,對(duì)其設(shè)置ROI．然后,通過車道線顏色和頻率等特征進(jìn)一步篩選車道線,并通過Hough轉(zhuǎn)換擬合成直線．接著,通過SIFT算法生成特征描述子并對(duì)雙目影像粗匹配．最后,采用SSDA進(jìn)行精匹配,將兩路影像融合成完整車道線影像,并通過嵌入式硬件系統(tǒng)輸出顯示．系統(tǒng)算法軟件流程圖如圖1所示．

1 車道線特征檢測(cè)

1．1 改進(jìn)的Sobel算子

車道線檢測(cè)過程中,邊緣的提取是一個(gè)重要過程．經(jīng)典Sobel 90°算子如圖2所示．考慮到車道線檢測(cè)的實(shí)時(shí)性,改進(jìn)的Sobel主要目的是為了優(yōu)化運(yùn)算速度以及提取更多的車道線資訊,Sobel算子改進(jìn)后如圖3所示．由圖3可知其運(yùn)算流程為:如果A、B、C、E全不為0,且D和E不全為0時(shí),fE(x,y)＝255,其中,fE(x,y)是影像中E點(diǎn)對(duì)應(yīng)的像素值．改進(jìn)后的Sobel算子中的元素不再是單一不變的值,取代的是一定范圍內(nèi)的變量,這可以檢測(cè)到更多的車道線資訊．

Sobel算子改進(jìn)前后處理影像對(duì)比圖如圖4所示．由圖4可知,經(jīng)過改進(jìn)后的Sobel處理可以得到更完整的車道線資訊．

1．2 提取車道線特征點(diǎn)

攝像角度固定時(shí),在車道線出現(xiàn)的范圍內(nèi)設(shè)置ROI(region of interest),ROI設(shè)置范圍如圖5所示．利用ROI范圍的像素和車道線固有像素對(duì)比,將符合車道線像素特征的提取出來．同時(shí),設(shè)置車道線出現(xiàn)頻率閾值,要根據(jù)車道線顏色出現(xiàn)頻率來選定．

對(duì)于彎道車道線,除了顏色和頻率,可以將其分解成無數(shù)個(gè)一定斜率的小直線,由公式Δy＝mΔx＋b,設(shè)定斜率m的閾值,根據(jù)閾值條件來進(jìn)一步篩選車道線．車道線特征點(diǎn)提取示意圖如圖6所示．由圖6可知,黑色圓圈區(qū)域表示不符合車道線顏色范圍,白色圓圈區(qū)域表示符合車道線出現(xiàn)頻率的顏色．因此,無論是直線車道或者彎道,只要符合所設(shè)置車道線特征的都可以被提取出來．

1．3 車道線擬合

車道線特征點(diǎn)檢測(cè)出來后,需要將其不斷擬合成直線以實(shí)現(xiàn)車道線追蹤功能．由于車道線檢測(cè)過程是在嵌入式系統(tǒng)中實(shí)現(xiàn)的,為了減少大量的浮點(diǎn)運(yùn)算,這里采用基于搜查表計(jì)算方式的Hough轉(zhuǎn)換擬合車道線．同時(shí),采用影像前后關(guān)聯(lián)的方法,即當(dāng)前缺失的影像可由前一幀影像替代．經(jīng)過Hough擬合后的車道線影像如圖7、圖8所示．

2 SIFT特征提取

尺度不變特征變換匹配算法(Scale Invariant Feature Transform-SIFT)是通過取得尺度空間中的極值點(diǎn)來檢測(cè)和描述圖像特征的算法,這些特征對(duì)其位置、尺度和旋轉(zhuǎn)都保持不變．

2．1 尺度空間的極值點(diǎn)檢測(cè)

對(duì)于一幅二維圖像,設(shè)定L(x,y,σ)為原圖像I(x,y)和二維高斯函數(shù)G(x,y,σ)的卷積結(jié)果．

其中

為了得到尺度空間中穩(wěn)定的極值點(diǎn),建立影像的DOG(Difference of Gaussian)金字塔,D(x,y,σ)定義為在參數(shù)k作用下高斯函數(shù)的差分與原圖像I(x,y)的卷積．

如果一個(gè)點(diǎn)與它相鄰的點(diǎn)比較結(jié)果是極值,那么該點(diǎn)就作為待匹配的特征點(diǎn)．

2．2 精確極值點(diǎn)的定位

通過DOG金字塔提取的極值點(diǎn)并不穩(wěn)定,在圖像的邊緣和對(duì)比度低的地方依然存在一些不穩(wěn)定的特征點(diǎn)．

為了剔除低對(duì)比度特征點(diǎn),在尺度空間中,DOG函數(shù)的Taylor展開式為:

對(duì)其求導(dǎo)得到極值點(diǎn)為:

因而將極值點(diǎn)帶入式(5),只取前兩項(xiàng)得到極值為:

H的特征值α和β代表x和y方向的梯度,

其中,Tr(H)與Det(H)分別表示H的跡與行列式,α和β是H的兩個(gè)特征值,令α＝γβ,則

2．3 特征點(diǎn)方向分配

依據(jù)影像的局部梯度方向,給每個(gè)特征點(diǎn)指定一個(gè)基準(zhǔn)方向．從而計(jì)算出所取特征點(diǎn)(x,y)對(duì)應(yīng)梯度的模值和方向?yàn)?

其中,L為所選特征點(diǎn)的各自尺度值．

2．4 特征點(diǎn)描述子的生成

SIFT描述子是基于梯度和方向?qū)D像局部特征的一種表示．特征點(diǎn)的描述子是依據(jù)該特征點(diǎn)鄰域的像素點(diǎn)得到的．在實(shí)際計(jì)算過程中,為了提高匹配的魯棒性,采用Lowe提出的在特征點(diǎn)尺度空間內(nèi)4×4的窗口中計(jì)算該特征點(diǎn)鄰域8個(gè)方向的梯度資訊,共4×4×8＝128維向量表示,隨即生成128維的特征描述子．

經(jīng)過以上4個(gè)步驟,SIFT算法提取出車道線影像的穩(wěn)定特征點(diǎn),使得特征點(diǎn)不隨旋轉(zhuǎn)、光照、噪聲等變化而變化,為后面的影像匹配打好基礎(chǔ)．

3 SIFT特征匹配

3．1 影像特征匹配

提取出車道線影像特征點(diǎn)后,需要對(duì)其進(jìn)行匹配并融合成一張影像．采用歐式最鄰近距離方法,即查找一個(gè)特征點(diǎn)在另一張影像最鄰近特征點(diǎn)的距離．理論上,兩張車道線影像之間相同部分具有相同的特征描述子,因而它們之間的歐氏距離最短．SIFT影像特征匹配就是對(duì)兩張影像的特征向量進(jìn)行相似度計(jì)算．以歐式距離作為兩張影像中多維向量的相似度衡量標(biāo)準(zhǔn),對(duì)兩個(gè)特征點(diǎn)進(jìn)行匹配．假設(shè)兩幅影像特征點(diǎn)對(duì)應(yīng)的n維特征向量分別為:

(a1,a2,a3,…,an)和(b1,b2,b3,…,bn)

則兩特征點(diǎn)間的歐式距離為:

由于圖像遮擋或背景錯(cuò)亂而出現(xiàn)的誤匹配問題,采用Lowe[7]提出的比較最近鄰距離與次鄰近距離的方法,只有當(dāng)兩距離比值ratio小于一定閾值時(shí)才確認(rèn)成功匹配．SIFT特征點(diǎn)初次匹配過程如圖9所示．

3．2 SSDA影像精匹配

經(jīng)過歐式最鄰近距離計(jì)算初步匹配后,依然會(huì)出現(xiàn)一些誤匹配情況,而且匹配的特征點(diǎn)太多,過于繁雜,運(yùn)算量也較大,通常結(jié)合SIFT采用歸一化互相關(guān)算法(NCC)精匹配．NCC是一種經(jīng)典的匹配算法,通過計(jì)算模板圖像和搜索圖像的互相關(guān)值確定匹配的程度．但NCC處理精度沒有較大改變,從而采用序貫相似性檢測(cè)算法SSDA對(duì)影像中的特征點(diǎn)進(jìn)一步匹配．

待搜索匹配區(qū)域?yàn)镻,大小為M×N,匹配模板為Q,大小為k×k,具體如圖10所示．模板Q疊放在P上的區(qū)域?yàn)樽訄D,選取Q左上角位置為基準(zhǔn)點(diǎn),當(dāng)P中匹配特征點(diǎn)為(u,v)時(shí),子圖則是由點(diǎn)(u,v),(u,v＋K－1),(u＋K－1, v),(u＋K－1,v＋K－1)組成的區(qū)域．設(shè)定匹配模板的基準(zhǔn)點(diǎn)為(i,j),定義匹配誤差值為:

在目標(biāo)影像和子圖內(nèi)任取n個(gè)點(diǎn)(i1,j1),(i2,j2),…, (in,jn),通過式(14)計(jì)算這些點(diǎn)產(chǎn)生的匹配誤差和序列,得到:

將得到的匹配誤差和序列es(u,v,k)與設(shè)定好的序列閾值T(k)比較,若es(u,v,k)＞T(k),那么停止計(jì)算,并記下此時(shí)的k值,然后計(jì)算下一個(gè)特征點(diǎn)匹配誤差;若es(u,v,k)＜T(k),則繼續(xù)計(jì)算下一個(gè)點(diǎn)的匹配誤差,直到es(u,v,k)＞T(k)或k＝n,并記下此時(shí)的k值k．值對(duì)應(yīng)的特征點(diǎn)就是需要的匹配點(diǎn)．經(jīng)過SSAD精匹配過程及融合后的完整車道線檢測(cè)結(jié)果如圖11所示．

由于在SSDA算法精匹配過程中,只有子圖和匹配模板對(duì)應(yīng)的像素參與計(jì)算,從而不用計(jì)算所有特征點(diǎn)對(duì)應(yīng)的匹配誤差,提前停止在誤匹配計(jì)算上,相比較NCC算法極大地減少了運(yùn)算量,在原來基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)車道線影像的匹配．

4 實(shí)驗(yàn)結(jié)果

本次車道線檢測(cè)及匹配融合過程在嵌入式系統(tǒng)上運(yùn)行,采用以Cortex A9核心處理器OMPA4460作為嵌入式硬件平臺(tái),所用算法處理解析度為640×480的影像,系統(tǒng)影像實(shí)測(cè)速度為20 Frame/s．為了達(dá)到實(shí)時(shí)性要求,系統(tǒng)采用被Kudaa加速的C程序與影像解碼器協(xié)調(diào),控制系統(tǒng)整體速率．采用SIFT算法提取影像特征點(diǎn)生成描述子,然后通過歐式最鄰近距離計(jì)算進(jìn)行初步匹配,接著運(yùn)用SSDA算法進(jìn)行精匹配從而融合為一幀完整車道線影像．傳統(tǒng)的NCC算法精匹配過程如圖12所示．實(shí)驗(yàn)選擇NCC與SSDA算法比較是因?yàn)閭鹘y(tǒng)的NCC算法運(yùn)算量較大,匹配速度慢,無法突顯車道線檢測(cè)所需的實(shí)時(shí)性．由圖11和圖12可知,SSDA特征匹配量較NCC明顯減少許多．將兩種算法分別對(duì)直線車道和彎道影像中的特征點(diǎn)匹配結(jié)果如表1和表2所示．由數(shù)據(jù)比較結(jié)果可知,SSDA比NCC在匹配率和時(shí)間上有明顯優(yōu)勢(shì)．

實(shí)驗(yàn)選取蕪合高速上的一段路,經(jīng)過10次以上的實(shí)際車道線檢測(cè),分別計(jì)算得到SSDA與NCC算法對(duì)應(yīng)的匹配精確度與處理時(shí)間比較如表3所示．選取前30幀影像計(jì)算匹配時(shí)間比較如圖13所示．由表3和圖13中兩種算法比較可知,在3種條件綜合干擾下,SSDA匹配精度上提高到了85．67%,匹配時(shí)間減少到了0．063 s,因而匹配精度和匹配時(shí)間較NCC算法有明顯提高．

表1 SIFT＋NCC算法特征點(diǎn)匹配正確率與時(shí)間

表2 SIFT＋SSDA算法特征點(diǎn)匹配正確率與時(shí)間

表3 各種條件下算法匹配率與匹配時(shí)間比較

5 結(jié)論與展望

提出一種基于SIFT和SSDA特征匹配的車道線檢測(cè)算法．算法首先對(duì)傳統(tǒng)的Sobel 90°算子進(jìn)行改進(jìn),提取車道線邊緣特征,并設(shè)置ROI縮小檢測(cè)范圍進(jìn)一步提取車道線特征．然后通過Hough算法擬合為直線．接著采用SIFT算法對(duì)兩個(gè)攝像頭中的影像進(jìn)行初次匹配．最后運(yùn)用SSDA算法精匹配,從而融合成完整的車道線影像．實(shí)測(cè)結(jié)果表明,經(jīng)過改進(jìn)后的Sobel算子可以提取更多的車道線資訊,并且SSDA特征匹配方法對(duì)比傳統(tǒng)的NCC算法,運(yùn)算量和效率都有明顯的優(yōu)越性,精匹配程度得到了進(jìn)一步優(yōu)化．當(dāng)然本算法還存在一些不足,尤其是在車速過快、光照過強(qiáng)情況下,車道線檢測(cè)精度及實(shí)時(shí)性還有待進(jìn)一步提高,這也是未來進(jìn)一步研究的方向．

[1] X Shi,B Kong,F Zheng．A new lane detection method based on feature pattern[C]//Image and Signal Processing．2nd International Congress．Tianjin:IEEExplore Libraty,2009:1-5．

[2] H Shen,S Li,F Bo,et al．Intelligent vehicles oriented lane detection approach under bad road scene[C]//Computer and Information Technology．Ninth IEEE International Conference．Tianjin:IEEExplore Libraty,2009:177-182．

[3] Q B Truong,B R Lee,N G Heo,et al．Lane Boundaries Detection Algorithm Using Vector Lane Concept[C]//2008 10th International Conference on Control Automation Robotics&Vision,Hanoi．Tianjin:IEEExplore Libraty,2008: 2 319-2 325．

[4] J Z Wang,Y P Chen,J M Xie,et al．Model-based Lane Detection and Lane Following for Intelligent Vehicles[C]//International Conference on Intelligent Human-Machine Systems and Cybernetics,Nanjing．Tianjin:IEEExplore Libraty, 2010:170-175．

[5] Y J Fan,W G Zhang,X Li,et al．A robust lane boundaries detection algorithm based on gradient distribution features [C]//International Conference on Fuzzy Systems and Knowledge Discovery,Shanghai．Tianjin:IEEExplore Libraty, 2011:1 714-1 718．

[6] Gopalan R,Tsai Hong,Shneier M,et al．A Learning Approach Towards Detection and Tracking of Lane Markings[J]．Intelligent Transportation Systems,2012,13(3):1 088-1 098．

[7] Lowe David G．Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision．Corfu,Greece,Kerkyra．Tianjin:IEEExplore Libraty,1999:1 150-1 157．

[8] Lowe David G．Distinctive image features from scale-invariant keypoints[J]．International Journal of Computer Vision, 2004,60(2):91-110．

[9] Y Xiong,H M Ma．Extraction and application of 3D object SIFT feature[J]．Journal of Image and Graphics,2010, 15(5):814-819．

Real-time lane detection based on the feature matching of SIFT and SSDA

LV Ya-yun,LANG Lang?,YANG Hui-cheng
(Anhui Key Laboratory of Electric Drive and Control,Anhui Polytechnic University,Wuhu 241000,China)

Lane detection is an important research field of intelligent transportation system,and a lane detection algorithm based on the feature matching of SIFT and SSDA is proposed．Firstly,edge features of the lane are extracted by the improved Sobel operator,and the region of interest(ROI)is set to narrow the range．Secondly,the lane feature points are further extracted and a straight line is fitted by Hough algorithm．Thirdly,the SIFT is adopted to extract the key points and do the initial matching．Finally,SSDA is adopted to do further matching and fuse the two images into a complete one．The results show that the improved Sobel operator can extract more lane information．The matching precision is higher than that of the traditional NCC algorithm by SSDA,and the real time is further improved．

lane detection;SIFT;image matching;SSDA

TP391

A

1672-2477(2015)04-0054-08

2015-04-14

安徽省高校自然科學(xué)研究重大基金資助項(xiàng)目(KJ2014ZD04)

呂亞運(yùn)(1990-),男,江蘇南京人,碩士研究生．

郎 朗(1956-),女,安徽蚌埠人,正高級(jí)工程師,碩導(dǎo)．