劉宇,韓磊,王程慶,孫揚(yáng)
基于視覺的車道線檢測算法研究綜述
劉宇,韓磊,王程慶,孫揚(yáng)
(河北工程大學(xué) 機(jī)械與裝備工程學(xué)院,河北 邯鄲 056038)
在實(shí)現(xiàn)自動(dòng)駕駛中,環(huán)境感知是其重要任務(wù),而車道線檢測算法研究在環(huán)境感知中占據(jù)著主要位置。傳統(tǒng)的車道線檢測算法主要依賴于提取特征,而特征會(huì)隨著環(huán)境發(fā)生變化,因此易受到環(huán)境的影響。隨著國內(nèi)外深度學(xué)習(xí)的發(fā)展,研究者開始利用深度學(xué)習(xí)技術(shù)進(jìn)行車道線檢測算法研究,以盡可能減輕環(huán)境因素的影響。文章綜述了近年來基于視覺的車道線檢測算法研究的進(jìn)展,主要是基于模型、基于特征的傳統(tǒng)車道線檢測算法,以及基于深度學(xué)習(xí)的新興檢測算法,對具有代表性的實(shí)現(xiàn)方法進(jìn)行了詳細(xì)分析。
車道線檢測;計(jì)算機(jī)視覺;特征;模型;深度學(xué)習(xí);圖像分割
在自動(dòng)駕駛中,計(jì)算機(jī)視覺相較于激光雷達(dá)具有價(jià)格較低、魯棒性較好的優(yōu)勢,并且視覺模態(tài)可以用于環(huán)境理解的所有相關(guān)階段[1]。因此,本文將主要討論基于視覺的車道線檢測算法。而基于視覺的車道線檢測算法,主要分為兩類:一類是基于傳統(tǒng)方法的檢測算法,此類包括基于圖像特征和基于模型這兩種檢測方法;另一類是基于深度學(xué)習(xí)的新興車道線檢測算法。傳統(tǒng)的車道線檢測算法一般采用三個(gè)步驟處理:首先預(yù)處理,消除噪聲干擾或者進(jìn)行逆透視變換,檢測感興趣區(qū)域(ROI),得到預(yù)處理圖像,然后在經(jīng)過預(yù)處理的圖像上進(jìn)行特征提取,最后進(jìn)行車道模型擬合從而識(shí)別出車道線。而深度學(xué)習(xí)方法下的車道線檢測一般是將預(yù)處理后的車道線圖像進(jìn)行標(biāo)記,然后在構(gòu)建好的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練、測試以及驗(yàn)證,模型不斷優(yōu)化,進(jìn)而得到較為精確的車道線檢測模型。
傳統(tǒng)的車道線檢測方法主要分為基于模型和基于特征兩種方法?;谀P偷臋z測方法,是根據(jù)提取到的特征對預(yù)先定義好的車道線模型進(jìn)行匹配,將車道線的識(shí)別轉(zhuǎn)化為模型中參數(shù)的計(jì)算問題,其優(yōu)點(diǎn)是對噪聲不敏感,且圖像局部被遮蓋的情況較少;基于特征的檢測方法,是基于車道線的一些特征(如邊緣梯度、寬度、強(qiáng)度以及顏色等特征)將圖像所有的點(diǎn)標(biāo)記為車道線點(diǎn)和非車道線點(diǎn),這種方法要求道路的車道線邊緣較為清晰,顏色較為明顯,以得到準(zhǔn)確的檢測結(jié)果[2]。常用的算法步驟如圖1所示。
模型的假設(shè)主要有直線模型和曲線模型兩種,對于直車道線,一般通過Hough變換建立直線模型進(jìn)行檢測;對于曲車道線,曲線模型則采用隨機(jī)采樣一致算法和高階曲線(如三階貝塞爾曲線)擬合的構(gòu)建方式解決。而直線模型與曲線模型常常需要同時(shí)用于車道線檢測算法研究中。
對于車道線有直線和曲線可能交替出現(xiàn)的情況,部分研究人員將直線模型與曲線模型結(jié)合。隋靚等[3]提出一種高速公路車道線識(shí)別算法。該算法由Hough變換與二次曲線模型兩者相結(jié)合,首先對采集到的圖像進(jìn)行ROI提取;然后在LOG算子對ROI邊緣檢測的基礎(chǔ)上進(jìn)行Hough變換以檢測車道線;再由之前檢測出的車道線進(jìn)一步提取動(dòng)態(tài)ROI,檢測新的車道線;最后通過判斷兩車道線段的方向變化趨勢進(jìn)行直線和二次曲線切換擬合車道線。部分研究者通過分段模型的方式來檢測車道線,Minchae Lee等[4]提出的級(jí)聯(lián)粒子濾波器將車道線模型分解為兩個(gè)子模型用以提高車道線檢測系統(tǒng)的實(shí)時(shí)性和魯棒性:直線模型和曲線模型。通過結(jié)合模型分解方法的級(jí)聯(lián)粒子濾波算法進(jìn)行車道檢測和跟蹤,劃分車道線模型后,除了可以提高車道狀態(tài)估計(jì)系統(tǒng)的精度外,還可以減少計(jì)算時(shí)間,保證實(shí)時(shí)性。
針對曲線模型,段建民等人[5]提出一種改進(jìn)的順序隨機(jī)抽樣一致性(RANSAC)的車道線檢測算法。首先,在圖像預(yù)處理階段,采用改進(jìn)的SIS閾值算法對車道線圖像進(jìn)行二值化;再構(gòu)建車道線模型并將之簡化為雙曲線模型,其后利用改進(jìn)的順序RANSAC算法來擬合車道線;最后依據(jù)兩邊的車道線模型進(jìn)行模型配對,通過選取最多支持?jǐn)?shù)據(jù)點(diǎn)的組合確定車道線。該研究利用實(shí)際采集的城市快速路視頻和加州理工學(xué)院的車道線圖像數(shù)據(jù)集,對該算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,該算法魯棒性高,誤檢率低,能在復(fù)雜環(huán)境下實(shí)時(shí)準(zhǔn)確地識(shí)別車道線。
對于直線模型,吳彥文[6]針對現(xiàn)有車道線檢測與跟蹤算法效率不高的難題,提出了一種基于視覺傳感器與車道線高精度地圖相融合的車道線檢測與跟蹤方法。該方法首先用改進(jìn)的Hough變換提取邊緣線段;然后基于濾波預(yù)測與更新車道線模型狀態(tài)參數(shù);最后結(jié)合高精度地圖中車道線先驗(yàn)?zāi)P蛥?shù),跟蹤車道線軌跡。
有研究人員通過使用聚類算法和曲線模型結(jié)合的方法,楊金鑫等[7]提出一種基于動(dòng)態(tài)搜索框及K-means聚類的三車道檢測算法。首先,根據(jù)逆透視變換(IPM)將感興趣區(qū)域內(nèi)部轉(zhuǎn)化成鳥瞰圖的形式,利用大津法(OTSU)將單幀圖像分成前景和背景兩部分區(qū)域,然后,在圖像底部規(guī)定區(qū)域內(nèi)進(jìn)行直方圖分析,得到車道線基準(zhǔn)點(diǎn)建立初始搜索框,并在其內(nèi)部使用K-means算法聚類得到車道線候選點(diǎn),根據(jù)建立的車道線直線模型迭代生成搜索框;最后,將得到的車道線候選點(diǎn)根據(jù)貝塞爾曲線對其進(jìn)行擬合得到檢測車道線。而Jitong Wang等[8]則提出了一種基于DBSCAN聚類算法和改進(jìn)的RANSAC(隨機(jī)采樣一致算法)的快速車道線檢測算法。首先,在逆透視映射圖像中通過灰度化和二值化對圖像進(jìn)行預(yù)處理。然后,通過在二值圖像中使用形態(tài)腐蝕和消除噪聲點(diǎn)進(jìn)而平滑車道線邊緣,遍歷二值圖像并提取特征點(diǎn),通過DBSCAN聚類算法對特征點(diǎn)進(jìn)行聚類。最后,通過使用基于拋物線的改進(jìn)的RANSAC算法,將每個(gè)類別中的點(diǎn)擬合為直線或曲線。
車道線特征通常有顏色、邊緣梯度、寬度以及強(qiáng)度等。傳統(tǒng)特征方法從像素層面出發(fā),依據(jù)此特征進(jìn)行濾波處理,從圖像中提取出車道線候選區(qū)域。
從顏色特征出發(fā),Chao Ma等[9]提出了一種基于CIELab顏色特征聚類的車道線檢測算法。色彩空間可以提供比灰度圖像更有價(jià)值的信息。該算法證明了通過顏色聚類識(shí)別車道線是可行的。再根據(jù)道路的幾何特征,采用二次曲線匹配車道,提出了最小二乘法來描述二次曲線的參數(shù)。而李超等[10]根據(jù)道路圖像的特征,將圖像灰度化后,采用中值濾波去除圖像采集過程中引入的噪聲,再根據(jù)自適應(yīng)閾值邊緣提取檢測算法,在提取過程中對原圖像進(jìn)行區(qū)域劃分,利用改進(jìn)的Hough變換得到車道候選線,建立動(dòng)態(tài)的ROI,通過幀間關(guān)聯(lián)方法實(shí)現(xiàn)對車道線模型的約束和更新。
部分學(xué)者著眼于邊緣梯度,劉源等[11]依據(jù)此方向,首先結(jié)合車道線邊緣的梯度分布和灰度分布提取邊緣特征點(diǎn);然后依據(jù)車道線特征點(diǎn)的連續(xù)性和梯度方向的一致性進(jìn)行特征點(diǎn)聚類得到離散區(qū)域,并通過衡量各區(qū)域之間的相似度進(jìn)行區(qū)域聚類;最后選出最優(yōu)類內(nèi)的點(diǎn)進(jìn)行擬合。
對于車道線圖像特征強(qiáng)度問題,Win等人[12]研究出一種基于Retinex算法的車道檢測算法,該算法可以在不同照明條件下進(jìn)行特征收集以進(jìn)行車道線檢測。此外,采用該算法可以有效減少計(jì)算時(shí)間并準(zhǔn)確檢測左右邊界。
有研究者將車速和車道線寬度等作為輸入性特征,Danilo Cáceres Hernández等[13]提出一種融合車輛速度和車道邊緣、顏色、寬度等多個(gè)特征的算法提取車道信息。該算法首先基于行車速度提取ROI;然后使用融合車道線顏色、邊緣特征的方式,基于依賴距離的概率推測進(jìn)行分層擬合模型;最后提取車輛兩側(cè)的車道的質(zhì)心、車道線段數(shù)量以及各自的擬合模型等信息,利用這些信息估計(jì)出車道線的幾何模型參數(shù),從而達(dá)到檢測車道的目的。
針對夜間行駛,李亞娣等[14]實(shí)現(xiàn)了車輛所在車道內(nèi)側(cè)車道線的檢測算法。該算法首先采用Laplacian算子對預(yù)處理后的圖像進(jìn)行邊緣增強(qiáng),即二值化;然后通過OTSU算法對圖像閾值處理,結(jié)合Canny算子進(jìn)行邊緣檢測;最后在處理后的圖像底部1/3區(qū)域中,基于斜率約束,利用Hough變換進(jìn)行直線擬合。
傳統(tǒng)的車道線檢測方法需要根據(jù)不同的行車場景結(jié)合經(jīng)驗(yàn)對參數(shù)進(jìn)行手動(dòng)調(diào)整,易受環(huán)境場景影響,如雨雪、大霧、夜晚等,近年來深度學(xué)習(xí)的發(fā)展為解決不同環(huán)境場景下的車道線檢測提供了新方向。而基于深度學(xué)習(xí)的計(jì)算機(jī)視覺領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型的層結(jié)構(gòu)多由數(shù)據(jù)層、視覺層、激活層、全連接層以及目標(biāo)函數(shù)等構(gòu)成。隨著層數(shù)的加深,會(huì)出現(xiàn)車道線圖像的顏色信息、紋理信息以及輪廓信息等圖像高維信息,而位于底層的網(wǎng)絡(luò)層結(jié)構(gòu)學(xué)習(xí)到的特征大多只是車道線圖像的一些邊緣信息。采用深度學(xué)習(xí)的算法步驟通常如圖2所示。本節(jié)將介紹主要基于深度學(xué)習(xí)技術(shù)的新興車道線檢測算法研究情況。
對于不同的駕駛場景,F(xiàn)abio Pizzati等研究人員[15]設(shè)計(jì)了一種車道線檢測算法,該算法基于ROS框架,在多任務(wù)CNN的訓(xùn)練過程中使用均方差不確定性估計(jì)獲得了更好的性能。該算法首先利用兩個(gè)CNN以及數(shù)據(jù)融合算法從街道場景中提取信息,然后使用單個(gè)CNN處理信息,最后通過與圖像標(biāo)簽比對來判定信息是否可用。該算法在獲取車道線圖像像素信息的同時(shí),不會(huì)造成對空白部分檢測的失準(zhǔn)而致使車道線信息變更。
圖2 基于深度學(xué)習(xí)的車道線檢測常見流程
X Zhou[16]提出了一種多任務(wù)場景車道線檢測算法,設(shè)計(jì)了同時(shí)輸出邊緣檢測圖和像素分割的網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于FCN,兩個(gè)輸出的預(yù)測分支是并行的,每個(gè)分支使用多尺度特征級(jí)聯(lián)作為圖像表示。該方法使得邊緣檢測的信息可以有助于提取圖像特征以進(jìn)行像素分割。用于多條道路車道標(biāo)記檢測的現(xiàn)代方法面臨幾個(gè)問題。首先,數(shù)據(jù)庫不足使機(jī)器學(xué)習(xí)技術(shù)的相關(guān)解決方案難以訓(xùn)練出健壯的應(yīng)用模型。其次,目前的研究集中在單車道標(biāo)志檢測上,而對單車道標(biāo)志的關(guān)注則較少。為了解決問題,該算法建立了一個(gè)具有正確標(biāo)記車道線的數(shù)據(jù)庫,并開發(fā)了一種使用極限學(xué)習(xí)機(jī)(ELM)檢測和分類整條道路的車道線標(biāo)記的方法。
在雨天拍攝的圖像會(huì)受到低照度的影響,而潮濕的道路會(huì)導(dǎo)致光線反射并扭曲車道線標(biāo)記的外觀。在夜間,有限的照明可能造成顏色失真。針對雨天和夜間等不利的駕駛環(huán)境,Seokju Lee研究團(tuán)隊(duì)[17]提出了一個(gè)統(tǒng)一的端到端的可訓(xùn)練多任務(wù)網(wǎng)絡(luò)VPGNet,該網(wǎng)絡(luò)可實(shí)時(shí)處理車道線的檢測和識(shí)別。與此同時(shí),通過構(gòu)建該網(wǎng)絡(luò),此研究團(tuán)隊(duì)建立了一個(gè)車道線標(biāo)記基準(zhǔn)數(shù)據(jù)集。在四種不同場景下:無雨、下雨、大雨和夜間,20 000張圖像被分為17種車道線標(biāo)記類別,驗(yàn)證每個(gè)任務(wù)的重要性,與此同時(shí)利用這些圖像訓(xùn)練和評(píng)估多任務(wù)網(wǎng)絡(luò)的多個(gè)版本。
基于深度學(xué)習(xí)的圖像分割技術(shù)有兩種:語義分割和實(shí)例分割,這兩種方法均為基于像素級(jí)別的。語義分割即對于圖像的每個(gè)圖像都劃分出對應(yīng)的類別,最終實(shí)現(xiàn)像素級(jí)別的分類。近年來隨著深度學(xué)習(xí)語義分割網(wǎng)絡(luò)的發(fā)展,有很多研究者將其應(yīng)用于車道線檢測,Xingang Pan等[18]提出一種空間卷積(SCNN)方法對車道線進(jìn)行檢測,SCNN比較適合于連續(xù)且形狀長的結(jié)構(gòu)目標(biāo),如車道線和桿等,這類目標(biāo)有較少的外表線索卻有很強(qiáng)的空間關(guān)系。車道線圖像信息能在像素的行和列之間傳遞,依賴于傳統(tǒng)特征圖像層到層的卷積轉(zhuǎn)為空間片到片的卷積。
也有研究團(tuán)隊(duì)從實(shí)例分割著手,將車道線檢測問題作為實(shí)例分割問題進(jìn)行建模,Davy Neven等研究人員[19]提出了一種以50fps運(yùn)行的快速車道檢測算法,該算法可以處理可變數(shù)量的車道并應(yīng)對車道變化,可以端對端地對其進(jìn)行訓(xùn)練,因?yàn)槠渲忻總€(gè)車道都形成自己的實(shí)例。為了在分割車道之前對分割的車道實(shí)例進(jìn)行參數(shù)化,團(tuán)隊(duì)進(jìn)一步應(yīng)用基于圖像的警報(bào)透視變換,而不是固定的“鳥瞰”變換,以此確保了對道路平面變化具有魯棒性的車道線擬合。
Qin Zou等[20]通過使用連續(xù)駕駛場景的多幀畫面來研究車道檢測,并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)提出了一種混合深度架構(gòu)。具體而言,每幀的信息由CNN塊提取,然后將多個(gè)具有時(shí)間序列屬性的連續(xù)幀的CNN特征反饋入RNN塊,以進(jìn)行特征學(xué)習(xí)和車道線預(yù)測。
車道線檢測算法要求極好的魯棒性和實(shí)時(shí)性,使汽車能在各種行車環(huán)境中保持快速且精確的判斷?;谝曈X的車道線檢測算法中,包括基于模型和基于特征在內(nèi)的傳統(tǒng)算法已被逐漸放棄,當(dāng)前研究人員逐漸轉(zhuǎn)向基于深度學(xué)習(xí)的方式進(jìn)行車道線算法研究工作,而神經(jīng)網(wǎng)絡(luò)模型主要引入了RNN和CNN,以應(yīng)對各種駕駛場景。DL對基于視覺的車道線檢測技術(shù)的發(fā)展產(chǎn)生了深遠(yuǎn)的影響,而車道線檢測算法在深度學(xué)習(xí)方面需要大量的數(shù)據(jù)集作為支撐,且神經(jīng)網(wǎng)絡(luò)模型具有不可解釋性,使得車道線檢測技術(shù)在穩(wěn)定性上仍有待加強(qiáng)。即使如此,基于深度學(xué)習(xí)的檢測算法的效果仍然強(qiáng)于多數(shù)傳統(tǒng)算法,因此,個(gè)人認(rèn)為車道線檢測的未來發(fā)展方向?qū)⑷孕枰劳猩疃葘W(xué)習(xí),通過不斷改善算法以解決實(shí)時(shí)性與準(zhǔn)確性的問題,進(jìn)而滿足汽車高速行駛時(shí)的魯棒性和實(shí)時(shí)性要求。
[1] Xue J,Wang D,Du S,et al.A vision-centered multi-sensor fusing approach to self-localization and obstacle perception for robotic cars[J].Frontiers of Information Technology & Electronic Engineer- ing,2017,18(1):122-138.
[2] 齊美彬,張銀霞,潘燕.一種快速的公交專用車道檢測方法[J].微型機(jī)與應(yīng)用,2012,31(10):34-37+41.
[3] 隋靚,黨建武,王陽萍.基于分段切換模型的快速車道線檢測[J].計(jì)算機(jī)應(yīng)用與軟件,2017,34(08):201-205.
[4] Lee M, Jang C, Sunwoo M. Probabilistic lane detection and lane tracking for autonomous vehicles using a cascade particle filter[J]. Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, 2015, 229(12): 1656-1671.
[5] 段建民,李岳,莊博陽.基于改進(jìn)SIS算法和順序RANSAC的車道線檢測方法研究[J].計(jì)算機(jī)測量與控制,2018,26(08):280-284+289.
[6] 吳彥文,張楠,周濤,等.基于多傳感融合的車道線檢測與跟蹤方法的研究[J].計(jì)算機(jī)應(yīng)用研究,2018,35(02):600-603+607.
[7] 楊金鑫,范英,樊祺超,等.基于動(dòng)態(tài)區(qū)域搜索框及K-means聚類的三車道檢測算法[J].科學(xué)技術(shù)與工程,2019,19(27):253-257.
[8] Wang J,Hong W,Gong L.Lane detection algorithm based on density clustering and ransac[C]//2018 Chinese Control And Decision Con- ference (CCDC).IEEE,2018:919-924.
[9] Ma C,Xie M.A method for lane detection based on color clustering [C]//2010 Third International Conference on Knowledge Discovery and Data Mining.IEEE,2010:200-203.
[10] 李超,劉宏哲,袁家政,等.一種基于幀間關(guān)聯(lián)的實(shí)時(shí)車道線檢測算法[J].計(jì)算機(jī)科學(xué),2017,44(02):317-323.
[11] 劉源,周聰玲,劉永才,等.基于邊緣特征點(diǎn)聚類的車道線檢測[J].科學(xué)技術(shù)與工程,2019,19(27):247-252.
[12] Win S Y, Lwin H H. Lane Boundaries Detection Algorithm based on Retinex with Line Segments Angles Computation[C]//2018 18th International Symposium on Communications and Information Technologies (ISCIT). IEEE, 2018: 160-164.
[13] Cáceres Hernández D,Kurnianggoro L,Filonenko A,et al. Real-time lane region detection using a combination of geometrical and image features[J]. Sensors, 2016, 16(11): 1935.
[14] 李亞娣,黃海波,李相鵬,等.基于Canny算子和Hough變換的夜間車道線檢測[J].科學(xué)技術(shù)與工程,2016,16(31):234-237+242.
[15] Pizzati F, García F. Enhanced free space detection in multiple lanes based on single CNN with scene identification[C]//2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019: 2536-2541.
[16] Zhou X. Experimental study on scene recognition and multiple road lane marks detection based on machine learning methods[D].Sin- gapore:Nanyang Technological University,2018.
[17] Lee S,Kim J,Shin Yoon J,et al.Vpgnet:Vanishing point guided network for lane and road marking detection and recognition[C]// Proceedings of the IEEE international conference on computer vision.2017:1947-1955.
[18] Pan X,Shi J,Luo P,et al.Spatial as deep: Spatial cnn for traffic scene understanding[C]//Thirty-Second AAAI Conference on Artificial Intelligence.2018.
[19] Neven D,De Brabandere B,Georgoulis S, et al. Towards end-to-end lane detection: an instance segmentation approach[C]//2018 IEEE intelligent vehicles symposium (IV). IEEE, 2018: 286-291.
[20] Zou Q,Jiang H,Dai Q,et al.Robust lane detection from continuous driving scenes using deep neural networks[J].IEEE transactions on vehicular technology,2019,69(1):41-54.
Overview of Research on Vision-based Lane Line Detection Algorithms
LIU Yu, HAN Lei, WANG Chengqing, SUN Yang
( School of Mechanical and Equipment Engineering, Hebei University of Engineering, Hebei Handan 056038 )
In the realization of automatic driving, environment perception is an important task, and the research of lane line detection algorithm occupies a major position in environment perception. Traditional lane line detection algorithms mainly rely on extracting features, and features will change with the environment, so they are easily affected by the environment. With the development of deep learning at home and abroad, researchers have begun to use deep learning technology to study lane line detection algorithms to minimize the impact of environmental factors. This article summarizes the research progress of vision-based lane line detection algorithms in recent years, mainly model-based, feature-based traditional lane line detection algorithms, and emerging detection algorithms based on deep learning, and detailed analysis of representative implementation methods.
Lane line detection;Computer vision;Features;Model;Deep learning;Image segmentation
A
1671-7988(2021)22-24-04
U495
A
1671-7988(2021)22-24-04
CLC NO.:U495
劉宇,就讀于河北工程大學(xué)機(jī)械與裝備工程學(xué)院,主要研究方向:無人駕駛車輛關(guān)鍵技術(shù)。
河北省自然基金項(xiàng)目(F2016402106)和河北省教育廳項(xiàng)目(QN215129)。
10.16638/j.cnki.1671-7988.2021.022.006