智能駕駛中的車道檢測及應(yīng)用綜述

金 勇 王振陽

(1.環(huán)球車享汽車租賃有限公司； 2.上海交通大學(xué)汽車電子控制技術(shù)國家工程實驗室； 2.上海交通大學(xué)學(xué)生創(chuàng)新中心， 上海 200240)

0 引言

智能駕駛技術(shù)包含環(huán)境感知、定位導(dǎo)航、路徑規(guī)劃與決策、車輛控制等方面。車道檢測是環(huán)境感知的重要組成部分，并可為路徑規(guī)劃與決策提供有益的信息。

大部分車道檢測算法都依賴視覺傳感器。其中，基于單純機(jī)器視覺的車道檢測算法歷史悠久，應(yīng)用廣泛；21世紀(jì)初，基于視覺傳感器和其他傳感器融合的車道檢測算法開始興起；近年來，隨著硬件的發(fā)展和理論的成熟，出現(xiàn)了基于深度學(xué)習(xí)的車道檢測，并取得了良好的效果。車道檢測的結(jié)果可用于多種自動駕駛功能或高級駕駛輔助系統(tǒng)(ADAS)，如車道偏離預(yù)警系統(tǒng)、車道保持輔助系統(tǒng)等。

實際道路可分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路。前者具有清晰的道路標(biāo)志和車道劃分，環(huán)境背景單一，幾何特征明確，典型代表為高速公路和城市干道；后者一般沒有明確的道路標(biāo)志，環(huán)境背景復(fù)雜，缺乏重復(fù)性特征，典型代表為鄉(xiāng)村道路。本文主要探討具有“車道”的道路，即結(jié)構(gòu)化道路。

1 基于機(jī)器視覺的車道檢測

基于機(jī)器視覺的車道檢測一般選用單目相機(jī)或多目相機(jī)。檢測的一般流程如圖1所示。首先，對道路圖像進(jìn)行反投影變換，獲得道路圖像的俯視圖；對俯視圖進(jìn)行濾波和閾值化，獲得二值圖像；提取二值圖像的特征，并根據(jù)先驗知識做一些后處理。以上即為基于特征的車道檢測的過稱。對于結(jié)構(gòu)化道路，由于車道線等道路標(biāo)志存在一定的規(guī)律和約束，可以建立道路模型，對圖像后處理的結(jié)果進(jìn)行擬合，從而實現(xiàn)基于模型的車道檢測。

圖1 基于特征/模型的車道檢測的一般流程

圖像后處理可分為單幀圖像的后處理和多幀圖像的后處理。Hough變換[1]是常用的單幀圖像后處理方法之一，它將像素空間的點映射到參數(shù)空間，參數(shù)空間中曲線的交點對應(yīng)像素空間中由相應(yīng)參數(shù)決定的特征(如直線、圓等)。多幀圖像的后處理可分為兩類，一類是在提取多幀圖像特征的基礎(chǔ)上進(jìn)行特征匹配，另一類是在提取一幀圖像的特征后進(jìn)行特征追蹤或動態(tài)估計。多幀圖像的后處理可基于單幀圖像的后處理，也可直接基于提取的特征。

1980年代中期，E. D. Dickmanns等[2][3]提出了一種基于視覺的車道級汽車自主導(dǎo)航系統(tǒng)。系統(tǒng)采用長焦相機(jī)和廣角相機(jī)的組合來采集圖像，并利用組合卡爾曼濾波進(jìn)行圖像后處理。系統(tǒng)假設(shè)車道由直線和圓弧組成，通過計算曲率擬合車道。系統(tǒng)還具有車道保持功能，在典型的高速公路環(huán)境和的車速下，車輛的橫向偏移不超過3%。

在隨后的幾年中，部分車企如通用汽車、本田、三菱等都開發(fā)了自己的車道檢測系統(tǒng)。其中，本田的系統(tǒng)假設(shè)車道線為直線，利用Hough變換檢測車道。通用汽車和三菱的系統(tǒng)則對對車道兩側(cè)的車道線施加了平行約束。

1994年，Karl Kluge[4]提出了ARCADE算法。這是一種無需先驗知識的算法，它提取車道邊緣點的位置和取向作為輸入，利用直線和圓弧模型來估計車道的曲率和方向。算法采用最小中值平方抗差估計獲得車道參數(shù)，具有較高的魯棒性和可靠性，在輸入邊緣點的50%被噪聲污染的情況下仍可得到準(zhǔn)確結(jié)果。在此基礎(chǔ)上，Karl Kluge和Sridhar Lakshmanan[5]于1995年提出了LOIS車道檢測算法。該算法基于可變模板法，利用相似函數(shù)而非梯度閾值檢測車道線邊沿，在圖像有大量雜波(如斑駁陰影、車道線破損等)的情況下仍可較好地識別。

1998年，Massimo Bertozzi和Alberto Broggi[6]提出了GOLD系統(tǒng)。系統(tǒng)采用串聯(lián)的形態(tài)學(xué)濾波器提取車道線特征，檢測車道；設(shè)計了專用的并行SMID計算機(jī)架構(gòu)以實現(xiàn)低功耗下的高速實時運算，可在結(jié)構(gòu)化道路上達(dá)到10 Hz的檢測頻率。

1999年，Chris Kreucher和Sridhar Lakshmanan[7]提出了LANA系統(tǒng)。與其他車道檢測系統(tǒng)不同，該系統(tǒng)基于頻域而非空間域。系統(tǒng)首先將圖像劃分為8×8像素的區(qū)域并在每個區(qū)域內(nèi)進(jìn)行離散余弦變換，然后利用貝葉斯算法對變換結(jié)果進(jìn)行特征匹配。該系統(tǒng)在實驗結(jié)果、計算速度和理論性能方面均優(yōu)于LOIS。

2003年，Dong-Joong Kang和Mun-Ho Jung[8]提出了一種基于動態(tài)規(guī)劃的車道分割算法。該算法將圖像在垂直方向上劃分為多個子區(qū)域。對于每個子區(qū)域，首先用圖像聚類的方法得到車道線的初始位置，然后通過動態(tài)規(guī)劃獲得車道線的精確位置。與其他直接提取圖像特征的算法相比，該算法可減小計算量。

2006年，Joel C. McCall和Mohan M. Trivedi[9]在總結(jié)前人經(jīng)驗的基礎(chǔ)上，提出了用于車道檢測和追蹤的VioLET系統(tǒng)。該系統(tǒng)利用可變方向濾波器進(jìn)行特征提取?？勺兎较驗V波器可在方向和方向上獨立卷積，從而加速運算；以有限個旋轉(zhuǎn)方向的濾波器作為基底，即可得到任意方向上的響應(yīng)。系統(tǒng)選用了回旋曲線車道模型，通過可變模板法進(jìn)行曲率估計。車道追蹤則選用了卡爾曼濾波法。

同年，王宏和陳強(qiáng)提出了一種適用于不同環(huán)境和夜間行駛的實時車道檢測算法。與其他算法不同，該算法沒有分別檢測每條車道線，而是將同一車道兩側(cè)的車道線作為曲線對同時檢測。算法采用隨機(jī)抽樣一致(RANSAC)算法進(jìn)行車道擬合，車道模型選用雙曲線對。

在此基礎(chǔ)上，Mohamed Aly于2008年提出了一種城市道路車道標(biāo)志實時檢測方法。該方法同樣采用隨機(jī)抽樣一致(RANSAC)算法進(jìn)行車道擬合，車道模型選用三次貝塞爾曲線，兼顧了計算效率和準(zhǔn)確度。

以上車道檢測算法或系統(tǒng)多基于單目灰度相機(jī)。事實上，也有許多車道檢測的研究是基于多目相機(jī)和彩色相機(jī)的。

1992年，E. D. Dickmanns和B. D. Mysliwetz提出了一種基于雙目視覺的車道檢測系統(tǒng)。系統(tǒng)可以25Hz的頻率檢測車道在水平和垂直方向的曲率。系統(tǒng)采用了時-空結(jié)合的四維模型，附加的時間連續(xù)性約束可大幅降低對圖像處理的要求。2004年，Sergiu Nedevschi等提出了一種基于立體視覺的三維車道檢測方法，該方法將車道視為三維表面而非平面。

1995年，Karl Kluge和Chuck Thorpe提出了基于彩色相機(jī)的YARF系統(tǒng)。該系統(tǒng)首先將彩色圖像由RGB空間轉(zhuǎn)換到HSI空間。在I(亮度)空間，對圖像的處理與灰度圖像相似，依然是利用直線-圓弧模型和卡爾曼濾波進(jìn)行車道檢測和追蹤；在H(色調(diào))空間，則可對不同顏色的車道線進(jìn)行區(qū)分，從而在車道檢測過程中提供更多信息。

2 基于多傳感器融合的車道檢測

結(jié)構(gòu)化道路特征明確，邊界清晰，十分適合視覺檢測。但視覺傳感器也存在一些不足(如在極端天氣和弱光照條件下表現(xiàn)不佳)。如果將多種感知融合，往往可以取得較好的效果。

根據(jù)待融合的數(shù)據(jù)，多傳感器融合可分為三種級別：數(shù)據(jù)級融合、特征級融合和決策級融合(圖2)。數(shù)據(jù)級融合直接對傳感器獲得的原始數(shù)據(jù)進(jìn)行融合，一般要求待融合的數(shù)據(jù)來自同類傳感器，上文中基于多目相機(jī)的車道檢測即可視為此類；特征級融合先進(jìn)行特征提取，再對提取的特征進(jìn)行融合；決策級融合則在特征提取的基礎(chǔ)上，進(jìn)一步作出初步?jīng)Q策，并融合決策得出最終結(jié)果。本章主要討論特征級融合和決策級融合。

圖2 多傳感器融合的不同級別

2000年，J. Goldbeck等提出了一種基于視覺和高精定位系統(tǒng)的車道檢測系統(tǒng)。在視覺部分，系統(tǒng)通過計算灰度圖像的梯度檢測車道線；在高精定位部分，系統(tǒng)利用差分全球定位系統(tǒng)(DGPS)和慣性導(dǎo)航系統(tǒng)(INS)確定車輛的精確位置和姿態(tài)，并與高精度地圖進(jìn)行對比，得出結(jié)果。視覺部分和高精定位部分只是互為備份，提高了系統(tǒng)的可靠性。

同年，Bing Ma等提出了一種基于相機(jī)-毫米波雷達(dá)融合的車道和道路邊界檢測系統(tǒng)。在此之前，基于相機(jī)的車道檢測和基于毫米波雷達(dá)的道路邊界檢測往往是獨立進(jìn)行的，這類算法在任何一種傳感器噪聲較大時都會產(chǎn)生問題。針對上述情況，Bing Ma等基于貝葉斯理論，利用經(jīng)驗最大后驗(MAP)估計對相機(jī)和毫米波雷達(dá)的檢測結(jié)果進(jìn)行了決策級的融合。

2001年，B. Southall和C. J. Taylor提出了一套基于彩色相機(jī)的道路形狀估計系統(tǒng)。該系統(tǒng)利用粒子濾波器估計道路曲率及其變化率。在估計過程中，系統(tǒng)利用外部傳感器采集車速和偏航率，用于估計相機(jī)的垂向偏置。同年，Sukhan Lee和Woong Kwon也提出了一種利用車速和轉(zhuǎn)向角信息輔助的視覺車道檢測系統(tǒng)。其中，車速信息來自主動阻尼懸架的脈沖輸出，轉(zhuǎn)向角則來自轉(zhuǎn)向編碼器的脈沖輸出。

2003年，Nicholas Apostoloff和Alexander Zelinsky提出了一種基于視覺的多線索融合車道追蹤系統(tǒng)。該系統(tǒng)使用了兩套視覺設(shè)備，一套為安裝在儀表盤上的被動相機(jī)，另一套為近場/遠(yuǎn)場雙相機(jī)組成的主動視覺系統(tǒng)。車道檢測以主動視覺系統(tǒng)中的近場相機(jī)為主。系統(tǒng)采用粒子濾波器算法，融合了車道標(biāo)志、道路邊緣、道路顏色、非道路顏色、道路寬度、彈性道路等線索。

近年來，用于車道檢測的傳感器趨于多樣化。2015年，吳毅華等提出了一種基于激光雷達(dá)的車道檢測方法。與之前流行的基于激光雷達(dá)掃描點密度的檢測方法不同，該方法基于激光雷達(dá)的回波脈沖寬度，抗干擾能力強(qiáng)，檢測精度高。

3 基于學(xué)習(xí)的車道檢測

近年來，在基于傳統(tǒng)圖像處理的車道檢測之外，還出現(xiàn)了基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的車道檢測算法。這類算法一般將車道檢測視為語義分割或?qū)嵗指顔栴}。

2018年，Davy Neven等[25]提出了LaneNet，其結(jié)構(gòu)如圖3所示。LaneNet采用編碼器-解碼器網(wǎng)絡(luò)；先利用公共的編碼器提取特征，再利用不同的解碼器進(jìn)行二值分割(車道線檢測)和像素編碼(車道分割)，對結(jié)果進(jìn)行逐像素相乘和聚類。為保證車道線的光滑性，還訓(xùn)練了一個小型卷積神經(jīng)網(wǎng)絡(luò)H-Net，對結(jié)果進(jìn)行鳥瞰變換，并根據(jù)變換的結(jié)果擬合車道線。LaneNet的優(yōu)點是可同時檢測多條車道線，且無需預(yù)設(shè)車道數(shù)量。

圖3 LaneNet網(wǎng)絡(luò)結(jié)構(gòu)

同年，徐奕等將傳統(tǒng)上獨立的車道分割和車道線檢測任務(wù)聯(lián)合起來，將兩個流程的輸出分別編碼后作為另一個流程的輸入，利用幾何約束關(guān)系提高檢測的準(zhǔn)確性。潘新鋼等則提出了空間卷積神經(jīng)網(wǎng)絡(luò)(SCNN)。SCNN將行與列也看成層，并進(jìn)行卷積和非線性激活，從而在行與行、列與列之間傳遞信息，特別適用于檢測車道線等細(xì)長的連續(xù)形狀。

基于學(xué)習(xí)的算法需要利用大量數(shù)據(jù)進(jìn)行訓(xùn)練。常用的車道線數(shù)據(jù)集有KITTI，CULane，CityScapes，BDD100K等。大部分?jǐn)?shù)據(jù)集都采用逐像素分割的方式標(biāo)注車道線，但也有一些數(shù)據(jù)集(如BDD100K)采用參數(shù)化形式的車道線標(biāo)簽。

4 車道檢測在智能駕駛中的應(yīng)用

在早期的研究中，車道檢測往往并不是一個獨立的課題，而是與車道保持或追蹤結(jié)合起來。更確切地說，車道檢測是車道保持或追蹤研究中的重要環(huán)節(jié)。這一時期的研究成果可以控制實車，但距離商用還有一定的差距。由于一般只涉及車道的檢測(或包含障礙物的檢測)，而缺乏全局性的路徑規(guī)劃，受控車輛仍需較多的人為干預(yù)。此外，由于假設(shè)較多，受控車輛對道路要求較高，使用情境十分有限。

值得注意的是，并不是所有車道保持或追蹤系統(tǒng)都需要前置的車道檢測環(huán)節(jié)，ALVINN就是典型的一例。ALVINN是一種基于神經(jīng)網(wǎng)絡(luò)的自動駕駛系統(tǒng)。神經(jīng)網(wǎng)絡(luò)以采集的道路圖像作為輸入，以駕駛員的實際轉(zhuǎn)向操作作為監(jiān)督數(shù)據(jù)，經(jīng)過訓(xùn)練，可以預(yù)測轉(zhuǎn)向角，并以此為依據(jù)控制車輛轉(zhuǎn)向。

21世紀(jì)初，基于車道檢測的ADAS開始陸續(xù)投入市場，主要包含車道偏離預(yù)警系統(tǒng)(LDWS)和車道保持輔助系統(tǒng)(LKAS)。雖然LKAS比LDWS要復(fù)雜一些，但兩者幾乎是同時投入商用的。這兩種系統(tǒng)都是通過檢測車道，確定車輛相對車道的位置和運動趨勢，從而在必要時做出車道偏離預(yù)警或車道保持控制。

LDWS和LKAS在實際使用中應(yīng)避免與駕駛員的主動轉(zhuǎn)向操作發(fā)生沖突?，F(xiàn)有系統(tǒng)的解決方案一般為在轉(zhuǎn)向燈開啟時臨時屏蔽系統(tǒng)。此方案在一般情況下是沒有問題的，但在部分特殊情況下可能帶來不便，甚至成為安全隱患。部分系統(tǒng)已嘗試通過轉(zhuǎn)向輸入判斷駕駛員的真實意圖，從而合理地發(fā)揮作用。

車道檢測也可用于更高級別的自動駕駛中。F. Heimes和H.H. Nagel于2002年提出了一種基于機(jī)器視覺和定位系統(tǒng)的主動駕駛輔助系統(tǒng)。該系統(tǒng)可控制車輛按照預(yù)定路線行駛。系統(tǒng)首先結(jié)合DGPS和高精地圖進(jìn)行路徑規(guī)劃和導(dǎo)航，然后根據(jù)基于視覺的車道檢測結(jié)果決定車輛的具體行駛軌跡并控制車輛。

在自動駕駛車輛中，利用視覺傳感器(或基于視覺傳感器的多傳感器融合)進(jìn)行車道檢測是較為常見的做法，如Tesla旗下的各款車型。但也有一些較為激進(jìn)的做法，如在百度Apollo的高成本方案中，并沒有進(jìn)行車道線檢測，而是通過高精定位系統(tǒng)和高精地圖確定車輛相對車道線的位置。

2017年，Audi推出了全球首款量產(chǎn)L3級自動駕駛車輛——Audi A8。這款車型采用了多種車道檢測方法以保證可靠性：首先，是基于圖像識別的車道線檢測；第二，是基于毫米波雷達(dá)的前車位置檢測，從而估算車道位置；第三，是利用激光雷達(dá)探測車輛到道路邊緣的距離，推算車道位置。

5 結(jié)束語

車道檢測在智能駕駛中占有重要地位。這一領(lǐng)域的研究是從基于機(jī)器視覺的車道檢測開始的。視覺傳感器可以使用單目灰度相機(jī)，也可以使用多目相機(jī)或彩色相機(jī)。更復(fù)雜的相機(jī)可以提供更多的信息，從而減少算法的假設(shè)，提高算法的精確度和適用性。但另一方面，更復(fù)雜的相機(jī)也意味著更高的硬件成本和計算力要求。

視覺傳感器是最適合車道檢測的傳感器之一，但也存在一些弱點。采用多傳感器融合可以克服這些弱點。隨著越來越多的傳感器應(yīng)用于自動駕駛和高級駕駛輔助系統(tǒng)，多傳感器融合也是合理的選擇。

隨著硬件計算能力和效能比的提高，一些復(fù)雜的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法開始應(yīng)用于車道檢測，提高了檢測的精度。

從起步時期開始，車道檢測的研究就著眼于車道保持或追蹤。隨著算法的復(fù)雜化和高質(zhì)量數(shù)據(jù)集的建立，開始出現(xiàn)獨立的車道檢測研究。但車道檢測始終是面向?qū)嶋H應(yīng)用的課題。隨著智能駕駛的發(fā)展，車道檢測有著越來越廣泛的應(yīng)用。

在關(guān)于車道檢測的研究中，以下方向值得關(guān)注：

(1) 從車道中獲得更多信息。如今的車道檢測研究多著眼于車道線位置的檢測。但從車道線的顏色、數(shù)量、虛實等中，可以獲得更多的有效交通信息。這一方向已有一定的積累，但還存在較大的進(jìn)步空間。

(2) 視覺傳感器感知的綜合。這一領(lǐng)域較為常見的是將車道檢測與障礙物檢測綜合起來。如果可以將更多的視覺信息(如交通標(biāo)志等)綜合考慮，無疑可以更加有效的利用采集的圖像。

(3) 特征級的感知融合。當(dāng)今車道檢測中的感知融合多為決策級融合，融合方法往往為多選一，融合過程中信息損失較多。采用特征級融合可以更有效地利用傳感器采集的信息，避免高精度信息覆蓋低精度信息。

(4) 基于視覺的全場景分割。由對象的實例分割和背景的語義分割組合而成的全場景分割，可以將障礙物檢測、車道檢測、交通信息檢測、可行駛區(qū)域判別等融為一體，實現(xiàn)端到端的復(fù)雜交通場景理解，是基于學(xué)習(xí)的檢測算法的發(fā)展方向。