基于視覺的非結(jié)構(gòu)化道路識別綜述

張軒銘

（重慶交通大學(xué)機(jī)電與車輛工程學(xué)院，重慶 400074）

0 引言

無人駕駛技術(shù)作為現(xiàn)代交通領(lǐng)域的前沿研究方向，正在迅速發(fā)展和演進(jìn)，無人駕駛汽車成為未來交通系統(tǒng)的重要組成部分[1]。無人駕駛技術(shù)分為環(huán)境感知、決策和控制等領(lǐng)域，環(huán)境感知系統(tǒng)為無人駕駛車輛提供車輛周圍環(huán)境信息，其中非常重要的一項(xiàng)功能是對道路進(jìn)行檢測[2]。目前可將道路劃分為結(jié)構(gòu)化與非結(jié)構(gòu)化2種道路類型。結(jié)構(gòu)化道路一般是指高速公路、城市干道等結(jié)構(gòu)化較好的公路，這類道路具有清晰的車道線，道路的背景環(huán)境相對單一，且有明顯的道路幾何特征，且路面的顏色通常較為固定，易于識別，如圖1a所示。而非結(jié)構(gòu)化道路的情況則千差萬別，缺乏明確的路線和駕駛指示，如路標(biāo)、交通信號等。其中越野場景更是復(fù)雜多樣，一些典型的場景是森林、鄉(xiāng)村道路、泥濘或沙質(zhì)道路，或被茂密植物覆蓋的地形[3]。非結(jié)構(gòu)化道路環(huán)境可以是任何沒有基本駕駛設(shè)施、道路指示和比通常條件更具挑戰(zhàn)性的環(huán)境，如圖1b所示。

目前非結(jié)構(gòu)化道路檢測存在許多問題：

（1）由于非結(jié)構(gòu)化道路本身類型不固定，可能是泥土、沙子、碎石等組成；

（2）非結(jié)構(gòu)化道路表面不平整，大部分道路存在凹凸不平的情況；

（3）非結(jié)構(gòu)化道路邊界模糊，道路與周圍自然植物相交而成，沒有明顯的道路邊界；

（4）非結(jié)構(gòu)化道路形狀不規(guī)則，道路寬窄變化頻繁。除了道路本身的挑戰(zhàn)外，還存在外界干擾因素，如光照條件的變化、周圍環(huán)境的干擾、圖像噪聲的產(chǎn)生以及由于汽車行駛中的顛簸導(dǎo)致的圖像模糊。以上問題都給非結(jié)構(gòu)化道路場景無人駕駛算法的準(zhǔn)確性和魯棒性帶來很大的挑戰(zhàn)[4]。

目前，基于視覺的非結(jié)構(gòu)化道路檢測主要分為3種方法：（1）基于道路特征的方法，（2）基于道路模型的方法，（3）基于機(jī)器學(xué)習(xí)的方法。本文將分別對這3個方法進(jìn)行綜述。

1 基于道路特征的方法

非結(jié)構(gòu)化道路檢測最常使用的方法就是基于道路特征的檢測方法，其主要是根據(jù)道路自身的明顯的特征來檢測道路，道路本身特征包括道路的顏色、紋理、邊緣等，依靠這些特征來區(qū)分可行駛的道路區(qū)域和非道路區(qū)域，再根據(jù)聚類或者區(qū)域生長的方法來獲取道路可行駛區(qū)域?；诘缆诽卣鞯臋z測方法其優(yōu)點(diǎn)在于需要的先驗(yàn)知識少，而且對道路的形狀不敏感，可以用于檢測形狀不規(guī)則的非結(jié)構(gòu)化道路。但其缺點(diǎn)也非常明顯，由于是基于道路特征來進(jìn)行檢測，當(dāng)?shù)缆诽卣靼l(fā)生變化或受外部環(huán)境因素影響時，其檢測效果會非常差，如對路面陰影或水跡等比較敏感[5]。目前基于道路特征的非結(jié)構(gòu)化道路識別方法分為基于顏色特征的方法、基于邊緣特征的方法、基于紋理特征的方法3種。

1.1 基于顏色特征的方法

一般情況下，在非結(jié)構(gòu)化道路可行駛區(qū)域內(nèi)的道路顏色基本一致，可將道路檢測問題轉(zhuǎn)化為基于顏色特征的道路提取問題，然后再利用閾值分割或區(qū)域生長等方法來獲取非結(jié)構(gòu)化道路的可行駛區(qū)域。

Sotelo[6]提出基于HSV（Hue，Saturation，Value）顏色空間和二維空間約束的道路分割算法，并成功地在不同環(huán)境和天氣條件下對非結(jié)構(gòu)化道路的邊緣和寬度進(jìn)行正確估計(jì)。但是，在日出后和日落前陽光較強(qiáng)的時段，使用該道路跟蹤算法存在一定的局限性。李大杰等[7]根據(jù)非結(jié)構(gòu)化道路的顏色特征提出一種基于色度差的邊緣檢測算法。該算法是將輸入原始圖像的RGB 顏色空間轉(zhuǎn)化為L*a*b*（L 代表明亮度，a 和b為兩個色度通道）顏色空間，結(jié)合L*a*b*顏色空間的明度與色度分離的特點(diǎn)，對色度差的信息進(jìn)行融合后，通過霍夫（Hough）變換提取出圖像邊緣得到非結(jié)構(gòu)化道路邊緣信息。該算法能夠減小陰影、水漬等外部因素對真實(shí)道路邊界的干擾。鐘鵬飛[8]將原始圖像的RGB 顏色空間轉(zhuǎn)化為HSV 顏色空間進(jìn)行顏色分析。結(jié)合梯度幅值算法和大津法（OTSU）對圖像的非結(jié)構(gòu)化道路區(qū)域進(jìn)行分割，再利用形態(tài)學(xué)算法和路面與背景區(qū)域灰度值差異的特點(diǎn)，對道路邊緣進(jìn)行提取。但該方法對于顏色差異較小的非結(jié)構(gòu)道路檢測效果較差，特別是沙漠、雪地和山地等道路環(huán)境。Huang[9]提出了一種基于HSV 顏色空間和道路特征的非結(jié)構(gòu)化道路檢測方法。該方法主要使用Hue 分量作為估計(jì)標(biāo)準(zhǔn)，因?yàn)樗鼘﹃幱昂退虿幻舾?，針對道路的色調(diào)組件可能會出現(xiàn)不穩(wěn)定的情況，該方法將飽和度和值組件結(jié)合起來，以保證魯棒性。除此之外，該方法沒有一個一個地處理所有的幀像素，而是選取了一些像素進(jìn)行處理，從而保證了處理速度。

1.2 基于邊緣特征的方法

圖像中的邊緣信息具體表現(xiàn)為其周圍像素灰度變化不連續(xù)的那些像素的集合，局部圖像顏色強(qiáng)度發(fā)生明顯變化的位置即是圖像邊緣。非結(jié)構(gòu)化道路中的道路區(qū)域和非道路區(qū)域有明顯的邊緣特征，因此可以利用此邊緣檢測算法來提取圖像的邊緣特征，從而分割出非結(jié)構(gòu)化道路的可行駛區(qū)域。

目前常用的邊緣檢測方法有小波變換[10]，常用的邊緣檢測算子有：一階的Roberts 算子[11]、Sobel 算子[12]等；二階的拉普拉斯算子[13]、康尼（Canny）邊緣檢測算子[14]等。王燕清等[15]根據(jù)非結(jié)構(gòu)化道路存在邊界不規(guī)則問題，提出加權(quán)Canny 邊緣檢測方法和面向加權(quán)Canny 邊緣圖像的啟發(fā)式概率Hough 變換方法。經(jīng)過試驗(yàn)證明，該方法能夠在不同非結(jié)構(gòu)化道路環(huán)境下進(jìn)行道路邊界檢測，提高了算法的準(zhǔn)確性和實(shí)時性。盧才武等[16]針對傳統(tǒng)圖像處理方法對噪聲敏感且容易誤判和漏判的問題，根據(jù)Canny 邊緣檢測的方法，利用一種平滑尺度自適應(yīng)的高斯濾波方法對遙感影像進(jìn)行降噪，在降低噪聲干擾的同時還保留了邊緣細(xì)節(jié)。該方法能明顯改善邊緣檢測的準(zhǔn)確度和定位精度，且完整度和連續(xù)性顯著增強(qiáng)。其檢測結(jié)果如圖2 所示。鄭歡歡[17]將Sobel 算子的邊緣檢測算法進(jìn)行改進(jìn)，通過擴(kuò)大構(gòu)造5×5的梯度權(quán)值模板計(jì)算出圖像邊緣信息，然后利用K-means 聚類算法獲取最佳自適應(yīng)閾值來完成圖像分割。該方法使得邊緣信息保留的更加完整。

圖2 邊緣檢測結(jié)果

1.3 基于紋理特征的檢測方法

紋理特征是廣泛存在于自然界中的物體表面的特征，非結(jié)構(gòu)化道路也有屬于其獨(dú)特的紋理特征，如圖3所示?；诩y理特征的檢測可根據(jù)其紋理特征來提取非結(jié)構(gòu)化道路可行駛區(qū)域。

圖3 非結(jié)構(gòu)化道路紋理

Tuceryan[18]將提取紋理特征的方法分為5種：結(jié)構(gòu)分析法、統(tǒng)計(jì)法、幾何法、模型方法和信號處理法。

（1）結(jié)構(gòu)分析方法主要是研究紋理基元的類型和數(shù)目以及基元之間復(fù)雜的空間位置排序和組織結(jié)構(gòu)，先假設(shè)紋理基元是分離狀態(tài)，然后以基元特征和規(guī)則排序識別圖像紋理。

（2）統(tǒng)計(jì)法的原理是利用概率來反映圖像的灰度方向、相鄰像素間隔和變化幅度等整體信息。

（3）模型法的研究重點(diǎn)是模型參數(shù)估計(jì)。該方法在對圖像進(jìn)行分割處理時需要以模型參數(shù)為特征，或者采用某種分類法實(shí)現(xiàn)圖像分割。

（4）信號處理法的本質(zhì)是對時域、頻域以及多尺度的分析。該方法對道路圖像進(jìn)行處理是通過透視變換來實(shí)現(xiàn)的，提取出圖像中存在于某個區(qū)域的像素特征點(diǎn)，獲取其特征值，這種方式可體現(xiàn)出某個區(qū)域或者區(qū)域外的等同性和互異性。信號處理的算法在提取圖像紋理特征時，主要是利用線性變換、濾波器或者濾波器組將紋理轉(zhuǎn)換到變換域，然后利用一種能量分布準(zhǔn)則提取紋理特征，這種準(zhǔn)則是在頻域上給與一定的假設(shè)，即能量分布可以識別出圖像紋理。信號處理法的經(jīng)典算法又分為：Tainura 紋理特征、自回歸紋理模型、Gabor小波變換。

在一些非結(jié)構(gòu)化道路場景中，例如泥地、荒漠和戈壁等，由于紋理特征對這些可行駛區(qū)域圖像的顏色和光照魯棒性高，所以基于紋理特征的非結(jié)構(gòu)化道路檢測是當(dāng)前較常用的方法，其中基于消失點(diǎn)檢測的方法已逐漸成為主流。消失點(diǎn)是透視圖圖像平面上的一個點(diǎn)，三維空間中平行線的二維透視投影（或圖形）似乎會匯聚，圖像中的所有東西似乎都匯聚在一個點(diǎn)上，這個點(diǎn)被稱為消失點(diǎn)。如圖4 所示，圖4（a）是直線道路上的消失點(diǎn)檢測，圖4（b）是彎曲道路上的消失點(diǎn)檢測?；谙c(diǎn)的道路檢測方法一般又分為3種:（1）基于道路邊緣線的方法；（2）基于空間變換技術(shù)的方法；（3）基于紋理特征的方法。最常用的就是基于紋理特征來檢測道路的消失點(diǎn)。利用紋理方向來估計(jì)消失點(diǎn)最初是由Rasmussen[19]提出。

圖4 不同道路上的消失點(diǎn)

Shi[20]提出了一種以較低的計(jì)算代價提高消失點(diǎn)估計(jì)精度和魯棒性的新算法，利用4 個Gabor 濾波器的聯(lián)合活動和置信度來加快紋理方向估計(jì)的過程。該算法采用粒子濾波器降低了算法的誤識別率和計(jì)算復(fù)雜度，它限制了消失點(diǎn)搜索范圍，并減少了要投票的像素?cái)?shù)量。該算法將投票累加器空間的峰性測度與觀測值的移動平均位移相結(jié)合，調(diào)節(jié)候選消失點(diǎn)的分布。Yang[21]提出了一種用于檢測道路圖像中消失點(diǎn)的新算法。首先使用輪廓小波紋理檢測器加速像素檢測。然后通過響應(yīng)調(diào)制線投票方案對可靠主導(dǎo)向量的像素進(jìn)行調(diào)制，為每個像素賦予適當(dāng)?shù)耐镀睓?quán)重。與以往紋理方法不同，考慮了道路像素的紋理響應(yīng)，增強(qiáng)了魯棒性并抑制與道路無關(guān)的紋理響應(yīng)。最終候選的消失點(diǎn)由獲得最多投票的可靠調(diào)制投票點(diǎn)來確定。

2 基于道路模型的方法

基于道路模型的道路檢測方法的前提條件是假設(shè)非結(jié)構(gòu)化道路具有較規(guī)則的邊緣，再利用道路邊緣的結(jié)構(gòu)建立相匹配的道路模型，然后對道路模型進(jìn)行擬合匹配得到道路區(qū)域與非道路區(qū)域的邊界[22]。道路模型的優(yōu)點(diǎn)是在路面水跡、陰影和光照不均等環(huán)境下魯棒性較強(qiáng)。但缺點(diǎn)也很明顯，由于道路模型是基于道路形狀建立，所以當(dāng)?shù)缆沸螤畎l(fā)生變化而不符合預(yù)先假設(shè)時，模型的檢測精度會急劇下降。常用的道路模型有直線模型、拋物線模型和樣條曲線模型[23]。

直線模型基于直線道路建模，在減少內(nèi)存限制的情況下，最有效的直線車道檢測和估計(jì)技術(shù)是霍夫變換（Hough Transform）[24]。這一步通常在使用投影模型獲得的原始圖像上執(zhí)行，或者在應(yīng)用反透視變換后執(zhí)行[25]。Hough變換算法的性能在很大程度上取決于數(shù)據(jù)量。在大多數(shù)方法中，Hough 變換與其他方法如線分類相結(jié)合。Cela等[26]提出了一種基于無監(jiān)督和自適應(yīng)分類器的道路車道檢測算法。獲得車道需要3個步驟：第1步，在輸入圖像中使用亮度來了解環(huán)境條件，并突出顏色通道；第2步，采用無監(jiān)督分類器和HT對左右道路線進(jìn)行識別；第3步，應(yīng)用卡爾曼濾波器估計(jì)車輛位置，跟蹤車道。

基于拋物線模型的方法，Kluge[27]提出了曲線道路模型。假設(shè)在平坦的地面上，車道邊界可以用拋物線曲線表示。雖然它可以近似正常的道路結(jié)構(gòu)，但它仍然不能描述某些情況，如“T”型轉(zhuǎn)彎。在此基礎(chǔ)上，通過優(yōu)化似然函數(shù)，提出了一種可變形模板算法。但是，該算法不能保證全局最優(yōu)和精度，且不需要大量的計(jì)算資源。Jung[28]提出了一種車道偏離檢測技術(shù)。首先，使用邊緣分布函數(shù)和改進(jìn)的霍夫非結(jié)構(gòu)化道路檢測，目前主要是基于視覺或者視覺和激光雷達(dá)的多傳感器融合方法檢測車道邊界，在跟蹤階段，采用線性拋物線車道模型。在近場，采用線性模型獲得車道方向的魯棒信息。在遠(yuǎn)場，采用二次函數(shù)，可以有效地跟蹤道路的彎曲部分。對于車道偏離檢測，使用兩個車道邊界的方向來計(jì)算每一幀的車道偏離測量，當(dāng)該測量超過閾值時觸發(fā)警報(bào)。

基于樣條曲線模型的方法，Wang[29]提出了一種基于B-Snake 的不需要任何攝像機(jī)參數(shù)的車道檢測與跟蹤算法。與其他車道模型相比，基于B-Snake 的車道模型能夠描述更廣泛的車道結(jié)構(gòu)，因?yàn)閎樣條可以通過一組控制點(diǎn)形成任意形狀。利用透視平行線的知識，將檢測車道標(biāo)記（或邊界）兩側(cè)的問題合并為檢測車道中線的問題。此外，提出了一種名為CHEVP的魯棒算法，為B-Snake模型提供良好的初始位置。

3 基于機(jī)器學(xué)習(xí)的方法

近幾年，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)因其強(qiáng)大的自學(xué)習(xí)能力而迅速發(fā)展，被廣泛地應(yīng)用于各個領(lǐng)域。在無人駕駛的環(huán)境感知方面，利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)來學(xué)習(xí)大量的樣本，訓(xùn)練出魯棒性較強(qiáng)的模型。機(jī)器學(xué)習(xí)算法基于樣本數(shù)據(jù)（稱為訓(xùn)練數(shù)據(jù)）構(gòu)建模型，以便在沒有明確編程的情況下做出預(yù)測或決策。非結(jié)構(gòu)化道路檢測也基于此方法做了大量研究。本文將基于機(jī)器學(xué)習(xí)的非結(jié)構(gòu)化道路檢測方法分為傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法并分別進(jìn)行綜述。

3.1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的道路檢測方法

機(jī)器學(xué)習(xí)的道路檢測程序無需明確編程即可執(zhí)行任務(wù)。它涉及計(jì)算機(jī)從提供的數(shù)據(jù)中學(xué)習(xí)，以便它們執(zhí)行某些任務(wù)。對于分配給計(jì)算機(jī)的簡單任務(wù)，可以編寫算法告訴機(jī)器如何執(zhí)行解決問題所需的所有步驟。在存在大量潛在答案的情況下，一種方法是將一些正確答案標(biāo)記為有效。然后，這可以用作計(jì)算機(jī)的訓(xùn)練數(shù)據(jù)，以改進(jìn)它用于確定正確答案的算法。學(xué)者們基于傳統(tǒng)機(jī)器學(xué)習(xí)方法對非結(jié)構(gòu)化道路檢測進(jìn)行了大量的研究。

Shang[30]試圖找到一種選擇特征描述符的道路檢測方法。利用支持向量機(jī)技術(shù)分析了這些常見特征描述符在道路檢測過程中的重要性。在此基礎(chǔ)上，提出了一種基于混合特征的道路檢測算法。通過對一系列特征的分析，證明了其從背景中檢測路面的能力，其檢測結(jié)果如圖5所示。Wang[31]針對智能無人車輛在非結(jié)構(gòu)化道路識別中需要采用眾多的特征參數(shù)，從而增加了特征融合識別難度與計(jì)算復(fù)雜度，以及部分背景與道路區(qū)域存在相似性會產(chǎn)生道路識別的誤分、誤判的問題，提出了一種基于主成分分析的支持向量機(jī)（Principal Component Analysis- Support Vector Machine, PCA-SVM）準(zhǔn)則改進(jìn)區(qū)域生長的非結(jié)構(gòu)化道路識別算法，該算法能夠縮短識別時間和排除背景干擾。王曉彬等[32]在非結(jié)構(gòu)化道路檢測中引入了感興趣區(qū)域（Region Of Interest,ROI）來消除環(huán)境噪聲，將HSV 圖像模型作為支持向量機(jī)分類算法的輸入，借助霍夫變換檢測道路邊緣。Ekhti 和Kobayashi[33]訓(xùn)練高斯過程回歸器（Gaussian Process Classification,GPR），以預(yù)測車輛在地形上移動時的振動（作為地形可行駛性的衡量標(biāo)準(zhǔn)），結(jié)合車載RGB 攝像機(jī)處理圖像檢測到的地形紋理特征。同樣在這種情況下，回歸器使用遍歷過程中獲得的本體感覺數(shù)據(jù)（即加速度計(jì)數(shù)據(jù)）進(jìn)行訓(xùn)練，而在線遍歷成本回歸僅基于傳入的RGB圖像。

圖5 基于混合特征的檢測結(jié)果[30]

3.2 基于深度學(xué)習(xí)的方法

傳統(tǒng)的機(jī)器學(xué)習(xí)一般是用淺層模型，對于線性可分或者簡單的非線性比較有效。當(dāng)輸入數(shù)據(jù)（樣本）和輸出數(shù)據(jù)（標(biāo)簽）之間存在復(fù)雜度高、難以理解的非線性關(guān)系時，很難找到合適的淺層機(jī)器學(xué)習(xí)方法。在機(jī)器學(xué)習(xí)中，大多數(shù)應(yīng)用程序的特征需要由專家識別，然后根據(jù)領(lǐng)域和數(shù)據(jù)類型、機(jī)型手工編碼。對于多變的道路類型、復(fù)雜環(huán)境背景的非結(jié)構(gòu)化道路來說，這個過程在時間和專業(yè)知識方面是困難和昂貴的。因此基于深度學(xué)習(xí)的方法迅速發(fā)展，由于其神經(jīng)網(wǎng)絡(luò)層數(shù)很深，所以非線性的建模能力很強(qiáng)，處理復(fù)雜任務(wù)性能較強(qiáng)。深度學(xué)習(xí)模型（如卷積神經(jīng)網(wǎng)絡(luò)）可以自動學(xué)習(xí)數(shù)據(jù)的層次特征表示，從而減少了特征工程的需求。深度學(xué)習(xí)允許直接從原始數(shù)據(jù)到目標(biāo)任務(wù)的端到端學(xué)習(xí)，減少了中間步驟和假設(shè)，這有助于簡化模型的訓(xùn)練和調(diào)優(yōu)過程。

在非結(jié)構(gòu)化道路檢測中，基于計(jì)算機(jī)視覺的語義分割方法（Semantic Segmentation）最為常用，語義分割是計(jì)算機(jī)視覺中的一個分支，其主要是將一些原始數(shù)據(jù)（例如圖像或視頻）作為輸入并將它們轉(zhuǎn)換為具有突出顯示的感興趣區(qū)域的掩模。其中圖像中的每個像素根據(jù)其所屬的感興趣對象被分配類別ID。

Wang[34]提出了一種名為RD-Net 的語義分割網(wǎng)絡(luò)，實(shí)現(xiàn)了非結(jié)構(gòu)化道路的語義分割。該網(wǎng)絡(luò)包括用于特征提取的反射填充和“卷積+池化”堆棧，用于加深網(wǎng)絡(luò)的擴(kuò)張殘差過渡單元和用于大小恢復(fù)的上采樣，該網(wǎng)絡(luò)整體結(jié)構(gòu)如圖6所示。Rasib[35]等提出了一種結(jié)合deeplabV3+的道路區(qū)域檢測和轉(zhuǎn)向角度估計(jì)機(jī)制的新型自動駕駛汽車模型，以確保在非結(jié)構(gòu)化路況下的自動駕駛，將非結(jié)構(gòu)化道路分割為可行駛區(qū)域和不可行駛區(qū)域，如圖7所示，第1列和第2列分別顯示原始測試圖像和地面真實(shí)圖像，第3列為預(yù)測圖像，第4列為將分割后的掩碼疊加在原始圖像上的預(yù)測結(jié)果。而王雪瑋[36]等將非結(jié)構(gòu)化道路場景分割為強(qiáng)推薦行駛區(qū)域、弱推薦行駛區(qū)域、不推薦行駛區(qū)域和背景區(qū)域，針對非結(jié)構(gòu)化道路存在邊界模糊和路況多變等問題，提出一種基于M 形深度架構(gòu)的語義分割模型，其模型融合了多尺度交互策略并引入了雙重注意力機(jī)制。

圖6 RD-Net網(wǎng)絡(luò)整體結(jié)構(gòu)[34]

圖7 基于DeeplabV3的非結(jié)構(gòu)化道路分割結(jié)果[35]

3.3 非結(jié)構(gòu)化道路開源數(shù)據(jù)集

基于深度學(xué)習(xí)的語義分割方法之所以能展現(xiàn)其強(qiáng)大的能力，是因?yàn)樾枰罅康臄?shù)據(jù)驅(qū)動，需要從海量的數(shù)據(jù)中進(jìn)行學(xué)習(xí)。但如果研究者從頭采集數(shù)據(jù)集并制作，需要耗費(fèi)大量的時間成本和人力成本。本文介紹一些常用的開源非結(jié)構(gòu)化道路數(shù)據(jù)集，如表1所示。

表1 常用的非結(jié)構(gòu)化道路數(shù)據(jù)集

IDD 數(shù)據(jù)集[37]由10004 張圖像組成，從印度道路上182 個駕駛序列中收集的34 個類別進(jìn)行了精細(xì)的標(biāo)注，其混合了城鄉(xiāng)、高速公路、單車道和雙車道道路等多種道路場景。該數(shù)據(jù)集特點(diǎn)在于道路附近有很多建筑物、道路邊界不明確、行人和亂穿馬路的人很多以及道路上的摩托車和載貨車密度很高。CARL[33]在巴基斯坦100 多個城市的視頻序列上構(gòu)建。因此，該數(shù)據(jù)集包含道路類型的多樣性，例如高速公路、農(nóng)村道路、城市街道、丘陵和破舊道路。該數(shù)據(jù)集只有2個類別，即可行駛區(qū)域和不可行駛區(qū)域。

非結(jié)構(gòu)化道路種類繁多，除了與人們生活相關(guān)的城鄉(xiāng)道路和農(nóng)村道路等，其次就是越野道路，無人特種車輛或野外作業(yè)機(jī)器人需要穿越環(huán)境復(fù)雜多變的越野道路執(zhí)行特定任務(wù)，因此越野道路的識別也廣泛受到關(guān)注。關(guān)于越野道路的數(shù)據(jù)集也被提出，下面對常用的越野數(shù)據(jù)集進(jìn)行介紹。

RELLIS-3D 數(shù)據(jù)集[38]是在越野環(huán)境中收集的多模態(tài)數(shù)據(jù)集，包含13556 個激光雷達(dá)掃描和6235 個圖像的注釋。對于圖像注釋，天空、草、樹和灌木占總標(biāo)記像素的94%。在LiDAR 數(shù)據(jù)中，草地、樹木和灌木占總點(diǎn)標(biāo)簽的80%。這對于當(dāng)前最先進(jìn)的深度學(xué)習(xí)模型存在的類別不平衡問題提出了極大的挑戰(zhàn)。

費(fèi)格堡數(shù)據(jù)集[39]研究了使用多光譜和多模態(tài)圖像進(jìn)行語義分割，并開發(fā)了從RGB、近紅外通道和深度數(shù)據(jù)中學(xué)習(xí)的融合架構(gòu)，引入了一個史無前例的多光譜分割基準(zhǔn)，該基準(zhǔn)包含15000 張圖像和366 個非結(jié)構(gòu)化森林環(huán)境的像素級地面真值注釋。

ORFD 數(shù)據(jù)集[40]是由北京大學(xué)團(tuán)隊(duì)提出的數(shù)據(jù)集。采集于不同場景（林地、農(nóng)田、草原、鄉(xiāng)村）、不同天氣條件（晴、雨、霧、雪）和不同光照條件（亮、白天、黃昏、黑暗）下，共包含12198張LiDAR點(diǎn)云和RGB圖像對，并將圖像類別分為可行駛區(qū)域，不可行駛區(qū)域和不可到達(dá)區(qū)域。

CaT數(shù)據(jù)集[41]認(rèn)為越野道路的可穿越性是取決于車輛的類型，比如對于灌木叢來說，轎車是無法穿越的，而越野車是可以穿越的。因此將標(biāo)注類別根據(jù)車輛類型分類，分為轎車、多用途貨車和越野車。

4 結(jié)束語

本文介紹了基于道路特征和傳統(tǒng)圖像處理方法的非結(jié)構(gòu)化道路識別方法，以及目前魯棒性較高的基于深度學(xué)習(xí)的語義分割方法。由于非結(jié)構(gòu)化道路復(fù)雜多變，當(dāng)?shù)缆诽卣骱皖愋桶l(fā)生變化時，基于傳統(tǒng)圖像處理方法的識別準(zhǔn)確性會下降。而基于深度學(xué)習(xí)的方法由于其強(qiáng)大的學(xué)習(xí)能力，能夠從大量的樣本中學(xué)習(xí)到如何準(zhǔn)確識別各種類型的非結(jié)構(gòu)化道路，其缺點(diǎn)是需要大量的數(shù)據(jù)驅(qū)動,且訓(xùn)練時間長和可解釋性差。由于激光雷達(dá)成本高昂，所以目前基于視覺的非結(jié)構(gòu)化道路識別成為主流方法，但非結(jié)構(gòu)化道路環(huán)境復(fù)雜多變，基于純視覺的識別方法也存在缺陷，受環(huán)境亮度影響較大，且無法測量距離。隨著技術(shù)日趨成熟，激光雷達(dá)成本下降，視覺加激光雷達(dá)的多傳感器融合會成為主流方法。