基于單目視覺(jué)的道路圖像理解綜述

陳芬

摘要：基于單目視覺(jué)的環(huán)境感知一直是機(jī)器視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容。視覺(jué)信息處理技術(shù)主要應(yīng)用于道路檢測(cè)識(shí)別、路標(biāo)檢測(cè)識(shí)別、障礙檢測(cè)識(shí)別、障礙跟蹤及其他傳感器的自標(biāo)定、輔助標(biāo)定等幾個(gè)主要方面。道路檢測(cè)識(shí)別是環(huán)境感知、場(chǎng)景理解中的關(guān)鍵技術(shù)之一。道路圖像理解不僅能夠從道路圖像中理解道路環(huán)境、獲取未知信息，而且能為其他任務(wù)（如行人和車輛檢測(cè)、路徑規(guī)劃等）提供線索。但同時(shí)，基于視覺(jué)的道路圖像理解也是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，因?yàn)榈缆穲?chǎng)景的檢測(cè)易受光照、天氣、遮擋等因素的影響。

關(guān)鍵詞：計(jì)算機(jī)視覺(jué)；場(chǎng)景理解；道路檢測(cè)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）23-0118-02

An Overview of Road Image Understanding Based on Monocular Vision

CHEN Fen

（Armored Force Institute， Bengbu 233050 China）

Abstract： The ambient awareness based on monocular vision is always the important research in the computer vision. The visual information processing almost has been applied into the some aspects， such as road detection and identification， sign detection and identification， block detection and identification， block tracking and other sensors demarcated and aided demarcated. Road image understanding not only can master road environment and fetch unknown information from road image， but also can provide intelligence for other missions as pedestrian， vehicle detection and route planning， etc. However， road image understanding based on vision is also a challenging mission， because the road scene detection vulnerable to light， weather and shelter etc.

Key words： computer version； scenes understanding； road detection

1概述

計(jì)算機(jī)視覺(jué)旨在用各種成像系統(tǒng)代替視覺(jué)器官作為輸入敏感手段，由計(jì)算機(jī)來(lái)代替大腦完成處理和解釋，其最終研究目標(biāo)就是使計(jì)算機(jī)能像人一樣通過(guò)視覺(jué)的觀察和理解，弄清楚外部世界有什么東西，它們?cè)谑裁吹胤健；趩文恳曈X(jué)的道路圖像理解在移動(dòng)機(jī)器人、自動(dòng)導(dǎo)引車、輔助駕駛、智能交通系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用。

道路圖像包含了豐富的周圍環(huán)境信息，依據(jù)不同的應(yīng)用，道路圖像對(duì)周圍場(chǎng)景給出不同的解釋。道路檢測(cè)是從道路圖像中檢測(cè)出道路區(qū)域或道路的邊緣，它是道路理解的基礎(chǔ)。對(duì)于結(jié)構(gòu)化道路（如高速公路場(chǎng)景），道路邊緣、車道線的顏色、亮度與路面差異較大，通常使用基于道路邊緣的檢測(cè)方法檢測(cè)道路。對(duì)于邊緣不夠明顯的道路（如越野道路），基于道路邊緣的檢測(cè)方法便不再適用，此時(shí)，可以采用基于路面的檢測(cè)方法檢測(cè)道路。該類方法是建立在道路區(qū)域內(nèi)特征比較統(tǒng)一，且與背景的特征之間有可區(qū)分性的基礎(chǔ)上。

本文將著重介紹道路檢測(cè)方法，并對(duì)今后的研究進(jìn)行展望。

2研究現(xiàn)狀

由于缺乏標(biāo)注數(shù)據(jù)，早期的道路檢測(cè)算法通常是針對(duì)在線場(chǎng)景，如[1-2]。多數(shù)針對(duì)在線場(chǎng)景的道路檢測(cè)算法都假設(shè)輸入圖像的中央底部區(qū)域的像素屬于道路樣本，則該區(qū)域像素特征分布可以用于在線訓(xùn)練，進(jìn)而判別圖像中的剩余像素是否屬于道路。這種簡(jiǎn)單的假設(shè)在路面條件較簡(jiǎn)單的情況下比較有效，但是當(dāng)路面條件較復(fù)雜時(shí)，圖像底部的像素與道路存在偏差，這種假設(shè)便不成立，從而導(dǎo)致算法的檢測(cè)結(jié)果很差。

隨著一些標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)（如 CamVid[3]，KITTI[4-5]）的公開(kāi)，使得利用大規(guī)模標(biāo)注數(shù)據(jù)訓(xùn)練離線模型成為了可能，因此基于監(jiān)督學(xué)習(xí)的離線訓(xùn)練方法開(kāi)始流行起來(lái)?，F(xiàn)有的大部分基于離線訓(xùn)練的道路檢測(cè)算法都是基于圖像表面和運(yùn)動(dòng)特征訓(xùn)練像素分類器[6]。當(dāng)遇到與訓(xùn)練場(chǎng)景類似的測(cè)試場(chǎng)景時(shí)，訓(xùn)練得到的分類器能夠較好地檢測(cè)出道路，使得算法能夠保持較好的性能；當(dāng)遇到不同的場(chǎng)景或受到外界干擾時(shí)，訓(xùn)練得到的分類器就會(huì)表現(xiàn)出“數(shù)據(jù)庫(kù)偏見(jiàn)”[3]，從而導(dǎo)致算法的性能急劇下降。

近年來(lái)，出現(xiàn)了一些基于在線學(xué)習(xí)的道路檢測(cè)算法，如[7-8]。其中文獻(xiàn)[7]提出了一種結(jié)合在線學(xué)習(xí)和離線學(xué)習(xí)的道路檢測(cè)方法：利用離線標(biāo)記樣本訓(xùn)練學(xué)習(xí)得到道路模型，該離線道路模型包含了離線樣本的一般性信息，當(dāng)進(jìn)行在線道路檢測(cè)時(shí)，這些信息能夠與在線學(xué)習(xí)相結(jié)合，進(jìn)而提高道路檢測(cè)的魯棒性。

3檢測(cè)方法分類

迄今為止，雖然衍生出了眾多的道路檢測(cè)方法，但是并沒(méi)有一種權(quán)威的方法對(duì)其進(jìn)行分類。通常情況下，當(dāng)前視覺(jué)導(dǎo)航中的道路檢測(cè)技術(shù)，可以被大概分為下述三類：

3.1基于模型的道路檢測(cè)方法

基于模型的方法首先假設(shè)非結(jié)構(gòu)化道路具有相對(duì)規(guī)則的路邊，根據(jù)路邊形狀建立相應(yīng)的道路模型。根據(jù)所建立的道路模型，然后結(jié)合圖像特征和視覺(jué)模型對(duì)道路。進(jìn)行擬合匹配，求得道路的路邊。常用的模型有直線模型、蛇型線模型、拋物線模型、樣條曲線模型等[9]。基于道路模型的匹配法可以有效克服路面陰影、污染、光照不均等外界環(huán)境因素干擾，但是當(dāng)?shù)缆凡环项A(yù)先假設(shè)模型時(shí)，算法就會(huì)失效，因此道路模型的選取顯得至關(guān)重要。

3.2基于學(xué)習(xí)的道路檢測(cè)方法

基于學(xué)習(xí)的方法主要是采用神經(jīng)網(wǎng)絡(luò)[10]或自監(jiān)督的方式，根據(jù)車前方一塊區(qū)域是道路這一假定，然后通過(guò)分析其特征來(lái)進(jìn)行其他區(qū)域的道路檢測(cè)。

3.3基于特征的道路檢測(cè)方法

基于特征的非結(jié)構(gòu)化道路檢測(cè)算法是目前應(yīng)用最廣泛也是被研究最多的算法。圖像特征法在進(jìn)行道路檢測(cè)時(shí)，利用圖像特征上的差異作為其主要思想，主要是指道路標(biāo)線或邊界在形狀、紋理、灰度和對(duì)比度等方面與其他圖像背景之間的特征差異，大部分的計(jì)算集中在圖像處理以及如何感知分類所利用的特征值上。這種方法的優(yōu)點(diǎn)是計(jì)算較為簡(jiǎn)單，但外界因素的干擾，比如陰影遮擋、光照變化、噪聲、道路邊界或標(biāo)志線的不連續(xù)性等都會(huì)成為難以跨越的障礙。另外由于各個(gè)特征都存在自身的優(yōu)點(diǎn)和不足，因此同時(shí)采用邊緣、區(qū)域等多種特征是基于道路圖像特征檢測(cè)算法的一種趨勢(shì)。

4圖像特征

在基于視覺(jué)的目標(biāo)檢測(cè)中，特征選擇是關(guān)鍵的一步，特征選擇結(jié)果的好壞直接影響著分類器的分類精度和泛化性能。常用的圖像特征包括顏色特征、紋理特征和形狀特征等。

圖像的顏色特征被廣泛應(yīng)用于道路檢測(cè)中，如RGB、HSV等。實(shí)際上，道路場(chǎng)景中光照條件的變化會(huì)導(dǎo)致道路中經(jīng)常出現(xiàn)陰影，在這種情況下，僅使用圖像的顏色特征就不能很好地描述道路信息。針對(duì)這種情況，使用基于顏色特征的光照不變特征，能夠改善道路檢測(cè)結(jié)果。

除了顏色特征和光照不變特征，紋理特征也是表示圖像的重要視覺(jué)特征。紋理結(jié)構(gòu)反映圖像亮度的空間變化情況并不依賴彩色和灰度[14]，它具有局部與整體的自相似性。紋理是由紋理基元按某種確定性的規(guī)律或某種統(tǒng)計(jì)規(guī)律排列組成的，在紋理區(qū)域內(nèi)各部分具有大致相同的結(jié)構(gòu)。文獻(xiàn)和文獻(xiàn)[16]分別提取不同的紋理特征用于道路檢測(cè)。

方向梯度直方圖（Histogram of Oriented Gradient，HOG）是通過(guò)計(jì)算局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征，可以對(duì)圖像的紋理特征進(jìn)行描述。最初用在行人檢測(cè)]當(dāng)中并且得到了很好的效果，因此在物體檢測(cè)領(lǐng)域得到了廣泛的應(yīng)用。

顏色特征在光照條件不理想的場(chǎng)景下，不適用于目標(biāo)顏色與背景顏色相近的情況；在非結(jié)構(gòu)化環(huán)境下，道路中有些地方的紋理特征可能與背景紋理特征非常相似，使得提取的紋理特征存在較大的噪聲；HOG特征對(duì)光照和陰影的適應(yīng)性強(qiáng)，對(duì)圖像幾何和光學(xué)的形變都能保持良好的不變性，但其計(jì)算量較大。近年來(lái)，為了將各種特征的優(yōu)勢(shì)結(jié)合起來(lái)，組合特征被用于目標(biāo)檢測(cè)中，文獻(xiàn)[18]中將顏色特征、灰度特征和紋理特征的組合作為路面檢測(cè)的依據(jù)。

5面臨的挑戰(zhàn)

目前基于單目視覺(jué)的道路圖像在移動(dòng)機(jī)器人、自動(dòng)導(dǎo)引車、輔助駕駛、智能交通系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用，但仍有很多的問(wèn)題需要解決：

1） 實(shí)際的道路標(biāo)示線由于磨損而變得模糊，或者被道路上的其他物體所遮擋，或者由 于天氣等原因光照條件比較差。

2） 結(jié)構(gòu)化道路有著明顯的道路標(biāo)志，易于檢測(cè)，準(zhǔn)確性高。 一般的城市道路、鄉(xiāng)村道路從建立道路模型到道路檢測(cè)與識(shí)別跟蹤都仍然是富有挑戰(zhàn)性的課題。

3） 計(jì)算機(jī)視覺(jué)具有信息量豐富、信號(hào)探測(cè)范圍廣、獲取信息完整、智能化水平高等優(yōu)點(diǎn)，激光雷達(dá)、GPS、測(cè)距器傳感器等則可提供精確的檢測(cè)物方位與距離信息，將其結(jié)合起來(lái)可以更好地檢測(cè)跟蹤道路。充分利用多個(gè)傳感器資源，將各種傳感器在空間和時(shí)間上的互補(bǔ)與冗余信息依據(jù)某種優(yōu)化準(zhǔn)則組合起來(lái)，可產(chǎn)生對(duì)觀測(cè)環(huán)境的一致性解釋和描述。

6結(jié)束語(yǔ)

道路檢測(cè)是道路場(chǎng)景理解中十分關(guān)鍵的一步，因?yàn)榈缆芳仁堑缆穲?chǎng)景中的一大要素，又能為其他任務(wù)的完成提供線索。然而，道路檢測(cè)卻是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，今后的研究仍然需要進(jìn)一步提高系統(tǒng)的實(shí)時(shí)性、可靠性、魯棒性，并且從適合結(jié)構(gòu)化道路轉(zhuǎn)向適合各種自然道路，同時(shí)進(jìn)行多傳感器信息融合。

參考文獻(xiàn)：

[1] Sotelo M A，Rodriguez F J，Magdalena L.Virtuous：Vision-based road transportation for unmanned operation on urban-like scenarios[J].Intelligent Transportation Systems，IEEE Transactions on. 2004，5（2）：69-83.

[2] Alvarez J M，Gevers T，Lopez A M.3D scene priors for road detection[C].In Computer Vision and Pattern Recognition，IEEE Conference on.2010：57-64.

[3] Brostow G J，Shotton J，F(xiàn)auqueur J，et al.Segmentation and recognition usingstructure from motion point clouds[M]//Brostow G J，Shotton J，F(xiàn)auqueurJ，et al.Computer Vision–ECCV 2008.Springer，2008：44-57.

[4] Geiger A，Lenz P，Urtasun R.Are we ready for autonomous driving？ The KITTIvision benchmark suite[C]// Computer Vision and Pattern Recognition （CVPR），2012 IEEE Conference on.2012：3354-3361.

[5] Geiger A，Lenz P，Stiller C，et al.Vision meets robotics：The KITTI dataset[J].The International Journal of Robotics Research.2013.

[6] Sturgess P，Alahari K，Ladicky L，et al.Combining appearance and structure frommotion features for road scene understanding[J].2009.

[7] Alvarez J M，Gevers T， LeCun Y， et al. Road scene segmentation from a singleimage[M]//Alvarez J M，Gevers T，LeCun Y，et al.Computer Vision–ECCV 2012.Springer， 2012：376-389.

[8] Kong H， Audibert J-Y， Ponce J. Vanishing point detection for road detection[C]// Computer Vision and Pattern Recognition，IEEE Conference on，2009：96-103..

[9] Alvarez J M， Gevers T， Lopez A M.3d scene priors for road detection[C]// Computer Visionand Pattern Recognition （CVPR）， Conference on，pages2010：57-64.