基于特征模型的非結構化道路跟蹤算法研究＊

胡 旭，劉滿祿，張 華，桑瑞娟，丁華建

（西南科技大學 機器人技術及應用四川省重點實驗室，四川 綿陽 621010）

非結構化道路識別與跟蹤是室外自主移動機器人視覺導航的研究熱點之一，解決該問題有利于機器人實現(xiàn)自主導航。室外環(huán)境道路分為結構化道路和非結構化道路，非結構化道路一般不具備明顯車道線、路面不均勻、道路邊緣模糊且形狀不規(guī)則，如校園道路和鄉(xiāng)村小路，因此對非結構化道路的識別與跟蹤比較困難，仍處于研究階段。

非結構化道路識別與跟蹤算法通常包括：基于道路特征的算法[1-2]、基于神經(jīng)網(wǎng)絡的算法[3]和基于道路模型的算法[4-5]等。基于道路特征的算法通過構建道路區(qū)域和非道路區(qū)域灰度、彩色、紋理等特征模型，利用相似性度量準則匹配這些特征，將視頻序列圖像分割為道路區(qū)域和背景區(qū)域。其優(yōu)點是無需訓練大量先驗樣本，假設道路模型，對道路形狀不敏感等，但卻極易受到室外多變的光照條件影響。室外環(huán)境中，道路區(qū)域和非道路區(qū)域最直觀的區(qū)別在于顏色信息的不同，因此道路顏色特征常用于非結構化道路檢測與跟蹤。由于RGB顏色模型對光照變化較敏感，通常需要對RGB顏色信息進行轉化，增強顏色特征模型對光照條件變化的魯棒性，如葉偉龍等利用RGB顏色空間構建的c1c2c3顏色模型[6]，TAN C等構建的均衡R-G顏色模型[7]。

紋理是一種反映圖像中小塊區(qū)域像素灰度級的空間分布屬性，通常不依賴于顏色和亮度的變化，是一種較穩(wěn)定的圖像特征。與顏色模型一樣，都屬于點樣本估計方式，能夠相互融合。并且LBP紋理特征具有尺度不變性和旋轉不變性，能夠魯棒地表征物體表面紋理特征，其計算復雜度低，易于實現(xiàn)。近年來，隨著融合LBP紋理特征與顏色特征研究的深入，將多特征模型與MeanShift算法結合成功應用于人臉跟蹤、視頻目標跟蹤等，克服了單一特征使跟蹤結果魯棒性和準確性差等現(xiàn)象[8-9]。

本文以視覺傳感器獲取的實時道路圖像為研究對象，針對道路的紋理和彩色特征提出了一種基于特征模型的非結構化道路跟蹤算法。首先對視頻序列圖像預處理，在第一幀圖像中采集道路區(qū)域樣本圖像，提取LBP紋理特征和顏色特征，建立特征模型。通過特征模型與視頻序列圖像的一一映射，生成反向投影圖，用于道路區(qū)域提取。利用道路歷史特征模型與當前跟蹤結果的觀測特征模型進行卡爾曼濾波，更新道路特征模型，實現(xiàn)道路區(qū)域跟蹤。

1 非結構化道路跟蹤系統(tǒng)總體框架

圖1為非結構化道路跟蹤系統(tǒng)的總體框架，主要包括樣本特征提取、特征模型建立、反向投影和模型更新四部分。通過提取視頻序列第一幀圖像中道路區(qū)域的特征，建立初始特征模型，為系統(tǒng)提供前向輸入，并將實時跟蹤結果反饋到歷史特征模型中，交替地更新特征模型和提取視頻流中道路區(qū)域。

圖1 系統(tǒng)總體框架

2 特征模型提取及建模

2.1 LBP紋理特征

LBP是一種表征圖像局部空間結構的非參數(shù)紋理描述算子，它利用局部二值紋理模式作為紋理基元進行紋理分析。其理論簡單，對線性光照變化具有不變性，能夠準確地描述圖像的紋理特征，在圖像檢索、運動目標跟蹤、圖像匹配及面部分析等領域表現(xiàn)出極好的實用價值。

LBP算子生成的基本思想是：首先定義一個M×N的掩膜，以掩膜中心點的灰度值為閾值，將掩膜內(nèi)其他像素點的灰度值與中心點比較，并進行二值化，對不同位置的二值化值進行二進制編碼，得到十進制數(shù)作為掩膜中心的LBP紋理特征值[10]。LBP算子的數(shù)學表達式為：

其 中 ，s（g-g）= {1， gi-gc≥0，（u，v）為掩膜中心的 圖像ic0，其他cc坐標，灰度值為gc，gi表示掩膜中心點圓形鄰域中第i像素點的灰度值。通常，有些鄰域點不能與圖像中的像素點精確對應，其像素值可以通過線性插值法獲得。R表示以像素為單位的掩膜半徑，P為以R為半徑的圓周鄰域上的像素個數(shù)。通常，（P，R）可根據(jù)實際應用需要選取不同的值，如圖2所示。

圖2 不同（P，R）形成的掩膜

不同的（P，R）組合值對應著不同的 LBP紋理特征值，當P較大，R較小時，對紋理特征的描述性強，但易受噪聲影響，計算復雜度急劇增加；當P較小，R較大時，對紋理特征的描述性達不到實際應用的需求。選擇合適的（P，R）組合值有利于提高系統(tǒng)的跟蹤性能。圖3所示為一個具體的LBP紋理特征提取實例，P=8，R=1。

圖3 LBP紋理特征提取實例

由式（1）可以看出，定義的LBP算子對線性光照變化魯棒性強，具有灰度不變性。通常，由于視覺采集設備相對被拍攝物體位置、角度的不同，采集的圖像存在不同程度的旋轉。為了使提取的紋理特征能夠對這種不可避免的旋轉具有魯棒性，M?enp??等人將 LBP算法進行了改進，使其具有旋轉不變性[11]。基本思想為：不斷旋轉圓形鄰域得到一系列初始定義的LBP值，取其最小值作為該圓形中心點的LBP值。

其中，ROR（LBPP，R，i）為旋轉函數(shù)，表示把 LBPP，R按位移動 i次。

在對LBP旋轉不變性的研究中發(fā)現(xiàn)，有些紋理模式在圖像中出現(xiàn)的頻率較低，而有些紋理模式出現(xiàn)的頻率很高，有時高達90%以上，它們能夠包含圖像中大部分的紋理模式，在旋轉移位過程中，最多有兩次0和1之間的跳變，將這類模式稱為均勻模式（uniform patterns）[12]。 圖 4為 P=8，R=1的所有均勻模式。

圖4 均勻模式

具有P個領域點的模型會出現(xiàn)P+1個均勻模式，通過每個模式中 1的個數(shù)，用0～P表示均勻模式，將所有的非均勻模式統(tǒng)一為P+1。具有灰度不變性和旋轉不變性的LBP算子即可表示為：

其中，

2.2 顏色特征

視覺導航系統(tǒng)通常采用CCD攝像機作為圖像輸入設備，其輸出模式為RGB。RGB顏色模型是一種加色模型，由紅、綠、藍三原色以不同的比例相加，以產(chǎn)生多種多樣的顏色。這三種原色對光照亮度變化敏感，而自主移動機器人工作的室外環(huán)境，其光照亮度條件是不斷變化的。因此，利用RGB顏色空間建立的特征模型使得道路跟蹤效果不理想。

HSV顏色模型是根據(jù)色彩的三個基本屬性 （色調、飽和度、亮度）來確定顏色的一種方法，更接近人眼對顏色的感知。其中，V分量表示亮度信息，即光照條件信息。本文采用H和S兩個分量建立顏色模型，相比通常只提取H分量建立顏色模型的方法，建立的顏色模型在充分保留道路顏色信息的同時去除了光照變化對道路跟蹤的影響，有利于道路跟蹤系統(tǒng)的實現(xiàn)。

2.3 道路特征模型建立

設 N（h、s、lbp）為 三 維 直 方 圖 中 （h、s、lbp）的 統(tǒng) 計值， 即模板圖像中 H、S、LBP分量為 h、s、lbp的像素點總數(shù)，Max（N（h、s、lbp））表示 N（h、s、lbp）的最大值，則H 分量為 h′，S分量為 s′，LBP 分量為 lbp′的像素屬于道路的概率為：

將三維直方圖中 N （h、s、lbp）用 p （h′、s′、lbp′）代替，得到道路概率查找表，為了顯示的可視性，將道路概率查找表中的概率值乘以255，作為道路特征模型，記做H-S-LBP。

2.4 道路特征模型更新

機器人運動過程中，前方道路必定與視頻序列初始幀圖像中的道路存在差異，再加上室外不確定因素的影響，基于初始幀圖像建立的特征模型并不能實時、準確地反映道路特征，致使系統(tǒng)在長時間的跟蹤過程中，跟蹤結果的準確性不斷下降。因此，必須實時更新道路特征模型。

卡爾曼濾波器采用反饋控制的方法估計過程狀態(tài)，能夠遞歸地解決離散數(shù)據(jù)線性濾波問題[13]。在實際應用中，卡爾曼濾波器對被建模系統(tǒng)提出了3個假設：（1）系統(tǒng)是線性的；（2）影響測量的噪聲是白噪聲；（3）噪聲呈高斯分布。其基本思想是：利用歷史估計值對當前狀態(tài)變量和誤差協(xié)方差進行預估計，在反饋校正階段，通過當前測量值和最小均方誤差準則對預估計值校正，得到最優(yōu)化的后驗估計值。其時間更新方程和測量更新方程如式（5）～式（9）所示。

時間更新方程：

測量更新方程：

由于特征模型中特征值間相互獨立，基于卡爾曼濾波器的特征模型更新通常是對特征模型中的單個特征值更新，即為每個特征值賦予一個卡爾曼濾波器[14-15]。相比將特征模型看作一個整體的更新方法，對特征值單獨更新的方法能夠獲得一個更準確、更合理的更新模型。但其運算量將受到特征模型中bin的影響迅速增加，勢必影響更新速度。將三維特征模型轉化為3個一維特征模型，給3個一維特征模型中每個特征值賦予一個卡爾曼濾波器，將得到的更新特征值對應相乘，即可獲得三維特征模型中每個特征值的概率估計值，大大減少了計算量。本文建立的特征模型為16×16×9的三維模型，因此需要建立41個一維卡爾曼濾波器，濾波器的參數(shù)設定詳見參考文獻[14]。通常，前后兩幀圖像中道路區(qū)域的特征模型不會發(fā)生劇烈變化。因此，將每個濾波器的更新結果與上一幀比較，若小于預設閾值，則更新；否則，保留上一幀的特征值。

3 反向投影

反向投影是一種記錄像素點或像素塊如何適應直方圖模型中分布的方式。用于在待處理圖像（通常較大）中查找樣本圖像（通常較小或者僅1個像素）最匹配的點或者區(qū)域，也就是定位樣本圖像出現(xiàn)在待處理圖像中的位置。在道路特征模型中，圖像的H、S、LBP分量與道路概率特征值建立了一一對應關系，將圖像某一位置的像素值用其對應的道路概率特征值代替，得到反向投影圖。由于道路概率特征值被歸一化為0～255，因此得到的反向投影圖是單通的，即灰度圖像。反向投影公式為：

其中，b（u，v）表示圖像像素點（u，v）在特征模型中的索引值，q?i為第 i個 bin 的概率值。

本文道路跟蹤算法詳細步驟如下：

（1）對獲取的視頻序列圖像預處理，減少噪聲的影響；

（2）從視頻序列第一幀圖像中提取足夠的道路區(qū)域樣本圖像；

（3）道路特征模型建立：將獲取的 RGB圖像轉換為HSV圖像和灰度圖像，利用灰度圖像生成圖像的LBP紋理特征，并提取HSV圖像中的H、S分量，通過樣本圖像的三維直方圖，構建道路特征模型；

（4）通過特征模型與視頻序列圖像的一一映射進行反向投影，得出道路概率分布圖，即反向投影圖；

（5）對道路概率分布圖后處理，區(qū)分道路區(qū)域和背景區(qū)域，選取連通域面積最大的區(qū)域為道路；

（6）更新道路特征模型；

（7）重復步驟（4）、（5）、（6），實現(xiàn)對視頻序列中非結構化道路跟蹤。

4 實驗結果與分析

實驗選用的硬件平臺為AMD Athlon64 3000+2 GHz處理器，1 GB內(nèi)存，軟件平臺為VC2005。實驗視頻圖像均在西南科技大學校園內(nèi)和后山采集，平均時長10 min，包括多種非結構化道路環(huán)境，視頻為AVI格式，分辨率為320×240，每幀視頻圖像平均處理時間為210 ms。實際應用時，等間隔地抽取視頻幀圖像進行處理，減少數(shù)據(jù)處理量，有利于系統(tǒng)的實時實現(xiàn)。

本文采用 P=8，R=1的掩膜提取LBP紋理特征，構建16×16×9的道路特征模型。圖5對基于不同特征模型的反向投影圖進行了比較，圖5（a）為采集的視頻序列中部分幀原始圖像，圖 5（b）為采用參考文獻 8提出的均衡R-G顏色模型生成的反向投影圖，圖 5（c）為采用H-S顏色模型生成的反向投影圖，圖5（d）為采用H-SLBP特征模型生成的反向投影圖。圖5（b）中，類道路區(qū)域誤檢測現(xiàn)象嚴重，道路邊緣不連續(xù)，在第二類環(huán)境中，將道路左邊大面積的非道路區(qū)域檢測為道路區(qū)域。主要在于均衡R-G模型體現(xiàn)的是像素顏色信息的對比度，當顏色信息的對比度相似時，易產(chǎn)生誤投影。相對圖5(b)的實驗結果，圖5（c）中的道路邊緣的誤投影得到明顯改善，但當?shù)缆愤吘壞：龝r（如第二類和第三類環(huán)境），由于過度區(qū)域存在顏色信息的漸變過程或模糊不清時，系統(tǒng)對此類區(qū)域的辨識度較低，投影誤差增大。比較圖5（c）和圖 5（d）可以看出，融合紋理特征的實驗結果中，道路區(qū)域內(nèi)和非道路區(qū)域內(nèi)的誤檢測均減少，尤其道路邊緣誤投影減少，連續(xù)性強。這是由于道路邊緣處通常存在一些不規(guī)則的雜物，使得其紋理特征與道路區(qū)域不同，因此被判斷為非道路區(qū)域，有效提高了道路邊緣處跟蹤結果的正確率。

圖5 不同特征模型反向投影圖比較

圖6給出了基于H-S-LBP特征模型的非結構化道路跟蹤實驗結果，黑色曲線內(nèi)為道路跟蹤結果。這些視頻圖像采集自不同季節(jié)，不同天氣，均取得了理想的跟蹤效果，證明了該算法的有效性。

圖6 道路跟蹤實驗結果

針對室外自主移動機器人的作業(yè)需要，提出了一種基于特征模型的非結構化道路跟蹤算法。通過建立道路的三維特征模型，對道路區(qū)域進行實時跟蹤。實驗表明，構建的三維特征模型能夠準確表征道路特征，在HSV顏色空間下，H、S顏色特征對顏色信息的區(qū)分度較好，能夠區(qū)分與目標顏色信息相近的區(qū)域，且其受亮度信息的影響較小，對復雜室外環(huán)境適應性較強。融入LBP紋理描述算子的特征模型使跟蹤結果中類道路區(qū)域明顯減少，尤其對于模糊性比較高、辨別難度較大的道路邊緣處，其跟蹤結果更準確，邊緣連續(xù)性更強。此外，采用卡爾曼濾波器對道路特征模型更新，使系統(tǒng)跟蹤結果的魯棒性增強。

[1]Huang Jingang， Kong Bin， LiBichun， etal.A new method of unstructured road detection based on HSV color space and road features[C].Proceedingsofthe 2007 International Conference on Information Acquisition， 2007：596-601.

[2]胡曉輝，孫苗強，蘇曉許.偽彩色空間完全非結構化道路檢測方法[J].中 國圖像圖形 學 報 ，2012，17（2）：203-208.

[3]李青，鄭南寧，馬琳，等.基于主元神經(jīng)網(wǎng)絡的非結構化道路跟蹤[J].機器人，2002，27（3）：247-251.

[4]Tian Zheng， Xu Cheng， Wang Xiaodong， et al.Nonparametic model for robust road recognition[C].2010 IEEE 10th International Conference on Signal Processing， 2010：869-872.

[5]張玉穎，顧小東，汪源源.基于梯形模型和支持向量機的非結構化道路檢測 [J].計算機工程與應用，2010，46（15）：138-141.

[6]葉偉龍，劉華平，孫富春，等.非結構化道路區(qū)域檢測的協(xié)同學習方法 [J].中國圖像圖形學報，2011，16（5）：792-799.

[7]TAN C， HONG T， CHANG T， et al.Color model-based real-time learning for road following[C].Proceedings of the IEEE Intelligent Transportation Systems Conference， 2006：939-944.

[8]張濤，蔡燦輝.基于多特征Mean Shift的人臉跟蹤算法[J].電子與信息學報，2009，31（8）：612-618.

[9]寧紀鋒，吳成科.一種基于紋理模型的目標跟蹤算法[J].模式識別與人工智能，2007，20（5）：612-618.

[10]OJALA T，PIETIKINEN M，et al.A comparative study of texture measures with classification based on feature distribution[J].pattern recognition.1996，29：51-59.

[11]M?enp?? T， Pietik?inen M.Texture analysis with local binary patterns.In Chen CH & Wang PSP （eds）Handbook of Pattern Recognition and ComputerVision 3rd ed[M].World Scientific，2005.

[12]OJALA T，PIETIKINEN M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971-987.

[13]KALMAN R E.A new approach to linear filtering and prediction problems[J].JournalofBasic Engineering，1960， 82（1）： 35-45.

[14]朱勝利，朱善安.基于卡爾曼濾波器組的Mean Shift模板更新算法 [J].中國圖像圖形學報，2007，12（3）：460-465.

[15]郭森，柳偉，王建華.一種自適應權值更新的 mean shift跟蹤算法[J].科學技術與工程，2009，8（16）：4540-4544.