基于顏色和局部二值模式特征的車輛跟蹤算法

顧鵬笠，周武杰,b，潘 婷

( 浙江科技學(xué)院 a.機(jī)械與能源工程學(xué)院；b.信息與電子工程學(xué)院，杭州 310023)

交通視頻影像是獲取交通信息的重要來(lái)源，隨著智能交通系統(tǒng)概念的普及，計(jì)算機(jī)視覺(jué)與車輛交通的關(guān)聯(lián)越來(lái)越緊密，車輛跟蹤也在近年來(lái)成為了目標(biāo)跟蹤領(lǐng)域研究的熱門(mén)話題[1-3]。車輛跟蹤就是在給定了第一幀圖像中車輛位置的情況下，對(duì)隨后的交通視頻中的車輛進(jìn)行檢測(cè)、識(shí)別、跟蹤，跟蹤結(jié)果會(huì)用矩形框?qū)⑵錁?biāo)注出來(lái)，以便于進(jìn)一步的分析處理。但是，交通場(chǎng)景的復(fù)雜使得在車輛跟蹤的過(guò)程中穩(wěn)定性容易受到光照、目標(biāo)尺度變化、遮擋、運(yùn)動(dòng)模糊、速度等情況的影響。因此，如何對(duì)車輛進(jìn)行跟蹤對(duì)智能交通系統(tǒng)的發(fā)展有著重要的意義。

目前視覺(jué)跟蹤的研究主要分為兩種：生成式模型和判別式模型。生成式模型假定目標(biāo)的外觀生成過(guò)程，并搜索序列中最相似的候選對(duì)象。例如Comaniciu 等[4]提出將meanshift聚類應(yīng)用于非剛體目標(biāo)的跟蹤；Vojir 等[5]提出meanshift改進(jìn)算法，在meanshift框架下加入了尺度估計(jì)和顏色特征；Ross等[6]提出IVT算法，采用增量的子空間模型來(lái)適應(yīng)目標(biāo)外形的變化；Mei等[7]提出將稀疏表示[8]應(yīng)用在L1跟蹤器上，目標(biāo)物體由目標(biāo)和一些模板的稀疏線性融合所構(gòu)成。判別式模型則尋找一個(gè)決策邊界將目標(biāo)與背景分開(kāi)，提出將跟蹤問(wèn)題作為二分類問(wèn)題。例如Kalal等[9]提出的TLD算法，將算法明確分為跟蹤、學(xué)習(xí)和檢測(cè)三個(gè)部分，其中P-N學(xué)習(xí)器可以估計(jì)出檢測(cè)器的錯(cuò)誤，并及時(shí)更新檢測(cè)器；Hare等[10]提出struck算法采用了哈爾特征，并對(duì)SVM分類器進(jìn)行了改進(jìn)。王乃巖等[11]對(duì)目標(biāo)跟蹤算法進(jìn)行總結(jié)發(fā)現(xiàn)，雖然機(jī)器學(xué)習(xí)的方法種類繁多，但目標(biāo)跟蹤領(lǐng)域特征提取才是最重要的部分，具有代表性的特征使得算法更為穩(wěn)定，不易漂移。為了實(shí)現(xiàn)特征的多樣性，將全局特征與局部特征都應(yīng)用于跟蹤器，本研究提出了一種基于顏色特征和局部二值模式(local binary pattern, LBP)特征的跟蹤算法，旨在充分利用局部二值模式特征對(duì)光照的不敏感性，提高算法在應(yīng)對(duì)光照?qǐng)鼍白兓瘯r(shí)跟蹤的穩(wěn)定性和魯棒性。

1 本文跟蹤算法

本文跟蹤算法如圖1所示，具體過(guò)程包括：1)從輸入幀中采樣多個(gè)正、負(fù)樣本矩形區(qū)域(圖1中第二行第一張圖黑色虛線框表示負(fù)樣本，白色虛線框表示正樣本)，獲取每個(gè)正、負(fù)樣本矩形區(qū)域各自的顏色特征和LBP特征，進(jìn)而獲得正樣本和負(fù)樣本總特征矩陣；2)采用結(jié)構(gòu)化輸出支持向量機(jī)SO-SVM，訓(xùn)練正樣本和負(fù)樣本總特征矩陣，得到分類器模型；3)采用相同的方式在參考幀的后一幀待跟蹤的車輛圖像中采樣多個(gè)候選矩形區(qū)域(圖1中第一行第二張圖灰色虛線框表示預(yù)測(cè)樣本)，作為預(yù)測(cè)樣本，獲取每個(gè)預(yù)測(cè)樣本的顏色特征和LBP特征，得到預(yù)測(cè)樣本總特征矩陣；4)將預(yù)測(cè)樣本總特征矩陣作為輸入?yún)?shù)，輸入分類器中得到每個(gè)候選矩形區(qū)域的預(yù)測(cè)評(píng)分值；5)將最大預(yù)測(cè)評(píng)分值對(duì)應(yīng)的候選矩形區(qū)域作為該車輛圖像中確定的包含車輛的目標(biāo)矩形區(qū)域。本文跟蹤算法充分利用LBP對(duì)光照的不敏感性，提高車輛在以光照變化為主的視頻序列中跟蹤的穩(wěn)定性和魯棒性。

圖1 基于顏色特征和局部二值模式特征的車輛跟蹤算法流程Fig.1 Procedure of vehicle tracking algorithm based on color features and LBP features

2 特征提取

2.1 顏色特征

在進(jìn)行顏色特征提取之前，本算法先將RGB顏色空間轉(zhuǎn)換到Lab顏色空間，Lab顏色空間模型是國(guó)際照明委員會(huì)(Commission Internationale de I′Eclairage, CIE)1976 年制定的一種色彩模式，其顏色的顯示不依賴于設(shè)備。RGB無(wú)法直接轉(zhuǎn)換到Lab，需通過(guò)XYZ顏色空間，設(shè)RGB空間的顏色分量分別為R、G、B，RGB顏色空間到XYZ顏色空間的轉(zhuǎn)換如下：

(1)

(2)

式(1)中：X、Y、Z是RGB轉(zhuǎn)XYZ后計(jì)算出來(lái)的值。式(2)中：Xn、Yn、Zn一般默認(rèn)是95.05、100.0、108.9。

XYZ顏色空間到Lab顏色空間的轉(zhuǎn)換如下：

(3)

式(3)中：L*、a*、b*為最終的Lab顏色空間3個(gè)通道的值。我們計(jì)算得到的Lab圖像塊為一個(gè)m×n×3的三維矩陣，將該矩陣的每一列連接在一起，變?yōu)橐粋€(gè)s×1列向量，其中s=m×n×3。此列向量即為我們所備用的顏色特征。由于顏色特征具有平移和旋轉(zhuǎn)不變性，許多顏色特征為基礎(chǔ)的跟蹤算法也隨之產(chǎn)生[12-13]。

2.2 局部二值模式特征

局部二值模式是由Ojala等[14]提出的一種描述圖像局部特征的算子。該算子的提出旨在對(duì)圖像紋理特征進(jìn)行分析，目前LBP特征已在人臉識(shí)別[15]、車牌識(shí)別[16]等領(lǐng)域廣泛應(yīng)用。原始的LBP算子定義在3×3的圖像塊上，以圖像塊中心像素值為閾值，周邊8個(gè)鄰域像素與閾值進(jìn)行大小比較，如果大于閾值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣比較后，8個(gè)像素點(diǎn)可產(chǎn)生1個(gè)8位二進(jìn)制數(shù)，將二進(jìn)制數(shù)轉(zhuǎn)十進(jìn)制數(shù)得到該圖像塊中心像素點(diǎn)的LBP值，這個(gè)值反映了圖像在這個(gè)區(qū)域的紋理信息，過(guò)程如圖2所示。我們采用改進(jìn)的圓形鄰域算子LBP(P,R)如圖3所示，其中P表示采樣鄰近像素點(diǎn)的個(gè)數(shù)，R表示采樣半徑，即圓形鄰域半徑。在圓形鄰域上進(jìn)行采樣，可能會(huì)造成某些采樣點(diǎn)不在某個(gè)完整的像素點(diǎn)上。為了得到這個(gè)點(diǎn)的灰度值我們對(duì)該點(diǎn)進(jìn)行線性插值計(jì)算。

圖2 LBP算子Fig.2 Operator of LBP

圖3 圓形鄰域算子LBPFig.3 Circular neighborhood operator of LBP

3 分類器的設(shè)計(jì)

Struck[10]算法以結(jié)構(gòu)化輸出支持向量機(jī)為分類器，在目標(biāo)跟蹤的各種挑戰(zhàn)場(chǎng)景中都有較好的魯棒性。傳統(tǒng)分類器對(duì)正負(fù)樣本統(tǒng)一采用二值標(biāo)注，即正樣本記為+1，負(fù)樣本記為-1，而結(jié)構(gòu)化支持向量機(jī)則通過(guò)在線學(xué)習(xí)由分類器自身選擇目標(biāo)所在位置，而非受樣本標(biāo)注來(lái)甄選目標(biāo)位置，分類器對(duì)目標(biāo)的選擇由預(yù)測(cè)函數(shù)f來(lái)決定，f:X→Y，預(yù)測(cè)幀與幀之間目標(biāo)是否發(fā)生位移及位移的大小,其中Y表示搜尋空間，也就是幀間目標(biāo)位置變化關(guān)系的集合。例如，yt∈Y，上一幀中目標(biāo)的位置為Pt-1，則在當(dāng)前幀中,目標(biāo)位置就為Pt=Pt-1°yt(°表示映射的乘法)，即Pt結(jié)合了目標(biāo)上一幀的位置與目標(biāo)位置的變化關(guān)系。因此，在Struck算法中，已知類型的樣本用(x,y)表示,而不再是(x, +1)或者(x, -1)。為了在目標(biāo)被遮擋情況下不輕易出現(xiàn)漂移，我們?cè)诜诸惼鳝h(huán)節(jié)上引入了結(jié)構(gòu)化輸出支持向量機(jī)。

4 試驗(yàn)與分析

采用英特爾 Core i5四核處理器計(jì)算機(jī)在Matlab R2016a上進(jìn)行仿真試驗(yàn)，設(shè)置P=24，R=3，采用線性插值法及旋轉(zhuǎn)不變性特征，數(shù)據(jù)庫(kù)使用Visual Tracker Benchmark[13]，包括“BlurCar 1”“CarDark”車輛序列，其跟蹤結(jié)果如圖4和圖5所示，圖中左上角數(shù)字為圖片幀數(shù)。在圖4與圖5中都給出了第一幀我們需要跟蹤的目標(biāo)車輛位置。

圖4 BlurCar 1序列跟蹤結(jié)果Fig.4 Tracking result of BlurCar 1 sequence

圖5 CarDark序列跟蹤結(jié)果Fig.5 Tracking result of CarDark sequence

我們與部分跟蹤算法進(jìn)行了對(duì)比試驗(yàn)，其結(jié)果如圖6和圖7所示。圖6中白色實(shí)線框?yàn)槲覀兯惴ǖ母櫧Y(jié)果，黑色實(shí)線框?yàn)镃T[18]算法，黑色點(diǎn)線框?yàn)門(mén)LD[9]算法。圖7中白色實(shí)線框?yàn)槲覀兯惴ǖ母櫧Y(jié)果，白色點(diǎn)線框?yàn)門(mén)LD[9]算法。由圖6和圖7可知，我們提出的算法在遇到運(yùn)動(dòng)漂移、暗光等苛刻環(huán)境下有不錯(cuò)的跟蹤效果。

圖7 CarDark序列多算法對(duì)比結(jié)果Fig.7 Comparison result of multiple-algorithms of CarDark sequence

5 結(jié) 論

綜上所述，本研究提出一種簡(jiǎn)單而魯棒的車輛跟蹤算法，此算法采用基于顏色和局部二值模式的特征提取，運(yùn)用了結(jié)構(gòu)化輸出支持向量機(jī)對(duì)正負(fù)樣本分類。本文算法的優(yōu)點(diǎn)如下：1)采用滑動(dòng)窗口濾波器，從而降低了程序運(yùn)行的時(shí)間成本；2)將局部二值模式特征融合到車輛跟蹤的特征提取中，從而提高了車輛跟蹤在應(yīng)對(duì)運(yùn)動(dòng)模糊和快速運(yùn)動(dòng)時(shí)的準(zhǔn)確性；3)同時(shí)考慮局部二值模式特征和顏色特征的結(jié)合，并最終融合得到全新的特征服務(wù)于跟蹤，通過(guò)這個(gè)過(guò)程進(jìn)一步增加了獲取車輛特征的多樣性，從而提高了車輛跟蹤在應(yīng)對(duì)不同環(huán)境挑戰(zhàn)時(shí)的穩(wěn)定性。

為了能夠獲得更好的可靠性和更廣泛的應(yīng)用，我們的算法仍然有很多挑戰(zhàn)性的問(wèn)題需要解決，例如，對(duì)每個(gè)樣本都要提取兩種特征，在計(jì)算特征所消耗的時(shí)間成本上較多，導(dǎo)致算法速度不盡如人意；在更新分類器方面，我們使用了固定的閾值進(jìn)行更新，在這方面后續(xù)的工作還可以再細(xì)化。