基于空間金字塔視覺(jué)詞袋模型的交通視頻車(chē)型分類(lèi)方法研究

戴光麟，許明敏，董天陽(yáng)

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

基于空間金字塔視覺(jué)詞袋模型的交通視頻車(chē)型分類(lèi)方法研究

戴光麟，許明敏，董天陽(yáng)

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

摘要：為了提高交通視頻中車(chē)型分類(lèi)的實(shí)時(shí)性和準(zhǔn)確率，提出了一種基于空間金字塔視覺(jué)詞袋模型的車(chē)型分類(lèi)方法.該方法利用SIFT進(jìn)行車(chē)輛特征的提取，采用空間金字塔優(yōu)化車(chē)輛特征，在SVM分類(lèi)器中引入車(chē)輛特征因子的視覺(jué)詞袋模型進(jìn)行交通視頻車(chē)型分類(lèi).實(shí)驗(yàn)結(jié)果表明：基于空間金字塔視覺(jué)詞袋模型的車(chē)輛分類(lèi)方法不僅提高了車(chē)輛分類(lèi)的準(zhǔn)確率，也加速了車(chē)型分類(lèi)過(guò)程.

關(guān)鍵詞：視覺(jué)詞袋；空間金字塔；智能交通；車(chē)型分類(lèi)

智能交通系統(tǒng)(Intelligent transportation system，簡(jiǎn)稱(chēng)ITS)在交通和科技日益發(fā)展的今天得到凸顯，其中車(chē)型分類(lèi)技術(shù)是重要的一個(gè)分支.現(xiàn)有的車(chē)型分類(lèi)算法主要利用車(chē)輛顏色、紋理、形狀以及空間關(guān)系等特征進(jìn)行識(shí)別，受限于車(chē)型姿態(tài)和環(huán)境變化，識(shí)別效率和精度較低，改進(jìn)算法提高車(chē)輛分類(lèi)效率成為當(dāng)下研究的熱點(diǎn).圍繞特征提取和分類(lèi)技術(shù)進(jìn)行車(chē)輛識(shí)別已有十多年的研究歷史，國(guó)內(nèi)外學(xué)者進(jìn)行了很多研究工作，現(xiàn)有的車(chē)型分類(lèi)方法主要有兩類(lèi).

傳統(tǒng)方法是基于車(chē)輛全局和局部特征的方法.比較典型的有Dgupte等[1]于2002年提出的車(chē)載攝像頭車(chē)型分類(lèi)方法，但該方法致力于車(chē)輛陰影的處理，實(shí)際意義有限.Sun等[2]使用Gabor濾波提取車(chē)輛紋理信息，該方法在速度上達(dá)到了應(yīng)用水平，但在精度上不能讓人滿(mǎn)意.Chris和Mike等提出了一種Harris角點(diǎn)算法[3]，是對(duì)Moravec角點(diǎn)檢測(cè)算子的一個(gè)擴(kuò)展，但是該方法對(duì)噪聲干擾較為敏感.Arrospide等[4]使用HoG特征實(shí)現(xiàn)車(chē)輛分類(lèi)，但計(jì)算量太大.Aditya等[5]使用邊緣特征結(jié)構(gòu)輸入到支持向量機(jī)方法進(jìn)行分類(lèi)，但只達(dá)到74%的準(zhǔn)確率.針對(duì)傳統(tǒng)車(chē)型分類(lèi)方法分類(lèi)準(zhǔn)確率低，近年來(lái)局部特征結(jié)合機(jī)器學(xué)習(xí)方法使得車(chē)型分類(lèi)準(zhǔn)確率得到提高.2013年，Meher等[6]使用PCA降維后進(jìn)行SIFT車(chē)輛提取，然后輸入支持向量機(jī)進(jìn)行分類(lèi).但是該方法的計(jì)算過(guò)程非常復(fù)雜，不能滿(mǎn)足車(chē)型實(shí)時(shí)分類(lèi)的需求.其他的基于機(jī)器學(xué)習(xí)的算法如SVM分類(lèi)模型的車(chē)輛識(shí)別[7]，隨機(jī)馬爾可夫鏈模型[8]，這些方法在實(shí)際使用中誤識(shí)別率較高，性能上也不能達(dá)到實(shí)時(shí)的效果.借鑒了文本分析的詞袋模型提出的圖形視覺(jué)詞袋模型(Bag of words, BOW)[9]廣泛使用于圖像檢索領(lǐng)域，但針對(duì)車(chē)型這類(lèi)細(xì)分的圖像分類(lèi)沒(méi)有研究.隨著局部特征結(jié)合機(jī)器學(xué)習(xí)算法的發(fā)展，基于機(jī)器學(xué)習(xí)車(chē)型分類(lèi)方法中車(chē)型數(shù)據(jù)樣本高相似度和傳統(tǒng)方法對(duì)車(chē)輛外界影響關(guān)注少，容易導(dǎo)致誤分類(lèi)的問(wèn)題比較突出.為此提出了一種基于空間金字塔視覺(jué)詞袋模型的車(chē)型分類(lèi)方法.在此基礎(chǔ)上，設(shè)計(jì)和實(shí)現(xiàn)了基于視覺(jué)詞袋模型的圖像分類(lèi)系統(tǒng)，并通過(guò)應(yīng)用和實(shí)驗(yàn)驗(yàn)證了方法能在兼顧時(shí)間和準(zhǔn)確率的前提下有效地從視頻圖像中識(shí)別車(chē)輛和車(chē)型分類(lèi).

1面向交通視頻的視覺(jué)詞袋模型構(gòu)建

視覺(jué)詞袋模型源于文本分類(lèi)技術(shù)，假定對(duì)于一個(gè)文本看做單詞的集合，車(chē)輛看作文本對(duì)象，車(chē)輛中不同的局部區(qū)域特征看做文本中的詞匯，相近的特征作為一個(gè)單詞，所有單詞組合成為一個(gè)視覺(jué)詞典，把文本檢索和分類(lèi)中的詞袋模型應(yīng)用到車(chē)輛分類(lèi)中.視覺(jué)詞袋用于圖像分類(lèi)可以跨越“語(yǔ)義鴻溝”的限制，在圖像識(shí)別中得到了廣泛的應(yīng)用.

面向交通視頻的視覺(jué)詞袋模型構(gòu)建過(guò)程如圖1所示.首先進(jìn)行特征聚類(lèi)，將SIFT提取的特征點(diǎn)聚類(lèi)成特征，特征聚類(lèi)結(jié)果即為視覺(jué)單詞.圖中不同形狀的圖像代表不同特征聚類(lèi)后產(chǎn)生的單詞.然后對(duì)車(chē)輛的視覺(jué)單詞統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果變成視覺(jué)單詞直方圖.視覺(jué)直方圖即為車(chē)型的特征表達(dá).以此類(lèi)推，對(duì)相同類(lèi)型車(chē)輛采用上述方式進(jìn)行特征提取，最終繪制某類(lèi)車(chē)型的直方圖.

圖1　視覺(jué)詞袋模型構(gòu)建過(guò)程Fig.1　The construction process of visual word bag model

1.1提取視覺(jué)特征

車(chē)輛特征提取作為車(chē)型識(shí)別的第一步，直接關(guān)系到后面聚類(lèi)的效果.在所有車(chē)輛特征中，可以作為識(shí)別和區(qū)分車(chē)輛的特征包括車(chē)輛的外觀(guān)(長(zhǎng)、寬、高)，車(chē)輛的角點(diǎn)、邊緣特征.采用車(chē)輛外觀(guān)作為車(chē)型識(shí)別特征的方式有簡(jiǎn)單、訓(xùn)練時(shí)間短的優(yōu)勢(shì)，但由于視頻中車(chē)輛是動(dòng)態(tài)變化的，車(chē)輛外觀(guān)的形變，導(dǎo)致車(chē)輛外觀(guān)特征動(dòng)態(tài)改變.早在2001年AHS等[10]提出了道路三維建模來(lái)獲得車(chē)輛外觀(guān)數(shù)據(jù)，但是在實(shí)際中攝像頭角度和道路情況不同，道路三維建模的效果產(chǎn)生較大差異，無(wú)法做到自適應(yīng).綜合考慮提取復(fù)雜性、效果和車(chē)輛特征獨(dú)特性采用邊緣特征作為車(chē)型識(shí)別特征，使用SIFT(Scale-invariant feature transform)特征提取圖像局部信息，在圖像二維空間和DOG(Difference of gaussian)尺度空間中將檢測(cè)的空間和極值作為特征.其算子表達(dá)式為

D(x,y,θ)=(G(x,y,kθ)-G(x,y,θ))I(x,y)

(1)

式中：θ為尺度坐標(biāo)；G(x,y,kθ)為高斯函數(shù)尺度可變表示；I(x,y)為圖像函數(shù).產(chǎn)生尺度空間的表達(dá)式為

L(x,y,θ)=D(x,y,kθ)I(x,y)

(2)

進(jìn)行SIFT特征描述后形成圖像的特征映射，獲得圖片的特征點(diǎn)集，即feature列表.每個(gè)feature代表一個(gè)圖片的某個(gè)局部特征，每個(gè)feature的數(shù)據(jù)結(jié)構(gòu)由一個(gè)128維浮點(diǎn)數(shù)組表示.訓(xùn)練集所有圖像的SIFT特征構(gòu)成SIFT特征集R={r1,r2,…,ri,…,rn-1,rn}，至此，訓(xùn)練集圖像轉(zhuǎn)換為SIFT特征.

SIFT局部特征具有平移、縮放和旋轉(zhuǎn)不變性，同時(shí)對(duì)光照變化、仿射及投影影響也有很好的魯棒性.如圖2所示，在不同環(huán)境角度下SIFT特征能夠?qū)崿F(xiàn)準(zhǔn)確匹配.

圖2　SIFT實(shí)現(xiàn)特征匹配Fig.2　SIFT achieve feature matching

1.2獲取視覺(jué)單詞

(3)

由于一張車(chē)輛圖像中通常包含1000多個(gè)128維的特征點(diǎn)，因此在聚類(lèi)過(guò)程中時(shí)間效率非常低，對(duì)于實(shí)時(shí)性要求較高的車(chē)型分類(lèi)來(lái)說(shuō)是絕對(duì)不允許的.另外，K-means算法基于歐氏幾何距離，容易陷入局部最優(yōu)解，并且其算法不穩(wěn)定[11].為了克服以上缺點(diǎn)引入精確歐式位置敏感哈希(E2LSH)[12]到隨機(jī)化視覺(jué)詞典，生成的流程如下：

1) 首先利用SIFT獲取車(chē)輛的特征集R={r1,r2,…,ri,…,rn-1,rn}，其中，ri為對(duì)應(yīng)特征，n為對(duì)應(yīng)特征數(shù)量.

2) 將位置敏感函數(shù)g作用到SIFT特征集R，得到R中SIFT特征ri對(duì)應(yīng)的k維向量g(ri).

3) 計(jì)算ri的主哈希h1(g(ri))和次哈希值h2(g(ri)).

4) 將R中主、次哈希值都相同的特征放到同一個(gè)集合中.

利用E2LSH將R聚類(lèi)后獲得哈希集合Tg={b1,b2,…,bk,…,bz-1,bz}，聚類(lèi)后每個(gè)中心視為一個(gè)詞典中的詞匯，獲取全部詞匯后就獲得了對(duì)應(yīng)的碼本(Code word)，所有視覺(jué)詞匯形成一個(gè)視覺(jué)詞典，對(duì)應(yīng)一個(gè)碼書(shū)，即碼字的合集，通過(guò)統(tǒng)計(jì)視覺(jué)詞典的視覺(jué)直方圖對(duì)車(chē)輛進(jìn)行分類(lèi).

1.3優(yōu)化視覺(jué)單詞

在獲得隨機(jī)化視覺(jué)詞典后，利用視覺(jué)單詞能夠區(qū)分車(chē)輛類(lèi)型.但是，僅僅依靠視覺(jué)詞典分類(lèi)是完全不夠的：直方圖是全局性的圖像視覺(jué)單詞的統(tǒng)計(jì)，但是沒(méi)有對(duì)單詞的位置特征加以關(guān)注.視覺(jué)單詞的空間位置關(guān)系作為車(chē)輛分類(lèi)的重要依據(jù)，特別是車(chē)型之間視覺(jué)單詞相似度很高，引入視覺(jué)單詞的空間位置關(guān)系尤為關(guān)鍵.引入空間金字塔模型到視覺(jué)詞袋模型中，有效提高車(chē)輛分類(lèi)的表達(dá)能力，能夠提高分類(lèi)準(zhǔn)確率.具體操作過(guò)程如圖3所示.

圖3　視覺(jué)單詞分層優(yōu)化Fig.3　Hierarchical optimization of visual words

圖3中原始的圖片看做空間金字塔第0層，對(duì)該層圖像做視覺(jué)直方圖統(tǒng)計(jì)；然后將圖片均分成四張子圖片，該圖片為空間金字塔第1層，對(duì)該層圖像每個(gè)子空間進(jìn)行直方圖統(tǒng)計(jì)；然后再對(duì)1層圖片進(jìn)行4等分，均分成4份，得到空間金字塔第2層，對(duì)該層圖像每個(gè)子空間進(jìn)行直方圖統(tǒng)計(jì).在每個(gè)子層上迭代上述過(guò)程，并標(biāo)記金字塔的層數(shù)Li.每一層占權(quán)重不同，越往后分，視覺(jué)單詞在每一區(qū)域的分布越清晰，但是時(shí)間效率也會(huì)相應(yīng)降低.在沒(méi)有引入空間金字塔之前，傳統(tǒng)的車(chē)輛分類(lèi)方法大都采用矢量量化方法.統(tǒng)計(jì)視覺(jué)單詞wn在圖像中出現(xiàn)的次數(shù)，其公式為

VQ={r(w1),r(w2),…,r(wn),…,r(wz-1),r(wz)}

(4)

(5)

那么得到第l兩張圖像間的直方圖相似度量公式為

(6)

金字塔分解體現(xiàn)了視覺(jué)單詞在圖像中的空間分布，而傳統(tǒng)的視覺(jué)直方圖側(cè)重于單詞在整幅圖像中的比重，兩種方式體現(xiàn)了對(duì)圖像特征的不同描述，兩者結(jié)合后整體和局部判斷結(jié)合，有效提高準(zhǔn)確率，整體準(zhǔn)確率為

(7)

1.4基于車(chē)輛視覺(jué)因子的直方圖分類(lèi)

完成視覺(jué)直方圖統(tǒng)計(jì)后，每種車(chē)型得到圖4車(chē)輛特征直方圖.車(chē)輛分類(lèi)的特點(diǎn)是樣本彼此的相似度和維度高，在車(chē)型分類(lèi)多的情況下區(qū)分兩個(gè)車(chē)型的難度很大，這是與圖像類(lèi)型檢索的一大區(qū)別.為了增強(qiáng)車(chē)型識(shí)別率，在直方圖中加入車(chē)輛特征因子(si{s1,s2,…,s5})以進(jìn)行分類(lèi)器的識(shí)別.共設(shè)定了五類(lèi)視覺(jué)因子，分別是格柵、車(chē)燈、玻璃、引擎蓋和其他.不同類(lèi)型車(chē)輛在特征聚類(lèi)后獲得的車(chē)輛特征總類(lèi)別規(guī)定后分類(lèi)得到的結(jié)果是不同的，歸一化后獲得如下直方圖.如行人基本特征都落在其他一列，而公交車(chē)的擋風(fēng)玻璃面積較大，玻璃在所有因子中特別突出.

圖4　車(chē)輛特征直方圖Fig.4　Vehicle feature histogram

為了進(jìn)一步明確特征直方圖和車(chē)型之間的關(guān)系，根據(jù)圖4繪制了圖5車(chē)輛因子折線(xiàn)圖.該圖將不同因子作為數(shù)據(jù)點(diǎn)，不同車(chē)型作為直線(xiàn).可以直觀(guān)看出不同作用因子對(duì)車(chē)型的貢獻(xiàn).為了最大程度區(qū)分車(chē)型，將最明顯的特征因子擴(kuò)大兩倍max{si}×2，將影響最小的因子縮小兩倍min{sj}×0.5，拉開(kāi)特征間的差距，使一類(lèi)車(chē)輛能以最大程度落在某一車(chē)型中.然后將特征{max{si}×2,min{sj}×0.5,s1,s2,s3}作為分類(lèi)器的輸入.

圖5　車(chē)輛特征因子Fig.5　Vehicle characteristic factor

2基于視覺(jué)詞袋的交通視頻車(chē)型分類(lèi)方法研究

在對(duì)交通視頻中的車(chē)型進(jìn)行分類(lèi)時(shí)將視頻中提取的車(chē)輛特征因子輸入到分類(lèi)器中.數(shù)據(jù)類(lèi)型和使用環(huán)境一般能夠決定分類(lèi)器的選擇，數(shù)據(jù)量而言如果數(shù)據(jù)集非常大，分類(lèi)算法的選擇對(duì)最后的結(jié)果影響不大.由于交通視頻中車(chē)輛跟蹤和識(shí)別時(shí)需要對(duì)車(chē)型進(jìn)行實(shí)時(shí)分類(lèi)，對(duì)分類(lèi)器在車(chē)型實(shí)時(shí)性上的要求非常高.另外在數(shù)據(jù)量上，由于獲得的特征為128維的特征向量，數(shù)據(jù)集特征多，對(duì)于分類(lèi)器在大數(shù)據(jù)情況下的處理提出了要求.鑒于數(shù)據(jù)的特點(diǎn)，要求保證車(chē)型分類(lèi)實(shí)時(shí)性的同時(shí)，盡可能提高分類(lèi)準(zhǔn)確率是我們分類(lèi)的標(biāo)準(zhǔn).

為此采用了支持向量機(jī)分類(lèi)方法[13].相對(duì)于樸素貝葉斯分類(lèi)器和K-近鄰算法，BOVW結(jié)合支持向量機(jī)效果較好[14].樸素貝葉斯算法利用概率來(lái)判斷樣本屬于某個(gè)類(lèi)別的可能性，該算法特點(diǎn)是需要的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感，算法比較簡(jiǎn)單.該算法成立條件苛刻，現(xiàn)實(shí)中無(wú)法滿(mǎn)足會(huì)導(dǎo)致結(jié)準(zhǔn)確率下降.而K-近鄰算法是一種懶惰算法，這K個(gè)樣本屬于哪個(gè)類(lèi)型多就屬于哪個(gè)類(lèi).在數(shù)據(jù)量大的情況下這種算法就不適用了.

Kotsiantis[15]從準(zhǔn)確率、學(xué)習(xí)速度、分類(lèi)速度、容錯(cuò)率和噪點(diǎn)容忍度五個(gè)角度衡量三種分類(lèi)算法的性能.車(chē)型分類(lèi)中準(zhǔn)確率和分類(lèi)速度是最重要的因素，結(jié)果表明了SVM準(zhǔn)確率和分類(lèi)速度在3種分類(lèi)算法中最高，由于SVM分類(lèi)算法的復(fù)雜性決定了SVM學(xué)習(xí)速度較慢，學(xué)習(xí)階段是在分類(lèi)階段前，這點(diǎn)是可以忍受的.

為了驗(yàn)證3種算法在實(shí)際圖像分類(lèi)的效果，下面實(shí)驗(yàn)采用PASCAL VOC2016年數(shù)據(jù)進(jìn)行分析.一共5類(lèi)數(shù)據(jù)，特征數(shù)15個(gè)，訓(xùn)練樣本300個(gè)，測(cè)試樣本900個(gè).本實(shí)驗(yàn)采用3種分類(lèi)算法，分別從時(shí)間和準(zhǔn)確率考量3種算法的特點(diǎn).

下面對(duì)SVM建模簡(jiǎn)單闡述：

1) SVM算法已有很多軟件包，采用大家使用較多的Chih-Jin教授編寫(xiě)的LIBSVM軟件.

2) 在挑選核函數(shù)上，RBF核在不同的圖像分類(lèi)中得到的效果都不錯(cuò)，因此采用RBF核作為SVM分類(lèi)器的核函數(shù).

3) 將上述數(shù)據(jù)特征作為分類(lèi)器的輸入.

4) 將二類(lèi)分類(lèi)器擴(kuò)展到N類(lèi)分類(lèi)，針對(duì)N類(lèi)分類(lèi)問(wèn)題構(gòu)造N(N-1)/2個(gè)二分分類(lèi)器，組合這些二分分類(lèi)器使用投票法，投票最多的即為樣本所屬的類(lèi)別.

K-近鄰算法和其他兩類(lèi)算法不同的是該算法使基于實(shí)例的算法，即給定一個(gè)測(cè)試元組才開(kāi)始構(gòu)造分類(lèi)模型，故在時(shí)間上和下面兩類(lèi)先訓(xùn)練再測(cè)試的算法差距較大，由實(shí)驗(yàn)看出時(shí)間落后一個(gè)數(shù)量級(jí).樸素貝葉斯和支持向量機(jī)是給定訓(xùn)練元組后，接收測(cè)試元組前就構(gòu)造好了分類(lèi)模型，測(cè)試時(shí)間非常接近，在算法準(zhǔn)確率上支持向量機(jī)略勝一籌，結(jié)合表1考量后發(fā)現(xiàn)支持向量機(jī)在能夠勝任實(shí)際車(chē)輛分類(lèi)中實(shí)時(shí)準(zhǔn)確分類(lèi)的要求，因此在挑選分類(lèi)算法中傾向于支持向量機(jī).

表1三類(lèi)分類(lèi)算法實(shí)驗(yàn)結(jié)果

Table 1Experimental results of three kinds of classification algorithms

算法K-近鄰正確率/%時(shí)間/s樸素貝葉斯正確率/%時(shí)間/s支持向里機(jī)正確率/%時(shí)間/s自行車(chē)79.642.169.97.892.14.2轎車(chē)69.429.7788.988.68.9摩托車(chē)87.734.7826.179.39.8行人86.139.681.94.390.15.1大巴90.744.479.77.496.98.0平均82.738.178.36.989.47.2

3實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證該算法相比傳統(tǒng)機(jī)器學(xué)習(xí)方法在精度上得到了提升，將從多方面對(duì)改進(jìn)的基于視覺(jué)詞袋模型的車(chē)輛分類(lèi)算法進(jìn)行評(píng)價(jià)：介紹數(shù)據(jù)集的來(lái)源；考察改進(jìn)的聚類(lèi)算法相比經(jīng)典聚類(lèi)算法存在的優(yōu)勢(shì)；將加入空間金字塔算法與不加入時(shí)候進(jìn)行比較；在實(shí)驗(yàn)條件相同的情況下將該算法與近年來(lái)車(chē)型分類(lèi)結(jié)果較好的兩類(lèi)算法進(jìn)行比較得出結(jié)論.

3.1數(shù)據(jù)集獲取

我們收集的數(shù)據(jù)集采用的圖像數(shù)據(jù)采集自本地普通道路，拍攝工具為非高清攝像頭.該視頻拍攝于下午天氣較一般情況，有陽(yáng)光和陰天，像素在150×150左右.所有的訓(xùn)練和測(cè)試數(shù)據(jù)都來(lái)自本視頻，包含六類(lèi)車(chē)輛，分別是公交車(chē)、卡車(chē)、SUV、面包車(chē)、轎車(chē)和行人.隨后采用無(wú)損壓縮扣取車(chē)輛圖片，其中570張公交車(chē)、568張卡車(chē)、589張SUV、562張面包車(chē)、609張轎車(chē)以及704張行人圖片，數(shù)據(jù)集示例如圖6所示.為了更好的模擬該場(chǎng)景下的車(chē)輛分類(lèi)，我們沒(méi)有新增其他視頻中的車(chē)輛圖片進(jìn)來(lái).根據(jù)特征提取中獲得每類(lèi)車(chē)型的特征向量集，分別為R1～R6，在此基礎(chǔ)上，根據(jù)視覺(jué)詞袋的算法流程，處理R1～R6，生成視覺(jué)詞袋.

圖6　實(shí)驗(yàn)使用的數(shù)據(jù)集Fig.6　Dataset for experiment

3.2特征聚類(lèi)

實(shí)驗(yàn)采用上述提到的數(shù)據(jù)集，總共6類(lèi)圖片，圖片像素在150×150 pixel.每類(lèi)圖片采用200張作為訓(xùn)練集，40張作為測(cè)試集.圖7顯示采用SIFT特征提取方法后得到的特征點(diǎn)，左側(cè)為采用K-means聚類(lèi)后得到的聚類(lèi)點(diǎn)，右側(cè)為采用E2LSH得到的聚類(lèi)點(diǎn).藍(lán)色圓點(diǎn)是特征點(diǎn)，橘色三角是聚類(lèi)結(jié)果.可以發(fā)現(xiàn)在E2LSH算法下獲得的視覺(jué)詞典更加松散，相比K-means聚類(lèi)算法具有更好的圖像表達(dá)能力.在時(shí)間效率上，K-means聚類(lèi)方法的時(shí)間復(fù)雜度為O(tKmn)，其中：t為迭代次數(shù)；K為簇的數(shù)目；m為記錄數(shù)；n為維數(shù).而局部敏感哈希的時(shí)間復(fù)雜度為O(nρlogn)獲取特征點(diǎn)后采用E2LSH代替?zhèn)鹘y(tǒng)的聚類(lèi)方法，得到了如圖7所示的效果.

圖7　兩類(lèi)聚類(lèi)效果對(duì)比Fig.7　Comparison of two kinds of clustering effects

3.3空間金字塔優(yōu)化

實(shí)驗(yàn)數(shù)據(jù)集為上述提到自己采樣的數(shù)據(jù)集，對(duì)SUV、轎車(chē)和公交車(chē)進(jìn)行訓(xùn)練和測(cè)試.各隨機(jī)選取300張作為訓(xùn)練集，100張作為測(cè)試集.實(shí)驗(yàn)采用傳統(tǒng)基于視覺(jué)詞袋的分類(lèi)算法(BOVW)與加入空間金字塔優(yōu)化后的算法(BOVW+SPCMK)進(jìn)行比較.由表2可知：加入金字塔模型后，視覺(jué)詞袋模型的分類(lèi)能力得到了有效的提高.

表2空間金字塔建模對(duì)視覺(jué)詞袋的影響

Table 2Influence of spatial pyramid modeling on visual word bag

%

3.4分類(lèi)結(jié)果

使用基于視覺(jué)詞袋的分類(lèi)算法與基于動(dòng)態(tài)貝葉斯分類(lèi)算法(Dynamic bayesian networks)[16]、K最近鄰(KNN，K-nearest neighbor)[17-18]分類(lèi)算法進(jìn)行比較，車(chē)輛樣本采用上述的數(shù)據(jù)集，為了公平起見(jiàn)，獲得了類(lèi)似光照、角度和分辨率的數(shù)據(jù)集，在此基礎(chǔ)上對(duì)三類(lèi)算法進(jìn)行比較.在四類(lèi)和六類(lèi)車(chē)輛分類(lèi)實(shí)驗(yàn)中采用每類(lèi)訓(xùn)練車(chē)輛200張圖片，測(cè)試圖片40張的方式進(jìn)行實(shí)驗(yàn).在四類(lèi)車(chē)輛分類(lèi)實(shí)驗(yàn)中，分類(lèi)準(zhǔn)確率如表3所示，車(chē)輛測(cè)試的分布結(jié)果如圖8(a)所示.由于類(lèi)別只有四類(lèi)，三種算法得到了較高精度.采用的算法在四類(lèi)車(chē)輛中獲得了整體和每類(lèi)車(chē)輛最高的準(zhǔn)確率.同時(shí)，發(fā)現(xiàn)誤識(shí)別率較高的都是卡車(chē)被識(shí)別為了公交車(chē).這也符合公交車(chē)和卡車(chē)在外形上較相似的特點(diǎn).在六類(lèi)車(chē)輛分類(lèi)中方法也獲得了整體最高的識(shí)別率，分類(lèi)準(zhǔn)確率如表4所示，車(chē)輛測(cè)試的分布結(jié)果圖8(b).在時(shí)間效率上如表5所示，由于BOVW分類(lèi)方法在車(chē)輛識(shí)別過(guò)程中采用分片聚類(lèi)的方式，時(shí)間上并沒(méi)能超越主流算法，但就效果而言也在同一數(shù)量級(jí).

表3　四類(lèi)車(chē)型分類(lèi)分布結(jié)果

圖8　車(chē)輛準(zhǔn)確率直方圖Fig.8　Vehicle accurate rate histogram

Table 4Six types of vehicle classification results

%

表5　四類(lèi)和六類(lèi)車(chē)型時(shí)間耗費(fèi)和識(shí)別率

4結(jié)論

從視覺(jué)詞袋入手，建立車(chē)輛提取、特征聚類(lèi)、提取視覺(jué)詞袋和車(chē)型分類(lèi)等一系列圖像模型，同時(shí)在特征點(diǎn)聚類(lèi)時(shí)將K-means聚類(lèi)方法替換成E2LSH方法，有效提高了聚類(lèi)的效果.此外，以往車(chē)輛分類(lèi)算法往往只考慮整體視覺(jué)直方圖的統(tǒng)計(jì)，在視覺(jué)加入金字塔模型提高了車(chē)輛的分類(lèi)的準(zhǔn)確率，同時(shí)在時(shí)間效率上提高了不少，滿(mǎn)足了智能交通系統(tǒng)高實(shí)時(shí)性的要求.本實(shí)驗(yàn)針對(duì)車(chē)輛單一特征進(jìn)行研究，沒(méi)有描述車(chē)輛其他特征.在實(shí)際生活中，車(chē)輛的多特征分類(lèi)是車(chē)輛識(shí)別、分類(lèi)的關(guān)鍵，今后要對(duì)車(chē)輛其他特征研究，以達(dá)到準(zhǔn)確識(shí)別車(chē)輛的目的.

參考文獻(xiàn)：

[1]DGUPTE S, MASOUD O, MARTIN R F K, et al. Detection and classification of vehicles[J]. IEEE transactions on intelligent transportation systems,2002,3(1):37-47.

[2]SUN Z, BEBIS G, MILLER R. On-road vehicle detection using evolutionary gabor filter optimization[J]. IEEE transactions on intelligent transportation systems,2005,6(2):125-137.

[3]XU W, WANG S Z. Measurement o vehicle speed based on harris corner detector[J]. Journal of image and graphics,2006,11(11):1650-1652.

[4]ARROSPIDE J, SALGADO L, CAMPLANI M. Image-based on-road vehicle detection using cost-effective histograms of orineted gradients[J]. Journal of visual communication and image representation,2013,24(7):1182-1190.

[5]KANITKAR A R, BHARTI B K, HIVARKAR U N. Object calssification using encoded edge based structural information[C]//Journal of the American Statistical Association: Advances in Computing and Communications. Berlin Heidelberg: Springer,2011:358-367.

[6]MEHER S K, MURTY M N. Efficient method of moving shadow detection and vehicle classification[J]. AEU-International journal of electionics and communications,2013,67(8):312-320.

[7]周辰雨,張亞岐,李健.基于SVM的車(chē)輛識(shí)別技術(shù)[J].科技導(dǎo)報(bào),2012(30):53-57.

[8]張昕,王松濤,張欣,等.基于馬爾可夫鏈的混合動(dòng)力汽車(chē)行駛工況預(yù)測(cè)研究[J].汽車(chē)工程,2014,12(10):1216-1220.

[9]ZHAO R, GROSKY W I. Narrowing the semantic gap-improved text-based web document retrieval using visual features[J]. IEEE transactions on multimedia,2002,4(2):189-200.

[10]AHS Lai, GSK Fung, NHC Yung. Vehicle type classification from visual-based dimension estimation[J]. IEEE intelligent transportation systems,2001,25(29):201.

[11]高雪,謝儀,侯紅衛(wèi).基于多指標(biāo)面板數(shù)據(jù)的改進(jìn)的聚類(lèi)方法及應(yīng)用[J].浙江工業(yè)大學(xué)學(xué)報(bào),2014,42(4):468-472.

[12]李紅梅,郝文寧,陳剛.基于精確歐氏局部敏感哈希的協(xié)同過(guò)濾推薦算法[J].計(jì)算機(jī)應(yīng)用,2014,34(12):3481-3486.

[13]葉永偉,任設(shè)東,陸俊杰,楊超.基于SVM的汽車(chē)涂裝線(xiàn)設(shè)備故障診斷[J].浙江工業(yè)大學(xué)學(xué)報(bào),2015,43(6):670-675.

[14]楊全,彭進(jìn)業(yè).采用SIFT-BoW和深度圖像信息的中國(guó)手語(yǔ)識(shí)別研究[J].計(jì)算機(jī)科學(xué),2014,41(2):302-307.

[15]KOTSIANTIS S B. Supervised machine learning: a review of classification techniques[J] Informatica,2007,12(11):249-268.

[16]BHANU B, KAFAI M. Dynamic bayesian networks for vehicle classification in video[J]. IEEE trans onimage processing,2012,8(1):100-109.

[17]董天陽(yáng),阮體洪,吳佳敏,等.一種Haar-like和HOG特征結(jié)合的交通視頻車(chē)輛識(shí)別方法研究[J].浙江工業(yè)大學(xué)學(xué)報(bào),2015,43(5):503-507.

[18]ZHANG C J, CHEN Y Z. The research of vehicle classification using SVM and KNN in a ramp[J]. International forum on computer science-technology and applications,2009,3(2):391-394.

(責(zé)任編輯：劉巖)

Research on vehicle classification method in traffic video based on spatial pyramid visual word bag model

DAI Guanglin, XU Mingmin, DONG Tianyang

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:In order to improve the real-time performance and classification accuracy of vehicle classification in traffic video, a new classification method based on space pyramid visual word bag model is proposed. The SIFT method is used to extract the features of vehicle and the vehicle features are optimized by the space pyramid model. The visual word bag model of vehicle feature factor is introduced in SVM classifier in order to classify vehicles in traffic video. The experimental results show that the vehicle classification method based on space pyramid visual word bag model not only improves the accuracy of vehicle classification, but also accelerates the process of vehicle classification.

Keywords:visual bag; space pyramid; intelligent transportation; vehicle type classification

收稿日期：2016-01-21

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61202202)

作者簡(jiǎn)介：戴光麟(1979—)，男，浙江寧波人，講師，主要從事計(jì)算機(jī)網(wǎng)絡(luò)、無(wú)線(xiàn)傳感網(wǎng)和視頻圖像處理等，E-mail：dgl@zjut.edu.cn.

中圖分類(lèi)號(hào)：TP391.2

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1006-4303(2016)03-0247-07