基于Harr-NMF特征的車輛檢測(cè)算法研究

胡 杰，劉志成，楊慧萍，李澤西

（武漢理工大學(xué) 汽車工程學(xué)院，湖北 武漢 430070）

基于Harr-NMF特征的車輛檢測(cè)算法研究

胡 杰，劉志成，楊慧萍，李澤西

（武漢理工大學(xué) 汽車工程學(xué)院，湖北 武漢 430070）

為了提高車輛檢測(cè)的準(zhǔn)確率和效率，為智能交通系統(tǒng)提供可靠的參考信息，針對(duì)傳統(tǒng)Harr特征車輛檢測(cè)算法存在特征向量維數(shù)過大、訓(xùn)練時(shí)間過長(zhǎng)的問題，提出采用非負(fù)矩陣分解Harr特征得到低維的Harr-NMF特征，對(duì)Harr-NMF特征分類并由Adaboost算法訓(xùn)練得到基于Harr-NMF特征的車輛分類器，對(duì)車身進(jìn)行有效識(shí)別。針對(duì)實(shí)車測(cè)試時(shí)出現(xiàn)的重復(fù)檢測(cè)、錯(cuò)誤檢測(cè)等問題，進(jìn)一步優(yōu)化了算法。測(cè)試結(jié)果表明，改進(jìn)后的算法提高了車輛檢測(cè)率并有效降低了誤檢率。

智能交通；車輛檢測(cè)；Harr-NMF特征；Adaboost算法

1 引言

為緩解日益嚴(yán)重的交通壓力，加強(qiáng)道路監(jiān)控，智能交通受到越來越多的重視。智能交通以視頻采集到的圖像為分析對(duì)象，通過對(duì)視頻中特定區(qū)域的圖像進(jìn)行分析得到道路交通信息。然而無論是對(duì)道路的車流量、車型、道路擁堵狀況的預(yù)估，還是將采集到的信息給駕駛員作駕駛預(yù)判等，都離不開對(duì)道路車輛的檢測(cè)[1]。

車輛檢測(cè)作為目標(biāo)檢測(cè)的一個(gè)分支研究領(lǐng)域，不斷涌現(xiàn)出了新的研究方法。文獻(xiàn)[2]提出利用幀差法提取視頻中不同的幀序列進(jìn)行對(duì)比，這種方法的原理簡(jiǎn)單、計(jì)算量小，但受周圍環(huán)境因素影響較大、對(duì)噪聲敏感，魯棒性不強(qiáng)。文獻(xiàn)[3]提出光流法進(jìn)行檢測(cè)，這種方法對(duì)噪聲的敏感較低，但計(jì)算量較大，實(shí)時(shí)性差。近年來，隨著機(jī)器學(xué)習(xí)的發(fā)展，目前車輛檢測(cè)系統(tǒng)一般分為外觀特征提取和分類學(xué)習(xí)兩部分，常用的外觀特征有Harr特征[4]、形狀特征[5]、顏色特征[6]以及方向梯度直方圖（Histograms of Oriented Gradient，HOG）[7]等。常用的分類方法有人工神經(jīng)網(wǎng)絡(luò)（Neural Network，NN）[8]、聚類算法（如k-means算法）[9]以及集成算法（如Adaboost集成學(xué)習(xí)）[10]。

本文重點(diǎn)研究在于基于傳統(tǒng)Harr特征，提出利用非負(fù)矩陣分解Harr特征進(jìn)行降維（Harr-NMF）[11]，提取訓(xùn)練樣本的Harr-NMF特征得到基于車身特征的弱分類器，并由AdaBoost訓(xùn)練，加權(quán)將弱分類器構(gòu)造為強(qiáng)分類器，級(jí)聯(lián)得到24×24的汽車車身分類器。針對(duì)分類器所產(chǎn)生的錯(cuò)誤檢測(cè)進(jìn)行噪聲消除，對(duì)產(chǎn)生的重復(fù)檢測(cè)進(jìn)行重復(fù)性判定。實(shí)驗(yàn)表明，經(jīng)過降維的Harr特征訓(xùn)練時(shí)間要明顯比傳統(tǒng)的Harr特征訓(xùn)練時(shí)間短。對(duì)分類器進(jìn)行有效的重檢、錯(cuò)檢判別之后，達(dá)到了比較滿意的檢測(cè)率。

2 基于Harr-NMF特征的車輛檢測(cè)基本原理

2.1 Harr特征

Harr特征是利用簡(jiǎn)單的矩陣組合來描述一幅圖像的特征。在利用Harr特征進(jìn)行圖像描述時(shí)，主要可以用圖1中四種特征模板，它們可以很好地描述一幅圖像的基本屬性，比如線性特征、邊緣特征、對(duì)角線特征和中心特征等。這些特征模板在一幅圖像中的大小是變化的，而Harr特征的特征值就是黑色矩形方塊的像素值減去白色矩形方塊的像素值?；诖?，可以通過改變特征模板的種類、大小和在一幅圖像中的位置來得到圖像的Harr特征。

圖1 Harr特征的四種模板

在進(jìn)行計(jì)算時(shí)，Harr特征的數(shù)量極大，例如一幅24 ×24像素的灰度圖像可以形成的特征向量的維數(shù)高達(dá)162 336維，并且在計(jì)算的過程中有大量的重復(fù)計(jì)算，高維的Harr特征值計(jì)算直接導(dǎo)致了訓(xùn)練時(shí)間的大量增加。為了解決這一個(gè)問題，本文提出利用非負(fù)矩陣分解（Non-negative Matrix Factorization，NMF）對(duì)高維特征向量進(jìn)行降維。

2.2 Harr-NMF特征

NMF是一種在矩陣中所有元素均為非負(fù)數(shù)約束條件之下的矩陣分解方法。Harr-NMF特征計(jì)算如下所示：

（1）設(shè)H是長(zhǎng)為L(zhǎng)的Harr特征向量，將其取絕對(duì)值然后轉(zhuǎn)化為m×n的矩陣C，其中L=m×n，m＞n。

（2）對(duì)轉(zhuǎn)化后得到的矩陣C進(jìn)行秩為r的NMF分解：

其中W和H分別是m×r和n×r的非負(fù)的基矩陣和系數(shù)矩陣，r＜＜m；

（3）對(duì)W和H的每一個(gè)列向量vi作歸一化處理，即：

（4）將所有的列向量級(jí)聯(lián)成Harr-NMF特征。本文中，歸一化之后的訓(xùn)練樣本為24×24像素大小，L=162 336，m= 5 073，n=32，r=3，Harr-NMF特征的長(zhǎng)度為15 315，NMF對(duì)圖像的噪聲有一定的穩(wěn)定性，通過分解得到的基矩陣和系數(shù)矩陣對(duì)保留了原矩陣的主要特征，因此Harr-NMF特征在很好的保留了Harr特征特性的基礎(chǔ)上，通過極大地減少Harr特征維數(shù)來減少后續(xù)算法的計(jì)算時(shí)間。

2.3 Adaboost算法

在得到訓(xùn)練樣本的Harr-NMF特征后，通過利用Adaboost算法對(duì)大量的正負(fù)樣本進(jìn)行學(xué)習(xí)。Adaboost算法根據(jù)得到的Harr-NMF特征利用弱分類器將樣本進(jìn)行分類，在每次的迭代過程中選取分類錯(cuò)誤率最小的弱分類器作為本次迭代的最優(yōu)分類器，并為最優(yōu)弱分類器賦以權(quán)重。并根據(jù)上一次的分類結(jié)果更新每個(gè)樣本的權(quán)值，提高錯(cuò)誤樣本權(quán)重并降低正確訓(xùn)練樣本權(quán)重。把經(jīng)過多次迭代之后得到一系列弱分類器級(jí)聯(lián)生成決策分類器。Adaboost算法訓(xùn)練分類器的方法如下：

設(shè)樣本空間為X、迭代次數(shù)為T、樣本類別為Y、訓(xùn)練樣本數(shù)為N和訓(xùn)練樣本集S：

示負(fù)樣本，+1代表正樣本。

初始時(shí)對(duì)每個(gè)輸入的訓(xùn)練樣本分配相同的權(quán)重，設(shè)初始權(quán)值為D1(xi)=1/N，則Dt(xi)表示第t輪中樣本xi的權(quán)重，其中t=1，2，...，T。根據(jù)訓(xùn)練樣本權(quán)重分布對(duì)樣本特征進(jìn)行學(xué)習(xí)，獲得最優(yōu)弱分類器hi(xi)，的最小容許誤差為εt，εt可由式（4）計(jì)算得到：

然后，利用容許誤差計(jì)算本輪最佳弱分類器ht(xi)的權(quán)重αt：

根據(jù)本次迭代得到的最優(yōu)弱分類器hi(xi)、權(quán)重αt和分類的結(jié)果，更新訓(xùn)練樣本的權(quán)重，更新的樣本分布為：

其中，Zt為歸一化因子，使經(jīng)過T輪循環(huán)后，獲得T個(gè)最優(yōu)弱分類器，將ht(xi)按照其權(quán)重級(jí)聯(lián)起來得到強(qiáng)分類器H(x)：

Adaboost算法流程如圖2所示：

圖2 Adaboost算法流程示意圖

2.4 級(jí)聯(lián)分類器

級(jí)聯(lián)分類器是將算法訓(xùn)練得到的一系列弱分類器級(jí)聯(lián)起來得到識(shí)別準(zhǔn)確率很高的強(qiáng)分類器。弱分類器排列時(shí)，相對(duì)簡(jiǎn)單的分類器排在前面，這樣在檢測(cè)的開始階段大量的負(fù)樣本會(huì)被排除，從而縮短檢測(cè)時(shí)間。

從圖3級(jí)聯(lián)分類器的構(gòu)成可以看出，通過訓(xùn)練得到的強(qiáng)分類器是一顆退化的決策樹。在進(jìn)行車輛檢測(cè)時(shí)，檢測(cè)窗口必須全部通過弱分類器才能被判定為正樣本，每個(gè)分類器幾乎可以讓所有的正樣本通過，而一旦某個(gè)窗口被某個(gè)弱分類器判定為負(fù)樣本就會(huì)終止判斷過程，并進(jìn)入到下一個(gè)檢測(cè)流程中。因此最后一個(gè)分類器留下來的目標(biāo)就是檢測(cè)目標(biāo)。

圖3 級(jí)聯(lián)分類器構(gòu)造示意圖

3 基于Harr-NMF特征的車輛檢測(cè)實(shí)驗(yàn)

3.1 圖像預(yù)處理

訓(xùn)練樣本和測(cè)試樣本來自于武漢市道路交通，通過百度地圖全景模式功能截取240×240大小的圖像，充分考慮到了各種路況下正樣本和負(fù)樣本的比例，得到訓(xùn)練樣本集和測(cè)試樣本集。其中車輛分布在正樣本圖像正中，負(fù)樣本是不包含車輛的道路背景圖，比如車道線、紅綠燈和交通指示牌等。

為了縮短訓(xùn)練時(shí)間，將所有正樣本歸一化大小到24×24大小，并進(jìn)行圖像灰度化。圖4為部分正負(fù)樣本，圖5為部分灰度化后的正負(fù)樣本。

圖4 部分正負(fù)樣本示例

圖5 部分灰度化正負(fù)樣本示例

3.2 車輛初步檢測(cè)

本文測(cè)試平臺(tái)為Visual Studio 2013，測(cè)試計(jì)算機(jī)配置為Inter(R)Core(TM)i3-2100，主頻為3.10GHz，內(nèi)存為8GB。利用訓(xùn)練出來的車身分類器進(jìn)行實(shí)測(cè)。算法的整體流程圖如圖6所示。

圖6 算法的整體流程

分別對(duì)提取的Harr特征與Harr-NMF特征進(jìn)行分類訓(xùn)練，計(jì)算訓(xùn)練時(shí)間，對(duì)分類器進(jìn)行實(shí)測(cè)。在兩種特征所形成分類器的車輛檢測(cè)率相當(dāng)?shù)那闆r下，通過本文選取的正負(fù)樣本提取出Harr特征的訓(xùn)練時(shí)間要遠(yuǎn)遠(yuǎn)大于Harr-NMF特征的訓(xùn)練時(shí)間。對(duì)比測(cè)試結(jié)果見表1。

表1 兩種特征訓(xùn)練時(shí)間與檢測(cè)率對(duì)比

圖7是基于兩種特征的部分檢測(cè)情況。圖7（1）是基于Harr特征分類器的初步檢測(cè)結(jié)果，圖7（2）是基于Harr-NMF特征分類器的初步檢測(cè)結(jié)果。除了前方遠(yuǎn)距離被遮擋車輛有少量漏檢的情況外，參考在實(shí)際行駛中這部分漏檢車對(duì)我們作用不大，可以忽略。因此認(rèn)為，基于傳統(tǒng)Harr特征的車身分類器和基于Harr-NMF特征的車身分類器在檢測(cè)效果相當(dāng)?shù)那闆r下，后者分類器的訓(xùn)練速度更快。

圖7 兩種特征檢測(cè)結(jié)果對(duì)比圖

在Harr-NMF特征計(jì)算中，降維參數(shù)r的取值對(duì)檢測(cè)結(jié)果有很大的影響，r值越大，Harr信息保留得越完整，但是特征維數(shù)越大，訓(xùn)練時(shí)間越長(zhǎng)；r值越小，Harr特征壓縮越劇烈，圖像丟失的信息越嚴(yán)重。本文中Harr特征的原始維數(shù)為L(zhǎng)=162 336，m=5 073，n=32，r值分別取1，2，3，4。

經(jīng)過測(cè)試，Harr-NMF對(duì)應(yīng)的特征維數(shù)、檢測(cè)率以及訓(xùn)練時(shí)間見表2。從表2中可以看出，在r=2或r=3時(shí)，在特征維數(shù)、分類器的檢測(cè)性能和訓(xùn)練時(shí)間中取得了較好的平衡，本文取r=3。

表2 不同r值的特征維數(shù)和性能比較

但是實(shí)測(cè)中也存在著一輛車被重復(fù)檢測(cè)和一些錯(cuò)誤檢測(cè)的問題等。針對(duì)這些問題，本文對(duì)初步檢測(cè)結(jié)果進(jìn)行了進(jìn)一步改進(jìn)。

4 優(yōu)化與分析

4.1 重復(fù)識(shí)別的處理

在車輛初步檢測(cè)過程中，發(fā)現(xiàn)同一輛車被檢測(cè)到兩次的問題。針對(duì)這一問題，本文通過式（8）判定二者是否重合：

其中，r1，r2分別為圓O1，圓O2的半徑，(x1,y1)，(x2,y2)為圓心坐標(biāo)，max(r1,r2)為重合度閾值，當(dāng)兩者關(guān)系滿足上述條件時(shí)，判斷檢測(cè)目標(biāo)為相同目標(biāo)。圖8（1）為初步測(cè)試結(jié)果，圖中左側(cè)車輛被分類器重復(fù)檢測(cè)了兩次，對(duì)該被測(cè)車輛進(jìn)行重復(fù)性判定之后，測(cè)試優(yōu)化結(jié)果如圖8（2）所示。對(duì)比兩次測(cè)試結(jié)果，發(fā)現(xiàn)采用重復(fù)性判定后重復(fù)檢測(cè)問題得到明顯改善。

圖8 重復(fù)識(shí)別測(cè)試結(jié)果對(duì)比圖

4.2 錯(cuò)誤識(shí)別的處理

測(cè)試時(shí)發(fā)現(xiàn)有時(shí)會(huì)出現(xiàn)誤檢的情況，誤檢區(qū)域一般為道路上的一些建筑。但是一般情況下車身像素與車身周圍道路像素差別較大。為了消除誤檢區(qū)域，首先計(jì)算圓形區(qū)域均值像素P1，然后擴(kuò)大圓形區(qū)域，計(jì)算擴(kuò)大之后圓形區(qū)域的均值像素P2，比較兩次均值像素的差值P，給定均值像素閾值。經(jīng)過多次測(cè)試，給定擴(kuò)大圓形區(qū)域?yàn)?.1倍，給定均值像素的差值P=10。即擴(kuò)大后的兩次圓形區(qū)域的均值像素值差小于10時(shí)，判斷檢測(cè)目標(biāo)為誤檢目標(biāo)。圖9（1）為初步測(cè)試結(jié)果，中間黑色車輛的前方有一個(gè)誤檢目標(biāo)。根據(jù)均值像素差值消除該錯(cuò)檢的結(jié)果如圖9（2）所示。對(duì)比兩次測(cè)試結(jié)果，誤檢目標(biāo)得到消除。

圖9 錯(cuò)誤識(shí)別測(cè)試結(jié)果對(duì)比圖

5 結(jié)論

本文在基于傳統(tǒng)Harr特征檢測(cè)的基礎(chǔ)上，提出利用非負(fù)矩陣分解法對(duì)高維特征向量進(jìn)行降維，在滿足檢測(cè)性能的基礎(chǔ)上，極大地縮短了樣本的訓(xùn)練周期。將提取的Harr-NMF特征進(jìn)行分類并由Adaboost訓(xùn)練，級(jí)聯(lián)得到基于Harr-NMF特征的車身級(jí)聯(lián)分類器。該分類器與基于Harr特征分類器的檢測(cè)率差別很小，但是訓(xùn)練時(shí)間大大縮短。針對(duì)在實(shí)車測(cè)試時(shí)出現(xiàn)的重檢、錯(cuò)檢等情況，提出重合度閾值判定重復(fù)檢測(cè)和均值像素閾值判斷錯(cuò)檢。實(shí)驗(yàn)表明，該方法具有較高的檢測(cè)準(zhǔn)確率，可以作為車輛檢測(cè)的一種方法作進(jìn)一步的研究。在接下來的研究過程中，應(yīng)著重研究在夜晚、陰雨天氣、車輛發(fā)生遮擋等情況時(shí)的檢測(cè)方法以及加快算法移植到硬件平臺(tái)上。

[1]韓藝.基于視頻圖像的運(yùn)動(dòng)車輛檢測(cè)與跟蹤算法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2015.

[2]Wixson L.Detecting salient motion by accumulating directionally-consistent flow[A].The Proceedings of the Seventh IEEE International Conference on Computer Vision,IEEE[C].1999.

[3]Moscheni F,Bhattacharjee S,Kunt M.Spatio-temporal segmentation based on region merging[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,1998,20(9):897-915.

[4]Viola Paul,Jones Michael J.Robust Real-time Object Detection[R].Cambridge Research Laboratory,2001．

[5]Wu B,Nevatia R.Simultaneous Object Detection and Segmentation by Boosting Local Shape Feature based Classifier[A].2007IEEE Conference on Computer Vision and Pattern Recognition[C].2007.

[6]曾波波,王貴錦,林行剛.基于顏色自相似度特征的實(shí)時(shí)行人檢測(cè)[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,50(4):571-574.

[7]Dalal N,Triggs B.Histograms of oriented gradients for human detection[A].Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition[C].San Diego,USA,2005.

[8]Zhao L,Thorpe C E.Stereo and neural network-based pedestrian detection[J].IEEE Transactions on Intelligent Transportation Systems,2000,1(3):148-154.

[9]王千,王成,馮振元,等.K-means聚類算法研究綜述[J].電子設(shè)計(jì)工程,2012,20(7):21-24.

[10]Freund Y,Schapire R E.A decision theoretic generalization of on-line learning and an application to boosting[A].European Conference on ComputationalLearning Theory[C]. Springer-Verlag,1995.

[11]Jones M J,Viola P.Method and system for object detection in digital images:US,US7099510[P].2006.

Study on Vehicle Inspection Algorithm Based on Harr-NMF Feature

Hu Jie,Liu Zhicheng,Yang Huiping,Li Zexi
(School of Automobile Engineering,Wuhan University of Technology,Wuhan 430070,China)

In this paper,in order to improve the accuracy and efficiency in vehicle inspection to provide reliable reference information for the intelligent traffic system,and in light of the problems of the traditional vehicle inspection algorithm based on the Harr feature,we proposed to decompose the Harr feature by a non-negative matrix to yield a lower-dimension Harr-NMF feature.Next we categorized the Harr-NMF feature and obtained through Adaboost training the Harr-NMF based vehicle classifier for the effective identification of the vehicle body.At the end,in view of the problems encountered in an empirical practice of the method,we further optimized the algorithm.

intelligent traffic;vehicle inspection;Harr-NMF feature;Adaboost algorithm

F224;F407.472

A

1005-152X(2017)08-0117-05

2017-07-05

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“滿足國(guó)IV標(biāo)準(zhǔn)的摩托車排放控制后處理系統(tǒng)技術(shù)研究”（2016YFC0204905）

胡杰（1984-），男，湖北武漢人，博士，副教授，主要研究方向：智能網(wǎng)聯(lián)汽車與內(nèi)燃機(jī)；劉志成（1993-），通訊作者，男，湖北荊州人，碩士研究生，主要研究方向：智能網(wǎng)聯(lián)汽車。

doi∶10.3969/j.issn.1005-152X.2017.08.027