基于改進(jìn)可變形部件模型的車輛檢測(cè)

孫 可, 張 琦, 李 航, 史慶武

(1. 沈陽(yáng)師范大學(xué) 軟件學(xué)院, 沈陽(yáng) 110034; 2. 佳木斯大學(xué) 信息電子技術(shù)學(xué)院, 黑龍江 佳木斯 154007)

隨著智能交通系統(tǒng)的飛速發(fā)展,車輛目標(biāo)檢測(cè)作為現(xiàn)代智能交通系統(tǒng)的重要組成部分,已成為研究的熱點(diǎn)。傳統(tǒng)的車輛檢測(cè)方法是將感應(yīng)線圈安裝在道路上采集車輛圖像。這種方法的缺點(diǎn)是當(dāng)?shù)缆窊p壞,安裝和維護(hù)系統(tǒng)不方便的時(shí)候,對(duì)結(jié)果產(chǎn)生較大的影響。目前,車輛目標(biāo)的檢測(cè)是基于運(yùn)動(dòng)信息的存在,將運(yùn)動(dòng)信息分為2類。一種是利用運(yùn)動(dòng)信息進(jìn)行車輛檢測(cè),如幀間差分法[1-2],背景差分法[3],光流法[4-5]。這些典型的檢測(cè)方法依賴于車輛的運(yùn)動(dòng)信息,而當(dāng)運(yùn)動(dòng)信息是車輛檢測(cè)所不依賴的信息時(shí),檢測(cè)算法就會(huì)失效。另一種是不依賴于運(yùn)動(dòng)信息的車輛檢測(cè),通常從車輛本身的特性出發(fā)根據(jù)車輛的形狀和姿態(tài),提出的一種基于建模和模板匹配的方法[6-7]。該方法對(duì)模型要求高,當(dāng)模型與實(shí)際情況不一致時(shí)易產(chǎn)生噪聲。許多學(xué)者根據(jù)車輛的外觀特征如顏色、紋理等,提出了一種基于這些特征的方法[8]。這種方法通常研究車輛與非車輛在顏色、紋理等方面的外觀差異,該方法可以更好地檢測(cè)典型的車輛目標(biāo),但很容易檢測(cè)出接近地面顏色和紋理的車輛。一些學(xué)者依托大數(shù)據(jù)等新技術(shù),提出了基于統(tǒng)計(jì)和機(jī)器學(xué)習(xí)的方法[9-11]。該方法精度高,但需要大量的樣本進(jìn)行分類器學(xué)習(xí),由于不同分類器的性能不同,需要大量的計(jì)算。這些方法對(duì)促進(jìn)車輛目標(biāo)檢測(cè)起到了至關(guān)重要的作用?；谏鲜龇椒?本文提出了一種基于顏色融合DPM的車輛目標(biāo)檢測(cè)方法,在對(duì)車輛建模時(shí)考慮車輛的梯度信息和顏色信息,能夠有效準(zhǔn)確地實(shí)現(xiàn)車輛目標(biāo)檢測(cè)。

1 車輛檢測(cè)方法

1.1 可變形部件模型檢測(cè)

可變形部件模型(Deformable Part Model, DPM)[12-14]是一種高效、高精度的目標(biāo)檢測(cè)分類方法。首先建立檢測(cè)目標(biāo)的模型,該模型分為根模型和局部模型。根模型描述目標(biāo)的總體特征,局部模型描述目標(biāo)的局部細(xì)節(jié)特征;局部之間、局部與整體之間的關(guān)系不是固定的,而是通過(guò)權(quán)向量進(jìn)行自適應(yīng)調(diào)整,使模型能夠變形,以適應(yīng)不同形狀和姿態(tài)目標(biāo)的準(zhǔn)確檢測(cè)。在目標(biāo)檢測(cè)過(guò)程中,DPM首先需要根據(jù)權(quán)向量來(lái)設(shè)計(jì)根濾波器和局部濾波器。然后,用特征向量對(duì)根濾波器和局部濾波器進(jìn)行點(diǎn)積運(yùn)算,得到各個(gè)濾波器的分?jǐn)?shù)。最后,以根過(guò)濾分?jǐn)?shù)和各局部過(guò)濾分?jǐn)?shù)作為模型的總分?jǐn)?shù),取最大的作為最佳目標(biāo)位置。在檢測(cè)過(guò)程中,為了使模型具有更好的魯棒性,通常會(huì)對(duì)圖像大小進(jìn)行多分辨率的改變,并依次對(duì)不同大小的目標(biāo)進(jìn)行檢測(cè)。

在不同尺寸圖像的檢測(cè)中,目標(biāo)根濾波器的位置為p0,第i部分濾波器的位置為pi(i=1,…,m),m是部件的數(shù)量。根濾波器的大小是w0×h0,權(quán)向量F0,Fi是第i部分濾波器的權(quán)向量。模型在位置(p0,p1,…,pm)處的得分是

(1)

(2)

補(bǔ)償過(guò)程中原濾波器之間的偏差對(duì)應(yīng)的部分濾波器的損失函數(shù)用二次函數(shù)表示,如式(3)所示,二次函數(shù)調(diào)整的參數(shù)用αi和βi表示。

cost(dui,dvi)=αi(dui,dvi)+β((dui)2,(dvi)2)

(3)

當(dāng)部件模型的第i個(gè)零件濾波器找到最佳位置時(shí),部件濾波器的分?jǐn)?shù)與其對(duì)應(yīng)的變形損失函數(shù)的差值最大。因此,根據(jù)位置p0處的檢測(cè)窗口,最終得分為:

(4)

在獲得每個(gè)位置的最終得分后,通過(guò)設(shè)置閾值來(lái)檢測(cè)目標(biāo)位置。

1.2 顏色融合DPM的車輛檢測(cè)算法

圖1 提出的車輛檢測(cè)模型Fig.1 Proposed vehicle detection model

考慮到傳統(tǒng)的DPM模型主要是從圖形的梯度特征、顏色輸入來(lái)建模的,包含豐富目標(biāo)特征的信息被丟棄。為了克服實(shí)時(shí)交通中復(fù)雜多變的干擾,提出了一種基于顏色融合DPM的車輛檢測(cè)算法。基于顏色融合DPM的車輛檢測(cè)算法流程如圖1所示。

為了在DPM中包含原始圖像的顏色信息,首先對(duì)圖像進(jìn)行顏色空間轉(zhuǎn)換。將RGB圖像轉(zhuǎn)換為HSI圖像是基于直角坐標(biāo)的單位立方體轉(zhuǎn)換為基于圓柱極坐標(biāo)的雙坐標(biāo);轉(zhuǎn)換過(guò)程可以分離和分類亮度,并將色度分解為色調(diào)和飽和度。本文采用分割定義方法進(jìn)行HSI顏色空間轉(zhuǎn)換,轉(zhuǎn)換后的圖像分別從H、S和I信道數(shù)據(jù)模板中提取,并保存為兩位矩陣Mh、Ms和Mi。分別計(jì)算3個(gè)矩陣的HOG特征Hh、Hs和Hi。

根據(jù)H,S,I核的HOG特征,可以訓(xùn)練DPM, DPM對(duì)應(yīng)于每個(gè)信道。為了評(píng)估每個(gè)通道的DPM,收集了1 000張車輛圖像來(lái)訓(xùn)練模型,并收集了另外1 000張包含車輛、地面、行人和其他非車輛目標(biāo)的圖像進(jìn)行測(cè)試。結(jié)果表明,DPM的性能良好;在DPM中,各通道的漏檢率和假陽(yáng)性率均低于DPMH和DPMS。然而,當(dāng)車輛的顏色接近地面或在陰影、光線和其他嚴(yán)重干擾條件下,DPMH和DPMS可以檢測(cè)DPMI無(wú)法檢測(cè)到的車輛目標(biāo)。因此,本文采用融合方法提取車輛的顏色融合DPM。實(shí)驗(yàn)表明,采用自適應(yīng)加權(quán)方法混合不同信道的DPMS可以保持每個(gè)信道自身模型的優(yōu)點(diǎn),并且比單一模型具有更好的檢測(cè)性能。彩色融合DPM如下所示:

DPMM=ωh×DPMh+ωs×DPMs+ωi×DPMi

(5)

其中DPMM為顏色融合DPM,ωh,ωs,ωi為DPMh、DPMs、DPMi的加權(quán)系數(shù),分別表示H、S、I通道模型分量的權(quán)重,加權(quán)和為1。每個(gè)通道的權(quán)值由每個(gè)通道的DPM自適應(yīng)確定。采用測(cè)定方法:

在得到顏色融合DPM后,計(jì)算出測(cè)試圖像的顏色融合特征,然后利用滑動(dòng)窗口遍歷在融合特征圖上計(jì)算出融合變形模型的分?jǐn)?shù)。當(dāng)遍歷位置得分超過(guò)閾值時(shí),區(qū)域是車輛區(qū)域,即車輛的檢測(cè)結(jié)果。

2 基于顏色融合DPM的車輛檢測(cè)實(shí)驗(yàn)

2.1 顏色融合DPM的訓(xùn)練

訓(xùn)練圖像和測(cè)試圖像取自多個(gè)交通路口采集的2 448×2 048 px高清監(jiān)控圖像,形成訓(xùn)練圖像集和測(cè)試圖像集。用于顏色融合DPM的訓(xùn)練樣本來(lái)自訓(xùn)練圖像集。在訓(xùn)練過(guò)程中,選取1000輛不同形狀、顏色、光照條件的正車作為訓(xùn)練樣本,如圖2所示。

圖2 訓(xùn)練樣本Fig.2 Training samples

2.2 車輛檢測(cè)方法驗(yàn)證

為了驗(yàn)證車輛檢測(cè)方法的有效性,選擇不同形狀、顏色、照明條件的測(cè)試車輛圖像集。圖3顯示了一個(gè)實(shí)際的交通路口圖像。實(shí)驗(yàn)中使用通道DPM和顏色融合DPM對(duì)圖像進(jìn)行遍歷,根據(jù)式(4)計(jì)算每個(gè)滑動(dòng)窗口圖像,并與設(shè)定的車輛閾值進(jìn)行比較。部分滑動(dòng)窗口如圖3右側(cè)所示。對(duì)應(yīng)的部分得分如圖4所示。從圖中可以看出,滑動(dòng)窗口圖像中背景區(qū)域1～3的通道分?jǐn)?shù)和融合分?jǐn)?shù)明顯低于車輛區(qū)域4的分?jǐn)?shù),同時(shí)融合DPM分?jǐn)?shù)優(yōu)于單通道DPM分?jǐn)?shù)。對(duì)于該圖像,將車輛評(píng)分閾值設(shè)置為0.6,可以準(zhǔn)確檢測(cè)車輛目標(biāo),并且將排除非車輛目標(biāo)。

圖3 滑動(dòng)窗口示意圖Fig.3 Sliding window process

3 實(shí)驗(yàn)結(jié)果與分析

驗(yàn)證車輛檢測(cè)方法的準(zhǔn)確性,隨機(jī)選擇3 000輛交通圖像進(jìn)行測(cè)試,DR和FPR作為車輛檢測(cè)的評(píng)價(jià)指標(biāo),如下所示:

圖4 滑動(dòng)窗口圖像的分?jǐn)?shù)圖Fig.4 Score of the sliding window image

上式中,TP、FN、FP分別表示實(shí)際檢測(cè)到的車輛數(shù)、未檢測(cè)到的車輛數(shù)、誤檢測(cè)到的非車輛數(shù)。為了檢驗(yàn)本文提出的彩色融合DPM方法的性能,對(duì)各通道在車輛檢測(cè)中的貢獻(xiàn)進(jìn)行了評(píng)價(jià)。首先對(duì)單信道模型的性能進(jìn)行評(píng)估,然后對(duì)融合模型的性能進(jìn)行評(píng)估。如果單個(gè)模型的性能與融合模型的性能相差不大,則表明該信道具有較大的融合性能,反之亦然。實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 測(cè)試結(jié)果Fig.5 Testing results

圖6 對(duì)比實(shí)驗(yàn)結(jié)果Fig.6 Comparison results

從圖5中可以看出,合并DPM的性能優(yōu)于單通道模型,DR和FPR是最優(yōu)的。對(duì)整個(gè)模型有很大的貢獻(xiàn),DR和FPR最接近合并DPM的相應(yīng)值。與I-DPM相比,H-DPM和S-DPM的貢獻(xiàn)低于I-DPM,但仍然對(duì)合并DPM的性能提高做出了相應(yīng)的貢獻(xiàn)。原因是每個(gè)通道都包含相應(yīng)的顏色信息,所以顏色融合DPM可以獲得盡可能多的顏色信息。

為了進(jìn)一步驗(yàn)證所提算法的檢測(cè)性能,本文選取了傳統(tǒng)的DPM方法[13]、HOG特征匹配方法、顏色分析等車輛目標(biāo)檢測(cè)中常用的算法與所提算法進(jìn)行對(duì)比。比較結(jié)果如圖6所示。從圖6中看到,該方法的DR值高于90%,FPR值低于10%,說(shuō)明該算法比其他常用方法具有更好的檢測(cè)結(jié)果。在控制方法中,DPM方法優(yōu)于HOG方法,因?yàn)镈PM考慮了車輛模型的變形性。而HOG方法的性能優(yōu)于顏色方法,因?yàn)閮H僅依靠顏色信息提取車輛特征會(huì)有很大的干擾。本文提出的方法在考慮車輛模型變形性的同時(shí)不丟棄顏色信息,從而獲得最佳的檢測(cè)結(jié)果。

4 結(jié) 語(yǔ)

根據(jù)DPM對(duì)車輛目標(biāo)的檢測(cè)原理,結(jié)合車輛顏色信息,提出了一種基于顏色融合DPM的車輛目標(biāo)檢測(cè)方法。首先對(duì)交通圖像進(jìn)行HSI顏色空間轉(zhuǎn)換,提取各通道的信息;然后采用自適應(yīng)融合方法得到顏色融合DPM;最后,將融合模型應(yīng)用于車輛檢測(cè)。該方法在傳統(tǒng)車輛DPM的基礎(chǔ)上保留車輛的顏色信息。實(shí)驗(yàn)表明,該方法優(yōu)于常用的車輛檢測(cè)方法,取得了良好的車輛檢測(cè)效果,能夠有效解決智能交通中實(shí)際車輛目標(biāo)檢測(cè)問(wèn)題。在未來(lái)的研究中,車輛檢測(cè)過(guò)程中的時(shí)間消耗和硬件系統(tǒng)的移植將是研究的目標(biāo)。