基于加權(quán)霍夫投票的多視角車(chē)輛檢測(cè)方法

李冬梅 李濤 向濤

摘 要： 針對(duì)復(fù)雜場(chǎng)景中車(chē)輛由于視角變化引起的檢測(cè)精確度過(guò)低的問(wèn)題，改進(jìn)霍夫投票目標(biāo)檢測(cè)模型，提出一種在統(tǒng)一框架下通過(guò)不同權(quán)重組合發(fā)現(xiàn)目標(biāo)最優(yōu)視角并進(jìn)行精確定位的方法。首先，利用一種無(wú)監(jiān)督方法實(shí)現(xiàn)多視角車(chē)輛的子視角劃分；其次，利用子視角劃分結(jié)果定義霍夫投票過(guò)程中各正例樣本在不同視角下的投票權(quán)重；最后，利用子視角劃分和投票權(quán)重，提出一種新的適用于多視角目標(biāo)檢測(cè)的加權(quán)霍夫投票模型。在MITStreetScene Cars和PASCAL VOC2007 Cars兩個(gè)常用數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提方法在不增加模型復(fù)雜度的前提下，有效提升了多視角目標(biāo)檢測(cè)精確度。

關(guān)鍵詞： 復(fù)雜場(chǎng)景； 霍夫投票； 最優(yōu)視角； 多視角目標(biāo)檢測(cè)； 子類(lèi)劃分； 局部線(xiàn)性嵌入（LLE）

中圖分類(lèi)號(hào)： TN911.73?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）15?0073?06

Multi?view vehicle detection method based on weighted Hough voting

LI Dongmei1， LI Tao1， XIANG Tao2

（1. School of Information Engineering， Henan Radio & Television University， Zhengzhou 450008， China；

2. School of Computer Science and Engineering， University of Electronic Science and Technology of China， Chengdu 611731， China）

Abstract： For the low detection accuracy of vehicles in complex scene caused by view variation， the target detection model based on Hough voting is improved to propose an accurate location method to find the object optimal view by means of different weights combination in the unified framework. An unsupervised method is used to realize the sub?view division for the multi?view vehicles. According to the sub?view division result， the voting weight of each positive example under different views is defined in the process of Hough voting. The sub?view division and voting weight are used to propose a weighted Hough voting model suitable for multi?view target detection. The experimental results are obtained by two commonly?used datasets of MITStreetScene Cars and PASCAL VOC2007 Cars. The experimental results demonstrate that the method can improve the multi?view target detection accuracy without increasing the model complexity.

Keywords： complex scene； Hough voting； optimal view； multi?view object detection； sub?class division； local linear embedding

0 引 言

在現(xiàn)實(shí)場(chǎng)景中，由于目標(biāo)自身移動(dòng)或者拍攝位置不同，導(dǎo)致最終目標(biāo)在圖像中以不同視角呈現(xiàn)，這將引起目標(biāo)的外觀特征出現(xiàn)很大差異，檢測(cè)此類(lèi)目標(biāo)也變得極度困難，如圖1所示。雖然多數(shù)目標(biāo)都會(huì)出現(xiàn)多視角問(wèn)題，但基于研究?jī)r(jià)值和實(shí)用價(jià)值，本文著重考慮復(fù)雜場(chǎng)景中的多視角車(chē)輛檢測(cè)（以轎車(chē)為例）。多視角特征在車(chē)輛上的體現(xiàn)最為明顯，車(chē)輛檢測(cè)又是智能交通相關(guān)應(yīng)用的重要組成部分，為解決這個(gè)問(wèn)題，研究者們提出了以下三類(lèi)方法：

1） 利用手工方法或基于樣本長(zhǎng)寬比（Aspect Ratio）將訓(xùn)練集劃分成不同子類(lèi)，每個(gè)子類(lèi)包含某一范圍的視角變化，并為每個(gè)子類(lèi)獨(dú)立地建立檢測(cè)模型，常見(jiàn)的如基于劃分的每個(gè)子集訓(xùn)練一個(gè)HOG+SVM檢測(cè)器[1?2]。目標(biāo)檢測(cè)領(lǐng)域最知名的DPM模型[3]也沒(méi)有很好地解決這個(gè)問(wèn)題，它依舊是利用多個(gè)組件（Component）建立一種包含多子類(lèi)的混合模型，每個(gè)組件對(duì)一種視角子類(lèi)負(fù)責(zé)。文獻(xiàn)[4]對(duì)DPM做出改進(jìn)，多組件之間可以共享局部部件，但前提是需預(yù)先劃分樣本子類(lèi)?？傊祟?lèi)方法成倍增加模型復(fù)雜度，并且手工劃分樣本是一個(gè)耗時(shí)、主觀性強(qiáng)的工作，不同人可能對(duì)樣本有不同的劃分標(biāo)準(zhǔn)，這種不確定性將最終影響檢測(cè)性能。

2） 基于自動(dòng)子類(lèi)劃分方法或在學(xué)習(xí)檢測(cè)器過(guò)程中嵌入無(wú)監(jiān)督聚類(lèi)過(guò)程。文獻(xiàn)[5]利用目標(biāo)輪廓和層次聚類(lèi)算法對(duì)目標(biāo)進(jìn)行子類(lèi)劃分。文獻(xiàn)[6]提出利用圖像HOG特征和局部線(xiàn)性嵌入（Locally Linear Embedding，LLE）對(duì)樣本進(jìn)行聚類(lèi)。文獻(xiàn)[7]提出一種嵌套的Adaboost算法，外層選擇某視角下有代表性的樣本原型進(jìn)行視角劃分，內(nèi)層選擇有區(qū)分性的特征進(jìn)行目標(biāo)分類(lèi)。文獻(xiàn)[8]提出一種基于Boosting算法的樹(shù)結(jié)構(gòu)分類(lèi)模型，在逐層劃分樣本特征空間的同時(shí)不斷利用無(wú)監(jiān)督聚類(lèi)算法對(duì)樣本進(jìn)行聚類(lèi)。該類(lèi)檢測(cè)算法取得了較好效果，但沒(méi)有解決同類(lèi)目標(biāo)間視覺(jué)信息共享的問(wèn)題，訓(xùn)練中需要大量樣本。

3） 在模型中嵌入3D視角信息，并利用它估計(jì)目標(biāo)視角。PSM（Partial Surface Models）[9]利用圖模型將多視角下的目標(biāo)部件連接起來(lái)，檢測(cè)過(guò)程中通過(guò)圖推理算法驗(yàn)證部件組合關(guān)系和整體視角的合理性。文獻(xiàn)[10]結(jié)合標(biāo)定的2D視角信息和3D合成模型中的幾何信息學(xué)習(xí)多視角目標(biāo)的外觀模型。文獻(xiàn)[11]結(jié)合3D模型和基于外觀的投票檢測(cè)模型，在投票過(guò)程中同時(shí)確定目標(biāo)類(lèi)別和整體視角。文獻(xiàn)[12]利用視角標(biāo)注的目標(biāo)圖像修正已有的3D模型，然后將其用于目標(biāo)檢測(cè)。上述方法能有效提高多視角目標(biāo)檢測(cè)性能，但3D視角信息和3D目標(biāo)模型通常很難得到。

上述三類(lèi)方法從不同角度解決了多視角目標(biāo)檢測(cè)問(wèn)題，但各自均存在明顯的缺陷或局限性，主要表現(xiàn)在：

1） 通過(guò)手工或自動(dòng)聚類(lèi)劃分樣本，并為每個(gè)視角子類(lèi)學(xué)習(xí)分類(lèi)模型，這樣做只考慮了不同視角下目標(biāo)外觀特征的差異，沒(méi)有有效利用多視角目標(biāo)的特征共性；

2） 基于全局特征的目標(biāo)模型很難表達(dá)由于視角差異引起的類(lèi)內(nèi)變化，基于局部部件的目標(biāo)模型才是解決多視角目標(biāo)檢測(cè)的關(guān)鍵；

3） 在實(shí)際應(yīng)用中，由于設(shè)備限制，3D視角信息很難采集。

針對(duì)存在的問(wèn)題，本文方法以無(wú)監(jiān)督子視角聚類(lèi)和霍夫投票目標(biāo)檢測(cè)框架[13]為基礎(chǔ)，提出一種既能體現(xiàn)多視角目標(biāo)外觀差異，又能解決多視角目標(biāo)局部特征共享的加權(quán)霍夫目標(biāo)檢測(cè)方法，所提方法的主要?jiǎng)?chuàng)新點(diǎn)包括：

1） 基于局部線(xiàn)性嵌入（LLE）和k?means算法的車(chē)輛視角子類(lèi)自動(dòng)劃分方法；

2） 在子視角劃分基礎(chǔ)上，定義正樣例對(duì)不同視角的投票權(quán)重；

3） 結(jié)合投票權(quán)重，提出一種能自動(dòng)發(fā)現(xiàn)最優(yōu)目標(biāo)視角，并進(jìn)行精確定位的霍夫投票方法。

本文方法在一個(gè)統(tǒng)一的框架實(shí)現(xiàn)了多視角目標(biāo)檢測(cè)，同時(shí)還有效利用了不同視角目標(biāo)的共享信息。

基于本文提出的加權(quán)霍夫投票目標(biāo)檢測(cè)方法，解決了單一模型下的多視角目標(biāo)檢測(cè)問(wèn)題，大大提高了檢測(cè)速度，并且通過(guò)有效利用不同視角子類(lèi)間的共享信息，使得檢測(cè)精度也得到提升，在MITstreetscene Cars[14]和PASCAL VOC2007 Cars[15]兩個(gè)車(chē)輛檢測(cè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的可行性和有效性。

1 基于霍夫投票的目標(biāo)檢測(cè)框架

由于所提算法建立在霍夫投票目標(biāo)檢測(cè)框架上，該框架主要包括以下3部分內(nèi)容：

1） 圖像塊集合生成和標(biāo)注：收集目標(biāo)圖像訓(xùn)練集，定義局部圖像塊大小，并在每個(gè)訓(xùn)練樣本中抽取若干圖像塊以構(gòu)成局部圖像塊集合。注意，正樣例中抽取的局部圖像塊需定義該圖像塊中心到正樣例圖像中心的幾何偏移向量，用于構(gòu)建投票單元；

2） 視覺(jué)單詞訓(xùn)練和表達(dá)：根據(jù)局部圖像塊外觀特征相似和正樣例圖像塊相對(duì)目標(biāo)中心幾何偏移一致的原則對(duì)局部圖像塊集進(jìn)行聚類(lèi)，每個(gè)子類(lèi)對(duì)應(yīng)一個(gè)視覺(jué)單詞，每個(gè)視覺(jué)單詞記錄了分類(lèi)信息和目標(biāo)中心位置信息；

3） 投票和檢測(cè)：在測(cè)試圖像中采樣同樣大小的圖像塊，并與視覺(jué)單詞集匹配，根據(jù)匹配的視覺(jué)單詞記錄的分類(lèi)信息和目標(biāo)中心位置信息對(duì)可能出現(xiàn)目標(biāo)的位置和概率進(jìn)行投票，生成關(guān)于候選目標(biāo)中心位置的霍夫圖，并最終利用mean?shift[13]算法確定真正的目標(biāo)中心。

視覺(jué)單詞集可通過(guò)聚類(lèi)算法[13]或隨機(jī)森林[16]訓(xùn)練得到，本文采用隨機(jī)森林生成視覺(jué)單詞集。由于改進(jìn)算法主要針對(duì)霍夫投票檢測(cè)框架，因此需先對(duì)其通用流程做詳細(xì)描述。在視覺(jué)單詞集生成后，對(duì)于測(cè)試圖像[G]，霍夫投票檢測(cè)流程為：

1） 提取預(yù)先定義大小的局部圖像塊[pt∈G]，并利用[pt]與視覺(jué)單詞匹配關(guān)系生成投票單元。[pt]對(duì)一個(gè)候選目標(biāo)中心位置[h]的投票分值為[V（hpt）]，其中，[h]由像素坐標(biāo)和尺度大小構(gòu)成，投票分值[V（hpt）]可通過(guò)與[pt]匹配關(guān)聯(lián)的視覺(jué)單詞所記錄的分類(lèi)信息和目標(biāo)中心位置信息確定；

2） 遍歷測(cè)試圖像[G]中所有局部圖像塊[pt]，候選目標(biāo)中心位置[h]的最終投票分值為：

[S（h）=pt∈GV（hpt）] （1）

3） 利用mean?shift算法在由位置坐標(biāo)和尺度構(gòu)成的三維霍夫投票空間找到超過(guò)閾值的極值點(diǎn)，并在相應(yīng)的測(cè)試圖像中標(biāo)定目標(biāo)。

由上述投票檢測(cè)流程可以看出，因?yàn)橐暯亲兓瘯?huì)使得目標(biāo)相近位置的局部圖像塊外觀特征和相對(duì)幾何偏移向量不一致，所以該方法不能解決多視角目標(biāo)檢測(cè)問(wèn)題。

2 本文方法

針對(duì)霍夫投票檢測(cè)框架在解決多視角目標(biāo)時(shí)遇到的問(wèn)題，本文首先采用一種無(wú)監(jiān)督方法對(duì)訓(xùn)練樣本集中的正樣本圖像進(jìn)行視角子類(lèi)劃分；然后給出基于劃分子類(lèi)計(jì)算每個(gè)正樣本圖像視角貢獻(xiàn)權(quán)重的方法；最后利用視角子類(lèi)劃分和權(quán)重矩陣改進(jìn)霍夫投票檢測(cè)框架，提出適用于多視角車(chē)輛的加權(quán)霍夫投票檢測(cè)方法。

2.1 多視角劃分及權(quán)重矩陣生成

假定訓(xùn)練樣本圖像集標(biāo)記為[D=Ii=（fi，yi）Ni=1]，其中，[fi]為圖像特征表達(dá)（本文在進(jìn)行多視角劃分時(shí)采用HOG特征[1]，訓(xùn)練視覺(jué)單詞和霍夫投票時(shí)采用多通道像素特征[16]）；[yi∈{-1，1}]為樣本標(biāo)簽，[yi=-1]時(shí)，[Ii]為背景樣本，[yi=1]時(shí)，[Ii]為目標(biāo)樣本；[N]為樣本集大小。收集樣本過(guò)程中，背景圖像和目標(biāo)圖像大小一致，數(shù)量接近，且應(yīng)盡量保證樣本的多樣性，即背景圖像應(yīng)包括目標(biāo)可能出現(xiàn)的各種場(chǎng)景，目標(biāo)圖像應(yīng)包括目標(biāo)可能呈現(xiàn)的各種形態(tài)（重點(diǎn)考慮視角）。

為了實(shí)現(xiàn)多視角車(chē)輛檢測(cè)，首先需要解決車(chē)輛視角劃分問(wèn)題，即對(duì)樣本集[D]中正樣本集合[D+=][Γj=（fj，yj）N+j=1]進(jìn)行視角子類(lèi)劃分，[N+]表示正樣本個(gè)數(shù)。常用的手工方法費(fèi)時(shí)耗力，且主觀性強(qiáng)，本文提出一種局部線(xiàn)性嵌入（LLE）[6]和k?means算法相結(jié)合的方式對(duì)多視角車(chē)輛進(jìn)行視角劃分，其核心思想是先利用LLE算法將圖像的高維HOG特征嵌入到低維空間，然后在低維空間依據(jù)相對(duì)角度對(duì)樣本進(jìn)行投影和聚類(lèi)，具體做法是：

1） 利用LLE算法將樣本集[D+]中HOG特征表達(dá)的正樣本圖像（車(chē)輛）嵌入到二維空間。結(jié)果表明，HOG特征表達(dá)的多視角車(chē)輛被嵌入到二維空間后，樣本點(diǎn)分布形成環(huán)狀，沿著該環(huán)，車(chē)輛視角平穩(wěn)變化；

2） 根據(jù)嵌入樣本分布，在二維空間選擇一個(gè)中心點(diǎn)，基于樣本點(diǎn)到該中心點(diǎn)的相對(duì)角度，將所有樣本規(guī)則化到一個(gè)圓形上，圓上相近區(qū)域樣本有接近的視角；

3） 利用k?means算法對(duì)圓上樣本進(jìn)行聚類(lèi)，最終視角相近的樣本被劃分到圓的同一段弧上，如圖2所示，圓上每段弧代表有相近視角的一個(gè)子類(lèi)。結(jié)合具體問(wèn)題，本文將視角子類(lèi)數(shù)K設(shè)置為8。

相比直接利用HOG特征在高維空間進(jìn)行無(wú)監(jiān)督聚類(lèi)的做法，所提方法有兩點(diǎn)好處：高維特征聚類(lèi)困難，缺乏穩(wěn)定性；聚類(lèi)生成的子類(lèi)不能保證視角上的一致性。通過(guò)將LLE和k?means算法相結(jié)合，既保證了生成子類(lèi)中樣本外觀特征上的相似，也保證了它們視角的相近。

當(dāng)正樣本圖像集的K個(gè)視角子類(lèi)劃分確定后，便可計(jì)算每個(gè)正樣本對(duì)每個(gè)視角子類(lèi)的貢獻(xiàn)權(quán)重，以體現(xiàn)出各視角子類(lèi)間信息的共享性和差異性。在LLE嵌入空間中，假定已劃分的第[k∈{1，2，…，K}]個(gè)視角子類(lèi)樣本集的聚類(lèi)中心為[ok]，[D+]中正樣本[Γj]在該空間的表達(dá)式為[f′j]，則[Γj]對(duì)視角[k]的貢獻(xiàn)權(quán)重[wjk]定義為：

[wjk=1d（f′j，ok）] （2）

式中[d（f′j，ok）]為L(zhǎng)LE嵌入空間中[f′j]與[ok]間的距離。為了保證計(jì)算的正確性，需要對(duì)正樣本[Γj]在各視角子類(lèi)下的貢獻(xiàn)權(quán)重[wjk]進(jìn)行歸一化，以確保：

[k=1Kwjk=1] （3）

可以看出，通過(guò)直接劃分視角子類(lèi)，并為每個(gè)子類(lèi)分別建模的方法中，[wjk]取值為0或1，可視為本文所提[wjk]定義的特例，這樣做最大的缺點(diǎn)是沒(méi)有利用樣本圖像在多個(gè)視角子類(lèi)間的信息共享，提高樣本收集難度，增加處理時(shí)間。

2.2 加權(quán)霍夫投票方法

傳統(tǒng)霍夫投票方法的關(guān)鍵是如何在給定視覺(jué)單詞集的條件下，求解測(cè)試局部圖像塊[pt]在候選位置[h]的投票分值[V（hpt）]。假定與[pt]匹配的視覺(jué)單詞為[L]，[L]中包含正樣例圖像塊偏移向量集合[EL]，通過(guò)統(tǒng)計(jì)[L]中包含正樣例圖像塊所占比例得出分類(lèi)概率[CL]，則：

[V（hpt）=1ELe∈EL12πδ?exp-（h-qt）-e22δ2?CL] （4）

式中：[EL]中每個(gè)偏移向量[e]對(duì)候選位置[h]的投票是利用高斯Parzen窗來(lái)估計(jì)，[EL]表示集合大?。籟qt]為圖像塊[pt]的中心位置。

根據(jù)式（4），在視覺(jué)單詞[L]生成后，其對(duì)應(yīng)的分類(lèi)概率[CL]已確定，局部圖像塊[pt]在候選位置[h]的投票分值主要取決于偏移向量集合[EL]中的投票單元[e]，而這些投票單元是基于正樣本集[D+]中圖像定義的，故可建立局部圖像塊[pt]到[D+]中圖像的映射關(guān)系。因此，利用霍夫投票分值線(xiàn)性累加特性，可將[V（hpt）]的定義由累加[EL]中各投票單元對(duì)位置[h]投票分值的形式改寫(xiě)為累加與[EL]中投票單元相關(guān)聯(lián)的正樣本圖像[Γj]對(duì)位置[h]投票分值的形式，即：

[V（hpt）=Γj∈D+Φ（hΓj，pt）] （5）

[Φ（hΓj，pt）= 1ELe∈EL，e⊕Γj12πδ?exp-（h-qt）-e22δ2?CL] （6）

式中[e⊕Γj]表示[EL]中的投票單元[e]來(lái)自于[D+]中圖像[Γj]。遍歷測(cè)試圖像[G]中所有局部圖像塊[pt]，候選目標(biāo)中心位置[h]的最終投票分值為：

[S（h）=Γj∈D+ pt∈GΦ（hΓ，pt）] （7）

在式（7）中，候選位置[h]的最終投票分值是通過(guò)累計(jì)正樣本集[D+]中每張圖像對(duì)[h]的貢獻(xiàn)得到的，但這種計(jì)算方法有效的前提是[D+]中樣本目標(biāo)視角基本一致。對(duì)于多視角目標(biāo)檢測(cè)，盡管來(lái)自樣本集[D+]中同一張圖像的所有投票單元會(huì)指向相對(duì)一致的候選位置，但由于[D+]中各樣本圖像視角差異過(guò)大，會(huì)導(dǎo)致最終投票生成的霍夫圖混亂，亮點(diǎn)不夠集中，無(wú)法準(zhǔn)確確定目標(biāo)中心位置。為了解決上述多視角霍夫投票存在的問(wèn)題，本文提出在式（7）定義的投票模型中引入視角變量[k∈][{1，2，…，K}]，以保證對(duì)候選位置投票的視角一致性，即：

參考2.1節(jié)定義，[K]為正例樣本被劃分視角子類(lèi)數(shù)（本文中[K=8]）。通過(guò)式（8）可知，對(duì)某一候選位置的投票都被限定在相同的視角下，解決了霍夫圖混亂、亮點(diǎn)不夠集中的問(wèn)題。

求解式（8）最直觀的思路是對(duì)[D+]中樣本進(jìn)行子視角劃分，并利用每個(gè)子視角類(lèi)樣本分別進(jìn)行投票，最大投票分值視角子類(lèi)下的候選位置為最終目標(biāo)中心位置。這種做法不但沒(méi)有有效利用不同視角樣本間的共享信息，還成倍增加計(jì)算開(kāi)銷(xiāo)。本文結(jié)合2.1節(jié)給出的[D+]中樣本視角子類(lèi)劃分算法和視角權(quán)重定義方法，給出式（8）的計(jì)算流程如下：首先利用視角子類(lèi)劃分方法為[D+]中每張圖像標(biāo)記一個(gè)視角子類(lèi)[k∈{1，2，…，K}]；然后利用式（2）和式（3）計(jì)算每張圖像的視角貢獻(xiàn)權(quán)重[wjk，j∈{1，2，…，N+}]；最終通過(guò)標(biāo)定視角和視角貢獻(xiàn)權(quán)重的樣本集[D+]，式（8）被重新定義為：

[S（h，W）=maxk∈KΓj∈D+wjkpt∈GΦ（hΓj，pt）] （9）

式中[W]為[wjk]構(gòu)成的大小為[N+×K]的權(quán)重矩陣。

式（9）給出了適合于多視角目標(biāo)檢測(cè)的候選目標(biāo)中心位置分值計(jì)算模型，基于此模型，在測(cè)試圖像中確定最終目標(biāo)檢測(cè)框的步驟為：

1） 對(duì)于一張測(cè)試圖像，首先將圖像進(jìn)行尺度分解，假定圖像尺度空間定義為[Λ=λmMm=1]，[M]為離散尺度的個(gè)數(shù)；

2） 在尺度為[λm]的測(cè)試圖像中密集抽樣同大小的局部圖像塊，找到與每個(gè)局部圖像塊匹配的視覺(jué)單詞，然后利用式（9）計(jì)算并生成該尺度上的霍夫投票圖；

3） 在[（h，λm）]構(gòu)成的三維霍夫空間（[h=（hx，hy）]，包含圖像橫、縱坐標(biāo)位置）中，利用mean?shift算法和判定閾值確定最終目標(biāo)中心位置[（h，λ′m）]，并在原測(cè)試圖的[h′xλ′m，h′yλ′m]位置標(biāo)記大小為[Widthλ′m?Heightλ′m]的檢測(cè)框。

3 實(shí) 驗(yàn)

為了驗(yàn)證方案的可行性和有效性，在MITStreetScene Cars[15]和PASCAL VOC2007 Cars[15]兩個(gè)包含現(xiàn)實(shí)場(chǎng)景中多視角車(chē)輛的數(shù)據(jù)庫(kù)上進(jìn)行相關(guān)實(shí)驗(yàn)，計(jì)算相應(yīng)性能統(tǒng)計(jì)指標(biāo)并與相關(guān)算法（ACF[17]，DPM[3]，Xiang[18]，HF[16]，HC[19]）進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，對(duì)于多視角車(chē)輛檢測(cè)問(wèn)題，相比其他方法，本文方法能取得更好的結(jié)果，特別地，所提算法改進(jìn)了傳統(tǒng)投票檢測(cè)框架中投票計(jì)算量大、生成的霍夫圖能量過(guò)于分散等問(wèn)題。

本文算法用到的樣本圖像大小都標(biāo)準(zhǔn)化為128×64，視角子類(lèi)數(shù)定義為8。為了生成圖像塊集，在訓(xùn)練集中每個(gè)樣本圖像上隨機(jī)抽取50個(gè)大小為16×16的圖像塊，并為每個(gè)圖像塊標(biāo)定類(lèi)別標(biāo)簽和相對(duì)目標(biāo)中心的偏移向量（只對(duì)正樣本）。利用隨機(jī)森林生成視覺(jué)單詞時(shí)，森林中樹(shù)的棵數(shù)為20，森林的最大深度為15。在樹(shù)節(jié)點(diǎn)分裂終止條件中，分裂節(jié)點(diǎn)中最少圖像塊個(gè)數(shù)為20，最大類(lèi)純度為99.5%，節(jié)點(diǎn)中正樣例圖像塊偏移向量的偏離平方差最小為30。對(duì)于多尺度問(wèn)題，每張測(cè)試圖的尺度空間設(shè)定在0.1～0.8的20個(gè)尺度上。本文實(shí)驗(yàn)平臺(tái)為：Intel CoreTM i5 3.2 GHz CPU，16 GB RAM，Matlab 2012，Window 64?bit OS。

在檢測(cè)過(guò)程中，對(duì)于超過(guò)檢測(cè)閾值的候選檢測(cè)框，遵循PASCAL協(xié)議[3]，即該檢測(cè)框與目標(biāo)真實(shí)區(qū)域（通過(guò)測(cè)試集的標(biāo)注信息給出）交并比要超過(guò)50%，則認(rèn)為是一次成功的檢測(cè)。

3.1 數(shù)據(jù)集

MITStreetScene Cars：該數(shù)據(jù)集包含3 547幅圖像，并從中標(biāo)定出5 799輛車(chē)。這些圖像包含車(chē)輛可能出現(xiàn)的各種場(chǎng)景，同時(shí)光照條件也有變化。在標(biāo)定的車(chē)輛中，基本都是常見(jiàn)轎車(chē)，但是形狀會(huì)有些差別，其成像視角也基本包括了可能出現(xiàn)的所有角度。數(shù)據(jù)集一半用于訓(xùn)練，一半用于測(cè)試，所需負(fù)樣本圖像從PASCAL VOC2007中抽取。

PASCAL VOC2007 Cars： PASCAL VOC被公認(rèn)是目標(biāo)檢測(cè)領(lǐng)域最難的數(shù)據(jù)集，在該數(shù)據(jù)庫(kù)的2007版本中總共有10 000幅圖像，包含20種生活中常見(jiàn)的目標(biāo)。對(duì)于車(chē)輛，該數(shù)據(jù)集中各有625個(gè)樣本用于訓(xùn)練和檢測(cè)。為了使訓(xùn)練樣本覆蓋更多視角范圍，將每個(gè)訓(xùn)練樣本進(jìn)行水平翻轉(zhuǎn)，并將翻轉(zhuǎn)得到的圖像放入訓(xùn)練集中。

兩測(cè)試集上檢測(cè)實(shí)例如圖3所示。

3.2 實(shí)驗(yàn)結(jié)果

對(duì)于MITStreetScene Cars數(shù)據(jù)集，各算法性能通過(guò)精度（Precision）?召回率（Recall）曲線(xiàn)描述（簡(jiǎn)稱(chēng)PR曲線(xiàn)）。準(zhǔn)確率和召回率是兩個(gè)相互關(guān)聯(lián)但又相互制約的統(tǒng)計(jì)指標(biāo)，單個(gè)指標(biāo)無(wú)法衡量算法性能，須計(jì)算出每條PR曲線(xiàn)下的面積（Area Under Curve，AUC），并以此作為算法性能度量指標(biāo)，曲線(xiàn)AUC越大，算法效果越好。圖4給出了各算法的檢測(cè)性能曲線(xiàn)，可以看出，所提方法達(dá)到較好的檢測(cè)性能，超過(guò)著名的DPM[3]和HF[16]算法，以及最近提出的HC[19]，Xiang[18]和ACF[17]方法。DPM利用多組件來(lái)解決多視角問(wèn)題，但組件劃分只是通過(guò)目標(biāo)長(zhǎng)寬比進(jìn)行，相似做法還包括Xiang。HF，HC方法和所提方法都屬于霍夫投票檢測(cè)框架，但它們?cè)谀Ｐ椭袥](méi)有特別加入視角因子。

PASCAL VOC2007 Cars數(shù)據(jù)集上相關(guān)算法的比較沿用已有方法通用的指標(biāo)，即平均準(zhǔn)確率（Average Precision，AP），AP通過(guò)統(tǒng)計(jì)不同Recall下，Precision的平均值（即AP）來(lái)衡量算法好壞，AP越高，算法性能越好。相關(guān)算法比較結(jié)果見(jiàn)表1，可以看出，所提方法檢測(cè)性能接近HC方法，相比于DPM，HF方法，所提算法檢測(cè)性能則有明顯優(yōu)勢(shì)。關(guān)于與HC之間的差距，其主要原因是PASCAL VOC2007 Cars數(shù)據(jù)集中車(chē)輛除了各種視角變化，還包含大量被遮擋、被截?cái)嗟能?chē)輛，HC方法利用上下文信息，增強(qiáng)了對(duì)遮擋、截?cái)嘬?chē)輛的識(shí)別能力。

4 結(jié) 論

本文在統(tǒng)一框架下，利用正例樣本對(duì)不同視角下目標(biāo)的貢獻(xiàn)權(quán)重提出一種適用于多視角車(chē)輛的霍夫投票檢測(cè)模型。對(duì)于樣本視角劃分問(wèn)題，不同于手工劃分或基于長(zhǎng)寬比劃分的方法，所提LLE+k?means劃分方法避免了人工劃分的主觀性，有效利用了目標(biāo)外觀特征和視角信息。在投票過(guò)程中，通過(guò)正樣例圖像投票加權(quán)和視角尋優(yōu)，在一個(gè)框架下解決了多視角目標(biāo)檢測(cè)問(wèn)題，同時(shí)還有效利用了多個(gè)視角目標(biāo)提供的信息。實(shí)驗(yàn)結(jié)果表明，本文方法在不增加時(shí)間開(kāi)銷(xiāo)的情況下，顯著提高了多視角車(chē)輛檢測(cè)的準(zhǔn)確性。

參考文獻(xiàn)

[1] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. San Diego： IEEE， 2005： 886?893.

[2] WANG X， HAN T X， YAN S C. An HOG?LBP human detector with partial occlusion handling [C]// 2009 IEEE International Conference on Computer Vision. Kyoto： IEEE， 2009： 32?39.

[3] FELZENSZWALB P F， GIRSHICK R B， MCALLESTER D， et al. Object detection with discriminatively trained part?based models [J]. IEEE transactions on pattern analysis and machine intelligence， 2010， 32（9）： 1627?1645.

[4] PIRSIAVASH H， RAMANAN D. Steerable part models [C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence： IEEE， 2012： 3226?3233.

[5] SEEMANN E， LEIBE B， SCHIELE B. Human multi?aspect detection of articulated objects [C]// 2006 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2006： 1582?1588.

[6] KUO C H， NEVATIA R. Robust multi?view car detection using unsupervised sub?categorization [C]// 2009 IEEE Workshop on Applications of Computer Vision Workshop. Snowbird： IEEE， 2009： 1?8.

[7] SHAN Y， HAN F， SAWHNEY H， et al. Learning exemplar?based categorization for the detection of multiview multi?pose objects [C]// 2006 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2006： 1431?1438.

[8] WU Bo， NEVATIA R. Cluster boosted tree classifier for multi?view， multi?pose object detection [C]// 2007 IEEE International Conference on Computer Vision. Rio de Janeiro： IEEE， 2007： 1?8.

[9] KUSHAL A， SCHMID C， PONCE J. Flexible object models for category?level 3D object recognition [C]// 2007 IEEE Confe?rence on Computer Vision and Pattern Recognition. Minneapolis： IEEE， 2007： 1?8.

[10] SHRIVASTAVA A， GUPTA A. Building part?based object detectors via 3D geometry [C]// 2013 IEEE International Confe?rence on Computer Vision. Sydney： IEEE， 2013： 1745?1752.

[11] GLASNER D， GALUN M， ALPERT S， et al. Viewpoint?aware object detection and pose estimation [C]// 2011 IEEE International Conference on Computer Vision and Pattern Re?cognition. Barcelona： IEEE， 2011： 1745?1753.

[12] HAO S， MIN S， LI F F， et al. Learning a dense multi?view representation for detection， viewpoint classification and synthesis of object categories [C]// 2009 IEEE International Conference on Computer Vision and Pattern Recognition. Kyoto： IEEE， 2009： 213?220.

[13] LEIBE B， LEONARDIS A， SCHIELE B. Robust object detection with interleaved categorization and segmentation [J]. International journal of computer vision， 2008， 77（1/3）： 259?289.

[14] BILESCHI S M. StreetScenes： towards scene understanding in still images [D]. Cambridge： Massachusetts Institute of Technology， Department of Electrical Engineering and Computer Science， 2006.

[15] EVERINGHAM M， VAN GOOL L， WILLIAMS C K I， et al. The PASCAL visual object classes challenge [DB/OL]. [2007?02?12]. http：//host.robots.ox.ac.uk：8080/pascal/VOC/voc2007/index.html，2007.

[16] GALL J， LEMPITSKY V. Class?specific Hough forests for object detection [C]// 2009 IEEE International Conference on Computer Vision and Pattern Recognition. Miami： IEEE， 2009： 1022?1029.

[17] APPEL R， PERONA P， BELONGIE S. Fast feature pyramids for object detection [J]. IEEE transactions on pattern analysis and machine intelligence， 2014， 36（8）： 1532?1545.

[18] 向濤，李濤，趙雪專(zhuān)，等.基于隨機(jī)森林的精確目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用研究，2016，33（9）：2837?2840.

XIANG T， LI T， ZHAO X Z， et al. Random forests for accurate object detection [J]. Application research of computers， 2016， 33（9）： 2837?2840.

[19] LI T， YE M， DING J. Discriminative Hough context model for object [J]. Visual computer， 2014， 33（11）： 59?69.