一種基于多類特征融合的車輛識別方法

王左帥 譚德榮 徐藝 侯汝紅 王立志

摘 ?要： 為研究融合多類特征形成的新特征對車輛識別準確率的影響，首先對圖像的方向梯度直方圖（HOG）特征、不變矩特征和灰度共生矩陣特征進行特征提取，并對HOG特征采用主成分分析法（PCA）進行降維;利用極差變換法對三類特征進行歸一化處理并采用線性融合法進行融合構成新的特征。實驗結果表明，基于上述三類單一特征的車輛識別準確率分別為51.39%，59.72%和75%，識別準確率較低;基于融合后形成的新特征的車輛識別準確率達到了97.22%，識別準確率有了較大提高，驗證了多類特征融合在提高車輛識別準確率方面的有效性，對研究道路交通安全具有重要意義。

關鍵詞： 車輛識別; 特征提取; 特征降維; 特征融合; 歸一化處理; 交通安全

中圖分類號： TN911.73?34; U471.15 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）01?0031?04

A vehicle recognition method based on multi?class feature fusion

WANG Zuoshuai， TAN Derong， XU Yi， HOU Ruhong， WANG Lizhi

Abstract： In order to study the influence of the new features formed by the fusion of multi?class features on the accuracy rate of vehicle identification， the image features of histogram of oriented gradients （HOG）， invariant moment and gray level cooccurrence matrix are extracted and the principal component analysis （PCA） is used to reduce the dimension of the HOG feature， and the three kinds of features are normalized by using the extreme difference transformation method and are fused by using the linear fusion method to form the new features. The experimental results show that the accuracy rates of vehicle identification based on the above three kinds of single features is 51.39%， 59.72% and 75% respectively， which means they are all low; the accuracy rate of vehicle identification based on the new features formed by fusion is 97.22%， which indicates it is greatly improved. This research result verifies the effectiveness of the method of multi?class features fusion in improving the accuracy rate of vehicle identification， and the method is of great significance to the study of road traffic safety.

Keywords： vehicle recognition; feature extraction; feature dimension reduction; feature fusion; normalized processing; traffic safety

0 ?引 ?言

機器視覺因其具有探測范圍廣、道路信息完整等優(yōu)點，被廣泛應用在無人駕駛的車輛識別中[1]。在基于圖像的車輛識別中，特征提取及識別方法是影響車輛識別效果的兩個主要因素，從特征提取的角度分析，車輛識別方法可分為基于紋理特征、基于形狀特征和基于顏色特征的三大識別方法。文獻[2]提出一種基于顏色特征的車輛識別方法，用于夜間的車輛識別;從識別方法的角度分析，車輛識別方法又可分為基于AdaBoost、隨機森林和SVM等分類器的識別方法。文獻[3]提出一種基于類Haar特征和改進AdaBoost分類器的車輛圖像識別算法，以解決當前基于SVM分類器或級聯(lián)分類器存在的分類識別性能不足以及傳統(tǒng)基于AdaBoost算法的訓練所需時間過長的問題;文獻[4]提出一種基于梯度方向直方圖特征和支持向量機的前向車輛識別方法，用于解決汽車安全駕駛輔助系統(tǒng)中的前向車輛實時識別問題。

雖然前人在車輛識別方面已經(jīng)做了大量工作，但由于任何單一特征都不能全面描述圖像信息，使得車輛識別準確率不高的問題依然存在，針對這一問題，本文選取了在模式識別方面廣泛采用的HOG特征[5]、不變矩特征[6]和灰度共生矩陣特征[7]作為本文要提取的三類特征，提出一種融合圖像多類特征并結合SVM分類器的車輛識別方法。

1 ?特征提取及特征融合

1.1 ?HOG特征提取與降維

1.1.1 ?HOG特征提取

HOG特征是一種圖像局部區(qū)域的特征描述子。以[（x，y）]表示輸入圖像的像素點，則圖像中像素點的梯度計算公式為[8]：

[Gx（x，y）=H（x+1，y）-H（x-1，y）] （1）

[Gy（x，y）=H（x，y+1）-H（x，y-1）] ?（2）

式中：[Gy（x，y）] ，[Gx（x，y）]，[H（x，y）]分別表示圖像中像素點[（x，y）]處的水平方向梯度、垂直方向梯度和像素值。像素點[（x，y）]處的梯度幅值和梯度方向的計算公式分別為：

[G（x，y）=Gx（x，y）2+Gy（x，y）2] （3）

[α（x，y）=arctan Gy（x，y）Gx（x，y）] （4）

HOG特征提取過程如圖1所示。

1.1.2 ?HOG特征降維

為了消除數(shù)據(jù)間的大量冗余，提高圖像處理的效率，對提取的HOG特征進行降維，本文采用主元分析法（Principle Component Analysis，PCA）完成HOG特征向量的降維操作，采用該方法既可消除特征間的冗余信息，降低特征空間的維數(shù)，也能保留圖像識別所需的信息。

設有[n]幅原始圖像，每幅圖像提取[p]維特征，則此原始特征集可用下面的數(shù)據(jù)矩陣表示：

[X=x11x12…x1px21x22…x2p????xn1xn2…xnp=x1，x2，…，xp] （5）

將新的綜合變量由原來的變量[x1，x2，…，xp]線性表示，得：

[y1=u11x1+u12x2+…+u1pxpy2=u21x1+u22x2+…+u2pxp?yp=up1x1+up2x2+…+uppxp] ? （6）

滿足[u2i1+u2i2+…+u2ip=1，i=1，2，…，p]。

設[λ1，λ2，…λp]為特征向量[u1，u2，…，up]所對應的非0特征根，則[i=1mλi（i=1pλi）-1]定義為前[m]個主成分[y1，y2，…，ym]的累計貢獻率。為保證較高的識別率，本文將累計貢獻率閾值設為99%，經(jīng)過Matlab計算得到376維的HOG特征向量。

1.2 ?不變矩特征提取

由于車輛在行駛過程中經(jīng)常受到光照、遮擋、震動等因素的影響，因此本文選用具有平移、灰度、尺度、旋轉不變性的不變矩特征作為特征融合中的一類特征[9]。

對于一幅[M×][N]的數(shù)字圖像[f（x，y）]，其[p+q]階幾何矩[mpq]和中心矩[μpq]分別定義為：

[mpq=y=1Nx=1Mxpyqfx，y] （7）

[μpq=y=1Nx=1Mx-xpy-yqfx，y] （8）

式中：[p，q=0，1，2，…];[x]和[y]代表圖像的重心。

歸一化的中心矩定義為：

[ηpq=μpqμ00ρ] （9）

其中[ρ=p+q2+1]。

然后，利用二階和三階歸一化中心矩構造7個不變矩，將這7個不變矩組合成一個7維向量，就得本文所求的不變矩特征向量。

1.3 ?灰度共生矩陣特征提取

灰度共生矩陣是一種通過研究灰度的空間相關特性來描述紋理的常用方法，本文采用能量（ASM）、對比度（CON）、相關（COR）、熵（ENT）和均勻度（IDM）5個參數(shù)來表征灰度共生矩陣的特征，其求解公式如下：

[ASM=xyP（x，y）2] （10）

[CON=xy（x-y）2P（x，y）] （11）

[COR=xy（x-r）（y-s）P（x，y）σrσs] （12）

[ENT=-xyP（x，y）lgP（x，y）] （13）

[IDM=xy11+（x-y）2P（x，y）] （14）

式中：[P（x，y）]為灰度共生矩陣;[r]，[s]，[σr]，[σs]分別為[yP（x，y）]與[xP（x，y）]的均值與標準差。

經(jīng)過上述步驟，本文提取特征的特征參數(shù)及維數(shù)見表1。

1.4 ?歸一化

由于同一圖像的不同特征之間在數(shù)值上存在很大的懸殊，為避免因上述原因對圖像識別結果造成不利影響，本文采用極差變換法進行特征標準化：

[f： u→v=u-uminumax-umin] （15）

式中：[u，v∈Rn;umin=minu;umax=maxu]，經(jīng)極差變換有[vi∈0，1，i=1，2，l，…，n，]消除了量綱的影響。

1.5 ?特征融合

設提取的一幅圖像的HOG特征、不變矩特征和灰度共生矩陣特征的特征向量分別為[[a1，a2，…，an]]，[[b1，b2，…，bk]]，[[c1，c2，…，cm]]，將其進行融合，得融合的特征向量[V]：

[V=[a1，a2，…，an，b1，b2，…，bk，c1，c2，…，cm]]

將所提一幅圖像的376維HOG特征、7維不變矩特征、5維灰度共生矩陣特征的特征向量按上述方法串聯(lián)，得388維的融合特征向量。

1.6 ?SVM分類器

SVM是一種機器學習方法，因其具有良好的泛化能力及較高的分類精度特點[10]，本文選用SVM作為分類器，支持向量機的體系結構如圖2所示。

圖2中，[K]為核函數(shù)，本文采用多項式核函數(shù)：

[KX，Xi=ΓXTXi+Γp， ? ? Γ>0] ? ?（16）

2 ?仿真實驗

為驗證本文所提方法的有效性，利用Matlab 2012a進行仿真實驗。本次實驗共收集了872幅圖像，其中車輛樣本數(shù)據(jù)436幅，非車輛樣本數(shù)據(jù)436幅，所有圖像都歸一化為30×30像素大小，部分車輛和非車輛樣本數(shù)據(jù)如圖3所示。

為避免車輛和非車輛樣本數(shù)據(jù)、訓練和測試樣本數(shù)據(jù)之間的相互影響和干擾，影響實驗結果的準確性，首先將872幅樣本數(shù)據(jù)按照車輛訓練樣本、車輛測試樣本、非車輛訓練樣本、非車輛測試樣本分成樣本數(shù)分別為400，36，400，36的四類樣本數(shù)據(jù)。經(jīng)特征提取和降維操作之后得376維的HOG特征向量，7維的不變矩特征向量和5維的灰度共生矩陣特征向量。

所提取的三類特征數(shù)據(jù)在歸一化之前存在較大差異，以車輛圖像為例，其特征的部分數(shù)據(jù)見表2。采用極差變換，本文車輛圖像特征的部分數(shù)據(jù)歸一化為[0，1]區(qū)間之后的數(shù)據(jù)見表3。

實驗采用有監(jiān)督學習方法，實驗之前首先對872個數(shù)據(jù)進行類別標簽標記，本文中車輛樣本標簽記為1，非車輛樣本標簽記為0。本次實驗共分兩組，分別是單特征實驗和融合特征實驗。

對于單特征實驗，首先利用歸一化后的三類特征的訓練數(shù)據(jù)分別進行SVM模型的訓練，得到相應的SVM分類器模型，然后將三類特征的測試數(shù)據(jù)輸入訓練好的SVM分類器中，測試結果如圖4所示。

在圖4中，用“○”表示實際測試樣本，“*”表示預測測試樣本，實驗最理想的結果是實際測試樣本和預測測試樣本完全重合，這將表明基于SVM的分類器完全識別出了正負樣本。本次實驗中實際測試樣本72個，其中正樣本（車輛圖像）和負樣本（非車輛圖像）分別各占36個。圖4a）顯示基于HOG特征的正負樣本識別效果差且具有將測試樣本識別成正樣本的傾向性;圖4b）顯示基于不變矩特征的正負樣本識別效果差且具有將測試樣本識別成負樣本的傾向性;圖4c）顯示基于灰度共生矩陣特征對正負樣本的識別雖沒有明顯的傾向性，但是其識別效果同樣不理想。

對于融合特征實驗，首先用融合后的800個車輛和非車輛訓練樣本訓練分類器，最后將72個融合后的測試樣本數(shù)據(jù)輸入已訓練好的SVM分類器模型中，測試結果如圖5所示。

在圖5中，除了正負樣本各有一個識別錯誤之外，實際測試樣本和預測測試樣本基本完全重合，反映了基于多特征融合方法在車輛識別方面的有效性。

將單特征實驗和融合特征實驗結果進行統(tǒng)計見表4。

3 ?實驗結果分析

由圖4，圖5和表4可知，基于融合特征的車輛識別方法相比單一特征的車輛識別方法在識別準確率方面有了很大的提高，達到了97.22%。之所以產(chǎn)生這種結果，是因為上述兩種方法所提取的圖像信息的全面性不同。提取的HOG特征是圖像的邊緣特征，不變矩特征是圖像的形狀特征，灰度共生矩陣特征是圖像的紋理特征，無論提取的是圖像的HOG特征、不變矩特征還是灰度共生矩陣特征都只是圖像的一個方面的特征，提取的信息量不足，當圖像中某一方面的特征不明顯時，基于這種單一特征的車輛識別方法在識別的準確性方面無法給予保證，導致車輛識別準確率低。而將提取的圖像的上述三類單一特征融合成新的特征再進行車輛識別，克服了基于單一特征進行車輛識別的缺點，提高了識別的準確率。

4 ?結 ?論

本文提出將多類特征相融合組成新的特征方法，相比單一特征的車輛識別方法能夠提高車輛識別的準確率，識別結果穩(wěn)定可靠。本文只選了圖像的3類特征進行車輛識別特征融合，在實際應用中如能加入更多、互補性更強的圖像特征，使得對一幅圖像的信息采集更加全面，將進一步提高車輛識別的準確率，另外，也可以探索結合不同分類器的方法進行車輛識別，本文的研究對研究道路交通安全具有重要意義。

注：本文通訊作者為譚德榮。

參考文獻

[1] 徐藝，譚德榮，郭棟，等.面向車輛識別的樣本自反饋式級聯(lián)檢測方法[J].長春理工大學學報（自然科學版），2017，40（3）：48?53.

[2] 杜滕州，曹凱.基于單目視覺的夜間車輛識別方法[J].計算機工程與應用，2014，50（17）：160?163.

[3] 文學志，方巍，鄭鈺輝.一種基于類Haar特征和改進AdaBoost分類器的車輛識別算法[J].電子學報，2011，39（5）：1121?1126.

[4] 李星，郭曉松，郭君斌.基于HOG特征和SVM的前向車輛識別方法[J].計算機科學，2013，40（z2）：329?332.

[5] SALGADO L， CAMPLANI M. Image?based on?road vehicle detection using cost?effective histograms of oriented gradients [J]. Journal of visual communication & image representation， 2013， 24（7）： 1182?1190.

[6] 盧衍泓.基于不變矩特征的車道線圖像檢測算法[J].激光雜志，2015，36（2）：35?38.

[7] BENCO M， HUDEC R. Novel method for color textures features extraction based on GLCM [J]. Radio engineering， 2007， 16（4）： 64?67.

[8] 曲永宇，劉清，郭建明，等.基于HOG和顏色特征的行人檢測[J].武漢理工大學學報，2011，33（4）：134?138.

[9] 趙小川，何灝，繆遠誠.Matlab數(shù)字圖像處理實戰(zhàn)[M]. 北京：機械工業(yè)出版社，2013.

[10] 陳慧巖，熊光明，龔建偉，等.無人駕駛汽車概論[M].北京：北京理工大學出版社，2014.

作者簡介：王左帥（1991—），男，山東菏澤人，碩士研究生，主要研究方向為新能源汽車與智能車輛控制技術。

譚德榮（1963—），男，山東青島人，博士，教授，碩士研究生導師，研究方向為智能車輛無人駕駛技術。

徐 ?藝（1989—），男，博士，講師，主要研究方向為視頻與圖像處理。