基于特征融合和L-M算法的車輛重識別方法

王盼盼，李玉惠

(1.昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500；2.昆明理工大學(xué) 信息工程與自動化綜合實驗室, 云南 昆明 650500)

車輛重識別技術(shù)旨在從不同的拍攝場景中識別出相同的車輛，是智能視頻監(jiān)控研究領(lǐng)域的重要分支，近年來, 監(jiān)控視頻中車輛重識別問題引起了廣大科研人員的興趣并對其進(jìn)行了相應(yīng)的研究。監(jiān)控視頻中攝像頭拍攝時存在著光照變化、視角變化以及攝像機(jī)自身屬性的問題,導(dǎo)致同一目標(biāo)的車輛圖像的角度、顏色和輪廓等特征差別較大, 使得車輛重識別問題遇到了很大的挑戰(zhàn)。為了解決這些問題，研究者們提出了許多方法，大致可分為目標(biāo)特征的匹配法和機(jī)器學(xué)習(xí)的方法。

目標(biāo)特征匹配方法的主要目的是提取對不同車輛具有區(qū)分性和對視角、光照具有魯棒性的描述特征，利用這些提取的特征來直接或間接度量車輛圖像之間的相似度。文獻(xiàn)[1]將HSV顏色直方圖、RGB顏色直方圖和圖像塊LBP特征進(jìn)行組合，并使用PCA降維得到最后的特征描述子。文獻(xiàn)[2]將圖像進(jìn)行水平分塊，隨后提取每個小塊的HSV、RGB、YCbCr顏色直方圖和Schinidt、Gabor紋理特征進(jìn)行識別。文獻(xiàn)[3]提出了一種同一攝像機(jī)下已有圖像與示例圖像之間的圖像邊緣特征向量，然后用不同攝像機(jī)下相同車輛與不同車輛的特征向量來建立分類器。文獻(xiàn)[4]將重識別問題轉(zhuǎn)化為計算目標(biāo)圖像和候選圖像之間的距離度量問題。文獻(xiàn)[5]利用相同與不同車輛圖像子區(qū)域的位置信息，邊緣差異等特征來訓(xùn)練分類器。文獻(xiàn)[6]利用二維Gabor小波提取空間局部特性。目標(biāo)特征匹配法的優(yōu)點是方法原理比較簡單，但其缺點也顯而易見，對光照、視角的變化所帶來的圖像特征的變化沒有很好的魯棒性。

機(jī)器學(xué)習(xí)的方法用于車輛的重識別的一個重要分支是深度學(xué)習(xí)，其基本思想是：訓(xùn)練一種多層的神經(jīng)網(wǎng)絡(luò)來解決由于光照、視角變化而引起的識別率低的問題。如Ahmed等[7]提出的深層卷積結(jié)構(gòu)能夠同時實現(xiàn)訓(xùn)練圖片的特征的提取和相應(yīng)的相似性測度函數(shù)學(xué)習(xí)。文獻(xiàn)[8]使用簡單的顏色直方圖特征，利用目標(biāo)圖像對訓(xùn)練相對距離比較模型，該模型可以使真正匹配對間的距離小于誤匹配對間的距離，從而具有較高的匹配率?；谏疃葘W(xué)習(xí)車輛重識別雖然不需要人工提取車輛的特征，但需要大量車輛圖片信息用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，且運(yùn)算量大，訓(xùn)練時間長。文獻(xiàn)[9]用支持向量機(jī)學(xué)習(xí)中層語義屬性的判斷，并確定各屬性的權(quán)重，形成以屬性為中心，基于部分特征的再識別模型。但由于該方法訓(xùn)練時需要手動標(biāo)記屬性，且屬性分類較多，訓(xùn)練的復(fù)雜度較大，在只有少量樣本時又存在過擬合問題。

本文所提出的方法針對車輛重識別時不同攝像機(jī)中同一車輛的圖像差異較大，單一特征難以穩(wěn)定地描述圖像的問題，采用多種特征融合實現(xiàn)車輛特征的提取，該方法將車輛圖片的HSV特征和LBP特征進(jìn)行融合，并對融合特征矩陣進(jìn)行奇異值分解，提取特征值。針對傳統(tǒng)BP算法收斂速度慢，精度不高的問題，采用L-M自適應(yīng)調(diào)整算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。進(jìn)而對不同光照，不同視角的同一車輛圖片進(jìn)行識別。

1　特征融合和BP算法

1.1　特征融合

由于車輛的顏色和幾何特征包含了車輛本身的一些個性化信息，所以本文提取的圖片特征為車輛的HSV和LBP特征，并將兩種類型的特征進(jìn)行串聯(lián)，從而得到融合特征。并對融合特征矩陣進(jìn)行奇異值分解，提取特征值。

車輛的HSV特征即為車輛的一種顏色空間模型，該模型對目標(biāo)顏色的表達(dá)接近人類眼睛的視覺感知特性。它根據(jù)色彩的3個基本屬性(色調(diào)、飽和度和亮度)來表達(dá)顏色。由于不同品牌的車外形設(shè)計不盡相同，所以車輛的幾何特征在一定程度上可以代表車輛的個性化信息。本文在車輛幾何特征的描述上采用簡單實用的LBP特征，LBP特征的提取過程是在圖像的某個區(qū)域內(nèi)，將中心像素點的像素值作為閾值，相鄰像素點與其進(jìn)行對比，比閾值大的標(biāo)定為1，并生成8位二進(jìn)制數(shù)，作為該區(qū)域中心像素點的LBP值。

考慮到車輛圖片的特征維數(shù)對重識別率有很大影響，故本文采用SVD即奇異值分解來提取車輛圖片分塊矩陣特征信息。奇異值分解的實現(xiàn)過程可通過式(1)表示

A=U∑VT

(1)

A為n×m的矩陣，代表待分解的特征矩陣，U是一個n×n的方陣，U中的向量稱為左奇異向量?！剖且粋€n×m矩陣，VT是一個n×n矩陣，V中的向量稱為右奇異向量。等式(1)右邊的3個矩陣相乘的結(jié)果為一個接近于A的矩陣，而這3個矩陣的面積之和要遠(yuǎn)小于矩陣A。這樣，特征矩陣就可以通過SVD分解達(dá)到降維的目的。

1.2　BP算法的原理

在BP神經(jīng)網(wǎng)絡(luò)中，多層前饋是其典型特征，多層是指該網(wǎng)絡(luò)由3部分組成，分別為輸入層、隱含層和輸出層。前饋是指信號正向傳播所得的誤差信號作為調(diào)整信號按先前的路線返回，根據(jù)預(yù)測誤差反復(fù)修正權(quán)值和閥值，使得誤差函數(shù)值達(dá)到最小。Robert Hecht Nielson證明了任意連續(xù)函數(shù)都可以由上述BP 神經(jīng)網(wǎng)絡(luò)有效的逼近。BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點是其具有自學(xué)習(xí)、自適應(yīng)和優(yōu)異的非線性映射能力[10-12]。其一般結(jié)構(gòu)如圖1所示。

圖1　3層BP網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3　Levenberg-Marguardt 優(yōu)化方法

考慮到傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)采用的梯度下降法優(yōu)化學(xué)習(xí)方法易陷入局部最優(yōu)，本文采用Levenberg - Marguardt優(yōu)化方法對傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，L-M算法是一種結(jié)合牛頓法和梯度下降法的非線性優(yōu)化算法，該方法能提供非線性最小化(局部最小)的數(shù)值解，并能有效解決過參數(shù)化和冗余參數(shù)問題，避免代價函數(shù)陷入局部極小值，這些特性使得L-M算法在計算機(jī)視覺等領(lǐng)域得到廣泛應(yīng)用[13-15]。

本文利用L-M算法克服了線性搜索難以尋找下降方向的問題，為了解決這一問題該算法假設(shè)f(x)是非線性函數(shù)，并把問題轉(zhuǎn)化為約束線性化最小二乘問題。即式(2)的信賴域模型。

(2)

其中，hk為信賴域半徑。這個方程的解可由求解式(3)得到。

(A(xk)TA(xk)+λkI)z=-A(xk)Tf(xk)

(3)

(A(xk)TA(xk)+λkI)

(4)

比例系數(shù)λk為常數(shù)，I是單位矩陣。由于式(4)正定(適當(dāng)調(diào)整λk)，從而式(3)產(chǎn)生的方向Z是下降方向。從式(3)可看出：如果比例系數(shù)λk為零時，隨著每一步成功迭代，則依次減小，當(dāng)與誤差目標(biāo)較為接近時，可以看作與高斯-牛頓法相似；當(dāng)λk的值很大的時L-M算法與梯度下降法相近。由于類似于二階導(dǎo)數(shù)的信息被運(yùn)用到L-M算法當(dāng)中，所以在權(quán)值數(shù)較少的情況下L-M算法比梯度下降法具有更快的收斂速度，此外，L-M算法還具有迭代次數(shù)相對較少，識別準(zhǔn)確率高的優(yōu)點。

2　車輛重識別流程

本文所提出的車輛重識別方法的流程為：首先對車輛圖片進(jìn)行歸一化處理，然后提取車輛圖片的HSV特征和LBP特征，并采用串聯(lián)的方式實現(xiàn)特征的融合，對融合的特征矩陣進(jìn)行奇異值分解，并提取子矩陣特征值。最后采用Levenberg-Marguardt 自適應(yīng)調(diào)整算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，對車輛庫圖像的特征進(jìn)行訓(xùn)練，進(jìn)而對不同光照，不同視角的同一車輛圖片進(jìn)行識別。具體步驟如圖2所示。

圖2　特征融合和L-M算法的車輛重識別流程圖

3　實驗結(jié)果

本文隨機(jī)采集車輛照片作為車輛數(shù)據(jù)庫進(jìn)行車輛重識別實驗。該圖片庫共有40組車輛圖片，每組車輛圖片由同一車輛的10 幅92×112 圖像組成，共400張圖像。拍攝車輛的角度以及光照條件均有一定的變化。車輛圖片庫部分圖像如圖3所示。

圖3　車輛圖片庫中部分車輛圖片

本文在構(gòu)建BP神經(jīng)網(wǎng)絡(luò)時所取隱含神經(jīng)元個數(shù)為110，輸出的神經(jīng)元個數(shù)為40，學(xué)習(xí)速率為0.005。選擇車輛庫中每輛車的n(n<10)幅圖像用于訓(xùn)練，另外10-n幅圖像用于測試，得到本文所使用的特征融合改進(jìn)方法與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)梯度下降方法的識別率對比圖，如圖4所示。

圖4　訓(xùn)練樣本數(shù)與識別率之間的關(guān)系

由圖4可以看出，本文的方法比傳統(tǒng)的BP算法在訓(xùn)練樣本數(shù)相同的情況下具有更高的識別率。另外，從該圖可以看出，隨著訓(xùn)練樣本數(shù)的增加，測試樣本的識別率也相應(yīng)的提高，最后趨于平穩(wěn)，所以BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練模型時需要大量的樣本才能有效提取目標(biāo)的特征信息，即用于訓(xùn)練圖像數(shù)量對測試集的識別率有很大的影響。

另外，影響測試集識別率的因素還有車輛圖片的特征維數(shù)。實驗證明當(dāng)特征維數(shù)為48維時車輛的測試集識別率最高為97.5%。車輛圖片特征維數(shù)與識別率之間的關(guān)系如圖5所示。

圖5　特征維數(shù)與識別率之間的關(guān)系

4　結(jié)束語

本文針對車輛重識別時不同攝像機(jī)中同一車輛的圖像差異較大，單一特征難以穩(wěn)定地描述圖像的問題，采用多種特征融合實現(xiàn)車輛特征的提取，然后對圖像融合特征矩陣進(jìn)行奇異值分解，并提取特征值。最后采用L-M自適應(yīng)調(diào)整算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，進(jìn)而對不同光照，不同視角的同一車輛圖片進(jìn)行重識別。由車輛重試別的驗證實驗結(jié)果可知，該方法在車輛的同一性識別方面具有較高的識別率,且對光照變化、視角變化都具有較好的魯棒性。本文所提出的方法在視頻監(jiān)控中無牌照或者牌照遮擋的車輛的同一性檢索方面具有一定的實用價值。

[1]Kostinger M, Hirzer M, Wohlhhart P, et al. Large scale metroc learning from equivalence constraints[C].Grace:IEEE Conference on Computer Vision and Pattern Recognition,IEEE,2012.

[2]Zheng W,Gong S,Xiang T. Re-identification by relave distance comparision[J].IEEE,2013,35(3):653-668.

[3]Shan Y,Sawhney H,Kumar R.Vehicle identification between non over-lapping cameras without direct feature matching[C].Hong Kong:IEEE International Conference on Computer Vision,2005.

[4]Zheng Weishi,Gong Shaogang,Xiang Tao.Re-identification by relative distance comparison[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(3):653-668.

[5]Friasvelazquez A,Ortiz C,Pizurica A,et al.Object identification by using or thonormal circus functions from the trace transform[C].France:IEEE International Conference on Image Processing,2012.

[6]Chai Zhenhua,Sun Zhenan, Mendez-Vazquez H,et al.Gabor ordinal measures for face recognition[J].IEEE Transactions on Information Forensics and Security,2014,9(1):14-26.

[7]Ahmed E,Jones M,Marks T K.An improved deep learning architecture for person re-identication[C].Boston:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),IEEE,2015.

[8]Heng W S,Gong S,Xiang T.Person reidentification by probabilistic relative distance comparison[C]. Providence:Proceedings of IEEE Conference on Computer Vision and Pauem Recognition,IEEE Press,2011.

[9]Layne R,Hospedales T M,Gong S.Person re-identification by attributes[C].Surrey:Proceedings of the British Machine Vision Conference,BMVA Press,2012.

[10] Robert Hecht-Nielsen.Theory of the back propagation neural network[C].Combridge:Proceedings of the International Joint Conference on Neural Networks,1989.

[11] 薛皓天.一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)在手寫體識別上的應(yīng)用[J].電子科技,2015,28(5):20-23.

[12] 白雪,田啟川.基于神經(jīng)網(wǎng)絡(luò)的性別識別方法[J].電子科技,2013,26(9):151-154.

[13] 吳福朝.計算機(jī)視覺中的教學(xué)方法[M].北京:高等教育出版社,2008.

[14] 袁亞湘,孫文瑜.最優(yōu)化理論與方法[M].北京:科學(xué)出版社,1997.

[15] Lwikipediaorg.Levenbers marquardt algorithm [EB/OL]. (2008-05-26)[2017-03-21]http://er.wikipedia.org/wiki/Levenberg Marquardt_algorithm.