基于RPCA低秩模型的車輛外形識別研究

樊銳博,景明利,李 嵐,魏玉峰

(1. 西安石油大學(xué)電子工程學(xué)院,陜西 西安 710065;2. 西安石油大學(xué)理學(xué)院,陜西 西安 710065)

1 引言

隨著我國經(jīng)濟(jì)發(fā)展,車輛數(shù)量不斷增加,導(dǎo)致交通擁堵現(xiàn)象在各大城市屢見不鮮,交通事故頻發(fā),車輛管理問題日益突出。在智能交通系統(tǒng)方面,車輛識別[1,2]是模式識別領(lǐng)域的重要應(yīng)用,對車輛管理問題有著重要的現(xiàn)實(shí)意義。

車牌識別法[3-5]在停車場、收費(fèi)站等場合應(yīng)用較廣,該算法是從車輛圖像定位并提取車牌部分,然后對車牌圖像進(jìn)行預(yù)處理、特征提取,利用每個車輛有唯一對應(yīng)的車牌信息實(shí)現(xiàn)車輛的識別,但車牌識別算法在套牌、車牌無損、車牌遮擋等情況下無法正常識別車輛。

除此之外,有學(xué)者提出了基于傳感器的車輛識別法[6,7],通過線圈、感應(yīng)器等測量車輛的長寬、軸距、底盤高度等物理參數(shù),利用這些物理參數(shù)對車輛進(jìn)行識別,這種方法較為簡單,不需要復(fù)雜的算法設(shè)計,但需要大量的傳感器設(shè)備并進(jìn)行定期檢修,增加了投入成本,而且實(shí)際使用場景較為有限。

隨著神經(jīng)網(wǎng)絡(luò)的快速崛起,有學(xué)者將神經(jīng)網(wǎng)絡(luò)應(yīng)用到車輛識別的場景,文學(xué)志[8]等對基于Harr特征和AdaBoost分類器識別算法進(jìn)行改進(jìn),提出了基于類Harr特征和改進(jìn)AdaBoost分類器的車輛識別算法。2014年,Hu[9]等人基于DBM(Deep Boltzmann Machine,DBM)深度網(wǎng)絡(luò)框架,提出了應(yīng)用深度學(xué)習(xí)完成特征表示方法。2016年,楊欣宇等[10]提出基于機(jī)器視覺的車輛識別方法,利用車輛的輪廓特征實(shí)現(xiàn)車禍車輛識別。2019年,馬永杰[11]等提取了車輛多層的CNN融合特征,用PCA(Principal Component Analysis,PCA)技術(shù)降低特征維度,最后用支撐向量機(jī)(Support Vector Machine,SVM)代替CNN輸出層實(shí)現(xiàn)車輛分類。

這些基于神經(jīng)網(wǎng)絡(luò)的算法在提取特征和識別的過程中,輸入樣本存在大量的冗余信息,導(dǎo)致計算量浪費(fèi),同時包含的噪音特性信息會降低識別率。若想要獲得更高的識別率,就需要足夠多的訓(xùn)練樣本,讓訓(xùn)練模型充分學(xué)習(xí)樣本的特征信息。因此在小樣本訓(xùn)練時,正確率與泛化能力均有待提高。

圖1 非稀疏樣本

針對以上問題,本文提出了一種基于RPCA(Robust Principal Component Analysis,RPCA)低秩模型的車輛識別方法,利用RPCA低秩模型對視頻圖像進(jìn)行處理,將視頻圖像分離成低秩圖像與稀疏圖像,即背景圖像和目標(biāo)圖像。將稀疏圖像作為輸入樣本,不僅降低樣本的冗余信息,避免計算量浪費(fèi),而且稀疏圖像包含的背景信息和噪聲更少,使得后續(xù)訓(xùn)練樣本的樣本質(zhì)量得到提升,訓(xùn)練模型在訓(xùn)練樣本較少的條件下就能達(dá)到較好的識別效果,減少了模型對樣本數(shù)量的依賴性。

圖2 稀疏樣本

2 RPCA低秩模型理論

RPCA模型[12]是低秩矩陣恢復(fù)理論中的一種基本模型,通過矩陣分解獲得矩陣的低秩部分和稀疏部分,主要應(yīng)用于視頻監(jiān)控、圖像對齊等領(lǐng)域。

在實(shí)際應(yīng)用中,數(shù)據(jù)矩陣D∈m*n通常是低秩的或是近似低秩的,但干擾破壞了矩陣D的低秩結(jié)構(gòu),可以將數(shù)據(jù)矩陣D分解成一個低秩矩陣A和一個獨(dú)立同分布的高斯分布矩陣E,即D=A+E。這就是主成分分析方法ComponentAnalysis,PCA)模型[13],優(yōu)化問題數(shù)學(xué)模型如下

min‖E‖F(xiàn)s.t.D=A+E, rank (A)≤r

(1)

式(1)通過奇異值分解可獲得問題的最優(yōu)解。在現(xiàn)實(shí)生活中,數(shù)據(jù)矩陣D往往受到非常大干擾,矩陣E則不再滿足獨(dú)立同分布的高斯分布,傳統(tǒng)的PCA算法就不再適用。此時,上述式(1)可重新表示為如下模型

minA,E(rank(A),‖E‖0) s.t.D=A+E

(2)

與式(1)相比,式(2)增加了一個優(yōu)化目標(biāo),使得該問題變成了一個雙目標(biāo)優(yōu)化問題,針對這種情況引入一個權(quán)衡因子λ>0,對式(2)進(jìn)行優(yōu)化。優(yōu)化問題數(shù)學(xué)模型如下

minA,Erank(A)+λ‖E‖0s.t.D=A+E

(3)

minA,E‖A‖*+λ‖E‖1s.t.D=A+E

(4)

式(4)被稱為RPCA模型,該優(yōu)化問題常常使用非精確增廣拉格朗日乘子法[14](Inexact ALM Method,IALM)求解。

3 HOG與SVM理論簡介

方向梯度直方圖[15-17](Histogram of Oriented Gradient,HOG)特征通過計算和統(tǒng)計目標(biāo)物體的局緣區(qū)域的梯度大小形成直方圖來構(gòu)成特征,基本思想是用局部梯度大小描述整個目標(biāo)物體,本質(zhì)是計算梯度大小。HOG特征提取是一種統(tǒng)計類的特征提取方法。HOG特征提取流程圖如圖3所示。

圖3 HOG特征提取算法流程圖

SVM[18,19]最早由Vapnik和Cortes提出,是一種對數(shù)據(jù)樣本進(jìn)行二分類的廣義分類器,數(shù)學(xué)模型如式(5)所示

(5)

SVM的相關(guān)理論知識可參考文獻(xiàn)[19],算法流程圖如圖4所示

圖4 SVM算法流程圖

4 數(shù)值實(shí)驗(yàn)

為了驗(yàn)證所提算法的有效性,實(shí)驗(yàn)中處理器為 AMD Ryzen 3 2200G CPU,主頻為3.50GHz,RAM大小為8.00GB;軟件環(huán)境為64位Windows 10的操作系統(tǒng),R2016b版本的Matlab。若無特別說明,實(shí)驗(yàn)環(huán)境不變。

本文實(shí)驗(yàn)主要用準(zhǔn)確率、召回率、F1值對模型進(jìn)行評估,F1值是基于準(zhǔn)確率和召回率的一種綜合評估指標(biāo)。準(zhǔn)確率記為P,召回率記為R,三種評估指標(biāo)的計算方法如式(6)所示:

(6)

其中TP、FP、TN、FN分別表示是真正例、假正例、真反例、假反例。

整個實(shí)驗(yàn)可分為三個過程,分別是稀疏圖像提取、提取稀疏圖像的HOG特征以及基于SVM的分類與識別。數(shù)據(jù)集選自作者用手機(jī)拍攝的車輛視頻以及CDnet 2014 Dataset[21]中部分具有復(fù)雜背景的監(jiān)控視頻。

4.1 簡單場景的實(shí)驗(yàn)

4.1.1 稀疏圖像提取

將視頻的每一幀圖像變換為一個列向量,并按列構(gòu)成一個數(shù)據(jù)矩陣D,由于視頻背景不變,所以構(gòu)成的數(shù)據(jù)矩陣 D可看成是近似低秩,進(jìn)入視頻的目標(biāo)視為稀疏項(xiàng)。此時,利用RPCA低秩模型對視頻圖像進(jìn)行前背景分離得到前景圖像,即稀疏圖像。

分別取車輛視頻和行人視頻其中的一幀圖像的原圖、低秩圖像和稀疏圖像作為IALM算法圖像結(jié)果,如圖5、6所示。

圖5 車輛視頻圖像

從圖5、圖6中的稀疏圖像可以看出,經(jīng)過視頻前背景分離后,獲得的稀疏圖像過濾掉了背景信息和噪聲信息,只包含目標(biāo)物體信息。后續(xù)用稀疏圖像作為特征提取的輸入,其避免了計算量浪費(fèi)以及背景和噪聲信息的干擾,提高了訓(xùn)練樣本的質(zhì)量,從而改善因目標(biāo)物體包含較多背景信息和噪聲信息而導(dǎo)致識別率較低的問題。

圖6 行人視頻圖像

4.1.2 提取稀疏圖像的HOG特征

從分離的稀疏圖像數(shù)據(jù)集中,選取具有較為完整的車信息的幀圖像作為特征提取的樣本集。選擇更能體現(xiàn)目標(biāo)物體外部輪廓的HOG特征提取算法,依次選取的特征樣本集進(jìn)行特征提取得到特征向量,并將特征向量按行排列構(gòu)成特征矩陣。在實(shí)驗(yàn)中,選取16*16個像素構(gòu)成一個Cell;2*2個Cell構(gòu)成一個Block。

在編寫HOG特征提取算法程序時,應(yīng)注意以下幾點(diǎn)問題:

1) 像素的梯度結(jié)果可能會出現(xiàn)nan、inf和-inf,需要利用if語句對這些結(jié)果進(jìn)行處理,不然會影響歸一化;

2) 在Matlab中atan指令用于計算正切角,得到角度范圍為[-π/2,π/2],所以要將得到的結(jié)果轉(zhuǎn)化為[0,π];

3) 采用向上取整函數(shù)計算Cell的梯度直方圖,故要防止正切角為0。

SVM分類需要非車輛樣本特征信息作為負(fù)樣本,所以對車輛樣本、行人樣本都進(jìn)行了相同的特征提取,兩類樣本的大小一樣,得到的特征向量大小相同,特征矩陣大小相同。

4.1.3 基于SVM的分類與識別

由于SVM穩(wěn)定、對解決二分類問題具有很好的效果,因此選擇SVM進(jìn)行分類與識別實(shí)驗(yàn)。實(shí)驗(yàn)直接調(diào)用Matlab自帶SVM工具箱中的fitcsvm、predict函數(shù)。

本次實(shí)驗(yàn)中,從稀疏的樣本集中選取了946個車輛稀疏樣本、610個非車輛稀疏樣本,經(jīng)過HOG特征提取獲得相應(yīng)數(shù)量的特征樣本集。從兩類特征樣本集中分別抽取各自特征樣本集總數(shù)的30%作為測試集,從剩余的車輛、非車輛的兩類特征樣本抽取各自特征樣本總數(shù)的10%作為訓(xùn)練集。然后以各自特征樣本總數(shù)的10%的增幅擴(kuò)大訓(xùn)練集,重新進(jìn)行分類識別實(shí)驗(yàn),記錄分類器的準(zhǔn)確率、召回率和F1值,直至將剩余的特征樣本全部用于訓(xùn)練模型,整個實(shí)驗(yàn)過程中測試集保持不變。以訓(xùn)練集為橫軸、F1值為縱軸繪制實(shí)驗(yàn)結(jié)果圖,如圖7所示。

圖7 簡單場景下的F1值

由圖7知,訓(xùn)練樣本數(shù)為總樣本集的10%-30%之間,F1只有0.75左右;當(dāng)訓(xùn)練樣本數(shù)擴(kuò)大至總樣本集的40%時,F1值達(dá)到了1.00,訓(xùn)練集數(shù)量在經(jīng)驗(yàn)值上可選取總樣本集的40%。

定量實(shí)驗(yàn)下的準(zhǔn)確率、召回率、F1值結(jié)果如表1所示。

表1 簡單場景下的算法識別結(jié)果

從表1分析可知,本次實(shí)驗(yàn)影響F1值只有召回率。經(jīng)過視頻前背景分離過濾掉了背景信息和噪聲信息,使得在較少的訓(xùn)練樣本條件下準(zhǔn)確率達(dá)到了1.0000,但召回率并不顯著。隨著訓(xùn)練集的數(shù)量的不斷增加,最終召回率達(dá)到1.0000。

通過以上實(shí)驗(yàn)可得,提出的算法通過改善輸入樣本的質(zhì)量減少了對模型對數(shù)量的依賴性,從而使得模型在小樣本訓(xùn)練集下就可以達(dá)到很好的識別效果。

4.2 復(fù)雜場景的實(shí)驗(yàn)

在4.1節(jié)中實(shí)驗(yàn)場景相對簡單,圖像信息相對單一,每張圖像只有一輛完整的車輛或行人的信息。為驗(yàn)證所提算法的優(yōu)越性,本小節(jié)將在相對復(fù)雜場景下的車輛與行人作為識別目標(biāo)進(jìn)行實(shí)驗(yàn),如highway、backdoor和pedestrians,這些場景會出現(xiàn)光照變化、樹影等影響分離效果的情況。圖像信息的復(fù)雜度會有所提高,不僅會出現(xiàn)多輛車或多個行人,也考慮了車輛或行人之間遮擋的復(fù)雜情況,造成目標(biāo)物體信息不完整,具體如圖8至圖10所示。

圖8 highway

圖9 backdoor

圖10 pedestrians

本次實(shí)驗(yàn)提取的車輛稀疏樣本集為1301,行人稀疏樣本集為1205,實(shí)驗(yàn)過程與4.1節(jié)相同,不再介紹具體的實(shí)驗(yàn)過程,實(shí)驗(yàn)結(jié)果如圖11所示。

圖11 復(fù)雜場景下的F1值

本次實(shí)驗(yàn)中,訓(xùn)練樣本數(shù)為總樣本集的10%時,F1值接近0.99;當(dāng)訓(xùn)練樣本數(shù)為總樣本集的20%時,F1值達(dá)到了1.00,故訓(xùn)練樣本數(shù)經(jīng)驗(yàn)值可取總樣本集的20%。從表2分析可知,此次實(shí)驗(yàn)影響F1值大小的主要因素是準(zhǔn)確率。

表2 復(fù)雜場景下的算法識別結(jié)果

定量實(shí)驗(yàn)下的準(zhǔn)確率、召回率、F1值如表2所示。

雖然本次實(shí)驗(yàn)的場景更為復(fù)雜、圖像信息的復(fù)雜度也有所增加,進(jìn)而導(dǎo)致了準(zhǔn)確率下降,但召回率在訓(xùn)練樣本數(shù)為總樣本數(shù)的10%時達(dá)到了1.0000。隨著訓(xùn)練樣本數(shù)的不斷增加,準(zhǔn)確率逐漸提高,而召回率依舊保持不變,當(dāng)訓(xùn)練樣本數(shù)擴(kuò)大至總樣本數(shù)的20%時,準(zhǔn)確率、召回率均達(dá)到了1.0000。

由此可見,在復(fù)雜的場景下,提出的算法也能使得模型在小樣本訓(xùn)練集下達(dá)到很好的識別效果。

4.3 對比實(shí)驗(yàn)

對比實(shí)驗(yàn)的識別目標(biāo)為車輛與非車輛,選擇基于PCA+SVM識別算法和基于Harr+AdaBoost識別算法的兩種算法作為對比算法,正、負(fù)樣本總數(shù)各為1200,與本文算法樣本集大小接近,訓(xùn)練集和測試集的分配與上述實(shí)驗(yàn)相同,總樣本的30%作為測試集且固定不變,剩余樣本作為訓(xùn)練集,訓(xùn)練集的數(shù)量從總樣本數(shù)的10%依次增加,增幅為總樣本數(shù)的10%,直至訓(xùn)練樣本為總樣本數(shù)的70%結(jié)束實(shí)驗(yàn)。為便于記錄實(shí)驗(yàn)結(jié)果,將PCA+SVM算法和Harr+AdaBoost算法分別簡記為P+S、H+Ada。

實(shí)驗(yàn)中PCA算法的方差貢獻(xiàn)率為0.9,AdaBoost分類器訓(xùn)練輪數(shù)為100,實(shí)驗(yàn)結(jié)果如圖12所示。

圖12 三種對比算法的F1值

訓(xùn)練樣本數(shù)為總樣本集的10%時,PCA+SVM、Harr+AdaBoost的F1值分別為0.7964、0.8107,本文算法的F1值為0.9896,比PCA+SVM、Harr+AdaBoost算法分別提高了0.1932、0.1789。當(dāng)訓(xùn)練樣本數(shù)為總樣本集的20%時,本文算法的F1值達(dá)到了1.00,而PCA+SVM、Harr+AdaBoost算法在訓(xùn)練樣本數(shù)為總樣本集的70%也未達(dá)到0.90。

定量實(shí)驗(yàn)下三種對比算法的準(zhǔn)確率、召回率、F1值如表3所示。

表3 兩種對比算法的識別結(jié)果

與PCA+SVM算法相對比,兩種算法在一開始召回率就可以達(dá)到1.0000,但在訓(xùn)練集樣本數(shù)只有總樣本集的10%時,PCA+SVM算法只有0.6617,本文算法的準(zhǔn)確率達(dá)到了0.9794,比PCA+SVM提高了0.3177。隨著訓(xùn)練集增加,本文算法在訓(xùn)練集為總樣本集的20%時就可達(dá)到1.0000,而PCA+SVM在訓(xùn)練樣本數(shù)增加至70%時也只有0.7877。

與Harr+AdaBoost算法相對比,Harr+AdaBoost算法的準(zhǔn)確率、召回率均未有本文提出的算法高。在訓(xùn)練集為總樣本集的20%時,Harr+AdaBoost算法準(zhǔn)確率和召回率分別只有0.8408、0.8103,而本文算法準(zhǔn)確率與召回率均達(dá)到了1.0000,比Harr+AdaBoost算法提高了0.1592、0.1897,并且Harr+AdaBoost在訓(xùn)練樣本數(shù)增至總樣本集的70%時,準(zhǔn)確率和召回率也未達(dá)到90%。

在七次實(shí)驗(yàn)中,本文提出的算法不論是在準(zhǔn)確率、召回率還是F1值的結(jié)果都要優(yōu)于其它兩種算法。

5 結(jié)論

針對樣本復(fù)雜的背景信息和噪聲信息導(dǎo)致識別率下降以及模型過度依賴數(shù)據(jù)樣本的問題,本文提出了一種基于RPCA低秩模型的車輛外形識別方法。該方法通過RPCA低秩模型對特征樣本進(jìn)行預(yù)處理,然后進(jìn)行HOG特征提取,最后利用SVM分類對車倆進(jìn)行分類。在數(shù)值實(shí)驗(yàn)部分,選取了10段視頻作為樣本集對本文提出的算法進(jìn)行測試及定量分析,提出的算法在訓(xùn)練樣本較少情況下,與PCA+SVM、Harr+AdaBoost兩種算法相比較,數(shù)據(jù)結(jié)果表明本文提出的算法在樣本集較少的條件有著較高的識別率、召回率和F1值。

致謝

感謝崔佳勛在網(wǎng)上提供Harr+AdaBoost算法程序,感謝馬毅教授在個人主頁分享RPCA相關(guān)算法程序。