基于多屬性層次識(shí)別的車輛視頻檢索系統(tǒng)設(shè)計(jì)研究

顧思思

（湖南科技學(xué)院電子與信息工程學(xué)院，湖南 永州 425199）

基于多屬性層次識(shí)別的車輛視頻檢索系統(tǒng)設(shè)計(jì)研究

顧思思

（湖南科技學(xué)院電子與信息工程學(xué)院，湖南 永州 425199）

交通監(jiān)控視頻中車輛的有效檢測(cè)和實(shí)時(shí)跟蹤，是車輛行為分析和識(shí)別的前提，也是智能交通系統(tǒng)（ITS）的核心內(nèi)容和關(guān)鍵技術(shù)。本文在深入分析當(dāng)前車輛屬性識(shí)別方法以及車輛視頻檢索關(guān)鍵技術(shù)的基礎(chǔ)上，結(jié)合交通監(jiān)控視頻的自身特點(diǎn)，從應(yīng)用的角度出發(fā)，設(shè)計(jì)一款融合車牌、車身顏色、車型等多個(gè)車輛外觀屬性進(jìn)行層次識(shí)別的機(jī)動(dòng)車輛檢索系統(tǒng)。該系統(tǒng)可為用戶提供多種查詢方式，從而實(shí)現(xiàn)交通監(jiān)控視頻中相關(guān)機(jī)動(dòng)車輛的準(zhǔn)確檢索。

多屬性；層次識(shí)別；交通監(jiān)控視頻；車輛檢索

1 引言

車輛視頻檢索系統(tǒng)是基于內(nèi)容的視頻檢索技術(shù)（Content-based Video Retrieval,CBVR）在交通視頻監(jiān)控領(lǐng)域的重要應(yīng)用，它可以按照人們的需求，通過(guò)車輛檢測(cè)、車輛屬性（顏色、車標(biāo)、車牌、車型等）識(shí)別等技術(shù)手段，在眾多的視頻庫(kù)中自動(dòng)尋找到滿足要求的目標(biāo)車輛，從而有效緩解基于人力的檢索與視頻大數(shù)據(jù)之間的矛盾。目前的交通監(jiān)控視頻車輛檢索系統(tǒng)多采用單一的基于車牌識(shí)別技術(shù)。汽車牌照作為汽車身份的唯一標(biāo)識(shí)，在作為視頻檢索條件時(shí)能更準(zhǔn)確地實(shí)現(xiàn)某一具體車輛的自動(dòng)識(shí)別，但其面對(duì)套牌、無(wú)牌或是車牌遮擋等問(wèn)題時(shí)卻束手無(wú)策。

2 系統(tǒng)的設(shè)計(jì)要點(diǎn)

為彌補(bǔ)傳統(tǒng)基于車牌識(shí)別或是基于單一識(shí)別方法在使用時(shí)的局限性，本文提出采用融合車輛的車牌、顏色、車型等多個(gè)外觀屬性來(lái)進(jìn)行共同識(shí)別的車輛檢索方法。因此，本系統(tǒng)需要對(duì)車輛視頻檢索匹配各階段的關(guān)鍵技術(shù)進(jìn)行研究和分析，以切合系統(tǒng)需求進(jìn)行優(yōu)化改進(jìn)，尋求最佳解決方案。

2.1 關(guān)鍵幀的提取算法

視頻由大量的幀組成。關(guān)鍵幀是指能夠反映鏡頭內(nèi)容的一幀或者幾幀，關(guān)鍵幀選取的好壞將直接關(guān)系到后續(xù)特征提取的效果和最后檢測(cè)結(jié)果的準(zhǔn)確性以及系統(tǒng)的實(shí)時(shí)性。關(guān)鍵幀的檢測(cè)通常有基于鏡頭分割的方法、基于內(nèi)容信息平均的方法、基于特定對(duì)象的方法和基于聚類的方法等幾種。本系統(tǒng)的首要任務(wù)就是尋找一種適合的關(guān)鍵幀檢測(cè)和提取方法，不僅要能夠?qū)τ行У倪\(yùn)動(dòng)車輛信息進(jìn)行關(guān)注和提取，還要能夠?qū)Ψ菣C(jī)動(dòng)車輛的信息進(jìn)行有效的屏蔽，同時(shí)還要考慮提取算法的時(shí)間和空間復(fù)雜性。

2.2 圖像預(yù)處理算法

通常情況下，從交通監(jiān)控視頻中提取到的關(guān)鍵幀圖像，難免會(huì)受到一些外部環(huán)境或是攝像機(jī)自身的影響而產(chǎn)生噪聲。因此，在提取特征之前對(duì)攝像頭獲取的車輛圖像進(jìn)行預(yù)處理是十分必要的。常用的圖像預(yù)處理方法有圖像平滑、圖像灰度化、圖像均衡化、圖像分割、圖像邊緣檢測(cè)以及圖像歸一化等。本系統(tǒng)需設(shè)計(jì)適合的圖像預(yù)處理流程，以消除圖像中所夾雜的噪聲對(duì)后續(xù)特征提取的干擾。

2.3 車輛顏色識(shí)別、車型識(shí)別以及車牌識(shí)別算法

車輛顏色、車型以及車牌的識(shí)別算法眾多，它們針對(duì)不同應(yīng)用場(chǎng)合各有所長(zhǎng)。本系統(tǒng)研究的是基于車牌、車身顏色、車型等多個(gè)車輛外觀屬性層次識(shí)別的機(jī)動(dòng)車輛檢索系統(tǒng)，其中車身顏色與車型識(shí)別的目的是為了生成類別標(biāo)簽以縮小后續(xù)檢索范圍。因此，選擇查全率和查準(zhǔn)率高的識(shí)別方法顯得尤為重要。而車牌識(shí)別是在車身顏色與車型匹配的基礎(chǔ)上進(jìn)行的進(jìn)一步檢索，系統(tǒng)需對(duì)待檢測(cè)對(duì)象和與其同顏色同車型的所有車輛進(jìn)行車牌識(shí)別，為了不影響系統(tǒng)的檢索效率，應(yīng)優(yōu)先選擇計(jì)算量小實(shí)時(shí)性高的識(shí)別算法。

3 系統(tǒng)設(shè)計(jì)方案

3.1 系統(tǒng)整體設(shè)計(jì)方案

參照傳統(tǒng)的基于內(nèi)容的視頻檢索系統(tǒng)構(gòu)成框圖，本文所設(shè)計(jì)的檢索系統(tǒng)擬由以下三部分組成：數(shù)據(jù)庫(kù)生成系統(tǒng)、查詢/檢索系統(tǒng)以及數(shù)據(jù)庫(kù)，其系統(tǒng)總體框架如圖1所示。

圖1 系統(tǒng)總體框架圖

系統(tǒng)的檢索流程是：當(dāng)往視頻庫(kù)添加一段視頻流時(shí)，數(shù)據(jù)庫(kù)生成系統(tǒng)會(huì)自動(dòng)地對(duì)這段視頻進(jìn)行關(guān)鍵幀提取并進(jìn)行車輛顏色和車型的識(shí)別，并將生成的標(biāo)簽連同關(guān)鍵幀圖片信息一同保存到圖像庫(kù)中。查詢系統(tǒng)面向用戶提供查詢界面，當(dāng)用戶需要進(jìn)行檢索時(shí)，通過(guò)查詢系統(tǒng)來(lái)提交相應(yīng)的查詢條件。本系統(tǒng)提供以輸入的文本標(biāo)簽信息為條件的基于文本語(yǔ)義的查詢和以車輛圖像或視頻作為輸入條件的基于內(nèi)容的查詢兩種方式。對(duì)于基于文本語(yǔ)義的查詢，系統(tǒng)只需將輸入信息與圖像庫(kù)中各圖片的標(biāo)簽進(jìn)行匹配，找到符合條件的車輛圖像作為結(jié)果反饋。對(duì)于基于內(nèi)容的查詢，如果輸入為圖片則直接進(jìn)行顏色和車型識(shí)別，然后根據(jù)識(shí)別結(jié)果進(jìn)行圖像數(shù)據(jù)庫(kù)的標(biāo)簽匹配，以縮小下一步的檢索范圍。接著根據(jù)能否對(duì)輸入圖片定位車牌來(lái)決定下一步是進(jìn)行車牌識(shí)別還是特征提取：若為車牌識(shí)別則需對(duì)待檢測(cè)圖片以及與其同標(biāo)簽的圖像數(shù)據(jù)庫(kù)中所有車輛圖片進(jìn)行車牌定位、車牌矯正、字符分割等操作，再最終通過(guò)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)對(duì)車牌字符進(jìn)行識(shí)別，對(duì)比識(shí)別結(jié)果并反饋用戶；若為特征提取則對(duì)待檢測(cè)圖片以及與其同標(biāo)簽的圖像數(shù)據(jù)庫(kù)中所有車輛圖片進(jìn)行特征因子提取、歸一化處理，然后進(jìn)行相似性計(jì)算，并以計(jì)算結(jié)果為依據(jù)將符合條件的車輛圖片作為結(jié)果反饋。如果查詢系統(tǒng)選擇基于內(nèi)容檢索的輸入為車輛視頻，處理的流程則是在以上以圖片為檢索條件的步驟之前再多加一步視頻關(guān)鍵幀的提取。

3.2 本系統(tǒng)視頻關(guān)鍵幀提取方案

交通監(jiān)控視頻通常拍攝機(jī)位固定、場(chǎng)景鏡頭上不存在人為的后期剪輯，因此，一段交通監(jiān)控視頻可以視為一個(gè)鏡頭。本系統(tǒng)采取的方式為將不同的視頻段作為一個(gè)連續(xù)的鏡頭來(lái)處理，以降低視頻處理的復(fù)雜程度。然后根據(jù)交通監(jiān)控視頻中車輛運(yùn)動(dòng)特征明顯的特點(diǎn)，選擇基于車輛運(yùn)動(dòng)特征進(jìn)行關(guān)鍵幀提取方法：在運(yùn)動(dòng)目標(biāo)檢測(cè)上，考慮到基于混合高斯模型的背景差分法易受光照、天氣等因素的影響，而幀間差分法又常常會(huì)檢測(cè)出空洞的缺陷，擬采用將二者檢測(cè)結(jié)果進(jìn)行互補(bǔ)的方法；接著選用基于加權(quán)頂帽變換算法來(lái)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行陰影去除；最后通過(guò)在圖像中設(shè)定水平虛擬檢測(cè)線來(lái)實(shí)現(xiàn)關(guān)鍵幀的觸發(fā)提取。

3.3 本系統(tǒng)的車輛顏色識(shí)別方案

本系統(tǒng)用于顏色識(shí)別的車輛圖像是從實(shí)景拍攝的車輛視頻中獲得，因此易受自然光線中光照強(qiáng)度和光照偏移的變化。為了減少它們的影響，本系統(tǒng)選用五種顏色直方圖作為顏色特征用于車輛的顏色識(shí)別，分別是：rg顏色直方圖、Opponent顏色直方圖、Transformed顏色直方圖、Lab顏色直方圖和顏色矩。車輛顏色識(shí)別算法擬采取的步驟是：訓(xùn)練過(guò)程首先對(duì)訓(xùn)練數(shù)據(jù)庫(kù)中的所有圖像提取這五種顏色特征，接著進(jìn)行RBC編碼，進(jìn)而提取FC特征，然后利用事先對(duì)顏色類別標(biāo)定標(biāo)簽訓(xùn)練出SVM模型。而測(cè)試過(guò)程則要將所有的測(cè)試圖像進(jìn)行相同的特征提取，再通過(guò)訓(xùn)練出的SVM模型對(duì)測(cè)試圖像進(jìn)行顏色識(shí)別。

3.4 本系統(tǒng)的車型識(shí)別方案

車輛前臉圖像，簡(jiǎn)稱“車臉”，與人臉一樣都具有各自獨(dú)特的特征，包含很多有用的信息。車臉特征顯著且結(jié)構(gòu)性較強(qiáng)，外形輪廓突出立體，有利于分類的特征提取，可以識(shí)別出車輛品牌型號(hào)。因此，本系統(tǒng)采用基于車臉特征的車型分類方法。首先以車臉檢測(cè)矩形與車輛檢測(cè)矩形的相對(duì)比例作為經(jīng)驗(yàn)值，對(duì)傳統(tǒng)的Adaboost分類算法進(jìn)行改進(jìn)，從而訓(xùn)練出車臉檢測(cè)器以定位車臉。然后選取車輛的散熱器隔欄、車燈區(qū)域作為ROI提取特征，使用特征直接集成的方式組合成特征向量。最后訓(xùn)練融合多特征識(shí)別的車型分類器進(jìn)行車型識(shí)別。

3.5 本系統(tǒng)的車牌識(shí)別方案

車牌識(shí)別過(guò)程主要包括車牌定位、車牌校正、車牌字符分割和字符識(shí)別。本系統(tǒng)采用結(jié)合垂直邊緣檢測(cè)和車牌顏色對(duì)檢測(cè)以及用車牌幾何特征進(jìn)行連通域分析的方法來(lái)完成車牌的定位，用Radon變換完成車牌校正，用基于垂直投影及字符寬度經(jīng)驗(yàn)值的方法進(jìn)行字符分割，用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)完成字符的識(shí)別。

4 結(jié)束語(yǔ)

本文在研究車輛監(jiān)控視頻特點(diǎn)以及車輛檢索相關(guān)技術(shù)的基礎(chǔ)上，提出使用一種綜合運(yùn)用車輛的車牌、顏色、車型等多個(gè)車輛外觀屬性作為共同的識(shí)別條件進(jìn)而對(duì)視頻數(shù)據(jù)庫(kù)進(jìn)行層次檢索的方法，以彌補(bǔ)傳統(tǒng)基于車牌識(shí)別或是基于單一識(shí)別方法在使用時(shí)的局限性，實(shí)現(xiàn)交通監(jiān)控視頻中相關(guān)機(jī)動(dòng)車輛的準(zhǔn)確檢索。本系統(tǒng)的實(shí)現(xiàn)不僅能為城市的交通規(guī)劃提供第一手的數(shù)據(jù)，還可為交管部門和公安部門追查違章和肇事車輛提供極大的便利，具有較強(qiáng)的現(xiàn)實(shí)意義和樂(lè)觀的發(fā)展前景。

[1]魯建飛，謝振平，劉淵．融合多重Bayesian決策的多視覺(jué)視頻車輛快速檢索算法[J]．小型微型計(jì)算機(jī)系統(tǒng)，2015，32(05)：1122-1126．

[2]張子龍，薛靜，喬鴻海等．基于改進(jìn)SURF算法的交通視頻車輛檢索方法研究[J]．西北工業(yè)大學(xué)學(xué)報(bào)．2014，32(2)：297-302．

[3]連捷．基于圖像的車輛區(qū)域檢測(cè)及車輛品牌型號(hào)識(shí)別技術(shù)研究[D]．南京：東南大學(xué)，2013．

[4]笪東旭．基于車臉識(shí)別的套牌車檢測(cè)方法研究[D]．西安：西安電子科技大學(xué)，2013．

[5]]Pan C，Bai X，Liu W Y．Vehicle color recognition on urban road by feature context[J]．IEEE Transactions on Intelligent Transportation System．2014，15(5)：2340-2346．

[6]Lin Y L，Tsai M K，Hsu W H，et al．Investigating 3-D model and part information for improving content-based vehicle retrieval[J]．IEEE Transactions on Circuits and Systems for Video Technology．2013，23(3)：401-413．

Research on the Design of Vehicle Video Retrieval System Based on Multi-attribute Hierarchical Recognition

Gu Sisi
(Hunan University of Science and Engineering,Yongzhou 425199,Hunan)

The effective detection and real-time tracking of vehicle in traffic surveillance video is the premise of vehicle behavior analysis and identification,and also the core content and key technology of intelligent transportation system (ITS).By analyzing the current key technologies of the vehicle attribute recognition method and vehicle video retrieval, combining with the own characteristics of traffic surveillance video itself and for the purpose of application,this paper designs a vehicle retrieval system which fuses the license plate,body color,vehicle models and other vehicle appearance attributes for hierarchical recognition.The system can provide users with a variety of search methods,so as to realize the accurate retrieval of relevant vehicles in traffic surveillance video.

multi-attribute;hierarchical recognition;traffic surveillance video;vehicle retrieval

TP391.41

A

1008-6609(2017)07-0014-03

顧思思（1982-），女，湖南永州人，碩士，CCF會(huì)員，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理與模式識(shí)別。

湖南省教育廳一般科研項(xiàng)目，項(xiàng)目編號(hào)：17C0678；永州市科技局指導(dǎo)性科技計(jì)劃項(xiàng)目，永科發(fā)[2015]9號(hào)，項(xiàng)目編號(hào)：13；湖南科技學(xué)院計(jì)算機(jī)應(yīng)用技術(shù)重點(diǎn)學(xué)科資助。