基于已標(biāo)定攝像機(jī)的車輛識別系統(tǒng)

趙 飛（上海電力學(xué)院 電子與信息工程學(xué)院，上海 200090）

基于已標(biāo)定攝像機(jī)的車輛識別系統(tǒng)

趙 飛
（上海電力學(xué)院 電子與信息工程學(xué)院，上海 200090）

現(xiàn)有車輛類型識別系統(tǒng)中，由于攝像機(jī)未經(jīng)過標(biāo)定，使得在圖像分析中無法得到關(guān)于尺度和坐標(biāo)的真實(shí)數(shù)據(jù)，從而帶來了一系列問題。鑒于此，提出了基于已標(biāo)定攝像機(jī)的車輛識別系統(tǒng)，并結(jié)合特定車輛的3D模型，規(guī)劃設(shè)計(jì)了逃逸車輛的在線識別方案。攝像機(jī)標(biāo)定后，可以自動檢測車輛的真實(shí)大小和在世界坐標(biāo)中的真實(shí)運(yùn)動方向，不但能夠更為準(zhǔn)確地進(jìn)行車輛識別，而且為實(shí)現(xiàn)攝像機(jī)之間的聯(lián)合檢測和接力檢測提供了數(shù)據(jù)基礎(chǔ)。最后從攝像機(jī)標(biāo)定過程中的重投影誤差分布圖以及基于玩具車的模擬測試說明了基于攝像機(jī)參數(shù)和車輛模型動態(tài)生成車輛視圖的可行性。

特定車輛；識別；標(biāo)定攝像機(jī)；3D模型

0 引言

關(guān)于車輛類型識別的方法已經(jīng)提出了很多?；诘芈窀袘?yīng)線圈的車型識別技術(shù)［1-2］只能對車型給與大致的區(qū)別，不能根據(jù)車外觀造型、顏色等進(jìn)行細(xì)分?；诘芈駢弘妭鞲衅鞯能囆妥R別技術(shù)［3］只對重量檢測比較合適?；诩t外線檢測的車型識別技術(shù)［4］通過有無反射波來對過往車輛進(jìn)行檢測，鑒于速度這個不確定因素，也只能大致檢測。基于視頻圖像的車型識別技術(shù)通過攝像機(jī)采集視頻圖像，它可以獲得更為豐富的車輛信息，因此可以作更全面和準(zhǔn)確的車輛分類，同時檢測器安裝簡便、監(jiān)控范圍廣。實(shí)際上，數(shù)字圖像和數(shù)字視頻技術(shù)常被用于道路車輛的視頻監(jiān)控、車牌識別、路況分析、車輛識別等。

然而目前的車輛監(jiān)控系統(tǒng)大多數(shù)采用單攝像機(jī)拍攝圖像，并且攝像機(jī)參數(shù)沒有經(jīng)過標(biāo)定。這使得對圖像內(nèi)容的處理過程中缺乏真實(shí)尺度信息，車輛的真實(shí)大小、運(yùn)行的實(shí)際空間方向無法獲知，對車輛識別造成困難，也使得車輛的全程跟蹤無法實(shí)現(xiàn)。為此，本文提出采用已標(biāo)定攝像機(jī)和車輛3D模型的方法，并對其中的技術(shù)原理和系統(tǒng)模型進(jìn)行了分析設(shè)計(jì)。

1 現(xiàn)有車輛識別中存在的問題

基于視覺的目標(biāo)檢測，通常是通過統(tǒng)計(jì)車輛的某種特征來比對識別的。一般的處理步驟是，首先根據(jù)運(yùn)動信息分割車出輛區(qū)域，然后根據(jù)車輛的各種數(shù)據(jù)進(jìn)行判決，這些特征信息可能是車輛圖像幾何參數(shù)特征［5-7］、代數(shù)特征值、矩特征［8］、變換系數(shù)特征［9-11］、圖像特征點(diǎn)特征［12-13］。對這些特征進(jìn)行判別的方法，常用的主要有：（1）最小距離分類法，例如采用角點(diǎn)的 Hausdorff距離；（2）隱馬爾可夫模型識別方法；（3）支持向量機(jī)識別方法；（4）人工神經(jīng)網(wǎng)絡(luò)［14］等。有的學(xué)者［15-16］采用一種基于三維結(jié)構(gòu)模型的車輛特征提取方法，為車輛建立一個參數(shù)模型，并提出了利用3D幾何模型來對車輛運(yùn)動跟蹤的方法［17］。

上述的方法策略中，都是基于未標(biāo)定的攝像機(jī)，所存儲的視頻序列數(shù)據(jù)庫中不包含攝像機(jī)的參數(shù)信息。未標(biāo)定的攝像機(jī)會帶來較大的難度：（1）對象的實(shí)際尺寸無法獲知；（2）無法獲知車輛的運(yùn)行方位；（3）在處理多攝像之間的視頻銜接時，也需要人工判斷和比對。因此，本文將未標(biāo)定攝像機(jī)改為已標(biāo)定攝像，并將攝像機(jī)的內(nèi)外參數(shù)與其所拍攝的視頻數(shù)據(jù)同時存儲。

2 已標(biāo)定攝像機(jī)系統(tǒng)及其作用

目前視頻監(jiān)控以單攝像機(jī)為主，也有采用雙攝像機(jī)或者多攝像機(jī)同時監(jiān)控的。但是在系統(tǒng)設(shè)計(jì)時，攝像機(jī)之間沒有相關(guān)性。雙目攝像機(jī)系統(tǒng)可以記錄和重建目標(biāo)的三維空間信息［18］，從而為視頻對象的處理帶來極大的便利。

通常的攝像機(jī)都不可能是理想的攝像機(jī)，例如焦距與標(biāo)稱值有誤差，焦距在水平和豎直方向上不一致，圖像的主點(diǎn)不在圖像的中心，拍攝的圖像存在徑向和切向的畸變。對于雙目攝像機(jī)，還存在兩個攝像機(jī)的參數(shù)不一致、距離標(biāo)定問題。這些參數(shù)被劃分為內(nèi)部參數(shù)intrinsic和外部參數(shù) extrinsic，它們可以通過攝像的標(biāo)定算法計(jì)算出來［19］。這些參數(shù)包括每個攝像機(jī)的內(nèi)部參數(shù)intrinsic以及攝像機(jī)之間的外部參數(shù)extrinsic，另外還需要知道世界坐標(biāo)相關(guān)數(shù)據(jù)。

intrinsic=｛Fx，F(xiàn)y，cx，cy，γ，k1，k2，k3，p1，p2｝

extrinsic=｛θx，θy，θz，tx，ty，tz｝

依據(jù)攝像機(jī)的內(nèi)部和外部參數(shù)，可以進(jìn)一步通過立體校正，將兩個攝像機(jī)的參數(shù)校正到左右一致的虛擬參數(shù)上，這時兩個實(shí)際的攝像機(jī)可被看作一套理想的立體攝像機(jī)系統(tǒng)，只需要｛F，cx，cy，tx｝這 4個參數(shù)。這 4個參數(shù)可寫成一個4×4矩陣的形式，它可以在視差d已知的情況下由圖像m（x，y）坐標(biāo)計(jì)算出三維空間坐標(biāo)M~=［X，Y，Z，1］T，如式（1）所示，M~為齊次坐標(biāo)形式，其中比例參數(shù)s可以在求解的過程中消掉。

實(shí)際上，單攝像機(jī)系統(tǒng)是最常用的。它不能像雙攝像機(jī)系統(tǒng)那樣在攝像機(jī)參數(shù)已知的情況下直接計(jì)算出三維目標(biāo)的尺寸及其世界坐標(biāo)位置，但是對于“路面交通”這樣的應(yīng)用環(huán)境，也是有所作為的，因?yàn)檐囕v都位于路面上，所以只考慮路面到攝像機(jī)像平面的映射即可。不妨假定Z=0，則像素坐標(biāo)m（x，y）與地面世界坐標(biāo)=［X，Y，1］T之間可以通過一個3×3的單應(yīng)性矩陣H聯(lián)系起來，如式（2）所示，這個關(guān)系是可以進(jìn)行逆運(yùn)算的。

對于車輛檢測應(yīng)用系統(tǒng)［20-21］，無論是雙攝像機(jī)系統(tǒng)還是單攝像機(jī)系統(tǒng)，都可以建立圖像像素坐標(biāo)到空間目標(biāo)坐標(biāo)之間的對應(yīng)計(jì)算關(guān)系，可以通過像素坐標(biāo)來計(jì)算空間坐標(biāo)。這樣，可以在攝像機(jī)參數(shù)已知的情況下實(shí)現(xiàn)：

（1）計(jì)算空間目標(biāo)的位置（X，Y，Z），從而確定車輛在世界坐標(biāo)中的真實(shí)位置；

（2）計(jì)算目標(biāo)的實(shí)際大小，從而為車輛類型的判別提供重要依據(jù)；

（3）通過車輛在攝像機(jī)視場中真實(shí)位置，可以根據(jù)車輛模型和攝像機(jī)參數(shù)生成用于車輛識別的車輛視圖；

（4）可以判斷車輛在真實(shí)世界中的運(yùn)行方向和速度。

這其中最為關(guān)鍵的是對車輛位置的計(jì)算。兩者相比之下，雙目攝像機(jī)可以提供更為準(zhǔn)確的三維重建，它可以計(jì)算像素點(diǎn)的真實(shí)三維空間位置，X、Y、Z 3個坐標(biāo)值都可以計(jì)算出來，如圖1中的P2點(diǎn)。而單攝像機(jī)系統(tǒng)在目標(biāo)位置定位的過程中會造成較大的誤差。單目相機(jī)將像素點(diǎn)全部映射到地面上，而實(shí)際的車輛都有一定的高度，因此會帶來誤差，如圖 1中的點(diǎn)P1。

圖1 單攝像機(jī)重建位置誤差

3 基于已標(biāo)定像機(jī)的特定車輛識別

采用基于3D模型的方法對特定車輛進(jìn)行識別，由于車輛在攝像機(jī)視場中處于不同的位置時，實(shí)拍車輛圖像會有很大不同，為了準(zhǔn)確生成對應(yīng)的模型圖像，需要對車輛的位置和方向角度進(jìn)行檢測。同時，為了便于監(jiān)控場點(diǎn)之間的連續(xù)性跟蹤，需要建立基于GPS的全局坐標(biāo)系系統(tǒng)。

3.1 坐標(biāo)系統(tǒng)模型

為了不增加硬件成本，采用目前已經(jīng)在運(yùn)行的單攝像機(jī)系統(tǒng)，如圖2所示。全網(wǎng)的攝像機(jī)采用統(tǒng)一模式的“局部世界坐標(biāo)”系統(tǒng)。即以正北方為Y軸，以正東方為X軸，線桿與地面的交點(diǎn)為原點(diǎn)，Z軸垂直于地面豎直向上，也就是坐標(biāo)系的XY平面建立在地平面上，從而確定了此攝像機(jī)局部世界坐標(biāo)（OwXYZ）。

圖2 單攝像機(jī)系統(tǒng)

同時，通過全球定位系統(tǒng)GPS測量出Ow的經(jīng)緯度坐標(biāo)以確定局部世界坐標(biāo)在世界坐標(biāo)中的位置Ow=（Xgps，Ygps，0）。因此，需要以下參數(shù)來描述攝像機(jī)：

其中，內(nèi)部參數(shù)intrinsic描述攝像機(jī)自身的屬性，外部參數(shù)extrinsic描述了該攝像機(jī)在局部世界坐標(biāo)中的位置和方向，而Ow確定了局部世界坐標(biāo)在全局世界坐標(biāo)中的位置。

預(yù)先對各個路口的攝像機(jī)進(jìn)行標(biāo)定，獲取內(nèi)部參數(shù)和外部參數(shù)，并同時存儲在攝像機(jī)機(jī)身中和服務(wù)器的“攝像機(jī)參數(shù)”數(shù)據(jù)庫中。通過攝像機(jī)標(biāo)定算法，可以計(jì)算出該攝像機(jī)的內(nèi)部和外部參數(shù)。

3.2 系統(tǒng)工作原理

需要針對逃逸車輛建立3D模型，并計(jì)算其特征數(shù)據(jù)，然后通知所有攝像機(jī)按照特征數(shù)據(jù)檢查過往車輛，并實(shí)時報(bào)警。而創(chuàng)建一種車輛的視覺3D模型也不是一件很難的事情，因?yàn)檫@種模型只需要提供外觀特征，而不必關(guān)心車身內(nèi)部。車輛模型建立后可以存入模型庫以備下次直接調(diào)用。系統(tǒng)工作原理如圖3所示。

圖3 基于車輛模型和攝像機(jī)參數(shù)的車輛識別系統(tǒng)原理

從圖3可以看出，當(dāng)追逃任務(wù)下達(dá)后，服務(wù)器根據(jù)待查車輛的類型調(diào)出車輛3D模型，依據(jù)各個監(jiān)控場點(diǎn)的攝像機(jī)參數(shù)生成目標(biāo)車輛的多張參考圖像，并將它們發(fā)送給各個攝像機(jī)，攝像機(jī)依據(jù)這些圖像進(jìn)行在線識別。因?yàn)閳D像的數(shù)據(jù)量比較大，所以實(shí)際系統(tǒng)中也可以由服務(wù)器根據(jù)圖像計(jì)算出特征矢量，然后將特征矢量數(shù)據(jù)發(fā)送給攝像機(jī)，以便減小通信壓力?？捎幸韵?種實(shí)現(xiàn)策略。

（1）現(xiàn)場實(shí)時分析

將3D模型下發(fā)給各個攝像機(jī)的現(xiàn)場處理器，由現(xiàn)場處理器生成特定視圖及其特征矢量數(shù)據(jù)。這是最理想的方案，但是目前由于現(xiàn)場處理器計(jì)算能力和內(nèi)存容量的限制，這種方案難以實(shí)現(xiàn)。

（2）服務(wù)器實(shí)時分析

攝像機(jī)實(shí)時檢測車輛的距離和方位，然后要求實(shí)時生成特定視圖及其特征矢量數(shù)據(jù)，并發(fā)送給攝像機(jī)，這種模式對通信能力的要求過高。

（3）服務(wù)器預(yù)分析

服務(wù)器根據(jù)每個攝像機(jī)的參數(shù)預(yù)先生成可能的視圖及其特征矢量，然后下發(fā)給攝像機(jī)。服務(wù)器不可能把所有可能的視角圖像都預(yù)先生成，為此，將俯視角β和側(cè)視角α都劃分為9個子角度，這樣總共有81種視角，對每個視角生成視圖并計(jì)算其特征矢量，然后傳送給攝像機(jī)。

3.3 仿真結(jié)果分析

圖4是在進(jìn)行攝像標(biāo)定的過程中由MATLAB輸出的標(biāo)定物重投影誤差分布圖，可以看出在通常精度情況下重投影誤差絕大多數(shù)在±0.4像素之內(nèi)。這說明，根據(jù)3D模型和攝像機(jī)參數(shù)生成的視圖與真實(shí)拍攝圖像之間會有很好的符合度，甚至可以在半像素精度之內(nèi)。實(shí)際上在圖像分析處理的過程中往往會帶來一定程度的誤差，需要通過一定的算法來盡可能減小這一誤差。

圖4 重投影誤差（單位為像素）

圖5是根據(jù)攝像對實(shí)拍圖像的檢測結(jié)果，然后根據(jù)檢測數(shù)據(jù)由人工輸入3D MAX產(chǎn)生的視圖，可以看出結(jié)果非常吻合。這種情況下，不但可以采用各種尺度和旋轉(zhuǎn)不變量來進(jìn)行識別，也可以直接采用圖像匹配的方法，因?yàn)檫@時不必?fù)?dān)心模型圖像與實(shí)拍圖像在尺度、視角上的區(qū)別。

圖5 根據(jù)實(shí)拍車輛和小車模型生成視圖

4 結(jié)論

本文提出了基于已標(biāo)定攝像機(jī)的車輛識別系統(tǒng)，并結(jié)合特定車輛的3D外觀模型，規(guī)劃設(shè)計(jì)了逃逸車輛的在線識別方案。由于攝像機(jī)標(biāo)定后可以自動檢測車輛的真實(shí)大小和在世界坐標(biāo)中的真實(shí)運(yùn)動方向，不但能夠更為準(zhǔn)確地進(jìn)行車輛識別，而且為實(shí)現(xiàn)攝像機(jī)之間的聯(lián)合檢測和接力檢測提供了數(shù)據(jù)基礎(chǔ)。通過基于玩具車的模擬測試可以看出，依據(jù)攝像機(jī)參數(shù)和真實(shí)車輛圖像，能夠生成與真實(shí)圖像幾乎完全一致的車輛視圖。另外，從標(biāo)定過程中的重投影誤差分布圖可以看出，重投影誤差大部分在半像素精度之內(nèi)。因此只要能夠?qū)φ鎸?shí)圖像中的車輛位置和方位角作出準(zhǔn)確的檢測，就可以依據(jù)模型創(chuàng)建合適的視圖，從而使得車輛的識別算法更為簡單和準(zhǔn)確。

［1］TOK Y C A.Commercial vehicle classification system using advanced inductive loop technology［D］.Irvine：University of California，2008.

［2］朱海濤.一種基于感應(yīng)線圈的車型識別系統(tǒng)［D］.成都：西南交通大學(xué)電氣工程學(xué)院，2003.

［3］徐威.基于紅外檢測和壓電傳感相結(jié)合的車型自動分類技術(shù)研究［D］.南京：南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，2004.

［4］顧國華.車輛紅外自動識別技術(shù)與系統(tǒng)研究［D］.南京：南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，2000.

［5］Tao Jinsong，Chen Shixiu，Yang Li，et al.Ultrasonic technique based on neural networks in vehicle modulation recognition［J］.Intelligent Transportation Systems，2004（42）：201-204.

［6］張小軍.智能交通系統(tǒng)中的車輛檢測和車型識別技術(shù)研究［D］.西安：西北大學(xué)，2006.

［7］Wei Zhan，Zhiqing Luo.System design of real time vehicle type recognition based on video for Windows（AVI）files［C］.Intelligent Computing and Information Science，Communications in Computer and Information Science，2011，135：681-686.

［8］HU M K.Visual pattern recognition by moment invariants［J］.IRE Transactions on Information Theory，1962（8）：179-187.

［9］KAZEMI F M，SAMADI S，POORREZA H R，et al.Vehicle recognition using curvelet transform and SVM［J］.Fourth International Conference on Information Technology，ITNG′07，2007：516-521.

［10］KAZEMI F M，SAMADI S，POORREZA H R，et al.Vehicle recognition based on Fourier，Wavelet and Curvelet transforms-a comparative study［J］.Fourth International Conference on Information Technology，ITNG′07，2007：939-940.

［11］Zhou Zhuyu，Deng Tianmin，Lv Xianyang.Study for vehicle recognition and classification based on gabor wavelets transform＆amp；HMM［C］.2011 International Conference on Consumer Electronics，Communications and Networks（CECNet），2011：5272-5275.

［12］楊雪.基于視覺感知的圖像顯著區(qū)域的提?。跩］.微型機(jī)與應(yīng)用，2015，34（2）：47-48，51.

［13］嚴(yán)明，李玉惠，李勃，等.高速公路監(jiān)控視頻中運(yùn)動車輛對象提?。跩］.微型機(jī)與應(yīng)用，2014，33（2）：41-43.

［14］王年，任彬，黃勇，等.基于神經(jīng)網(wǎng)絡(luò)的汽車車型圖象自動識別［J］.中國圖象圖形學(xué)報(bào)，1999，4（8），668-672.

［15］LEE K H，HWANG J N，CHEN S I.Model-based vehicle localization based on three-dimensional constrained multiple-kernel tracking［J］.IEEE Transactions on Circuits and Systems for Video Technology，2015，25（1）：38-50.

［16］Wei Wu，Zhang Qisen，Wang Mingjun.A method of vehicle classification using models and nerual networks［J］.［17］Lou Jianguang，Tan Tieniu，Hu Weiming，et al.3-D model-based vehicle tracking［J］.IEEE Transactions on Image Processing，2005，14（10）：1561-1569.

［18］Xu Gang，Zhang Zhengyou.Epipolar geometry in stereo，motion and object recognition：a unified approach［M］.Kluwer Academic Publishers，1996.

［19］Zhang Zhengyou.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［20］焦琴琴，牛力瑤，孫壯文，等.基于車輛聲音及震動信號相融合的車型識別［J］.微型機(jī)與應(yīng)用，2015，34（11）：79-82.

［21］陳龍威，孫旭飛.一種基于時間序列分層匹配的騎線車輛檢測方法［J］.微型機(jī)與應(yīng)用，2014，33（21）：88-91，94.

The vehicle identification system based on calibrated camera

Zhao Fei
（Electronic and Information Engineering，Shanghai University of Electric Power，Shanghai 200090，China）

The camera is not calibrated in the existing vehicle type monitoring system，so the image analysis can not get the real data on the scale and coordinates，which leads to a series of questions.In view of this，this paper put forward the vehicle identification system model and methods based on calibrated camera，combined with the 3D appearance of a specific vehicle model，planning escape vehicle line detection.After calibration，it can monitor the real size of the vehicle and the direction of real movement automatically in world coordinates，so that the vehicle will not only be able to detect more accurately，but also provides the data foundation for the realization of joint monitoring and detection of camera and between the relay.

specific vehicle；identification；calibration camera；3D mode

TP391

A

1674-7720（2015）24-0056-04

趙飛.基于已標(biāo)定攝像機(jī)的車輛識別系統(tǒng)［J］.微型機(jī)與應(yīng)用，2015，34（24）：56-59，62.

2015-08-31）

趙飛（1990-），通信作者，男，碩士，主要研究方向：基于標(biāo)定攝像機(jī)的特定車輛識別。E-mail：1185223790@qq.com。