稀疏超完備車輛識別與統(tǒng)計(jì)

逯 鵬， 婁亞飛， 劉奉哲， 李玉松， 黃石磊， 湯玉合

1.鄭州大學(xué)電氣工程學(xué)院，鄭州450001

2.中電投河南公司技術(shù)信息中心，鄭州450016

自動準(zhǔn)確穩(wěn)健的車輛識別與統(tǒng)計(jì)是智能交通系統(tǒng)(intelligent transportation systems,ITS)領(lǐng)域中的關(guān)鍵技術(shù)[1].目前車輛的識別與統(tǒng)計(jì)[2]是基于計(jì)算機(jī)視覺完成的，典型算法[3-4]包括背景差法、邊緣檢測法、幀差法等.已經(jīng)成熟的系統(tǒng)有美國PEER公司的VideoTrack-910系統(tǒng)和清華紫光的VS3001檢測系統(tǒng)等.然而，由于車輛類別、大小、形狀的多樣性，環(huán)境和背景條件的復(fù)雜性，以及陰影、光照和攝像頭抖動等對檢測設(shè)備的影響等因素，車輛檢測中的準(zhǔn)確性和穩(wěn)定性受到影響.背景差分法對外界環(huán)境條件要求高，且需要背景實(shí)時(shí)更新；邊緣檢測法對色彩較暗或陰影造成的車輛邊緣模糊易引起漏檢；幀差法對車輛換道或檢測車道檢測窗被覆蓋的情況會引起誤檢.隨著媒體數(shù)據(jù)量的增加，基于計(jì)算機(jī)視覺的計(jì)算復(fù)雜性呈指數(shù)增長.

視覺系統(tǒng)僅用極少量的神經(jīng)元就能捕獲外界環(huán)境海量信息中的關(guān)鍵特征[5].稀疏超完備表示機(jī)制[6]是其核心信息處理機(jī)理之一，即用少量非零響應(yīng)稀疏系數(shù)就可以表達(dá)圖像的內(nèi)在結(jié)構(gòu)和本質(zhì)屬性，且其內(nèi)在的稀疏超完備表示模型有很強(qiáng)的抗干擾能力，魯棒性強(qiáng)[7]，這為基于圖像處理的車輛識別提供了新的計(jì)算模型.基于該模型可以將車輛識別問題轉(zhuǎn)化為求解目標(biāo)圖像對整體訓(xùn)練樣本的稀疏表示問題.

以圖像單元作為處理對象，針對超完備所帶來的非線性稀疏分解難題，基于能量模型[8]，以稀疏性最大化為目標(biāo)實(shí)現(xiàn)感受野W的最優(yōu)估計(jì).進(jìn)而模擬視覺同步振蕩機(jī)制，篩選神經(jīng)元最佳響應(yīng)系數(shù)，解決求解圖像超完備基的稀疏分解系數(shù)問題.在此基礎(chǔ)上，計(jì)算目標(biāo)和背景圖像之間的稀疏響應(yīng)系數(shù)殘差ε，依據(jù)自適應(yīng)閾值δ的大小識別車輛，并通過設(shè)置虛擬檢測線實(shí)現(xiàn)車流量的在線統(tǒng)計(jì).多環(huán)境(晴天、陰天、有風(fēng))狀況下的實(shí)驗(yàn)結(jié)果表明，對連續(xù)時(shí)間內(nèi)的車流量檢測準(zhǔn)確率達(dá)到98.89%.

1 稀疏超完備表示與算法

1.1 稀疏超完備表示

基于視覺稀疏表示，圖像可以逼近分解為基函數(shù)集合分解系數(shù)的線性組合

稀疏模型的目標(biāo)是求解最佳基函數(shù)集，使其表示的自然圖像最大可能地接近外界自然圖像的統(tǒng)計(jì)特性[12].然而在超完備集中，由于A不可逆，所以不能再將感受野定義為W=A-1，而且響應(yīng)系數(shù)si的計(jì)算也為非線性算法.因此，必須基于能量模型并通過最大化稀疏性來最優(yōu)估計(jì)感受野W,而且采用非歸一化對數(shù)似然函數(shù)定義能量模型

式中，x是觀測數(shù)據(jù)，即圖像單個(gè)樣本數(shù)據(jù)向量.wi的歸一化常數(shù)為

式中，Gi為si的對數(shù)概率密度，其計(jì)算公式為

采用得分匹配[13-14]直接估計(jì)線性感受野wk，簡化超完備條件Z(W)的計(jì)算，定義數(shù)據(jù)向量的對數(shù)密度函數(shù)

式中，wk=(wk1,···,wkn)約束為單位形式.m為感受野數(shù)量，n為數(shù)據(jù)維數(shù)，根據(jù)數(shù)據(jù)向量的對數(shù)密度函數(shù)梯度可將得分函數(shù)定義為

式中，g=G′.以數(shù)據(jù)得分函數(shù)和模型得分函數(shù)的平方距離作為最佳目標(biāo)函數(shù)

式中，T為樣本數(shù)，于是可將樣本表示為X(1),X(2),···,X(T).

以梯度下降學(xué)習(xí)算法極小化式(6)

式中，學(xué)習(xí)速率η(t)是負(fù)梯度方向步長，由此得到感受野的超完備集表示.

1.2 最佳稀疏響應(yīng)系數(shù)

基于稀疏表示，圖像I=W S，可見同一超完備集W下稀疏系數(shù)矩陣S與圖像等價(jià)，從而將不同圖像特征的識別轉(zhuǎn)變?yōu)槿绾潍@得不同目標(biāo)特征的稀疏矩陣.從神經(jīng)生理角度來看，視覺系統(tǒng)通過神經(jīng)元之間同步振蕩等特征選擇機(jī)制，稀疏地響應(yīng)自然場景中的關(guān)鍵信息.模擬該機(jī)制，采用脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse-coupled neural networks,PCNN)模型[15]篩選稀疏響應(yīng)系數(shù)，獲得了不同圖像的響應(yīng)矩陣S.

稀疏系數(shù)接受來自其他系數(shù)的輸出Y1,Y2,···,Yk和外部激勵信號Sj，經(jīng)過積分及加權(quán)來獲得饋送輸入信號Fj和神經(jīng)元連接輸入信號Lj

式(9)中，Mkj表示神經(jīng)元之間的饋送權(quán)系數(shù)；式(10)中，Wkj為神經(jīng)元之間的連接系數(shù).將Fj和Lj相乘獲得內(nèi)部活動項(xiàng)

式中，β為連接強(qiáng)度系數(shù).設(shè)動態(tài)閾值

式中，αθ為θj的衰減時(shí)間常數(shù). 將內(nèi)部活動項(xiàng)Uj與θj匹配，如果Uj＞ θj，輸出時(shí)序脈沖序列Yj(n)，并將響應(yīng)系數(shù)置1，該系數(shù)響應(yīng)強(qiáng)烈；反之置0，系數(shù)不響應(yīng)，即

1.3 識別算法

識別算法流程大致如下：對背景和目標(biāo)圖像順序采樣，得到圖像單元序列；分別提取目標(biāo)圖像單元與背景圖像單元的稀疏響應(yīng)系數(shù)，計(jì)算目標(biāo)與背景圖像單元的稀疏響應(yīng)系數(shù)殘差，將大于閾值的單元判定為車輛的一部分.

算法1識別算法

①輸入背景和目標(biāo)圖像順序采樣矩陣Xi；

②對Xi白化，降維并去除局部均值；

③計(jì)算背景和目標(biāo)圖像的最佳響應(yīng)系數(shù)S1、S2；

④計(jì)算殘差ε=|S2i-S1i|,設(shè)置自適應(yīng)閾值

⑤若ε＜δ，則為背景單元，并賦值0；

⑥若ε≥δ，則為目標(biāo)圖像中的車輛單元并賦值1；

⑦根據(jù)坐標(biāo)系標(biāo)識車輛單元；⑧輸出識別結(jié)果，算法結(jié)束.

2 在線車輛識別和統(tǒng)計(jì)

車輛識別和統(tǒng)計(jì)算法(vehicle identif ication and counting algorithm,VICA)的基本流程如圖1所示.

2.1 感受野超完備集

以像素大小為16×16的滑動空間子窗口采樣10幅交通圖像，得到50000個(gè)圖像單元，并將其轉(zhuǎn)為列向量X，其維數(shù)為256×50000；然后對X進(jìn)行白化，去除局部均值，降維得到28×50000的數(shù)據(jù)集合.基于能量模型和得分匹配進(jìn)行訓(xùn)練，得到的512維感受野超完備集W如圖2所示.

圖1 車輛識別和統(tǒng)計(jì)算法的基本流程Figure 1 Basic idea of VICA

圖2 感受野超完備集Figure 2 Receptive field super perfect set

在感受野超完備集的基礎(chǔ)上篩選圖像單元的最佳響應(yīng)系數(shù)，得到單個(gè)圖像單元的響應(yīng)如圖3所示.

2.2 車輛識別

采用窗口為16×16對背景圖像進(jìn)行順序采樣，依次按從左到右、從上到下的順序采樣得到1024圖像單元序列.計(jì)算背景圖像的稀疏響應(yīng)系數(shù)，以PCNN篩選最佳響應(yīng)系數(shù)作為圖像本質(zhì)特征，建立背景圖像的特征庫，如圖4所示.選取某市公路上的視頻圖像并進(jìn)行灰度處理，基于算法1得到的識別結(jié)果見圖5中的顏色加深部分.

圖3 最佳響應(yīng)系數(shù)篩選Figure 3 Best response coefficient f ilter

圖4 背景圖像特征庫Figure 4 Characteristics library of the background image

2.3 抗干擾

在車輛的識別中，外界環(huán)境的干擾(如風(fēng)、光線的變化，攝像頭和陰影的抖動)會對車輛的識別結(jié)果帶來兩種誤差：一是將背景單元誤判為車輛單元，如圖5(b)誤差1所示；二是將車輛單元誤判為背景單元，如圖5(b)誤差2所示.

經(jīng)分析可知這兩種誤差是獨(dú)立的.為提高算法魯棒性，用算法2對算法1中外界干所擾引起的誤差進(jìn)行優(yōu)化，得到的優(yōu)化結(jié)果見圖5(c).

圖5 車輛識別與優(yōu)化結(jié)果Figure 5 Vehicle identif ication and optimization results

圖6 虛擬檢測線Figure 6 Virtual test line

算法2優(yōu)化算法

①輸入算法1識別結(jié)果；

②對于誤差1，若其上下左右有2個(gè)以上為0的單元，則判定該單元為背景單元，并將其值置0；

③對于誤差2，若其上下左右有2個(gè)以上為1的單元，則判定該單元為車輛單元，并將其值置1；

④輸出優(yōu)化結(jié)果，算法結(jié)束.

2.4 車輛統(tǒng)計(jì)

統(tǒng)計(jì)算法基本流程，在識別算法的基礎(chǔ)上設(shè)置虛擬檢測線.如圖6所示，對道路車輛進(jìn)行在線統(tǒng)計(jì)，并解決車輛并道和跨道行駛的檢測準(zhǔn)確率問題.

檢測線垂直道路的長為道路寬度，寬為采樣單元的寬度(16個(gè)像素).當(dāng)運(yùn)動車輛通過檢測線時(shí)，檢測線單元由背景變?yōu)檐囕v單元，線上連續(xù)的0值會變?yōu)?值，判定有車輛通過檢測線，并把連續(xù)1值單元的寬度設(shè)置為動態(tài)車道，如圖7所示，在線統(tǒng)計(jì)如算法3所示.

圖7 檢測線車輛統(tǒng)計(jì)Figur e 7 Vehicle counting in line

算法3車輛統(tǒng)計(jì)算法

①輸入幀序列；

②設(shè)置虛擬檢測線，記錄檢測線對應(yīng)的單元在背景序列的位置.

③掃描檢測線，當(dāng)檢測線有連續(xù)1值出現(xiàn)時(shí)，判定車輛通過，信號狀態(tài)由“關(guān)”到“開”，允許計(jì)數(shù)器計(jì)數(shù)；

④檢測線值由1變?yōu)?時(shí)，判定駛出，信號狀態(tài)由“開”到“關(guān)”，計(jì)數(shù)器加1，算法結(jié)束.

⑤輸出統(tǒng)計(jì)結(jié)果

3 實(shí)驗(yàn)數(shù)據(jù)分析

3.1 車輛識別

算法在MATLAB 2010b環(huán)境下運(yùn)行，操作系統(tǒng)：Windows 7，CPU：Intel Core i5 670@3.47 GHz，內(nèi)存：DDR3 1 600 MHz@4G.

對某市公路分別在晴天、陰天、有風(fēng)的環(huán)境下拍攝3min視頻，得到1800幀交通圖像，以此測試算法的魯棒性和統(tǒng)計(jì)正確率，得到的實(shí)測數(shù)據(jù)統(tǒng)計(jì)結(jié)果如表1所示.在晴、陰、有風(fēng)情況下準(zhǔn)確率分別為98.89%、97.65%、96.21%.測試結(jié)果表明，當(dāng)存在光線變化、風(fēng)引起的擾動等干擾因素時(shí)，VICA算法對干擾的敏感性比較弱，適應(yīng)能力強(qiáng)，能準(zhǔn)確地統(tǒng)計(jì)車輛，魯棒性強(qiáng).

表1 實(shí)驗(yàn)結(jié)果Table 1 Experimental results

3.2 對比實(shí)驗(yàn)

在有風(fēng)條件下，背景差、邊緣檢測和VICA算法對比如圖8所示.以800幀圖像實(shí)際通過120個(gè)車輛為例，背景差分、邊緣檢測和VICA算法統(tǒng)計(jì)準(zhǔn)確率分別為91.67%、90.00%、97.50%.VICA算法基于超完備集提取稀疏系數(shù)作為車輛特征，受外部環(huán)境影響較小.

圖8 實(shí)驗(yàn)對比結(jié)果Figure 8 Experimental comparison results

背景差分標(biāo)識出了車輛以及綠化帶和隔離線的輪廓，但由于光線變化、樹葉或攝像機(jī)抖動造成的干擾等因素，當(dāng)前幀圖像的背景與背景圖像有偏差，特別是動態(tài)場景.邊緣檢測方法識別出了車輛的邊緣，但對綠化帶和隔離帶的邊緣識別也比較明顯，標(biāo)識出了圖像中所有不同的邊緣，對識別率造成影響.

4 結(jié)語

采用稀疏超完備模型表示車輛的待識別圖像，通過對目標(biāo)圖像單元稀疏響應(yīng)系數(shù)殘差與自適應(yīng)動態(tài)閾值的對比準(zhǔn)確識別車輛；基于虛擬檢測線，設(shè)置動態(tài)車道實(shí)現(xiàn)車輛在線統(tǒng)計(jì).實(shí)驗(yàn)結(jié)果表明，該方法能克服外部環(huán)境的干擾準(zhǔn)確實(shí)現(xiàn)車輛的識別和統(tǒng)計(jì).后續(xù)工作是將視覺方法應(yīng)用到車速檢測等方面.

[1]DIMITRAKOPOULOS G,DEMESTICHAS P.Intelligent transportation systems[J].Vehicular Technology Magazine,Institute of Electrical and Electronics Engineers,2010,5(1):77-84.

[2]HEALEY C G.Attention and visual memory in visualization and computer graphics[J].IEEE Transactions on Visualization and Computer Graphics,2012,18(7):1170-1188.

[3]SUN Z,BEBISG,MILLER R.On-road vehicle detection:a review[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(5):694-711.

[4]張暉，董育寧.基于視頻的車輛檢測算法綜述[J].南京郵電學(xué)報(bào)，2006,27(3):88-94.

ZHANG Hui,DONG Yuning.Video-based vehicle detection algorithmsreview[J].Journal of Nanjing University of Posts,2006,27(3):88-94.(in chinese)

[5]GUO Shenyu.Image modeling and enhancement via structured sparse model selection[C]//IEEE 17th International Conference,2010,1641-1644.

[6]路錦正，張啟衡，徐智勇，彭真明.超完備稀疏表示的圖像超分辨率重構(gòu)方法[J].系統(tǒng)工程與電子技術(shù)，2012,34(2):403-408.

LU Jinzheng,ZHANG Qiheng,XU Zhiyong,PENG Zhenming.Image super-resolution reconstruction algorithm using over-complete sparse representation[J].Systems Engineering and Electronics,2012,34(2):403-408.(in chinese)

[7]MEI Xue,LING Haibin.Robust visual tracking and vehicle classif ication via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2259-2272.

[8]LU Peng,TANG Yuhe,CHEN Eryan,SHI Huige,ZHANG Shanshan.Unstructured scene object localization algorithm based on sparse overcomplete representation[M]//Intelligent Computing Technology.Berlin Heidelberg:Springer 2012:618-625.

[9]YANG Shuyuan,WANG min,WEI Meirong,JIAO Licheng.Evolution-enhanced multiscale overcomplete dictionaries learning for image denoising[J].Engineering Applications of Artif icial Intelligence,2012,25(6):1259-1264.

[10]WEI C,ODRIGUESM R D R,WASSELL I J.On the design of optimized projections for sensing sparse signals in overcomplete dictionaries[C]//Acoustics,Speech and Signal Processing(ICASSP),2012 IEEE International Conference on.IEEE,2012:3457-3460.

[11]ZHANGST,ZHAN Y Q,ZHOU Yan,METAXASD N.Efficient sparse shape composition with its applications in biomedical image analysis:an overview[C]//Biomedical Imaging(ISBI),2012 9th IEEE International Symposium on IEEE,2012:976-979.

[12]DONOHO D L,TSAIG Y,DRORI I,STARCK J L.Sparse solution of underdetermined systems of linear equations by stagewise orthogonal matching pursuit[J].IEEE Transactions on Information Theory,2012,58(2):1094-1121.

[13]WONGY K,HARANDIM T,SANDERSON C,LOVELL B C.On robust biometric identity verif ication via sparse encoding of faces:holistic vs local approaches[C]//Neural Networks(IJCNN),The 2012 International Joint Conference on IEEE,2012:1-8.

[14]YAO B P,BRADSKI G,LI F F.A codebook-free and annotation-free approach for f ine-grained image categorization[C]//Computer Vision and Pattern Recognition(CVPR),2012 IEEE Conference on Institute of Electrical and Electronics Engineers,2012:3466-3473.

[15]WANG Zhaobin,MA Yide,CHENG Feiyan,YANG Lizhen.Review of pulse-coupled neural networks[J].Image and Vision Computing,2010,28(1):5-13.