基于Haar?like特征和時(shí)空信息的交通狀態(tài)區(qū)域檢測(cè)

薛飛楊 巨永鋒 宋永超 杜凱 劉維宇

摘 ?要： 針對(duì)現(xiàn)有交通狀態(tài)檢測(cè)算法無法適應(yīng)城市道路復(fù)雜交通的問題，提出一種新的基于Haar?like和時(shí)空信息的交通狀態(tài)區(qū)域提取算法。該算法首先采用基于Haar?like特征的車輛檢測(cè)算法、邊緣檢測(cè)法和幀差法分別提取路面車輛、空域紋理和時(shí)域紋理的三種信號(hào);然后將提取到的三種信號(hào)進(jìn)行統(tǒng)計(jì)分析，獲得準(zhǔn)確的交通狀態(tài)區(qū)域。將該算法與基于車輛檢測(cè)的交通狀態(tài)檢測(cè)算法和基于幀差法的交通狀態(tài)檢測(cè)算法在遠(yuǎn)距離小目標(biāo)、遮擋車輛和混合交通的復(fù)雜交通場(chǎng)景中進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該算法在這些復(fù)雜交通場(chǎng)景中準(zhǔn)確率平均達(dá)90.98%。

關(guān)鍵詞： 交通狀態(tài)檢測(cè); 擁堵檢測(cè); 車輛檢測(cè)算法; 空域紋理; 時(shí)域紋理; 信號(hào)分析

中圖分類號(hào)： TN911.72?34; TP391.41; U491.265 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? 文章編號(hào)： 1004?373X（2020）01?0080?06

Regional traffic state detection based on Haar?like features and

spatial?temporal information

XUE Feiyang， JU Yongfeng， SONG Yongchao， DU Kai， LIU Weiyu

Abstract： In view of the fact that the existing traffic state detection algorithm fails to cope with the complex traffic on urban roads， a new regional traffic state extraction algorithm based on Haar?like features and spatial?temporal information is proposed. Firstly， the vehicle detection algorithm based on Haar?like features， the edge detection method and the frame difference method are used to extract three kinds of signals of vehicles on the pavement， spatial texture and temporal texture respectively. Secondly， the three extracted signals are statistically analyzed to obtain the accurate traffic status area. The algorithm is compared with the traffic state detection algorithm based on vehicle detection and the traffic state detection algorithm on frame difference method in the complex traffic scenes with remote small targets， invisible vehicles and mixed traffic. The experimental results show that the algorithm has an accuracy rate of 90.98% in these complex traffic scenes.

Keywords： traffic state detection; congestion detection; vehicle detection algorithm; spatial texture; temporal texture; signal analysis

0 ?引 ?言

交通狀態(tài)檢測(cè)一般采用道路擁擠等級(jí)[1?2]作為道路交通狀態(tài)的區(qū)分標(biāo)準(zhǔn)。但一方面，城市道路的交通狀態(tài)兼具復(fù)雜性和多變性，因此需要對(duì)城市道路交通進(jìn)行局部細(xì)分的區(qū)域性檢測(cè);另一方面，非機(jī)動(dòng)車等交通對(duì)象的借道穿行造成混合交通[3]現(xiàn)象干擾交通狀態(tài)檢測(cè)。目前，國(guó)內(nèi)外對(duì)于擁堵的檢測(cè)有光流法[4?5]、幀法[6?7]、背景差分法[8?9]等，但這些方法無法對(duì)交通對(duì)象進(jìn)行細(xì)分。文獻(xiàn)[10]采用基于Haar?like特征的車輛檢測(cè)技術(shù)進(jìn)行擁堵檢測(cè)，其缺點(diǎn)在于無法檢測(cè)遮擋車輛和遠(yuǎn)距離小目標(biāo)車輛。

為了克服以上問題，本文將交通狀態(tài)區(qū)域細(xì)分為“機(jī)動(dòng)車擁堵區(qū)域”“機(jī)動(dòng)車正常行駛區(qū)域”“非機(jī)動(dòng)車區(qū)域”“道路無車區(qū)域”，基于Haar?like與時(shí)空信息提取信號(hào)分析，得出準(zhǔn)確的交通狀態(tài)區(qū)域。經(jīng)對(duì)比實(shí)驗(yàn)，本文算法在城市復(fù)雜交通場(chǎng)景下有著更好的表現(xiàn)。

1 ?算法總體思路及分車道標(biāo)定

1.1 ?算法總體思路

本文的算法流程圖如圖1所示。首先對(duì)各車道線及分車道進(jìn)行標(biāo)定。然后采用基于Haar?like特征的車輛檢測(cè)、邊緣檢測(cè)法和幀差法分別獲得檢測(cè)車輛、空域紋理曲線和時(shí)域紋理曲線。再使用適應(yīng)性窗口的均值閾值和方差閾值提取車輛信號(hào)、時(shí)域紋理信號(hào)、空域紋理信號(hào)。最后，通過統(tǒng)計(jì)分析信號(hào)，提取出各交通狀態(tài)區(qū)域在圖像中的位置，獲得精準(zhǔn)細(xì)化的道路交通狀態(tài)。

1.2 ?分車道標(biāo)定

為了精準(zhǔn)地提取分車道環(huán)境下的交通狀態(tài)區(qū)域，實(shí)驗(yàn)采用兩端法對(duì)指定車道線進(jìn)行人工標(biāo)定，并劃分各車道區(qū)域以及相應(yīng)的終止線，如圖2b）所示。[{Xi1，Xi2}]為各車道線的端點(diǎn)，[i=1，2，…，M]。相鄰車道線間的區(qū)域?yàn)榉周嚨绤^(qū)域，標(biāo)記為第[1，2，…，i，…，M-1]區(qū)域。

2 ?基于Haar?like特征的車輛檢測(cè)及車輛信號(hào)提取

2.1 ?基于Haar?like特征的車輛檢測(cè)

本文應(yīng)用基于Haar?like特征的AdaBoost級(jí)聯(lián)分類器[11]對(duì)道路內(nèi)的車輛進(jìn)行檢測(cè)。收集車輛正面和背面圖片樣本進(jìn)行訓(xùn)練，再將訓(xùn)練獲得的AdaBoost級(jí)聯(lián)分類器在圖像中掃描識(shí)別，可以獲得多個(gè)車輛識(shí)別框[P]。每一個(gè)識(shí)別框的位置、大小可用以下公式描述：

[P=（x，y，w，h）] （1）

式中：[（x，y）]代表識(shí)別框左上角點(diǎn)坐標(biāo);[（w，h）]代表識(shí)別框的大小。

當(dāng)前視頻幀的所有候選框可表示為集合[Φ{P1，][P2，…，Pj，…，Pn}]，如圖3所示。

2.2 ?車輛信號(hào)提取

首先要將識(shí)別車輛[P]歸類到所屬的分車道上，識(shí)別框[P]的底邊中點(diǎn)是車輛離路面最近的穩(wěn)定點(diǎn)，記為[Xs]，則有：

[Xs=（x+w2，y+h）] （2）

為判斷[Xs]處于哪一車道內(nèi)，可將[Xs]與第[i]條車道線的兩端點(diǎn)[{Xi1，Xi2}]分別做如下運(yùn)算：

[Deti=xsys1xi1yi11xi2yi21] （3）

當(dāng)[Xs]在第[i]條車道線右側(cè)時(shí)，[Deti>0];當(dāng)[Xs]在左側(cè)時(shí)，[Deti<0]。設(shè)車輛所屬的區(qū)域?yàn)閇i]，則有[Deti>0]，且[Deti+1<0]，如圖4所示。

此時(shí)即可將車輛識(shí)別框[Pj]分類在各自的分車道[i]內(nèi)。假設(shè)第[i]分車道從上到下的編號(hào)為[k1，k2，…，kni]，則第[i]分車道的車輛信號(hào)可以由如下公式計(jì)算：

[sig_vehi（ys）=1，yj

式中：[j=k1，k2，…，kni];[ys]為水平掃描線縱坐標(biāo);[sig_vehi（ys）]為垂直方向上對(duì)應(yīng)整個(gè)圖像的車輛信號(hào)。如果[ys]處于第[i]分車道的任意識(shí)別框[Pj]內(nèi)，即將車輛信號(hào)[sig_vehi（ys）]置1。對(duì)每一個(gè)分車道分別求車輛信號(hào)[sig_vehi（ys）]，可得結(jié)果如圖5所示。

3 ?空域和時(shí)域紋理檢測(cè)與其信號(hào)提取

3.1 ?空域紋理檢測(cè)及信號(hào)提取

本文采用邊緣檢測(cè)法提取圖像的邊緣紋理來獲取其空域上的紋理。設(shè)[E（x，y）]為去除了道路以外區(qū)域的二值邊緣灰度圖，如圖6a）所示。

觀察二值化邊緣圖[E（x，y）]得到，道路路面除噪聲或陰影外基本無紋理，而道路上的物體如車輛的紋理相對(duì)密集且變化較為明顯。本文在各分車道上，沿道路消失方向水平掃描，并統(tǒng)計(jì)相應(yīng)的像素個(gè)數(shù)得到空域紋理曲線。以第[i]條分車道為例，首先第[i]條分車道的點(diǎn)集[Ti]公式如下：

[Ti={（x，y）Deti>0?Deti+1<0}] （5）

再計(jì)算空域紋理曲線，公式如下：

[tex_spai（ys）=（x，y）∈TiE（x，ys）l（ys）] （6）

式中：[E（x，y）]為[Ti]內(nèi)水平線[ys]上的像素點(diǎn)[E（x，y）=1]的個(gè)數(shù);[tex_spai（ys）]即為第[i]條分道的空域紋理曲線，得到的結(jié)果如圖6b）所示。由于道路物體在圖像中呈現(xiàn)出近大遠(yuǎn)小的特點(diǎn)，紋理強(qiáng)度隨道路深度等比例縮放。為了消除它對(duì)實(shí)驗(yàn)的影響，將[E（x，y）]除以對(duì)應(yīng)的道路寬度[l（y）]。

再在窗口[w]內(nèi)計(jì)算空域紋理曲線的均值[m（ys）]和方差[v（ys）]，公式如下：

[m（ys）=ys-w2ys+w2tex_spa（ys）w] （7）

[v（ys）=ys-w2ys+w2[tex_spa（ys）-m（ys）]2w] （8）

同樣由于物體在圖像中近大遠(yuǎn)小的原因，窗口的大小[w]也需要隨著掃描線[ys]的滑動(dòng)改變，設(shè)定[w]正比于圖像中的道路寬度[l（y）]。

得到均值[m（ys）]和方差[v（ys）]后，設(shè)定閾值[M]和[V]提取空域紋理信號(hào)[sig_spa（ys）]，計(jì)算公式如下：

[sig_spa（ys）=1，m（ys）>M?v（ys）>V0，other] （9）

最終得到的所有分車道的空域紋理信號(hào)[sig_spa（ys）]，如圖7所示。

3.2 ?時(shí)域紋理信號(hào)提取

為了分析視頻幀上的運(yùn)動(dòng)性物體，本文對(duì)視頻采用幀差法獲得其在時(shí)間上的紋理變化，設(shè)道路內(nèi)的幀差圖為[D（x，y）]。以同樣的原理提取幀差圖[D（x，y）]在各分車道上的時(shí)域紋理曲線，公式如下：

[tex_tempi（ys）=（x，y）∈TiD（x，ys）l（ys）] ? （10）

式中：[tex_tempi（ys）]為第[i]條分車道區(qū)域的時(shí)域紋理曲線，結(jié)果如圖8b）所示。

最后，以同樣的方法計(jì)算均值[m（ys）]和方差[v（ys）]后，提取時(shí)域紋理信號(hào)[sig_temp（ys）]，公式如下：

[sig_temp（ys）=1，m（ys）>M?v（ys）>V0，other] （11）

所有分車道的時(shí)域紋理信號(hào)如圖9所示。

4 ?交通狀態(tài)區(qū)域提取

城市道路上會(huì)產(chǎn)生各類交通狀態(tài)區(qū)域，這些區(qū)域存在于不同的分車道，且有著不同的位置和大小。本文通過統(tǒng)計(jì)分析車輛信號(hào)、空域和時(shí)域紋理信號(hào)，提取準(zhǔn)確的交通狀態(tài)區(qū)域。

車輛信號(hào)不能識(shí)別遠(yuǎn)處的車輛類型，不過由于在圖像遠(yuǎn)處，使用空域紋理信號(hào)和時(shí)域紋理信號(hào)足以進(jìn)行提取，在近處才使用所有的信號(hào)來提取交通狀態(tài)區(qū)域。本文根據(jù)車輛檢測(cè)方法能提取到的最遠(yuǎn)距離對(duì)各分車道區(qū)域的“遠(yuǎn)處[Far]”和“近處[Near]”進(jìn)行定義。如在第[i]分車道上，車輛檢測(cè)算法得到的最遠(yuǎn)的識(shí)別框?yàn)閇Pk1]。因此定義此分車道的“遠(yuǎn)處[Far]”為[Pk1]上邊沿與終止線[yend]之間的區(qū)域，即：

[Far={（x，y）∈Tiyend

此分車道的剩余區(qū)域則為“近處[Near]”。然后，將車輛信號(hào)、空域紋理信號(hào)和時(shí)域信號(hào)分別進(jìn)行比對(duì)與統(tǒng)計(jì)分析，即可獲得各類交通狀態(tài)區(qū)域，具體步驟如下：

1） 通過式（12）獲取分車道的“遠(yuǎn)處[Far]”和“近處[Near]”;

2） 針對(duì)“遠(yuǎn)處[Far]”和“近處[Near]”分別采用不同的信號(hào)分析統(tǒng)計(jì)交通狀態(tài)區(qū)域，信號(hào)分析區(qū)域提取方法分別如表1和表2所示。

3） 對(duì)各區(qū)域邊界進(jìn)行修正：各區(qū)域間的交界修正為車輛信號(hào)[sig_veh（ys）]的上升下降沿。其他邊界修正為空域紋理信號(hào)[sig_spa（ys）]與車輛信號(hào)[sig_veh（ys）]中最遠(yuǎn)的上升下降沿。

交通狀態(tài)區(qū)域提取的結(jié)果如圖10所示。

圖10中，每條分車道各自的淺藍(lán)線為車輛檢測(cè)算法的最遠(yuǎn)距離的線，淺藍(lán)線（虛線）以上的區(qū)域?yàn)椤斑h(yuǎn)處Far”，以下的區(qū)域?yàn)椤敖嶯ear”。以第2分車道為例，如圖10a）所示。從上到下，2A區(qū)域?yàn)椤皳矶聟^(qū)域”，2B，2C區(qū)域?yàn)椤罢Ｐ旭倕^(qū)域”。分析得知此圖像的場(chǎng)景路況：第1分車道完全空白;第2，3車道后方擁堵、前方車輛剛剛起步運(yùn)行?？偟膩碚f，此道路為特定分車道陷入局部擁堵，又在分車道內(nèi)部處于擁堵即將結(jié)束的道路交通狀態(tài)。

5 ?實(shí)驗(yàn)結(jié)果

為了保證實(shí)驗(yàn)的真實(shí)性，本文采用的視頻采集自西安雁塔區(qū)長(zhǎng)安中路，視頻中包含以下復(fù)雜場(chǎng)景：遠(yuǎn)距離小目標(biāo)、車輛遮擋、混合交通。

將本文算法和算法1（基于文獻(xiàn)[6]）、算法2（基于文獻(xiàn)[10]）在各復(fù)雜場(chǎng)景中進(jìn)行比對(duì)實(shí)驗(yàn)。

1） 遠(yuǎn)距離小目標(biāo)場(chǎng)景

在圖11（遠(yuǎn)距離小目標(biāo)場(chǎng)景）中。算法1基于車輛檢測(cè)，提取的C，D區(qū)域并不包括遠(yuǎn)方小目標(biāo)車輛，其D區(qū)域下方邊沿不準(zhǔn)確;本文算法則清晰完整的提取了所有的區(qū)域，其B邊界也得到了修正。

2） 車輛遮擋場(chǎng)景

在圖12（車輛遮擋場(chǎng)景）中。算法1提取的D，E區(qū)域不包括后方遮擋車輛;而本文算法提取的區(qū)域更為準(zhǔn)確。

3） 混合交通

在圖13（混合交通場(chǎng)景）中。由于算法2沒有加入車輛信號(hào)，D，E兩區(qū)域錯(cuò)誤地進(jìn)行了正常行駛區(qū)域的提取。同時(shí)E區(qū)域下邊界有誤;而本文算法由于結(jié)合車輛信號(hào)，其B，C兩區(qū)域正確提取了非車物體區(qū)域，同時(shí)也修正了C區(qū)域下邊界的位置。

為了量化各算法的準(zhǔn)確率，令準(zhǔn)確率[P]公式如下：

[P=（R?G）G] （13）

式中：[G]為真實(shí)場(chǎng)景下的交通狀態(tài)區(qū)域;[R]為算法得出的交通狀態(tài)區(qū)域;準(zhǔn)確率[P]為算法和真實(shí)場(chǎng)景的重疊區(qū)域與真實(shí)場(chǎng)景區(qū)域的面積比。

本文針對(duì)遠(yuǎn)距離小目標(biāo)、車輛遮擋和混合交通的復(fù)雜場(chǎng)景，分別各抽取100幀視頻進(jìn)行人工標(biāo)定，得到真實(shí)的交通擁堵區(qū)域。再根據(jù)式（13）對(duì)比各算法對(duì)于交通擁堵區(qū)域的準(zhǔn)確率，如表3所示。

觀察表3可知，算法1在遠(yuǎn)距離小目標(biāo)場(chǎng)景中有極大缺陷，在其他復(fù)雜場(chǎng)景中，由于沒有進(jìn)行邊界修正，其準(zhǔn)確率也不是非常高;算法2在其他場(chǎng)景表現(xiàn)較為良好，但在混合交通場(chǎng)景中無法準(zhǔn)確識(shí)別;本文算法則在這三種復(fù)雜場(chǎng)景中都有著較高的準(zhǔn)確率。

6 ?結(jié) ?論

本文在城市復(fù)雜道路場(chǎng)景下，提出一種基于Haar?like和時(shí)空信息的交通狀態(tài)區(qū)域提取算法，該算法可以分車道地提取各交通狀態(tài)區(qū)域，得到細(xì)化精準(zhǔn)的各交通狀態(tài)情況。將該算法與基于幀差法的交通狀態(tài)檢測(cè)和基于車輛檢測(cè)的交通狀態(tài)檢測(cè)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明該算法在復(fù)雜交通情形下仍然有著較高的準(zhǔn)確率。

注：本文通訊作者為巨永鋒。

參考文獻(xiàn)

[1] 美國(guó)交通研究委員會(huì).道路通行能力手冊(cè)[M].北京：人民交通出版社，2007：116?189.

[2] 北京交通委員會(huì).國(guó)外交通擁堵定義指標(biāo)簡(jiǎn)介[EB/OL]. [2012?12?28]. http：//www.bjjtw.gov.cn/gzdt/yjzl/201212/t20121228_70291.htm.

[3] WONG G C K， WONG S. A multi?class traffic flow model—an extension of LWR model with heterogeneous drivers [J]. Transportation research part A： policy & practice， 2002， 36（9）： 827?841.

[4] 計(jì)文平，郭寶龍，丁貴廣.基于虛擬線圈的光流法車流量檢測(cè)[J].計(jì)算機(jī)仿真，2004（1）：109?110.

[5] TAN H， ZHAI Y， LIU Y， et al. Fast anomaly detection in traffic surveillance video based on robust sparse optical flow [C]// IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP 2016）. [S.l.]： IEEE， 2016： 1976?1980.

[6] 郝毫剛，陳家琪.基于五幀差分和背景差分的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)工程，2012，38（4）：146?148.

[7] SENGAR S S， Mukhopadhyay S. A novel method for moving object detection based on block based frame differencing [C]// 3rd International Conference on Recent Advances in Information Technology. [S.l.]： IEEE， 2016： 467?472.

[8] 郭怡文，袁飛虎.基于背景差分的多車道車流量檢測(cè)系統(tǒng)[J].電光與控制，2010，17（9）：90?93.

[9] JOUDAKI S， SUNAR M S B， Kolivand H， et al. Background subtraction methods in video streams： a review [C]// 2015 4th International Conference on Interactive Digital Media. [S.l.]： IEEE， 2016： 53?60.

[10] LAM C T， GAO H， NG B. A real?time traffic congestion detection system using on?line images [C]// 2017 IEEE 17th International Conference on Communication Technology. [S.l.]： IEEE， 2017： 1548?1552.

[11] VIOLA P， JONES M J. Robust real?time face detection [J]. International journal of computer vision， 2004， 57（2）： 137?154.

作者簡(jiǎn)介：薛飛楊（1994—），男，陜西韓城人，碩士，研究方向?yàn)榻煌z測(cè)技術(shù)。

巨永鋒（1962—），男，陜西周至人，教授，博士生導(dǎo)師，主要研究方向?yàn)榻煌刂婆c管理、智能測(cè)控技術(shù)及應(yīng)用。

宋永超（1990—），男，山東威海人，博士，研究方向?yàn)榻煌ǘ鄬?duì)象檢測(cè)。