采用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的汽車群體屬性分析研究*

任軍利, 冉崇善

(1.陜西科技大學(xué) 信息與網(wǎng)絡(luò)管理中心,陜西 西安 710021;2.陜西科技大學(xué) 電氣與信息工程學(xué)院,陜西 西安 710021)

近年來(lái)，隨著我國(guó)機(jī)動(dòng)車保有量的不斷增加，交通擁堵、交通事故的發(fā)生頻率也不斷升高，給交通和道路安全帶來(lái)了巨大的威脅.針對(duì)上述問(wèn)題，提出了基于虛擬線圈和深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)的車流量統(tǒng)計(jì)算法.算法通過(guò)前景分析、連通域分析和基于DCNN[1]的車輛跨線行駛判決大幅度提高了車流量統(tǒng)計(jì)的準(zhǔn)確率.準(zhǔn)確的車流量統(tǒng)計(jì)有助于交通控制智能化，并能夠大大降低交通擁堵發(fā)生的概率.

1 算法總體設(shè)計(jì)

車流量統(tǒng)計(jì)算法流程如圖1所示，該算法包含了基于虛擬線圈的前景分析模塊[2-4]，基于連通域分析和DCNN的車輛跨線行駛判決模塊.針對(duì)傳統(tǒng)車流量統(tǒng)計(jì)算法前景分析精確度低的問(wèn)題，該算法通過(guò)幾何信息自動(dòng)將虛擬線圈劃分成9個(gè)虛擬子線圈.算法在虛擬線圈范圍內(nèi)通過(guò)背景減除，利用9個(gè)虛擬子線圈進(jìn)行車輛前景分析，根據(jù)虛擬線圈中子線圈的投票結(jié)果進(jìn)行車輛有無(wú)的判斷.針對(duì)跨線行駛車輛容易造成重復(fù)統(tǒng)計(jì)的問(wèn)題，采用了基于連通域分析和DCNN的級(jí)聯(lián)分類器對(duì)跨線行駛車輛進(jìn)行識(shí)別.

2 基于虛擬線圈的車輛前景分析

三維場(chǎng)景的透視效應(yīng)會(huì)導(dǎo)致視頻中的車道線互不平行，因此車道在監(jiān)控視頻下通常以梯形的方式存在，會(huì)使矩形線圈不能完整地貼合梯形車道，無(wú)法保證所收集車輛信息的完整性，從而使車流量統(tǒng)計(jì)精度降低，很容易導(dǎo)致漏檢現(xiàn)象發(fā)生.為解決線圈與路面的貼合問(wèn)題，引入梯形虛擬線圈[5]，使線圈可以完整地貼合車道.在前景分析中，算法累加所有虛擬子線圈的投票結(jié)果作為最終得分，通過(guò)閾值進(jìn)行車輛有無(wú)的判斷.

算法在單個(gè)車道中放置一個(gè)虛擬線圈，虛擬線圈的4個(gè)頂點(diǎn)坐標(biāo)根據(jù)不同視頻的車道位置預(yù)設(shè)定.假設(shè)視頻中共有4個(gè)車道，算法以兩個(gè)車道為例，具體如圖2所示.左側(cè)圖中虛擬線圈中沒(méi)有車輛經(jīng)過(guò),右側(cè)圖中虛擬線圈中有車輛經(jīng)過(guò).預(yù)先在配置文件中定義兩個(gè)相鄰線圈的6個(gè)頂點(diǎn)坐標(biāo)，完成虛擬線圈定位.算法將線圈上、下底4個(gè)三等分點(diǎn)劃分為兩組，基于4個(gè)三等分點(diǎn)坐標(biāo)，可以計(jì)算出每組三等分點(diǎn)連線的斜率，再通過(guò)斜率信息和內(nèi)部頂點(diǎn)的高度坐標(biāo)，計(jì)算出內(nèi)部4個(gè)頂點(diǎn)的寬度坐標(biāo)，從而完成虛擬線圈6個(gè)頂點(diǎn)坐標(biāo)的定位，實(shí)現(xiàn)虛擬線圈定位與子線圈劃分.

在虛擬線圈定位和子線圈劃分的基礎(chǔ)上，算法依據(jù)攝像頭的拍攝方向初始化每一個(gè)虛擬子線圈的權(quán)值.采用非中心對(duì)稱權(quán)值將其中一側(cè)子線圈賦予中心列子線圈相同的權(quán)重，當(dāng)車輛跨線行駛時(shí)，可以將其判決為左(或右)側(cè)車道有車輛通過(guò)，可避免漏檢.當(dāng)攝像頭朝向右側(cè)時(shí)，中心列子線圈權(quán)值復(fù)制到右側(cè)列，反之，則為左側(cè)列.具體權(quán)值示意圖如圖3所示，左圖為中心對(duì)稱權(quán)值，中圖為非中心對(duì)稱權(quán)值(右側(cè)朝向)，右圖為非中心對(duì)稱權(quán)值(左側(cè)朝向).

3 車輛跨線行駛判斷

當(dāng)兩個(gè)相鄰的虛擬線圈全被車輛前景占據(jù)時(shí)，可能會(huì)出現(xiàn)兩種情況，具體如圖4所示：一種是兩輛機(jī)動(dòng)車各自在對(duì)應(yīng)的車道上正常行駛，即使算法不進(jìn)行識(shí)別，車輛數(shù)量也可以被準(zhǔn)確統(tǒng)計(jì)；另外一種是一輛機(jī)動(dòng)車跨線行駛(壓車道線行駛)，如果算法不進(jìn)行有效識(shí)別，程序會(huì)判斷一輛車為兩輛車，造成重復(fù)統(tǒng)計(jì).為避免重復(fù)統(tǒng)計(jì)，采用基于連通域分析和DCNN的級(jí)聯(lián)分類器對(duì)跨線行駛車輛進(jìn)行識(shí)別.

3.1 基于連通域分析的車輛跨線行駛判斷

本文基于深度優(yōu)先搜索方法[6]實(shí)現(xiàn)連通域分析，算法具體步驟如下.首先，掃描輸入圖像，直到找到像素點(diǎn)B(x,y)，其中B(x,y)表示坐標(biāo)為(x,y)像素點(diǎn)的像素值：① 設(shè)定像素點(diǎn)(x,y)為根節(jié)點(diǎn)，同時(shí)賦予根節(jié)點(diǎn)一個(gè)標(biāo)簽，然后將像素點(diǎn)8個(gè)鄰域中被判斷為前景的像素點(diǎn)坐標(biāo)入棧；② 將棧頂端像素出棧，賦予像素點(diǎn)與根節(jié)點(diǎn)相同的標(biāo)簽，然后將此像素點(diǎn)的8個(gè)鄰域中被判斷為前景的像素坐標(biāo)入棧；③ 重復(fù)上步直到棧中元素全都出棧，至此算法完成了輸入圖像中的一個(gè)連通域位置定位，連通域中的像素點(diǎn)被賦予相同的標(biāo)簽.然后改變標(biāo)簽，重復(fù)上述操作直到輸入圖像完成.完成對(duì)輸入圖像的掃描后，算法得到輸入圖像中所有連通域的位置和數(shù)量.在實(shí)際應(yīng)用中，算法將小范圍的連通域認(rèn)定為噪聲而進(jìn)行去除，噪聲通常包括行人和自行車等的前景信息.針對(duì)沒(méi)有被濾除的連通域，如果輸入圖像中的連通域個(gè)數(shù)為1，同時(shí)連通域尺寸足夠大，算法則將其判斷為一輛車在跨線行駛.如果連通域信息不滿足上述要求，可能存在以下兩種情況：一輛機(jī)動(dòng)車跨線行駛，由于背景減除不徹底導(dǎo)致車輛前景出現(xiàn)缺失，甚至大范圍空洞；另一種為兩輛機(jī)動(dòng)車在各自車道正常行駛.

3.2 基于DCNN的車輛跨線行駛判斷

在交通監(jiān)控視頻中，由于背景減除算法的準(zhǔn)確性較不穩(wěn)定，通常會(huì)導(dǎo)致車輛前景信息的缺失，連通域分析對(duì)于缺失的前景識(shí)別效果有限，所以在基于連通域分析的車輛跨線行駛判斷后，還需對(duì)模糊區(qū)域使用DCNN分類器作為級(jí)聯(lián)分類器的第二層，進(jìn)行車輛行駛跨線的判斷.本文通過(guò)一組簡(jiǎn)單的DCNN網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)節(jié)點(diǎn)數(shù)量較低，對(duì)訓(xùn)練數(shù)據(jù)的需求量較小，較易實(shí)現(xiàn).算法在保證網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單的同時(shí)，實(shí)現(xiàn)良好的分類識(shí)別性能.DCNN網(wǎng)絡(luò)結(jié)構(gòu)共有6層，每一個(gè)卷積層都與一個(gè)降采樣層相結(jié)合，完成第一輪卷積降采樣后，程序得到12個(gè)特征圖，完成第二輪卷積降采樣后，程序得到24個(gè)特征圖，最后通過(guò)全連接層完成對(duì)象特征的前景提取.算法定義虛擬線圈中跨線行駛車輛圖像作為訓(xùn)練正樣本，兩輛在相鄰車道正常行駛的車輛圖像作為訓(xùn)練負(fù)樣本.所有的訓(xùn)練樣本均來(lái)自于實(shí)際交通監(jiān)控視頻，包括高速公路場(chǎng)景和市內(nèi)公路場(chǎng)景，訓(xùn)練正負(fù)樣本的數(shù)量比例相同.為了增加訓(xùn)練數(shù)據(jù)對(duì)實(shí)際場(chǎng)景攝像頭角度的適應(yīng)性，所有數(shù)據(jù)樣本都經(jīng)過(guò)鏡像化處理.為避免過(guò)擬合現(xiàn)象，程序設(shè)定所有訓(xùn)練樣本被遍歷的次數(shù)均為15次.每一次迭代過(guò)程中，程序選取40個(gè)訓(xùn)練樣本作為一批進(jìn)行參數(shù)更新.為驗(yàn)證模型性能，程序?qū)⒂?xùn)練數(shù)據(jù)隨機(jī)分成5組分別進(jìn)行交叉驗(yàn)證，每一次交叉驗(yàn)證選取5組數(shù)據(jù)作為訓(xùn)練級(jí)，一組數(shù)據(jù)作為測(cè)試集，交叉驗(yàn)證結(jié)果如表1所示.從交叉驗(yàn)證結(jié)果可看出，DCNN的數(shù)學(xué)模型在訓(xùn)練集和測(cè)試集性能相差不大，測(cè)試精度都在90%以上，說(shuō)明模型沒(méi)有產(chǎn)生過(guò)擬合現(xiàn)象，同時(shí)模型對(duì)于跨線行駛和兩輛車相鄰車道正常行駛現(xiàn)象具有良好的識(shí)別精度，可以用于車輛跨線行駛判斷.

表1 CNN跨線行使模型交叉驗(yàn)證Tab.1 CNN cross line exercise model cross validation

4 算法驗(yàn)證實(shí)驗(yàn)

為驗(yàn)證本文所提出車流量統(tǒng)計(jì)算法的正確性，在實(shí)際交通監(jiān)控視頻上進(jìn)行了測(cè)試驗(yàn)證.

4.1 測(cè)試數(shù)據(jù)

測(cè)試集包括3段高速公路監(jiān)控視頻和3段市內(nèi)交通監(jiān)控視頻.在測(cè)試集中，測(cè)試視頻的分辨率普遍較低：在3段高速公路攝像頭中，視頻分辨率只有480×270；在3段市內(nèi)公路視頻中，視頻分辨率為704×576.監(jiān)控?cái)z像頭安裝在路面左側(cè)，面向路面右側(cè)拍攝，監(jiān)控?cái)z像頭相對(duì)路面的偏移角度在15°～45°之間，測(cè)試縮略圖如圖5所示.測(cè)試數(shù)據(jù)集實(shí)際車輛數(shù)量均由人工進(jìn)行計(jì)數(shù)獲取，為便于統(tǒng)計(jì)，在數(shù)據(jù)集準(zhǔn)備中，每段測(cè)試視頻被隨機(jī)截取3～4段作為最終測(cè)試集，每一段截取視頻車流量為120輛左右.

4.2 評(píng)測(cè)方法

造成錯(cuò)誤計(jì)數(shù)的原因有重復(fù)計(jì)數(shù)和漏檢兩種情況.為仔細(xì)考量算法性能，綜合考慮兩種誤檢情況，引入兩個(gè)指標(biāo)對(duì)算法的性能進(jìn)行評(píng)測(cè)：相對(duì)準(zhǔn)確度Pr和絕對(duì)準(zhǔn)確度Pa.相對(duì)準(zhǔn)確度測(cè)試視頻與算法為黑盒，不考慮重復(fù)計(jì)數(shù)和漏檢數(shù)量，只考量程序計(jì)數(shù)與實(shí)際車輛數(shù)量之間的偏差；絕對(duì)準(zhǔn)確度綜合考慮錯(cuò)誤計(jì)數(shù)情況，將重復(fù)計(jì)數(shù)和漏檢均視為誤檢，是一種更嚴(yán)格的評(píng)測(cè)指標(biāo).兩種評(píng)測(cè)指標(biāo)定義為：

Pr=1-|Sp-Sa|/Sa，Pa=1-|Sm+Sr|/Sa，

式中：Sp表示算法統(tǒng)計(jì)的車流量數(shù)，Sa表示實(shí)際場(chǎng)景中由人工統(tǒng)計(jì)的車流量數(shù)，Sm表示漏檢的個(gè)數(shù)，Sr表示重復(fù)計(jì)數(shù)的次數(shù).

4.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果依照數(shù)據(jù)集名稱進(jìn)行統(tǒng)計(jì)，即同一段測(cè)試視頻中截取視頻的綜合統(tǒng)計(jì)，車流量統(tǒng)計(jì)結(jié)果如表2所示.

為驗(yàn)證本文采用的基于連通域分析和DCNN的跨線車輛判決分類器的性能，算法將級(jí)聯(lián)分類器去除，在相同的數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示.

從表2可以看出，算法在實(shí)際路口測(cè)試取得了良好的效果，相對(duì)準(zhǔn)確度全部超過(guò)95%，且平均值為98.05%，絕對(duì)準(zhǔn)確度平均值也達(dá)到了88.5%，接近90%.從對(duì)比實(shí)驗(yàn)結(jié)果表3可以看出，所采用的級(jí)聯(lián)分類器對(duì)跨線行駛車輛具有較強(qiáng)的識(shí)別性能，能夠有效降低重復(fù)計(jì)數(shù)的數(shù)量，同時(shí)保證漏檢數(shù)量與不使用級(jí)聯(lián)分類器基本相同，得以提升車流量計(jì)數(shù)的相對(duì)準(zhǔn)確度和絕對(duì)準(zhǔn)確度.在測(cè)試過(guò)程中同時(shí)測(cè)試了程序的耗時(shí)情況，在視頻分辨率為704×576時(shí)，整幀圖像背景減除耗時(shí)10 ms，級(jí)聯(lián)分類器識(shí)別一次耗時(shí)10 ms.由于算法在虛擬線圈區(qū)域內(nèi)進(jìn)行背景減除[7]，而且級(jí)聯(lián)分類器只有部分視頻幀可以觸發(fā)，因此算法在標(biāo)清、高清數(shù)據(jù)集下都可以實(shí)現(xiàn)實(shí)時(shí)處理，應(yīng)用性較強(qiáng).

表2 車流量統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of vehicle flow statistics

表3 車流量統(tǒng)計(jì)對(duì)比實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of statistical comparison of vehicle flow

4.4 對(duì)錯(cuò)誤統(tǒng)計(jì)的原因分析

本文算法在某些情況下容易產(chǎn)生重復(fù)計(jì)數(shù)和漏檢兩種情況，導(dǎo)致重復(fù)統(tǒng)計(jì)的主要原因如下：(1) 出現(xiàn)虛擬線圈內(nèi)跨線行駛現(xiàn)象.通常是一輛車進(jìn)入左側(cè)虛擬線圈然后斜穿進(jìn)入右側(cè)虛擬線圈，在右側(cè)虛擬線圈判斷車輛進(jìn)入前離開(kāi)左側(cè)虛擬線圈，使兩個(gè)虛擬線圈不能同時(shí)被觸發(fā)，級(jí)聯(lián)分類器也無(wú)法被觸發(fā)，造成重復(fù)統(tǒng)計(jì).當(dāng)攝像頭距路面較遠(yuǎn)或攝像頭角度偏移較大時(shí)，類似現(xiàn)象較容易發(fā)生，例如在高速1和高速2兩個(gè)數(shù)據(jù)集中.(2) 多輛電動(dòng)車、自行車或多個(gè)行人在同一線圈內(nèi)行駛.當(dāng)多輛電動(dòng)車或自行車出現(xiàn)在同一虛擬線圈時(shí)，前景面積之和超過(guò)虛擬線圈閾值，造成虛擬線圈虛警現(xiàn)象的發(fā)生.在市內(nèi)公路場(chǎng)景中，電動(dòng)車、自行車在機(jī)動(dòng)車道行駛的現(xiàn)象比較常見(jiàn)，觸發(fā)此類事件可能性較高.(3) 場(chǎng)景出現(xiàn)大規(guī)模的抖動(dòng)，影響背景減除算法的精度，造成虛擬線圈虛警.這類現(xiàn)象通常由于測(cè)試集分辨率較低，場(chǎng)景噪聲較多，攝像頭出現(xiàn)抖動(dòng)等造成.

導(dǎo)致漏檢的主要原因如下：(1) 車輛出現(xiàn)嚴(yán)重遮擋現(xiàn)象，具體如圖6所示.車輛嚴(yán)重遮擋導(dǎo)致被遮擋車輛前景無(wú)法完整出現(xiàn)在虛擬線圈中，同時(shí)被遮擋車輛前景通常被劃分成遮擋車輛的前景[8]，致使虛擬線圈僅識(shí)別出一輛車的信息，造成漏檢.遮擋現(xiàn)象在所有測(cè)試數(shù)據(jù)集中都有出現(xiàn)，在實(shí)驗(yàn)過(guò)程中，考慮到車輛遮擋因素的影響，道路下方離攝像頭距離較近，車輛信息比較豐富，程序在設(shè)定虛擬線圈位置時(shí)通常將其放置在道路下方，遮擋現(xiàn)象相對(duì)較弱.(2) 虛擬線圈范圍過(guò)大.當(dāng)虛擬線圈范圍較大時(shí)，前景有部分缺失的車輛或者尺寸規(guī)格較小的車輛進(jìn)行跨線行駛時(shí)，車輛前景無(wú)法觸發(fā)相鄰兩個(gè)車道中的任意一個(gè)虛擬線圈，導(dǎo)致車輛從虛擬線圈中穿過(guò)，造成漏檢.在路段3數(shù)據(jù)集中，虛擬線圈過(guò)大是造成漏檢的主要原因.

5 結(jié)論

針對(duì)車流量統(tǒng)計(jì)中跨線行駛車輛容易造成重復(fù)統(tǒng)計(jì)的問(wèn)題，提出了一種以深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)為框架進(jìn)行車流量統(tǒng)計(jì)的算法，算法通過(guò)連通域分析和DCNN的級(jí)聯(lián)分類器對(duì)跨線行駛車輛進(jìn)行識(shí)別，有效提高了車流量統(tǒng)計(jì)的準(zhǔn)確率.最后通過(guò)實(shí)驗(yàn)進(jìn)行了算法驗(yàn)證，算法的相對(duì)準(zhǔn)確度均值達(dá)到了98.05%，絕對(duì)準(zhǔn)確度均值達(dá)到了88.5%，取得了較好的效果.但算法無(wú)法在夜間進(jìn)行車流量統(tǒng)計(jì)，這還需在后續(xù)的工作中繼續(xù)研究.