基于Sobel算子和CNN的車輛軌跡識(shí)別系統(tǒng)

趙 勝，趙學(xué)健，張欣慧，孫知信，陳 勇

(1.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003;2.南京郵電大學(xué) 寬帶無線通信與傳感網(wǎng)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003;3.南京龍淵微電子科技有限公司，江蘇 南京 210000)

0 引 言

近年來，隨著經(jīng)濟(jì)和交通運(yùn)輸業(yè)的快速發(fā)展，道路上的機(jī)動(dòng)車保有量迅速增加，而由此帶來的交通問題也越來越嚴(yán)重，給人們的出行和生活質(zhì)量帶來不少的困擾。因此，人們?nèi)找骊P(guān)心如何用計(jì)算機(jī)技術(shù)來有效管理交通中的車輛，以此來解決交通擁堵和交通安全等方面的問題。隨著圖像處理技術(shù)和計(jì)算機(jī)視覺的快速發(fā)展，基于實(shí)時(shí)視頻分析的智能交通系統(tǒng)也越來越受到人們的關(guān)注，從視頻幀序列中準(zhǔn)確地檢測出車輛目標(biāo)是智能交通的一個(gè)重要研究內(nèi)容。通過對(duì)道路上的攝像頭所拍攝到的實(shí)時(shí)交通視頻進(jìn)行分析，實(shí)時(shí)檢測車輛的位置以及軌跡信息來分析車輛的行駛狀態(tài)等一系列的問題，能夠有效地監(jiān)管交通運(yùn)輸中的車輛，從而極大地提高交通運(yùn)輸效率、保障交通安全。

基于特征信息的車輛識(shí)別是指通過對(duì)大量的車輛樣本學(xué)習(xí)來提取車輛的特征模型，該模型能夠針對(duì)視頻中車輛目標(biāo)進(jìn)行有效的識(shí)別分類。文獻(xiàn)[1]采用HOG特征來描述車輛的輪廓信息，利用支持向量機(jī)(SVM)良好的二分性特點(diǎn)來進(jìn)行車輛的分類識(shí)別。為了有效地減少提取HOG特征的時(shí)間，在HOG檢測階段對(duì)圖像進(jìn)行縮放和窗口掃描與合并進(jìn)行并行化，彌補(bǔ)了HOG特征提取的時(shí)間消耗，能夠較快、較準(zhǔn)確地識(shí)別出車輛[1]。文獻(xiàn)[2]使用GPU完成了車輛HOG特征的提取，解決了HOG特征提取速度慢的問題。文獻(xiàn)[3]中提出的基于顯著性與車底陰影塊的車輛感興趣區(qū)域提取算法，對(duì)比基于灰度圖車底陰影線提取的車輛檢測和識(shí)別算法,在車輛感興趣區(qū)域提取階段就可以減少大量的干擾區(qū)域,降低后期識(shí)別等操作的負(fù)擔(dān),使用分類器可以進(jìn)一步對(duì)感興趣區(qū)域進(jìn)行分類識(shí)別。

文中針對(duì)提高視頻中車輛目標(biāo)識(shí)別的準(zhǔn)確性進(jìn)行了研究。傳統(tǒng)的SVM對(duì)大規(guī)模訓(xùn)練樣本難以實(shí)施[4]，使得SVM在車輛目標(biāo)識(shí)別的精確度上仍存在一定的誤識(shí)別率[5-6],采用HOG+SVM的方法由于HOG提取算法過于復(fù)雜而不適用于實(shí)時(shí)視頻分析[7-8]。而采用深度學(xué)習(xí)的方法可以更好地提高車輛目標(biāo)的識(shí)別分類。首先截取實(shí)時(shí)視頻中的視頻幀并進(jìn)行分析，在每一幀中采用HSV顏色模型提取目標(biāo)區(qū)域中顏色相對(duì)于背景區(qū)別明顯的區(qū)域，將該區(qū)域作為車輛目標(biāo)的候選區(qū)域，然后再使用Sobel算子對(duì)視頻幀圖片中的其余區(qū)域進(jìn)行輪廓區(qū)域的識(shí)別篩選，加入到車輛目標(biāo)的候選區(qū)域，將得到的所有車輛目標(biāo)候選區(qū)域輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行車輛目標(biāo)的提取，計(jì)算每幀圖片中車輛的中心位置，根據(jù)前后幀中車輛的關(guān)聯(lián)性得到車輛運(yùn)行的軌跡點(diǎn)信息[9]。

1 系統(tǒng)模型

車輛識(shí)別包含了兩個(gè)過程：提取車輛目標(biāo)候選區(qū)域和提取車輛目標(biāo)。文中采用HSV+Sobel算子對(duì)圖片進(jìn)行車輛候選區(qū)域的快速篩選，將可能存在車輛位置的區(qū)域輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車輛的分類篩選，降低了卷積神經(jīng)網(wǎng)絡(luò)計(jì)算過程中的復(fù)雜運(yùn)算，從而在保證車輛識(shí)別精度的前提下，提高了實(shí)時(shí)視頻中車輛識(shí)別的實(shí)時(shí)性。系統(tǒng)流程如圖1所示。

圖1 系統(tǒng)流程

2 算法原理

2.1 車輛目標(biāo)候選區(qū)域提取

2.1.1 HSV顏色空間目標(biāo)提取

采用HSV顏色空間模型提取圖片幀中顏色相對(duì)于背景區(qū)分度較大的區(qū)域，可以將它作為車輛目標(biāo)的候選區(qū)域。首先將每一幀圖片中的像素轉(zhuǎn)化到HSV顏色空間，HSV模型中顏色的參數(shù)由色調(diào)(H)、飽和度(S)和亮度(V)組成。不同顏色對(duì)應(yīng)的HSV模型中H的取值范圍如下：Orange:0～22,Yellow:22～38,Green:38～75,Blue:75～130,Violet:130～160,Red:160～179。用H值可以代表該區(qū)域的顏色值。對(duì)視頻幀中需要檢測的特定顏色車輛設(shè)置閾值[a,b]，對(duì)符合[a,b]的像素點(diǎn)設(shè)置為255，否則設(shè)置為0，即對(duì)特定顏色區(qū)域進(jìn)行二值化處理。HSV顏色空間轉(zhuǎn)換如圖2所示。

圖2 HSV顏色空間轉(zhuǎn)換

對(duì)二值化處理后的圖片計(jì)算其候選目標(biāo)所占據(jù)矩形的面積s，設(shè)定一個(gè)閾值k,當(dāng)滿足s>k時(shí)才保留該區(qū)域的坐標(biāo)，并將該圖片及坐標(biāo)加入到候選區(qū)域中。該方法可以有效地篩選道路兩側(cè)可能出現(xiàn)的干擾因素[10]。

使用HSV顏色模型提取出車輛候選區(qū)域依賴于顏色信息，對(duì)于給定的顏色值可以迅速地提取出車輛可能出現(xiàn)的位置，但是會(huì)受到道路兩側(cè)的樹木等因素的干擾。例如以黃色為例，在提取黃色候選區(qū)域時(shí)，會(huì)將大塊的草叢誤認(rèn)為車輛。因此為了排除這些干擾，將這些提取出來的區(qū)域都作為車輛的候選區(qū)域，并將其輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行下一步的分類。

2.1.2 Sobel算子輪廓提取

Sobel算子是一階導(dǎo)數(shù)的邊緣檢測算子，通過3×3模板作為核與圖像中的每個(gè)像素點(diǎn)做卷積和運(yùn)算，然后選取合適的閾值來提取邊緣[11]。先分別計(jì)算圖像橫向和縱向的梯度Gx和Gy，公式如下：

Gx=(Z7+2Z8+Z9)-(Z1+2Z2+Z3)

(1)

Gy=(Z3+2Z6+Z9)-(Z1+2Z4+Z7)

(2)

Sobel算子利用Gx和Gy之和G作為檢測邊緣的依據(jù)，當(dāng)G大于一定的閾值時(shí)，則認(rèn)為是物體的邊緣點(diǎn)，在得到所有的邊緣點(diǎn)后，將所有的點(diǎn)連通，即構(gòu)成了目標(biāo)區(qū)域的輪廓信息[12]。

針對(duì)HSV在提取與背景色相近的目標(biāo)區(qū)域時(shí)的不足，采用Sobel算子提取圖片中與道路背景色相近的目標(biāo)區(qū)域的輪廓。通過提取出的輪廓計(jì)算候選區(qū)域的目標(biāo)的坐標(biāo)位置，并將第二次提取出的候選區(qū)域加入到第一次提取的候選區(qū)域中，然后將所有的候選區(qū)域輸入到預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，去除干擾目標(biāo)(如道路兩側(cè)的路燈、樹木等)的影響，從候選區(qū)域中篩選出車輛目標(biāo)，進(jìn)行車輛的定位跟蹤[13]。

2.2 卷積神經(jīng)網(wǎng)絡(luò)車輛識(shí)別

采用The PASCAL Visual Object Classes Challenge 2012(voc2012)數(shù)據(jù)集進(jìn)行卷積網(wǎng)絡(luò)訓(xùn)練，得到車輛目標(biāo)的分類模型[14]。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

將voc2012中車輛的圖片數(shù)據(jù)集通過和3個(gè)可以訓(xùn)練的濾波器進(jìn)行卷積[15-16]，得到C1層的三個(gè)特征圖，C層屬于特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部感知相連并提取該局部的特征，然后特征映射圖中每組的4個(gè)像素進(jìn)行求和，加偏置，加權(quán)值，得到一個(gè)S2層的特征映射圖。再將這些特征映射圖輸入到濾波器中得到C3層，然后如同C1層生成S2層那樣得到S4層[17]，并最終輸出分類結(jié)果。

將前面提取的車輛的候選區(qū)域目標(biāo)集合作為參數(shù)輸入到卷積神經(jīng)網(wǎng)絡(luò)中，進(jìn)行車輛目標(biāo)的提取及定位。經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)識(shí)別分類后，將干擾目標(biāo)排除，得到車輛目標(biāo)的位置信息的集合。

2.3 車輛軌跡提取

以圖片幀的左上角為原點(diǎn)，建立車輛運(yùn)動(dòng)軌跡坐標(biāo)系，如圖4所示，在車輛的坐標(biāo)系下分析車輛的運(yùn)動(dòng)，車輛的中心坐標(biāo)點(diǎn)可以由目標(biāo)識(shí)別階段獲得。

圖4 車輛坐標(biāo)計(jì)算

使用Sobel算子檢索車輛輪廓信息，獲取車輛最外側(cè)的輪廓信息，計(jì)算車輛識(shí)別框的位置信息(left,top,right,bottom)，并保存車輛中心坐標(biāo)位置(x,y)。

(3)

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證該方法的有效性和可行性，實(shí)地拍攝了一段交通路口的視頻進(jìn)行分析。該路口道路路面有5個(gè)車道，車流量較大，道路兩側(cè)有花壇、樹木等干擾因素。視頻格式為avi,圖片大小為856×480，時(shí)長約為90 s。實(shí)驗(yàn)環(huán)境:處理器為i7-3770,內(nèi)存大小8 G，GPU為titanX。開發(fā)環(huán)境：cuda7.5+ffmpeg2.0.7+opencv 3.0.0+qtCreator5.5.1。

為了驗(yàn)證系統(tǒng)的功能，對(duì)系統(tǒng)進(jìn)行整體測試。在初步進(jìn)行特定顏色車輛的篩選過程中，由于這幾種顏色與背景模型的顏色差別較大，該算法可以以最快的速度篩選出第一部分的車輛候選區(qū)域。

其次，測試顏色與道路背景相似的車輛。采用Sobel算子快速篩選出輪廓面積區(qū)域大于一定閾值的車輛候選區(qū)域，該算法可以彌補(bǔ)HSV顏色空間在識(shí)別車輛上的不足，進(jìn)一步提取出圖片幀中可能存在車輛的位置區(qū)域。

Sobel算子輪廓提取如圖5所示。

然后將整個(gè)系統(tǒng)進(jìn)行測試，即將HSV+Sobel算子篩選出的車輛候選區(qū)域輸入到卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行車輛的識(shí)別篩選。

為了驗(yàn)證該方法的有效性，將其與傳統(tǒng)的車輛識(shí)別方法進(jìn)行對(duì)比實(shí)驗(yàn)，分別統(tǒng)計(jì)車輛目標(biāo)識(shí)別的準(zhǔn)確性，結(jié)果如表1所示。由表1知，提出的HSV+Sobel+CNN的方法在車輛目標(biāo)的識(shí)別準(zhǔn)確率和誤識(shí)別率上較其他方法更好。

圖5 Sobel算子輪廓提取

表1 4種車輛識(shí)別方法結(jié)果對(duì)比 %

4 結(jié)束語

提出了一種車輛軌跡識(shí)別系統(tǒng)，在現(xiàn)有的技術(shù)基礎(chǔ)上進(jìn)行改進(jìn)，通過HSV顏色空間和Sobel算子的方法快速篩選車輛目標(biāo)的候選區(qū)域，并輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行快速識(shí)別，達(dá)到實(shí)時(shí)識(shí)別的要求，基本能做到對(duì)道路中車輛的識(shí)別跟蹤和軌跡的跟蹤。同時(shí)對(duì)道路中可能出現(xiàn)的干擾進(jìn)行標(biāo)記排除，具有很好的適用性。在不同光照條件下，對(duì)道路中不同顏色車輛的識(shí)別準(zhǔn)確性較高，且對(duì)于背景色和車輛顏色相近的車輛，采用輪廓識(shí)別的方法加以彌補(bǔ)。通過實(shí)驗(yàn)數(shù)據(jù)表明，該方法在保證識(shí)別準(zhǔn)確率的條件下，使得車輛識(shí)別的實(shí)時(shí)性也得到了很好的保證，可以適用于復(fù)雜交通視頻監(jiān)控中。