基于深度學習的多車道交通流量統(tǒng)計方法

于 強，李文雄，劉藝騰，胡晨祎，張 萌

(1.石家莊鐵道大學 河北省交通安全與控制重點實驗室，河北 石家莊 050043;2.石家莊鐵道大學 交通運輸學院，河北 石家莊 050043)

隨著計算機圖像處理技術、計算機視覺技術快速發(fā)展，交通正朝著智慧化方向發(fā)展，智慧交通需要對交通實況進行全面感知。目前存在龐大的視頻方式的交通數(shù)據(jù)，如何從視頻數(shù)據(jù)中獲取服務于智慧交通的信息，已成為廣受關注的熱點問題之一。通過交通視頻，采集道路交通流量數(shù)據(jù)是其中較為重要的一項工作。

要實現(xiàn)交通視頻中目標路段的交通流量統(tǒng)計，首先需要識別出視頻幀中的車輛。車輛識別方法可以大致分為2類：傳統(tǒng)車輛識別算法和基于深度學習的車輛識別算法。傳統(tǒng)車輛識別算法主要包括背景差法、幀差法、光流法等，基于傳統(tǒng)車輛識別算法形成了虛擬檢測線法[1]和虛擬線圈法[2]等交通流量統(tǒng)計的方法，其基本思想為對視頻幀中的像素值及其變化值判定區(qū)域內(nèi)有無車輛通過，該類方法簡單易行，但是無法利用像素值的深度特征，易受到場景中光線變化或其他非交通參與對象的影響，且無法對車型進行識別，性能較低，不宜采用[3]。

基于深度學習車輛識別算法進行交通流量統(tǒng)計的方法稱為目標跟蹤法[11]，目標跟蹤法的基本思路是：首先識別視頻幀中的車輛，然后對識別出的車輛對象進行跟蹤，進而統(tǒng)計交通流量，該方法克服了虛擬檢測線法和虛擬線圈法的不足，能夠識別車輛的車型，并按車型統(tǒng)計交通流量。因此完成車輛識別之后，還應采用準確高效的目標跟蹤方法跟蹤車輛。

目前車輛跟蹤方法大致可分為基于區(qū)域輪廓跟蹤方法、基于運動信息跟蹤方法和基于外觀特征信息跟蹤方法[12]?；趨^(qū)域輪廓跟蹤方法的基本思想為，通過預設區(qū)域與目標車輛的輪廓形狀，對視頻中的車輛進行跟蹤，該方法運算速度較快，但是無法應對路段內(nèi)車型多樣化的現(xiàn)狀，存在車輛相互遮擋狀況時效果較差，在多車道多種車輛共同存在的環(huán)境下不宜采用[13]?；谶\動信息跟蹤方法基本思想是，將目標物體的運動通過粒子濾波對觀測值進行校正，得到該物體的后驗概率預測，運算速度較快，但是目標車輛與其他車輛存在部分或完全遮擋時，會出現(xiàn)目標車輛跟丟的狀況，容易產(chǎn)生多檢[13-16]?；谕庥^特征信息跟蹤方法的基本思想為，對目標車輛的圖像進行特征提取，通過計算前后幀之間車輛的特征向量相似度進行車輛跟蹤，對于車輛存在部分遮擋或遮擋后再次出現(xiàn)的狀況也能完成車輛跟蹤，但是相應算法的運算速度較慢，并且對于連續(xù)進入視頻區(qū)域的同車型、同顏色的不同車輛存在編號重復的情況，容易造成漏檢[17-19]。

針對基于目標跟蹤法的交通流量檢測，仍然普遍存在著不同程度的車輛漏檢、錯檢和多檢的現(xiàn)象，本文提出了一種基于深度學習的交通流量統(tǒng)計方法。該方法首先使用深度學習的方式進行車輛識別，然后對車輛進行跟蹤統(tǒng)計，如圖1所示。車輛識別部分，采用了YOLOv4目標識別算法，提取視頻中目標車輛的位置信息與車型信息；車輛跟蹤部分，結(jié)合目標車輛的運動信息、外觀信息和空間位置信息對車輛跟蹤，有效降低了車輛多檢、漏檢的狀況；交通流量統(tǒng)計部分，計算了檢測目標車輛的車型眾數(shù)，根據(jù)目標車型眾數(shù)確定目標車輛的車型，防止車型被偶然識別錯誤而產(chǎn)生錯誤的車型統(tǒng)計，提高了車型統(tǒng)計的準確性。

圖1 整體車輛統(tǒng)計框架結(jié)構(gòu)

1 車輛識別

在車輛識別部分，為了實現(xiàn)更好的檢測性能，選擇了YOLOv4算法，YOLOv4[20]算法是YOLO系列算法的較新版本，該算法模型主要由CSP Darknet-53卷積神經(jīng)網(wǎng)絡、Mish激活函數(shù)、SPP圖像特征提取網(wǎng)絡以及PANet特征增強網(wǎng)絡構(gòu)成，將獲取的19×19×255、38×38×255和76×76×255 3種維度特征向量傳入YOLO head進行分類回歸，并以CIOU作為損失函數(shù)。該檢測算法具有識別精度高、速度快的優(yōu)點，目前在車輛識別領域得到了較好的應用[21-24]。

2 車輛跟蹤

SORT算法是一種經(jīng)典的用于車輛跟蹤的算法，其核心思想為采用卡爾曼濾波算法進行車輛運動位置信息預測，采用匈牙利算法進行車輛匹配，實現(xiàn)車輛跟蹤的目的。由于其僅采用了車輛運動信息，因而會導致車輛跟丟的現(xiàn)象。為克服SORT算法存在的問題，對SORT算法進行改進。改進的SORT算法，首先使用卡爾曼濾波算法[25]對目標車輛進行運動信息預測，并使用外觀特征提取網(wǎng)絡提取目標車輛的外觀特征，可以有效避免目標車輛在追蹤過程中被部分或完全遮擋后再次出現(xiàn)時會重復計數(shù)的問題；其次對跟蹤車輛的環(huán)境空間位置進行約束，有效防止了視頻區(qū)域內(nèi)連續(xù)出現(xiàn)的同車型、同顏色車輛重復編號的問題。

2.1 卡爾曼濾波

(1)

例如在教授學生九年級《出師表》時，我在上課之初，直接問了大家一個問題：“你們怎么看待《三國演義》中諸葛亮這個人物？”有的學生回答道：“諸葛亮很聰明，很有才華。”還有的學生說：“諸葛亮機智無比，雄才偉略?！薄澳俏医o大家講一個和諸葛亮有關的故事，好嗎？”學生們聽到這里，開心極了，紛紛聚精會神地看著我，看到這樣的情況，我將板擦兒往桌子上一拍，大聲說道：“話說劉備死后，劉禪登上皇位，當時……”在我繪聲繪色的講述中，學生們的情緒也忽高忽低，上下起伏。隨著時間的流逝，板擦兒再次一響，我結(jié)束了這個故事?？吹酱蠹乙猹q未盡的眼神，我直接打開書，開始為大家講述《出師表》里面的內(nèi)容。

(2)

(3)

式中，h為檢測框高度。

2.2 車輛外觀特征提取

僅使用運動信息進行車輛跟蹤時，若目標車輛被大型車輛或其他物體長時間部分或完全遮擋，會導致ID-switch現(xiàn)象，即同一車輛因長時間未能匹配，算法會賦予同一目標車輛一個新的ID編號，出現(xiàn)ID-switch現(xiàn)象，如圖2所示，可能造成多檢或“車輛跟丟”的情況。

圖2 ID-switch現(xiàn)象

因此，在基于運動信息進行車輛跟蹤的基礎上加入外觀信息，即通過神經(jīng)網(wǎng)絡提取視頻幀中目標車輛的外觀信息，得到可代表視頻幀中目標車輛的128維特征向量[26]。將提取到的特征向量與歷史幀中目標車輛提取的特征向量計算余弦距離，判斷兩特征向量的相似程度，并采用余弦距離作為損失函數(shù)，從而確定兩車是否為同一車輛，以減少車輛被長時間遮擋后發(fā)生的ID-switch現(xiàn)象，從而降低了車輛被多檢的可能。

2.3 基于空間位置區(qū)別不同車輛

由于對目標車輛進行外觀信息匹配時，在算法設置的時間閾值內(nèi)同車型、同顏色的車輛(不考慮車牌信息)交替駛?cè)胍曇皟?nèi)，可能會被跟蹤算法再次賦予相同的ID編號，導致漏檢現(xiàn)象，如圖3所示。

圖3 漏檢現(xiàn)象示意圖

為了防止車輛ID編號的重復出現(xiàn)，在車輛ID編號分配機制中加入車輛行進方向的方向向量的判斷，使得車輛僅能沿車輛行進方向獲得編號。在實驗過程中發(fā)現(xiàn)，某一車輛即使處于靜止狀態(tài)，在相鄰兩幀之間由于目標車輛的光線角度或其他原因，通過目標識別算法可能會形成在相鄰幀之間檢測框抖動現(xiàn)象，產(chǎn)生車輛檢測中心點位置“向后移動”的假象。

針對此現(xiàn)象，截取了車輛在等候紅燈期間視頻，通過記錄同一車輛檢測框中心點的位置信息，計算每幀視頻間車輛檢測框中心點的抖動像素距離。在這些數(shù)據(jù)中隨機選取20萬個數(shù)據(jù)，求得其95%分位數(shù)為4.031，將閾值設定為5像素。因此當算法設置的時間閾值內(nèi)同車型、同顏色的車輛(不考慮車牌信息)交替駛?cè)胍曇皶r，如果其檢測中心點位置與歷史幀中相似車輛的中心點檢測位置構(gòu)成向量與車輛行進方向向量相反，且超過車輛檢測框抖動閾值時，將損失函數(shù)矩陣中相應值設置為極大值，從而判斷其為一輛新出現(xiàn)的車輛，將其賦予新的ID編號，如圖4所示。

圖4 設置閾值防止漏檢示意圖

2.4 匈牙利算法

根據(jù)相鄰兩幀中目標車輛的運動信息與外觀信息誤差值矩陣，可以實現(xiàn)將第k幀中車輛跟蹤結(jié)果和第k+1幀中檢測車輛結(jié)果進行關聯(lián)。采用匈牙利算法可以將關聯(lián)問題轉(zhuǎn)化為最大值匹配問題[27]，將第k幀中有且僅有一個最優(yōu)結(jié)果與第k+1幀相匹配。如果存在多余的檢測框或者跟蹤框，可以通過設置虛擬值，將多余檢測框標記為待跟蹤，將多余的跟蹤框標記為目標消失并刪除跟蹤器，從而實現(xiàn)車輛ID編號分配。

(4)

式中，cij為損失函數(shù)值；xij為匹配結(jié)果矩陣，取值為0表示檢測與跟蹤未匹配，反之匹配。

2.5 優(yōu)化后的車輛跟蹤算法流程設計

優(yōu)化后的車輛跟蹤算法框架結(jié)構(gòu)如圖5所示。首先，將檢測框與歷史跟蹤框進行空間位置預測和外觀特征的相似度對比，得到損失函數(shù)矩陣；其次，將檢測位置中心點與歷史車輛跟蹤中心點構(gòu)成的向量，與車輛行進方向進行對比，同時將中心點距離與窗口抖動閾值進行對比，如果中心點向量方向與車輛行進方向相反且中心點距離超過窗口抖動閾值，則將對應損失函數(shù)矩陣中數(shù)值置為極大值，否則將預測與跟蹤進行匹配；最后，未匹配的檢測將被賦予新的ID編號，未匹配的跟蹤若未超過時間閾值則將其列為歷史車輛跟蹤，否則刪除。

圖5 優(yōu)化后的車輛跟蹤算法框架結(jié)構(gòu)

通過對視頻中車輛的進行檢測跟蹤，發(fā)現(xiàn)本文提出方法對車輛部分或完全遮擋后再識別并跟蹤的效果有一定提升。圖6為檢測跟蹤過程中的視頻截圖，分別選取了其中的第3 962幀、第4 032幀和第4 044幀進行對比(由于2個算法運行過程中對車輛檢測與跟蹤的差異，導致視頻幀中相同車輛的編號不一致)，通過圖6中公交車后方白色汽車的ID編號變化可知，本文算法能夠在白色汽車被遮擋后再次出現(xiàn)時，將其之前的ID編號賦予白色汽車，而SORT算法則是對該白色汽車進行重新編號。

圖6 相同視頻幀下算法跟蹤效果對比圖

3 交通流量統(tǒng)計

車輛統(tǒng)計模塊的主要作用是統(tǒng)計過往車輛的數(shù)量與車型，目前的交通流量統(tǒng)計方法中由于檢測ROI位置或道路交通監(jiān)控視頻角度等原因，導致一些車輛在某些位置被錯誤識別為其他類型車輛，在計數(shù)機制中將該車輛統(tǒng)計為錯誤的車輛類型，導致錯檢。因此在交通流量統(tǒng)計階段采用了不斷記錄目標車輛的車輛類型，最終返回車輛類型的眾數(shù)，從而減少錯檢的方法。其統(tǒng)計過程：當車輛中心點坐標在車輛統(tǒng)計框內(nèi)時，算法保存每幀目標車輛的ID編號和車型，生成數(shù)據(jù)字典。當車輛中心點坐標通過車輛統(tǒng)計線時，算法返回目標車輛的ID編號與在數(shù)據(jù)字典中記錄車型的眾數(shù)，并在交通流量統(tǒng)計數(shù)據(jù)內(nèi)進行展示，得到更準確的結(jié)果，防止誤檢。車輛檢測框與車輛統(tǒng)計線位置如圖7所示，當車輛由車道的檢測框駛向統(tǒng)計線的過程中，允許車輛存在換道行為，僅統(tǒng)計其駛離車輛統(tǒng)計線的車道，由此可以獲得該路口某車道的截面交通流量。

圖7 車輛統(tǒng)計線獲取不同車道交通流量示意圖

4 實驗結(jié)果與分析

實驗環(huán)境為Windows 10操作系統(tǒng)和GeForce RTX 2060顯卡，驗證數(shù)據(jù)采用Open ITS提供的合肥市黃山路與科學大道交叉口西進口靠近道路中心線的3車道交通視頻。為保證數(shù)據(jù)具有代表性，選取了不同天氣下的19段視頻數(shù)據(jù)，其中視頻1～11為晴天路況(其中視頻1～2為該路段中交通流量較大時段)、視頻12～15為陰雨天路況、視頻16～19為夜間路況，不同天氣路況下視頻截圖如圖8所示。

圖8 不同天氣路況視頻

對每段視頻的前5 min進行檢測。第1步，打開根據(jù)本文算法設計的交通流量檢測系統(tǒng)，導入視頻路徑并輸入相應實驗所需參數(shù)；第2步，根據(jù)圖像預覽效果調(diào)整實驗參數(shù)；最后，根據(jù)導出視頻結(jié)果，進行交通流量統(tǒng)計并與該檢測方法檢測結(jié)果進行對比。多車道交通流量檢測系統(tǒng)執(zhí)行過程截圖見圖9。實際道路車輛統(tǒng)計結(jié)果、本文算法檢測道路交通流量與SORT算法檢測道路交通流量對比見表1，同時可以計算該交通流量檢測算法統(tǒng)計各車型交通流量的加權平均絕對誤差百分比。

表1 實際道路車輛統(tǒng)計結(jié)果/本文算法檢測道路交通流量/SORT算法檢測道路交通流量

圖9 多車道交通流量檢測系統(tǒng)執(zhí)行過程

(5)

本文統(tǒng)計結(jié)果與SORT算法統(tǒng)計結(jié)果對比見圖10。

圖10 交通流量識別結(jié)果加權平均絕對誤差百分比進行對比

通過圖10可以看出，第1車道與第2車道加權平均絕對誤差百分比浮動較小，第3車道加權平均絕對誤差百分比浮動較大，究其原因為第3車道為該進口車道的左轉(zhuǎn)車道，車流量較少，使得其基數(shù)較小，在交通流量統(tǒng)計過程中有少量統(tǒng)計偏差時，對其統(tǒng)計結(jié)果會產(chǎn)生較大波動。將本文算法與SORT算法在各個視頻文件中的加權平均絕對誤差百分比求得平均值，可以更加準確地反映本文算法的效果，見表2。從表2中可以看出，在交通流量較大的第1車道與第2車道中，本文算法將交通流量識別結(jié)果加權平均絕對誤差的平均值降低了約4.4%；在車流量較小的第3車道，本文算法將交通流量識別結(jié)果加權平均絕對誤差的平均值降低了約0.9%。

表2 交通流量識別結(jié)果加權平均絕對誤差百分比平均值 %

5 結(jié)束語

在YOLOv4車輛識別框架下，提出了融合車輛運動信息、外觀信息和空間位置信息的車輛跟蹤算法，并提出了一種交通流量統(tǒng)計方法。通過計算本文算法與SORT算法對于視頻中交通流量的加權平均絕對誤差百分比，結(jié)果表明本文提出的方法可以較為準確地進行交通流量統(tǒng)計，有效減少了SORT算法在交通流量統(tǒng)計中的多檢、漏檢情況，具有一定實際應用價值。