基于視頻車流軌跡的虛擬車道劃分方法

劉繼聰，陳慶奎

(上海理工大學 光電信息與計算機工程學院，上海 200093)

0 引 言

車道是城鎮(zhèn)公路和高速公路的重要組成部分，很多用于指導司機和減少交通事故的交通規(guī)則都是基于車道指定的[1-3]。所以，車道線檢測[4]對減少交通事故的發(fā)生起著至關(guān)重要的作用。目前多數(shù)車道檢測是基于城市結(jié)構(gòu)化道路實現(xiàn)的，對于城市快速發(fā)展(地鐵建設(shè))造成車道封路或者工地施工引起車道線腐蝕或?qū)挾茸兓?、交通事故帶來的臨時交通管制，非結(jié)構(gòu)化道路[5](鄉(xiāng)鎮(zhèn)道路)、車輛擁擠造成車道線標志區(qū)域被遮擋以及天氣(降雪)等情況，尚無行之有效的檢測方法。

此外，無人駕駛[6]是汽車未來的研究方向。車道識別作為無人駕駛的基礎(chǔ)和前提，對無人駕駛的發(fā)展起著重要的技術(shù)保障作用。目前無人駕駛研究停留在城市結(jié)構(gòu)化道路，對于城鄉(xiāng)車道或者由天氣原因造成的車道線無法檢測的車道的研究處于空白狀態(tài)。無人駕駛研究的新趨勢是面向城鄉(xiāng)非結(jié)構(gòu)化道路和極端天氣環(huán)境。提出一個具有普適性的車道識別方法是一個必然的趨勢。

本文利用密度矩陣統(tǒng)計車道時間t內(nèi)經(jīng)YOLOv3模型[7]所檢測的車輛數(shù)量，并建立三維坐標系模擬車輛密度分布、根據(jù)其分布建立虛擬車道寬度數(shù)學模型，利用3σ準則[8]對一元混合高斯模型求解得到車道邊界點集合，最后利用最小二乘法實現(xiàn)虛擬車道劃分。實驗結(jié)果表明，本文方法在復(fù)雜路況識別與劃分上表現(xiàn)出良好的效果。

1 車道識別研究現(xiàn)狀車道車流特征

在傳統(tǒng)視覺處理領(lǐng)域，對車道的檢測一般是基于兩個特征—顏色[9-11]和邊緣[12-15]。車道標記在道路上涂上白色或者黃色(明顯區(qū)別于道路的其它部分)，考慮檢測車道的顏色特征來識別車道是有意義的。Son Jogin等提出了一種車道偏離預(yù)警系統(tǒng)的實時和照明不變車道檢測方法[16]。所提出的方法在各種照明條件下工作良好，例如在惡劣天氣條件下和夜間。它包括3個主要組成部分：首先，基于投票圖檢測消失點，并定義自適應(yīng)感興趣區(qū)域(ROI)以降低計算復(fù)雜性。其次，利用車道顏色的獨特屬性來實現(xiàn)照明不變的車道標記候選檢測。最后，使用來自候選車道標記的聚類方法找到主要車道。Wang Jingyu等提出了一種根據(jù)攝像機的透視特征使用消失點來篩選數(shù)據(jù)的車道檢測方法[17]，該方法在原始圖像的Canny和Hough變換之后獲得線數(shù)據(jù)。根據(jù)消失點和其它位置特征創(chuàng)建過濾條件。該算法在近歷史中保存檢測到的車道和消失點。該算法根據(jù)歷史數(shù)據(jù)進行聚類和集成以確定檢測輸出。Gu J等提出了一種基于鄰域的圖像轉(zhuǎn)換方法，稱為極值區(qū)域增強[18]。在該方法中增強了白線的強度，因此它對陰影和照度變化很穩(wěn)健。方法中的白線的邊緣和形狀信息都被提取為車道特征。此外，使用提取的特征實現(xiàn)魯棒的道路車道檢測算法，并通過概率跟蹤提高正確性。

在深度學習領(lǐng)域，對車道的檢測一般基于結(jié)構(gòu)化道路的車道線特征，通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)對車道線提取進而完成車道檢測。Jihun Kim等提出在CNN框架中提出了堆疊ELM架構(gòu)[19]。ELM是一種快速學習方法，用于在單次迭代中計算輸出和隱藏層之間的網(wǎng)絡(luò)權(quán)重，因此可以顯著減少學習時間，同時以最少的訓練數(shù)據(jù)生成準確的結(jié)果。此外，修改反向傳播算法以找到隱藏層的目標，并在保持性能的同時有效地學習網(wǎng)絡(luò)權(quán)重。Davy Neven等將車道檢測問題轉(zhuǎn)為實例分割問題，從而使每個車道線各自形成一個實例，實現(xiàn)端到端的訓練，可以靈活檢測多車道[20]。通過LanNet實現(xiàn)二值分割和實例分割，二值分割得到白色車道線，實例分割將不同車道線進行像素分離，最后運用H-Net對車道線進行曲線擬合。Bei He等提出一種基于雙視角的車道線檢測(DVCNN)架構(gòu)[21]。首先，在提高精確度方面，構(gòu)建一種新的網(wǎng)絡(luò)模型并結(jié)合前視圖和俯視圖。通過前視圖，可以將行進的車輛、路牌等排除，通過俯視圖，可以去除非車道形狀的物體，如指示標語等。其次，提出了一種帽狀濾波器，能夠識別潛在的車道線，而且還能平滑漸變紋理的分布，從而減少誤測。最后，設(shè)計一個全局的優(yōu)化函數(shù)，將車道線的可能的長度、寬度、方向和數(shù)量都考慮在內(nèi)。經(jīng)過優(yōu)化，得到真實車道線的最優(yōu)組合。

但是，基于傳統(tǒng)OpenCV的車道線檢測方法和基于深度學習的車道線檢測方法都各有明顯的缺點：①大多數(shù)顏色模型對光照變化都是敏感的，隨著不同時間點光照強度的不同，對道路特征檢測的準確率也會呈現(xiàn)時序性浮動。雖然基于邊緣的特征檢測對物體背影對于改變光照條件具有更強的魯棒性，但使用環(huán)境受限，程序魯棒性差。不僅受周圍環(huán)境影響較大(如樹的背影和交通桿背影)，檢測時會出現(xiàn)邊緣特征雜亂，而且在光線較暗時無法使用。②基于深度學習的車道線檢測方法高度依賴結(jié)構(gòu)化道路，通過CNN提取已有車道線完成檢測。對于車道線不完整、非結(jié)構(gòu)化道路或者是由于天氣原因造成的車道線無法識別(降雪天氣)等情況，現(xiàn)有的基于深度學習的車道線檢測方法是無法完成的。

鑒于上述原因，我們提出基于視頻車流軌跡的虛擬車道劃分方法。該方法通過統(tǒng)計一段時間車流量密度分布，通過混合高斯模型對密度分布進行求解，并運用最小二乘法進行車道線擬合，完成虛擬車道線劃分。該方法不僅適用于城市結(jié)構(gòu)化道路，而且為非結(jié)構(gòu)化道路或者城市發(fā)展造成車道線破損、交通事故等原因以及天氣因素造成的車道線無法識別的車道提供一個科學合理虛擬車道線，可以將提取車道的數(shù)據(jù)上傳云端，為智慧城市建設(shè)和無人駕駛發(fā)展提供有力的技術(shù)支持。

2 基于視頻車流軌跡的虛擬車道劃分方法

本文提出的車道線檢測方法適用于多種道路環(huán)境和車道狀況，在該方法中我們主要做了3點工作：①通過大量視頻集訓練YOLOv3模型，以實現(xiàn)對車輛的精確檢測；②建立二維密矩陣，統(tǒng)計時間t內(nèi)車輛通過流量，并利用三維坐標系描述密度分布；③對一元混合高斯模型進行求解，對車道寬度建立數(shù)學模型并運用3σ準則進行求解，根據(jù)最小二乘法擬合虛擬車道線。車道線劃分流程如圖1所示。

圖1 車道線劃分流程

2.1 車輛檢測模型

本文利用YOLOv3模型對車輛進行檢測，視頻數(shù)據(jù)集來源于上海市海安路、延吉中路、西藏中路等路段，視頻錄制時間超過30小時，涵蓋不同場景各個時間段。實驗圖片集為10 000張，按照7∶3比例劃分訓練集和測試集，數(shù)據(jù)集示例如圖2所示。

圖2 數(shù)據(jù)集圖像示例

YOLOv3模型基于darknet-53網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示，共106層，從第0層一直到74層，一共有53個卷積層，其余為res層(shortcut操作[22])。從75到105層為yolo網(wǎng)絡(luò)的特征交互層，分為3個尺度，每個尺度內(nèi)，通過卷積核的方式實現(xiàn)局部的特征交互，作用類似于全連接層。但是，是通過卷積核(3*3和1*1)的方式實現(xiàn)feature map之間的局部特征(fc層實現(xiàn)全局特征交互)交互。

圖3 darknet-53結(jié)構(gòu)

本文借鑒遷移學習思想，采用了在ImageNet上預(yù)訓練好的模型參數(shù)darknet53.conv.74，在此基礎(chǔ)上繼續(xù)訓練。在數(shù)據(jù)預(yù)處理階段，我們對圖片數(shù)據(jù)進行隨機裁剪、隨機翻轉(zhuǎn)以及增加曝光度等處理，增加訓練集樣本數(shù)量，提高模型的泛化能力。在訓練過程中，每2500個樣本更新一次權(quán)重參數(shù)。通過設(shè)置decay參數(shù)防止模型過擬合。車輛檢測結(jié)果如圖4所示。

圖4 車輛檢測

2.2 車輛密度統(tǒng)計

圖5 局部密度分布

多數(shù)車輛運動軌跡均勻分布在車道中間區(qū)域且維持一定長度，呈現(xiàn)一個二元混合高斯分布圖像，有極少數(shù)出現(xiàn)偏離情況，在劃分虛擬車道線時，通過設(shè)定閾值將異常點排除。通過YOLOv3模型檢測，可以得到一系列車輛信息參數(shù)

Carti={(xi,yi,wi,hi)}|i=1,2,3…n|

(1)

其中，t為統(tǒng)計的時間段，i為t時間內(nèi)所檢測出的車輛編號， (xi,yi) 表示bounding box的左上橫縱坐標， (wi,hi) 表示bounding box寬高。

Algroithm of Matrix accumulation

Input: Vehiclecollection

Carti={(xi,yi,wi,hi)}|i=1,2,3…n|

Density matrixCarInitial weight 0

Output: Accumulation Density matrixCar

i=0

repeat

forw← 1 Towi:

forh← 1 Tohi:

Car[Carti.xi,Carti.yi]+=1

end for

end for

i+=1

until i >n//n:

2.3 虛擬車道劃分

車輛通過路面時會對路面區(qū)域進行覆蓋，大量車輛通過會產(chǎn)生一個疊加效果，疊加區(qū)域值越大表明通過該區(qū)域的車輛越多，可以設(shè)定一個閾值，大概率估計車輛行駛范圍。在圖5的三維坐標系中z軸值表示通過該區(qū)域車輛數(shù)量概率，選取y值，沿z軸方向做一個橫切面，將二維混合高斯分布降為一維混合高斯分布。如圖6所示，該分布近似為

(2)

其中，z軸值為概率值，是將密度矩陣中(min,max)映射到(0,1)，ωj是第j個高斯模型的權(quán)重，μj是第j個高斯模型的中心， ∑j是第j個高斯模型的協(xié)方差矩陣。

圖6 不同y值下的密度分布

圖6(a)表示正常雙向車道行駛時，統(tǒng)計的車輛密度分布，圖6(b)表示當一側(cè)發(fā)生交通事故時，雙向車道逐步向另一側(cè)融合變?yōu)閱蜗蜍嚨赖拿芏确植?，圖6(c)表示兩個車道融合為一個車道，此時車道變寬車流量變大。不同y值下，車道密度分布現(xiàn)混合高斯概率圖形。

對于混合高斯模型的求解，本文使用EM算法對GMM參數(shù)進行估計。

Algroithm of EM

Input: SampleX

Output: GMM model parameters

Init:

φj=(ωj;μj;Σj),φ=[φ1,φ2,…φk]T

∑j: unit maxtri

Prior propability of each model ratio：ωj=1/k

The meanμjis a random number

updateωj,μj,Σj

為了精確刻畫虛擬車道線寬度dist， 在通過EM算法獲取高斯混合模型參數(shù)基礎(chǔ)上，建立如下數(shù)學模型

(3)

其中，通過選取z值，求解dist最大值以達到近似精確劃虛擬分車道線的目的，但是這樣求解計算量巨大，耗時長。通過分析混合高斯模型圖形分布，每個單高斯分布之間沒有關(guān)聯(lián)，意味著各車道之間相互獨立，所以對上述數(shù)學模型可以轉(zhuǎn)為如下格式

(4)

單高斯分布選取zi值不同，使得可以使用每個車道disti最大值構(gòu)成整體dist最大值，原本對混合高斯模型求解極值轉(zhuǎn)換為對單高斯模型求解，根據(jù)3σ準則，單高斯模型選取μ-3σ和μ+3σ兩個點可以近似取得dist最大值。記錄每個單高斯分布 {(μi-3σi,zi),(μi+3σi,zi)} 極值點，通過選取不同y值，可以記錄單高斯分布極值點的集合 {(μyi-3σyi,zyi),(μyi+3σi,ziy)}， 最后對每個集合的點進行最小二乘法擬合，得到虛擬車道線。如圖7所示，在一起交通事故中，使用本方法得到的虛擬車道線(方框中為事故車)。

圖7 車道劃分結(jié)果

3 實驗結(jié)果及分析

實驗環(huán)境：操作系統(tǒng)Windows 7 64位；硬件環(huán)境：CPU為Intel(R) Core(TM)2 Duo，主頻2.94 GHz，內(nèi)存6 GB；GPU為Nvidia Geforce GTX680；開發(fā)環(huán)境：Python 3.5，OpenCV3.1.0，CUDA8.0并行計算庫及cuDNNv5.0并行加速庫。視頻圖像分辨率為 320×270，幀率為25幀每秒。

本實驗選取上海市西藏中路、中環(huán)路、淮海中路、金橋路、海安路等6個路口視頻，錄制總時長超過50小時，涵蓋車道線標記完整、車道線出現(xiàn)磨損、沒有車道線標記以及出現(xiàn)交通事故等4種路況車道。選取海安路、延吉中路、西藏中路用于訓練YOLOv3車輛檢測模型。由于實驗數(shù)據(jù)集中結(jié)構(gòu)化道路圖片部分比重較大，本方法選取結(jié)構(gòu)化車道線與實驗得到的虛擬車道線進行對比以檢驗實驗效果。選取基于經(jīng)典Hough變換的車道線檢測方法進行對比，并給出了各種路況下的劃分結(jié)果。

3.1 評價指標

多車道車輛計數(shù)準確率既受車輛檢測影響，使用精確率P和召回率R來衡量車輛檢測性能

(5)

其中，TP為目標為車輛且被系統(tǒng)正確檢測為車輛的數(shù)量，F(xiàn)P為目標為非車輛且被系統(tǒng)誤檢測為車輛的數(shù)量，F(xiàn)N為目標為非車輛且被系統(tǒng)正確檢測為非車輛的數(shù)量。

3.2 結(jié)果及分析

實驗利用YOLOv3網(wǎng)絡(luò)在預(yù)訓練的模型基礎(chǔ)上進行迭代訓練，網(wǎng)絡(luò)文件中的部分參數(shù)設(shè)置如下：初始學習率lr=0.001、batch_size=64、step=40000即在迭代40 000次后降低學習率，經(jīng)過50 000次的迭代訓練，結(jié)果如圖8所示。

圖8 Yolov3訓練

從結(jié)果圖可以看出，經(jīng)過上萬次的迭代訓練后，該模型的loss值降低至2.43，并且iou趨于1。圖9分別展示了該模型在上海西藏中路以及上海中環(huán)路的檢測效果圖。

圖9 車輛檢測

在驗證該模型對車輛檢測的準確度方面，選取上述兩個路段場景，在不同時間段，對每個路段抽取100張圖片進行車輛檢測并將結(jié)果統(tǒng)計見表1。

表1 檢測結(jié)果統(tǒng)計/%

統(tǒng)計結(jié)果表明，模型在不同場景下都表現(xiàn)出良好的檢測效果，除極少數(shù)誤檢測外，在車輛擁擠和車輛稀疏情況下，模型的錯檢率和漏檢率都很低，具有很強的泛化能力。

為了驗證本文方法的魯棒性和靈活性，選取了數(shù)據(jù)集中存在較多車道指示線的數(shù)據(jù)與基于Hough變換的車道線檢測方法進行對比，如圖10所示。

圖10 檢測對比

針對結(jié)構(gòu)化車道道路，本文方法檢測結(jié)果如圖10(a)所示，經(jīng)典Hough變換檢測結(jié)果如圖10(b)所示。基于經(jīng)典的Hough變換車道檢測方法只對直線車道體現(xiàn)較好的檢測結(jié)果，對標記有車道指示線的道路在檢測時會將指示線與車道線進行錯誤擬合，無法提供準確的檢測結(jié)果。本文方法是基于車流量建立數(shù)學模型，能夠避免車道指示線的干擾。

在驗證不同路況車道線檢測與劃分的準確性方面，本文選取了上海西藏中路、延吉中路和海安路進行實驗，其中海安路為非結(jié)構(gòu)化道路。實驗中選取每個路段各1000張圖片，并將統(tǒng)計數(shù)據(jù)整理見表2。

表2 車道線檢測與劃分統(tǒng)計結(jié)果

根據(jù)統(tǒng)計結(jié)果分析，本文方法檢測的平均準確率為88.7%，對不同車道均體現(xiàn)了良好的準確性。圖11展示了不同路況下，各道路車道線的劃分情況。圖11(a)是直線車道路況劃分結(jié)果，圖11(b)是彎曲路況劃分結(jié)果；圖11(c)是車道線磨損不清晰路況劃分結(jié)果，圖11(d)是對非結(jié)構(gòu)化道路車道劃分結(jié)果，綜合實驗，本文方法對不同車道均可以確劃分車道。

圖11 多路況檢測

由實驗結(jié)果可以驗證，本文提出的基于視頻車流軌跡的虛擬車道劃分方法對不同路況道路車道線劃分取得了良好的效果。方法優(yōu)勢體現(xiàn)在不僅對城市結(jié)構(gòu)化道路有著良好的劃分效果，而且對非結(jié)構(gòu)化道路以及因交通事故導致臨時改道都可以提供一個合理虛擬車道線，避免基于Hough變換和基于深度學習道路檢測方法的局限性，具有一定的泛化能力和健壯性。

4 結(jié)束語

針對結(jié)構(gòu)化道路車道線磨損、因交通事故臨時改道以及非結(jié)構(gòu)化道路等情況下的車道劃分問題，本文所提出的基于視頻流的虛擬車道檢測方法實現(xiàn)了對交通視頻中道路的車道檢測與劃分。相比傳統(tǒng)的車道檢測方法檢測結(jié)果更加精確。基于視頻車流軌跡的虛擬車道劃分方法可以排除周圍環(huán)境的干擾，在車道線不清晰或損壞等情況下都表現(xiàn)出較好的檢測效果，具有一定的魯棒性和靈活性，為日后車道檢測提供了新的方向。本文下一步的工作重點是研究如何將神經(jīng)網(wǎng)絡(luò)模型輕量化，在不降低精度的前提下，減少網(wǎng)絡(luò)參數(shù)，加快檢測過程，進一步提高車道線檢測的性能。