車(chē)載移動(dòng)執(zhí)法中違規(guī)車(chē)輛智能檢測(cè)研究

陳 剛 ，陳 斌, ，錢(qián)基德

(1. 中國(guó)科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所 成都 610041；2. 中國(guó)科學(xué)院大學(xué) 北京 石景山區(qū) 100049；3. 中國(guó)科學(xué)院廣州電子技術(shù)研究所 廣州 510070)

隨著信息技術(shù)的進(jìn)步，智慧城市、智能交通等概念逐步推進(jìn)實(shí)施，基于視頻圖像的移動(dòng)執(zhí)法自動(dòng)檢測(cè)違規(guī)車(chē)輛行為的實(shí)際需求越來(lái)越多。文獻(xiàn)[1]對(duì)具有移動(dòng)執(zhí)法功能的停車(chē)場(chǎng)管理系統(tǒng)進(jìn)行了研究。該領(lǐng)域已有的一些應(yīng)用系統(tǒng)，大部分是由執(zhí)法人員與系統(tǒng)協(xié)同完成任務(wù)，自動(dòng)、智能化水平較低。移動(dòng)執(zhí)法違規(guī)車(chē)輛自動(dòng)檢測(cè)與自動(dòng)駕駛相比存在共同之處，如通過(guò)視頻圖像或其他傳感器，對(duì)道路環(huán)境、周?chē)?chē)輛、人員進(jìn)行理解、感知。主要技術(shù)內(nèi)容基本一致，如車(chē)道線(xiàn)檢測(cè)、車(chē)輛檢測(cè)及連續(xù)跟蹤等。但是二者應(yīng)用目的存在極大差異。自動(dòng)駕駛對(duì)傳感器數(shù)據(jù)進(jìn)行理解分析，是用于車(chē)輛安全、自動(dòng)做出駕駛選擇；而移動(dòng)執(zhí)法的目的是通過(guò)對(duì)道路和周?chē)h(huán)境目標(biāo)的感知分析，檢測(cè)出車(chē)輛違規(guī)行為。本文參考自動(dòng)駕駛、ADAS(advanced driver assistance systems)先進(jìn)輔助駕駛系統(tǒng)中相關(guān)研究，構(gòu)建了一個(gè)適合車(chē)載移動(dòng)智能執(zhí)法應(yīng)用的模型及關(guān)鍵算法實(shí)現(xiàn)并進(jìn)行相關(guān)測(cè)試。文獻(xiàn)[2]基于GPS實(shí)時(shí)位置信號(hào)及交通道路地理空間先驗(yàn)信息進(jìn)行路面檢測(cè)，但沒(méi)有精確到車(chē)道尺度。自動(dòng)駕駛領(lǐng)域和ADAS領(lǐng)域，基于視頻圖像的車(chē)道線(xiàn)、車(chē)輛目標(biāo)檢測(cè)及跟蹤是一個(gè)研究熱點(diǎn)。文獻(xiàn)[3-4]對(duì)此問(wèn)題有深入研究。技術(shù)方法的發(fā)展趨勢(shì)是從傳統(tǒng)的特征提取加分類(lèi)器到采用深度學(xué)習(xí)進(jìn)行相關(guān)分析。但針對(duì)違規(guī)車(chē)輛車(chē)載移動(dòng)執(zhí)法應(yīng)用環(huán)境特點(diǎn)進(jìn)行系統(tǒng)技術(shù)的研究相關(guān)文獻(xiàn)報(bào)道不多。該方向具有一定的研究和應(yīng)用價(jià)值。

1 系統(tǒng)模型

對(duì)違規(guī)車(chē)輛的檢測(cè)判斷一般分為兩種類(lèi)型：1)基于車(chē)輛所在位置(包括應(yīng)急車(chē)道行駛、特種車(chē)輛行駛在不適合車(chē)道內(nèi))；2) 基于車(chē)輛運(yùn)動(dòng)軌跡及運(yùn)動(dòng)狀態(tài)(包括超速行駛、連續(xù)變道)。由此判別所構(gòu)建系統(tǒng)模型輸出需要滿(mǎn)足：① 實(shí)時(shí)標(biāo)注出違規(guī)行車(chē)區(qū)域；② 對(duì)興趣目標(biāo)車(chē)輛進(jìn)行連續(xù)跟蹤，生成運(yùn)動(dòng)軌跡。結(jié)合車(chē)載執(zhí)法系統(tǒng)的主要輸入信息(GPS位置信號(hào)、電子地圖信息、車(chē)載拍攝移動(dòng)視頻圖像)，針對(duì)上述模型需求，本文設(shè)計(jì)了一個(gè)模型框架如圖1所示。

1.1 交通道路地理信息模型

通過(guò)車(chē)載GPS設(shè)備獲取實(shí)時(shí)地理坐標(biāo)位置，通過(guò)地理坐標(biāo)位置獲取到車(chē)道信息。車(chē)道信息包括：1) 車(chē)道數(shù)量，2) 車(chē)道寬度，3) 路面寬度，如圖2所示。使用交通先驗(yàn)地理信息與實(shí)時(shí)視頻圖像融合，為后續(xù)違規(guī)車(chē)輛檢測(cè)提供一個(gè)可幾何量測(cè)的框架。

圖1 模型框架

圖2 交通道路地理信息模型與實(shí)時(shí)拍攝視頻圖像融合

由于GPS信號(hào)誤差，在實(shí)際行車(chē)過(guò)程如果不對(duì)信號(hào)進(jìn)行地圖匹配(map matching)處理，可能出現(xiàn)當(dāng)前車(chē)輛位置不在道路上的定位結(jié)果。本文將這一階段的地圖匹配處理道路匹配，目的是將GPS信號(hào)定位于道路上。車(chē)道級(jí)別的精度相當(dāng)于1 m左右的定位精度。算法流程如下：

輸入：GPS位置信號(hào)、GIS電子地圖、車(chē)載拍攝實(shí)時(shí)視頻。

輸出：當(dāng)前車(chē)輛車(chē)道位置。

1) 根據(jù)采樣頻率，獲取GPS信號(hào)連續(xù)軌跡，并對(duì)軌跡信息進(jìn)行插值處理。插值方法采用樣條曲線(xiàn)插值。2) 根據(jù)GPS信號(hào)，獲取附近的路網(wǎng)地理空間信息，包括道路車(chē)道數(shù)量等。3) 進(jìn)行車(chē)載視頻相機(jī)標(biāo)定處理，建立相機(jī)成像坐標(biāo)系與道路世界坐標(biāo)系之間的映射關(guān)系。4) 設(shè)定視頻連續(xù)幀檢測(cè)結(jié)果置信度指標(biāo)Q，Q由路面先驗(yàn)信息和視頻幀間車(chē)道線(xiàn)檢測(cè)結(jié)果的平滑度確定，當(dāng)置信程度高于閾值，將當(dāng)前車(chē)輛視覺(jué)定位結(jié)果作為樣本數(shù)據(jù)。5) 確定當(dāng)前行車(chē)道路的當(dāng)前路段，當(dāng)前路段的確定由關(guān)鍵路點(diǎn)表示。關(guān)鍵路點(diǎn)由道路轉(zhuǎn)彎點(diǎn)確定，由視覺(jué)檢測(cè)模塊可判定出當(dāng)前車(chē)道的彎曲程度。使用ST-Matching地圖匹配算法，結(jié)合GPS位置信號(hào)和GIS地圖信息，從而確定當(dāng)前路段。6) 根據(jù)視覺(jué)檢測(cè)樣本中當(dāng)前車(chē)輛(不變道情況下)在車(chē)道約束情況下，由路段推測(cè)當(dāng)前車(chē)輛在路段中平行方向位置、由車(chē)道視覺(jué)檢測(cè)定位估計(jì)當(dāng)前所在路面位置。從而獲得GPS信號(hào)位置軌跡和基于視覺(jué)檢測(cè)位置軌跡。7) 基于GPS信號(hào)位置軌跡，和估測(cè)車(chē)輛位置軌跡的相關(guān)性，具體方法采用加權(quán)系統(tǒng)的相似性度量函數(shù)方法。

1.2 車(chē)輛車(chē)道位置定位模型算法

車(chē)輛分為兩種類(lèi)別：1) 執(zhí)法車(chē)輛(即GPS裝置所在的執(zhí)法車(chē)輛)；2) 需判定是否違規(guī)的目標(biāo)車(chē)輛。由于兩者可通過(guò)視頻圖像確定在成像空間中位置關(guān)系，進(jìn)而通過(guò)相機(jī)標(biāo)定、透視變換確定真實(shí)道路世界坐標(biāo)系中兩者的位置和方位關(guān)系。故在確定執(zhí)法車(chē)輛位置后，通過(guò)距離和方位關(guān)系可對(duì)確定目標(biāo)車(chē)輛所在車(chē)道位置?；趲缀侮P(guān)系的判斷模型如圖3所示。

圖3 基于圖像車(chē)輛兩者距離、角度幾何參數(shù)的目標(biāo)車(chē)輛所在車(chē)道位置判定示意圖

2 關(guān)鍵技術(shù)研究

關(guān)鍵技術(shù)包括：1) 基于視頻圖像的車(chē)道線(xiàn)實(shí)時(shí)檢測(cè)；2) 成像坐標(biāo)系統(tǒng)與真實(shí)道路世界坐標(biāo)系統(tǒng)變換及幾何量算；3) 車(chē)輛目標(biāo)檢測(cè)及跟蹤。

圖4 車(chē)道線(xiàn)檢測(cè)流程

2.1 車(chē)道線(xiàn)視覺(jué)檢測(cè)

目前車(chē)道線(xiàn)檢測(cè)方法可分為基于特征和模型兩類(lèi)方法。本文綜合兩種方法，根據(jù)前文模型中獲取的當(dāng)前道路先驗(yàn)知識(shí)，基于先驗(yàn)知識(shí)構(gòu)建道路模型，與圖像特征協(xié)同進(jìn)行車(chē)道線(xiàn)檢測(cè)。車(chē)道線(xiàn)視覺(jué)檢測(cè)算法主要包括圖像處理、邊緣線(xiàn)檢測(cè)與提取、基于模型的車(chē)道邊緣檢測(cè)模塊組成。算法流程如圖4所示。采用KITI數(shù)據(jù)集[5]檢測(cè)效果如圖5所示。

1) 車(chē)道圖像預(yù)處理。為在消除噪聲的同時(shí)保護(hù)圖像中邊緣特征，采用中值濾波對(duì)圖像進(jìn)行處理，即：

式中，像素點(diǎn)m,n屬于中值濾波窗口A(yíng)中元素。

2) 基于Canny算子的邊緣提取。Canny邊緣檢測(cè)算法能有效地抑制噪聲，較精確確定邊緣位置，找出車(chē)道潛在位置。

圖5 KITI數(shù)據(jù)集車(chē)道線(xiàn)檢測(cè)效果

3) 基于逆透視變換及車(chē)道GPS位置的車(chē)道線(xiàn)范圍搜索。

4) 車(chē)道模型的建立。采用文獻(xiàn)[3]中提出直線(xiàn)模型的近端視場(chǎng)，以及基于曲線(xiàn)模型的遠(yuǎn)端視場(chǎng)車(chē)道線(xiàn)檢測(cè)[6]。近端視場(chǎng)內(nèi)采用Hough變換提取的得票最多的參數(shù)，分別得到左右兩側(cè)車(chē)道線(xiàn)參數(shù)。雙曲線(xiàn)模型為：

式中，k、b、vp為彎道參數(shù)。

2.2 坐標(biāo)系變換及幾何量算

坐標(biāo)系變換實(shí)質(zhì)上是將成像平面的像素點(diǎn)同世界坐標(biāo)系中實(shí)際道路位置點(diǎn)建立關(guān)聯(lián)。轉(zhuǎn)換分為：1) 從世界坐標(biāo)系轉(zhuǎn)為相機(jī)坐標(biāo)系，這一步是三維點(diǎn)到三維點(diǎn)的轉(zhuǎn)換，取決于車(chē)載拍攝相機(jī)的姿態(tài)參數(shù)；2) 從相機(jī)坐標(biāo)系轉(zhuǎn)為成像平面坐標(biāo)系。這一步是三維到二維的轉(zhuǎn)換，取決與相機(jī)內(nèi)部參數(shù)。相機(jī)內(nèi)部參數(shù)一般是固定。變換為：

式中，R為相機(jī)外參，確定了相機(jī)在某個(gè)三維空間中的朝向；t描述相機(jī)坐標(biāo)系和世界坐標(biāo)系之間平移變換。

幾何量算具體功能是將成像空間中執(zhí)法車(chē)輛與目標(biāo)車(chē)輛的距離、角度關(guān)系轉(zhuǎn)換到真實(shí)道路世界坐標(biāo)系中，協(xié)同電子地圖中路面寬度、車(chē)道數(shù)量、車(chē)道寬度等信息，基于已確定當(dāng)前執(zhí)法車(chē)輛車(chē)道位置，從而確定目標(biāo)車(chē)輛所在車(chē)道。進(jìn)而判定其是否存在應(yīng)急車(chē)道行駛的行為和其他違規(guī)行為。

2.3 車(chē)輛目標(biāo)檢測(cè)及跟蹤

車(chē)輛目標(biāo)檢測(cè)傳統(tǒng)方法是采用HOG特征結(jié)合線(xiàn)性SVM分類(lèi)器進(jìn)行目標(biāo)檢測(cè)[7]。其特點(diǎn)是準(zhǔn)確率較高，不足之處是處理速度慢，較難達(dá)到車(chē)輛實(shí)時(shí)檢測(cè)要求。近來(lái)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)領(lǐng)域進(jìn)展很快。其中基于深度學(xué)習(xí)模型Yolo[8](you only look once)目標(biāo)檢測(cè)方法，具有檢測(cè)速度較快，可達(dá)到目標(biāo)實(shí)時(shí)檢測(cè)的優(yōu)點(diǎn)。其不足在于對(duì)場(chǎng)景內(nèi)尺度較小目標(biāo)檢測(cè)效果較差。但違規(guī)車(chē)輛需進(jìn)行車(chē)牌識(shí)別，故對(duì)檢測(cè)車(chē)輛目標(biāo)大小有限制。經(jīng)實(shí)際場(chǎng)景測(cè)試，本文實(shí)際應(yīng)用場(chǎng)景中，Yolo難以檢測(cè)尺度較小目標(biāo)，可忽略。Yolo方法原理是將圖像劃分為m×m網(wǎng)格。對(duì)于每個(gè)網(wǎng)格，預(yù)測(cè)邊框是目標(biāo)的置信度以及每個(gè)邊框區(qū)域在多個(gè)類(lèi)別上的概率。根據(jù)閾值去除可能性較低的目標(biāo)窗口，基于NMS算法去除冗余窗口，完成檢測(cè)過(guò)程?；贗mageNet中車(chē)輛圖片數(shù)據(jù)和自主收集的車(chē)輛圖片數(shù)據(jù)進(jìn)行檢測(cè)模型訓(xùn)練，使用鏡像、隨機(jī)光照變化等方法對(duì)樣本進(jìn)行增強(qiáng)。只針對(duì)車(chē)輛這一種類(lèi)別進(jìn)行檢測(cè)。為使檢測(cè)性能盡可能更優(yōu)，修改Yolo相關(guān)配置，使模型只檢測(cè)車(chē)輛一個(gè)類(lèi)別。采用小批量梯度下降方法和沖量，使收斂過(guò)程加快?？蓪?duì)各角度車(chē)輛目標(biāo)進(jìn)行較好檢測(cè)，測(cè)試結(jié)果如圖6所示。相較于原始Yolo版本，車(chē)輛二分類(lèi)訓(xùn)練后的Yolo檢測(cè)模型在查準(zhǔn)率、查全率指標(biāo)上測(cè)試結(jié)果更優(yōu)。

圖6 基于訓(xùn)練后Yolo網(wǎng)絡(luò)模型，基于多種成像角度下車(chē)輛檢測(cè)結(jié)果

圖7 基于Yolo模型檢測(cè)的車(chē)輛多目標(biāo)跟蹤算法

采用基于檢測(cè)的多目標(biāo)跟蹤框架，參考文獻(xiàn)[9]中的方法對(duì)多個(gè)車(chē)輛目標(biāo)進(jìn)行跟蹤。利用上文訓(xùn)練的Yolo模型對(duì)視頻的每幀圖像都進(jìn)行車(chē)輛目標(biāo)檢測(cè)，標(biāo)記目標(biāo)檢測(cè)位置。本文采用視頻幀之間車(chē)輛目標(biāo)運(yùn)動(dòng)匹配度和外觀(guān)作為跟蹤過(guò)程中目標(biāo)之間關(guān)聯(lián)的判斷依據(jù)。利用當(dāng)前幀車(chē)輛目標(biāo)預(yù)測(cè)位置與檢測(cè)位置的重合度IOU指標(biāo)進(jìn)行關(guān)聯(lián)度的刻畫(huà)；利用顏色直方圖進(jìn)行外觀(guān)建模。跟蹤位置的預(yù)測(cè)基于Kalman濾波完成?；贖ungary匈牙利算法進(jìn)行全局分配優(yōu)化。由于車(chē)輛目標(biāo)移動(dòng)過(guò)程中，一般受車(chē)道線(xiàn)約束以及車(chē)輛目標(biāo)非剛性的特點(diǎn)。該跟蹤算法在速度較快的情況下，在僅使用顏色直方圖HSV特征作為目標(biāo)外觀(guān)信息和位置信息的情況下，取得了較好的跟蹤效果。跟蹤算法如圖7所示。

3 實(shí) 驗(yàn)

本文基于GPS位置信號(hào)及道路地理信息，在與車(chē)道線(xiàn)視覺(jué)檢測(cè)協(xié)同情況下，進(jìn)行路面車(chē)道線(xiàn)分割及當(dāng)前執(zhí)法車(chē)輛位置估計(jì)。其目的是增強(qiáng)基于視覺(jué)的違規(guī)區(qū)域動(dòng)態(tài)分割，本文的實(shí)驗(yàn)設(shè)置違規(guī)區(qū)域是應(yīng)急車(chē)道區(qū)域；復(fù)雜路面條件下路面檢測(cè)、車(chē)道檢測(cè)難以依靠視覺(jué)檢測(cè)完成，在此特殊情況下，采用GPS位置信息進(jìn)行路面探測(cè)及違規(guī)行車(chē)區(qū)域檢測(cè)。如圖8所示，為各種條件下單獨(dú)基于視覺(jué)檢測(cè)、地理信息與視覺(jué)檢測(cè)系統(tǒng)下的路面檢測(cè)、車(chē)道線(xiàn)分割結(jié)果。

本文采用KITTI自動(dòng)駕駛測(cè)試數(shù)據(jù)集合，包含相機(jī)標(biāo)定數(shù)據(jù)、車(chē)輛行駛GPS位置數(shù)據(jù)。

圖8 路面檢測(cè)及逆透視下車(chē)道分割

車(chē)輛目標(biāo)檢測(cè)，采用Faster R-CNN方法[11-12]與本文方法進(jìn)行對(duì)比，結(jié)果如表1所示。測(cè)試視頻采用自制視頻，拍攝環(huán)境為高速道路環(huán)境。

表1 車(chē)輛目標(biāo)檢測(cè)測(cè)試結(jié)果

基于檢測(cè)的車(chē)輛目標(biāo)跟蹤結(jié)果如圖9所示。采用復(fù)雜天氣條件下視頻進(jìn)行測(cè)試，車(chē)輛跟蹤及違規(guī)區(qū)域停車(chē)檢測(cè)效果如圖9所示。自制視頻拍攝于成都雙流機(jī)場(chǎng)高速，視頻中應(yīng)急車(chē)道違規(guī)行駛共有8輛汽車(chē)，均完全檢測(cè)。

圖9 車(chē)輛跟蹤及塊規(guī)區(qū)域停車(chē)檢測(cè)

4 結(jié)束語(yǔ)

本文提出了一種面向高速公路環(huán)境的車(chē)載移動(dòng)執(zhí)法違規(guī)車(chē)輛行為自動(dòng)檢測(cè)模型。通過(guò)在自動(dòng)駕駛公共數(shù)據(jù)集和自制視頻中測(cè)試，表明其在復(fù)雜環(huán)境條件下能對(duì)路面、車(chē)道、執(zhí)法車(chē)輛所在車(chē)道進(jìn)行檢測(cè)和定位；能夠快速、較準(zhǔn)確地檢測(cè)出違規(guī)車(chē)輛，并進(jìn)行跟蹤。該模型和所采用綜合關(guān)鍵技術(shù)能夠適合高速環(huán)境的移動(dòng)執(zhí)法。

[1]閆浩. 具有移動(dòng)執(zhí)法功能的違法停車(chē)管理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D]. 天津： 天津工業(yè)大學(xué), 2012.YAN Hao. Design and implementation of illegal parking management system with mobile law enforcement function[D]. Tianjin： Tianjin Polytechnic University, 2012.

[2]áLVAREZ J M, LóPEZ A M, GEVERS T, et al. Combining priors, appearance, and context for road detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014,15(3)： 1168-1178.

[3]范延軍. 基于機(jī)器視覺(jué)的先進(jìn)輔助駕駛系統(tǒng)關(guān)鍵技術(shù)研究[D]. 南京： 東南大學(xué), 2016.FAN Yan-jun. Research on key technologies of advancedassisted driving system based on machine vision[D].Nanjing： Southeast University, 2016.

[4]BOJARSKI M, DEL TESTA D, DWORAKOWSKI D, et al.End to end lear-ning for self-driving cars[EB/OL].[2017-04-24]. http：//arxiv.org/abs/1604.07316.

[5]GEIGER A, LENZ P, URTASUN R. Are we ready for autonomous driving? the KITTI vision benchmark suite[C]//IEEE Conf on Computer Vision and Pattern Recognition(CVPR). Providence, USA： IEEE, 2012.

[6]KLUGE K. Extracting road curvature and orientation from image edge points without perceptual grouping into features[C]//Proceedings of the Intelligent Vehicles'94 Symposium. New York, USA： IEEE Press, 1994： 109-114.

[7]SATZODA R K, TRIVEDI M M. Efficient lane and vehicle detection with integrated synergies[C]//IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York, USA： IEEE, 2014： 708-713.

[8]REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once： Unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA： IEEE, 2016.

[9]WOJKE N, BEWLEY A, PAULUS D. Simple online and realtime tracking with a deep association metric[C]//2017 IEEE International Conference on Image Processing. Bejing：IEEE, 2017.

[10]YU F, LI W, LI Q, et al. Poi： Multiple object tracking with high performance detection and appearance feature[C]//European Conference on Computer Vision. New Work,USA： Springer International Publishing, 2016： 36-42

[11]REN S, HE K, GIRSHICK R, et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis &Machine Intelligence, 2017, 39(6)： 1137-1149.