面向交通異常行為的雷視融合檢測(cè)技術(shù)研究

文圖｜郭麗蘋 孟維偉 由婷婷 熊帥

隨著我國(guó)經(jīng)濟(jì)的迅速發(fā)展，人們對(duì)機(jī)動(dòng)車的需求持續(xù)升高，隨之增多的通行需求，導(dǎo)致道路交通擁堵越發(fā)嚴(yán)重，利用先進(jìn)的檢測(cè)技術(shù)，快速準(zhǔn)確獲取交通異常行為信息，對(duì)緩解交通擁堵，提高通行效率具有重要意義。雷達(dá)或視頻是當(dāng)前獲取交通信息的常用檢測(cè)方法，但兩者的使用都有一定的局限性，視頻檢測(cè)技術(shù)易受環(huán)境影響，雷達(dá)檢測(cè)技術(shù)可視性不強(qiáng)。針對(duì)上述問題，本文通過時(shí)間配準(zhǔn)和空間標(biāo)定，提出雷達(dá)與視頻數(shù)據(jù)融合的篩選方法，分析交通異常行為的檢測(cè)原理，對(duì)闖紅燈、逆行、超速等交通違法行為分別建立判斷模型并對(duì)檢驗(yàn)方法進(jìn)行驗(yàn)證，供參考。

一、研究現(xiàn)狀

20世紀(jì)60年代，國(guó)內(nèi)外的機(jī)構(gòu)學(xué)者就已開展對(duì)各種交通異常行為檢測(cè)的探索研究，并通過各種方法提升交通行為檢測(cè)能力，如英國(guó)雷丁大學(xué)的VEIWS項(xiàng)目組構(gòu)建了汽車軌跡跟蹤系統(tǒng)，美國(guó)的Kofelr教授運(yùn)用輪廓標(biāo)定的方式對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行標(biāo)識(shí)，廣東技術(shù)師范大學(xué)趙有婷等人將車輛軌跡量化成角度、速度等運(yùn)動(dòng)狀態(tài)指標(biāo)，并通過狀態(tài)量判斷車輛駕駛行為，西南林業(yè)大學(xué)機(jī)械與交通學(xué)院楊潔等人通過機(jī)器學(xué)習(xí)繪制車輛行駛軌跡，從而判斷車輛駕駛行為。上述均為基于視頻的目標(biāo)車輛行駛軌跡提取方法，易受天氣變化、光照情況、動(dòng)態(tài)背景等環(huán)境的影響，檢測(cè)準(zhǔn)確率會(huì)降低。同時(shí)，也有基于雷達(dá)技術(shù)對(duì)異常交通事件檢測(cè)的應(yīng)用研究，如廣西交通科學(xué)研究院楊程的多目標(biāo)跟蹤陣列雷達(dá)交通事件檢測(cè)系統(tǒng)的應(yīng)用研究。雷達(dá)檢測(cè)技術(shù)雖受周圍環(huán)境影響較小，但可視性不強(qiáng)，對(duì)檢測(cè)到的交通事件無法進(jìn)行人工復(fù)合判斷。因此，基于雷達(dá)和視頻融合的檢測(cè)技術(shù)成為當(dāng)下研究與探討的熱點(diǎn)話題。

二、雷達(dá)與視頻融合技術(shù)

雷達(dá)與視頻是兩種不同原理的傳感器，數(shù)據(jù)的采集頻率以及坐標(biāo)數(shù)據(jù)所屬坐標(biāo)系存在一定的差異，因此將兩者采集數(shù)據(jù)進(jìn)行融合使用時(shí)，應(yīng)考慮時(shí)間配準(zhǔn)與空間坐標(biāo)的標(biāo)定。

（一）雷達(dá)與視頻時(shí)間配準(zhǔn)

采樣時(shí)間配準(zhǔn)是指將雷達(dá)某一時(shí)刻采集到的目標(biāo)信息與同一時(shí)刻視頻采集到的圖像數(shù)據(jù)幀對(duì)應(yīng)起來。雷達(dá)與視頻數(shù)據(jù)融合原理通常以工作頻率的最大公約數(shù)作為傳感器的基準(zhǔn)，向下兼容同步兩類傳感器數(shù)據(jù)，要保證兩類傳感器的起始時(shí)間對(duì)齊，將融合數(shù)據(jù)工作頻率設(shè)置為最大公約數(shù)，保證雷達(dá)與視頻數(shù)據(jù)在時(shí)間上融合的準(zhǔn)確性。未發(fā)生重疊的數(shù)據(jù)點(diǎn)，進(jìn)行坐標(biāo)轉(zhuǎn)化等處理后疊加，發(fā)生重疊的數(shù)據(jù)點(diǎn)進(jìn)行目標(biāo)的坐標(biāo)轉(zhuǎn)化并融合校對(duì)，將疊加數(shù)據(jù)與融合數(shù)據(jù)進(jìn)行整合，輸出整合后的全部數(shù)據(jù)信息，最終產(chǎn)生數(shù)據(jù)疊加與校對(duì)的效果，如圖1所示。

圖1 雷達(dá)與視頻數(shù)據(jù)融合原理圖

（二）雷達(dá)與視頻空間標(biāo)定

雷達(dá)與視頻相機(jī)有著各自的坐標(biāo)系，雷達(dá)屬于球坐標(biāo)系，探測(cè)的是運(yùn)動(dòng)目標(biāo)與雷達(dá)之間的方位角、徑向速度和徑向距離；視頻圖像屬于二維笛卡爾坐標(biāo)系，探測(cè)的是目標(biāo)在圖像中的大小與位置。雷達(dá)與視頻數(shù)據(jù)的空間標(biāo)定，實(shí)質(zhì)就是兩者坐標(biāo)系之間的轉(zhuǎn)換，建立雷達(dá)目標(biāo)與圖像目標(biāo)的映射關(guān)系。雷達(dá)與視頻空間標(biāo)定一般以世界坐標(biāo)系為媒介，首先將雷達(dá)坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系，然后通過旋轉(zhuǎn)和平移將世界坐標(biāo)系轉(zhuǎn)換成像空間坐標(biāo)系，最后基于小孔成像的逆向思想將像空間坐標(biāo)系內(nèi)的三維目標(biāo)轉(zhuǎn)換為像平面坐標(biāo)系，最后將像平面坐標(biāo)系轉(zhuǎn)換為像素坐標(biāo)系，最終實(shí)現(xiàn)雷達(dá)坐標(biāo)系與相機(jī)視頻坐標(biāo)系的融合，轉(zhuǎn)換過程如圖2所示。

圖2 坐標(biāo)系轉(zhuǎn)換關(guān)系圖

（三）數(shù)據(jù)矯正方法

雷達(dá)具有不受霧、云、雨、雪等惡劣天氣的影響，能夠全天候、全天時(shí)進(jìn)行目標(biāo)檢測(cè)的技術(shù)優(yōu)勢(shì)，視頻具有可視性強(qiáng)，像素元素豐富的特點(diǎn)。在實(shí)際工程環(huán)境中光照變化、目標(biāo)運(yùn)動(dòng)軌跡復(fù)雜、有障礙物遮擋、目標(biāo)與背景顏色接近和環(huán)境惡劣等問題。針對(duì)兩者優(yōu)勢(shì)和實(shí)際應(yīng)用場(chǎng)景，形成如下數(shù)據(jù)融合矯正原則：當(dāng)遇雨雪霧等惡劣天氣時(shí)或能見度低于設(shè)定閾值時(shí)，雷達(dá)數(shù)據(jù)優(yōu)先；當(dāng)環(huán)境亮度較好，視頻圖像標(biāo)定矩形框標(biāo)準(zhǔn)，視頻數(shù)據(jù)優(yōu)先；若雷達(dá)與視頻均檢測(cè)到一致目標(biāo)，坐標(biāo)位置按兩者均值確定；如僅雷達(dá)檢測(cè)到目標(biāo)，則判定數(shù)據(jù)有效；如僅視頻檢測(cè)到目標(biāo)，則對(duì)目標(biāo)進(jìn)行跟蹤，做進(jìn)一步檢測(cè)后再判斷。

（四）目標(biāo)車輛位置信息

雷達(dá)與視頻融合后的數(shù)據(jù)為像素坐標(biāo)，是通過矩形框標(biāo)定目標(biāo)車輛的，設(shè)n幀圖像中目標(biāo)車輛的矩形框左上角坐標(biāo)為（xn1,yn1），右下角坐標(biāo)為（xn2,yn2），則目標(biāo)車輛的中心位置坐標(biāo)可用公式（1）表示。

同理，在第n+k幀圖像中，目標(biāo)車輛的中心點(diǎn)位置坐標(biāo)為Pn+k（xn+k,yn+k）。結(jié)合目標(biāo)車輛的時(shí)間信息和位置信息，可以推算出車輛的行駛方向、速度以及行駛軌跡等信息。

三、常見交通違法行為的雷視判定方法

（一）車輛闖紅燈

闖紅燈是車輛違反交叉口交通信號(hào)燈的指示，在紅燈開啟期間越過車輛停止線并持續(xù)前進(jìn)的行為。通過電子監(jiān)控抓拍判定，需要的照片分別為：紅燈時(shí)車輛離開停止線的、車輛在路口中間的及車輛通過對(duì)向停止線的三張照片。由此，可得出如下判定模型：目標(biāo)車輛越過停止線的時(shí)刻為t’，目標(biāo)車輛在路口中間的時(shí)刻為t’’，目標(biāo)車輛駛離對(duì)向停止線的時(shí)刻為t，目標(biāo)車輛駛離車道號(hào)j，各時(shí)刻的信號(hào)燈開啟情況從信號(hào)燈控制機(jī)獲取，目標(biāo)車輛是否闖紅燈用公式（2）判定，若I=1則代表目標(biāo)車輛闖紅燈，反之則目標(biāo)車輛沒有闖紅燈。

（二）車輛逆行

車輛逆行是指未按照車道規(guī)定行駛方向行駛。連續(xù)獲取目標(biāo)車輛的位置信息，分析目標(biāo)車輛縱坐標(biāo)增量，當(dāng)增量為負(fù)值，則判定為目標(biāo)車輛可能逆行。

圖3 車輛行駛軌跡圖

判別車輛是否逆行，首先需要檢測(cè)車輛的行駛方向。通過跟蹤得到的軌跡點(diǎn)（xn,yn）來判斷車輛的行駛方向，由于本研究中視頻的拍攝角度都是沿著Y軸方向的，假設(shè)規(guī)定從遠(yuǎn)離攝像頭到靠近攝像頭的方向?yàn)橐?guī)定行駛方向的話，則可以認(rèn)為，滿足公式（3）時(shí)，判斷為正向行駛，滿足公式（4）時(shí)，判斷為逆向行駛。

即可以認(rèn)為當(dāng)yt+k-yt<0時(shí)車輛逆行。但在復(fù)雜場(chǎng)景下，由于環(huán)境干擾或者檢測(cè)跟蹤結(jié)果的錯(cuò)誤，直接的判斷很容易引起錯(cuò)誤。所以在本方法中規(guī)定：

其中minf為提前設(shè)定的閾值，表示檢測(cè)幀數(shù)的最小值，以此控制車輛行駛的大方向是逆行的。而式（5）是為了說明在跟蹤的這段時(shí)間內(nèi)，所獲取的軌跡點(diǎn)可能由于環(huán)境的干擾噪聲等，造成軌跡動(dòng)蕩而導(dǎo)致最終發(fā)生誤判，所以在跟蹤的某幀圖像中先對(duì)所獲取的目標(biāo)車輛軌跡點(diǎn)的前后兩幀做差并計(jì)數(shù)，每當(dāng)兩幀之間的結(jié)果滿足yt+k+1-yt+k<0時(shí)就加1，其總數(shù)計(jì)為NUM，NUM/m為逆行幀占比率，當(dāng)逆行占比率大于0.8時(shí)，即判定為逆行。

為驗(yàn)證基于雷視融合技術(shù)的檢測(cè)結(jié)果準(zhǔn)確性，對(duì)實(shí)際的道路場(chǎng)景進(jìn)行識(shí)別檢測(cè)，本方法中所設(shè)計(jì)的逆行識(shí)別算法的正確識(shí)別率，漏檢率和誤檢率分別為92.4%，7.6%，7.6%。實(shí)驗(yàn)結(jié)果表明，本項(xiàng)目中設(shè)計(jì)的算法能夠有效地識(shí)別出車輛逆行行為。

（三）車輛違規(guī)變道

車輛正常駕駛狀態(tài)下，運(yùn)行軌跡和車道標(biāo)線基本是平行的，左右擺動(dòng)幅度較小。若車輛發(fā)生變道時(shí)，目標(biāo)車輛左右擺動(dòng)的幅度較大，車輛與道路邊界間的距離會(huì)發(fā)生由大變小，再由小變大的現(xiàn)象，與設(shè)定閾值比較，判斷行駛車輛是否違規(guī)變道與判斷車輛逆行原理類似，目標(biāo)車輛tn時(shí)刻的中心位置坐標(biāo)為（xn,yn），目標(biāo)車輛tn+1時(shí)刻的中心位置坐標(biāo)為（xn+1,yn+1），設(shè)檢測(cè)到的車道線橫坐標(biāo)為X，車輛與道路邊界間的距離閾值為D，當(dāng)滿足公式（7）或公式（8）時(shí)，則預(yù)判為目標(biāo)車輛可能違規(guī)變道。

（四）車輛超速行駛

機(jī)動(dòng)車的行駛速度超出路段規(guī)定的行駛速度即為超速。通過連續(xù)獲取目標(biāo)車輛位置信息，分析目標(biāo)車輛駕駛速度，并與車道規(guī)定速度進(jìn)行比較，判斷目標(biāo)車輛是否為超速行駛。同樣，目標(biāo)車輛tn時(shí)刻的中心位置坐標(biāo)為（xn,yn），目標(biāo)車輛tn+1時(shí)刻的中心位置坐標(biāo)為（xn+1,yn+1），通過位置信息計(jì)算當(dāng)前車速，并與車道規(guī)定速度V進(jìn)行比較,當(dāng)車速大于閾值V時(shí)，則預(yù)判為車輛可能超速，當(dāng)滿足上述要求的坐標(biāo)點(diǎn)個(gè)數(shù)達(dá)到設(shè)定值，如25時(shí)，則判定為車輛超速。判定條件用公式（9）表示。

在實(shí)際執(zhí)法中，通過上面的方法對(duì)跟蹤車輛的速度進(jìn)行檢測(cè)可能會(huì)存在一定的偏差，所以對(duì)規(guī)定車速V進(jìn)行一定的處理，即將閾值設(shè)為λV（λ＞1），判定公式調(diào)整為公式（10）。

（五）違法停放車輛

車輛正常行駛狀態(tài)下，速度變化不會(huì)很大。當(dāng)車輛即將停止時(shí)，車輛運(yùn)行速度會(huì)在一定時(shí)間段內(nèi)降至接近于0，同時(shí)加速度也會(huì)小于0。根據(jù)上述描述現(xiàn)象判斷車輛是否發(fā)生停車，然后根據(jù)停車時(shí)間和目標(biāo)車輛位置，判定是否為違章停車。根據(jù)車輛超速判斷方法的描述，通過目標(biāo)車輛位置信息，可獲取目標(biāo)車輛的瞬時(shí)速度，目標(biāo)車輛初始時(shí)刻的tn速度為υh、終止時(shí)刻tn+i的速度為υe、加速度為ai，初始速度和終止速度相對(duì)應(yīng)的閾值設(shè)定為Vh、Ve，終止時(shí)刻與初始時(shí)刻時(shí)間差閾值設(shè)定為T1。如果以上幾個(gè)變量之間的關(guān)系滿足公式（11）所示條件，則可判斷其發(fā)生停車；遍歷檢測(cè)目標(biāo)車輛速度小于Ve的時(shí)間，tn+j時(shí)刻時(shí)，即t=tn+j-tn+i大于設(shè)定的閾值T，且車輛位置（xn,yn）在禁止停車區(qū)域[X,Y]內(nèi)，則判定為違章停車。判定條件用公式（12）表示，基于雷視融合的車輛違規(guī)停車檢測(cè)效果如圖4所示。

圖4 雷視融合車輛違停檢測(cè)

四、結(jié)語

本文研究了雷達(dá)與視頻融合技術(shù)，在時(shí)間配準(zhǔn)的同時(shí)加入數(shù)據(jù)疊加思想，提高數(shù)據(jù)充分性；雷達(dá)與視頻數(shù)據(jù)的融合篩選方法，提高了數(shù)據(jù)準(zhǔn)確性；對(duì)闖紅燈、車輛逆行、變道、超速行駛以及違規(guī)停車判斷結(jié)果較為精確，滿足日常車輛行為檢測(cè)需求。在接下來的研究中，可在此理論分析的基礎(chǔ)上，將雷達(dá)與視頻數(shù)據(jù)疊加思想和數(shù)據(jù)融合篩選的方法應(yīng)用到實(shí)際產(chǎn)品與工程中，以提高交通異常行為檢測(cè)效率，提升機(jī)動(dòng)車道路交通安全管控水平。