基于雷視融合技術的全域車輛感知方案應用研究

韋樂香,黎琮瑩

(廣西交通設計集團有限公司,廣西 南寧 530029)

0 引言

隨著國家新基建戰(zhàn)略的深入推進,加快新型基礎設施建設成為交通領域發(fā)展關鍵,在國務院印發(fā)的《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》中明確提到,有序推進基礎設施智能升級,是提升交通領域數(shù)字化的發(fā)展方向。其中交通領域數(shù)字化轉(zhuǎn)型的關鍵技術之一,是交通狀態(tài)感知的數(shù)字化。

在高速公路領域,傳統(tǒng)交通感知的手段通常采用基于視頻圖像方案對路段交通狀態(tài)進行人工查看和事件檢測,其主要特點為:可視范圍廣、成像效果直觀、目標可辨別度高以及硬件成本低等;其缺點為:易受周邊氣象和光照影響、提取數(shù)據(jù)精度不高以及有效感知距離不足等,不能形成深度精確感知,無法對交通狀態(tài)進行實時連續(xù)識別。

而毫米波雷達具有波長短、頻帶寬、穿透能力強等特點,因而具備抗干擾能力強、識別精度較高、探測感知距離遠等優(yōu)點,已廣泛應用于汽車和路段檢測各領域[1]?；诶滓暼诤霞夹g的全域路況感知方案采用毫米波雷達+視頻數(shù)據(jù)融合模式,具備實時目標檢測、目標類型精確識別、車流量統(tǒng)計、車速檢測、目標位置連續(xù)跟蹤等能力,可獲取車輛實時軌跡,并通過模型算法的跟蹤傳遞,達到道路的全域軌跡跟蹤,實現(xiàn)全路段的交通信息有效感知,實時掌控交通態(tài)勢。

1 系統(tǒng)構成

基于雷視融合技術的全域車輛感知系統(tǒng)由毫米波雷達傳感器、數(shù)據(jù)邊緣計算單元、高清視頻監(jiān)控設備(高清槍式、球型攝像機)、中心管理計算服務器、管理工作站以及通信網(wǎng)絡構成,如圖1所示。

圖1 全域車輛感知系統(tǒng)構成示意圖

1.1 毫米波雷達設備

毫米波雷達設備主要負責對檢測區(qū)域內(nèi)所有的目標進行實時跟蹤定位檢測,并對每個目標物體的類型進行精準區(qū)分。目標類型主要包括:車輛、行人、障礙物體等。雷達傳感器對每個目標進行實時跟蹤定位檢測并判斷其運動狀態(tài)和位置信息。

毫米波雷達傳感器主要由高頻發(fā)射單元、信號接收單元、數(shù)據(jù)處理單元和通信單元等組成,其核心數(shù)據(jù)處理單元采用多線程高速處理器,能夠同時對檢測區(qū)域內(nèi)的目標物體進行實時跟蹤定位。雷達檢測器能夠獲取每個目標物體的獨立信息,包括即時速度、運動方向、所在車道、目標類型(大型車輛、中型車輛、小型車輛、行人、障礙物)、經(jīng)緯度、目標尺寸、ID編號、方向角等重要信息。

1.2 高清視頻監(jiān)控設備

高清視頻監(jiān)控設備與毫米波雷達配合使用,與毫米波雷達同址設置,主要用于提取車輛的各類信息。毫米波雷達觸發(fā)抓拍,利用圖像識別技術來獲取年輛的特征信息。車輛的特征信息包括:車牌、車標、車系、車型、顏色、車速信息等。

高清視頻監(jiān)控設備主要包括高清槍式攝像機和高清球形攝像機兩類。

1.3 數(shù)據(jù)邊緣計算單元

數(shù)據(jù)邊緣計算單元主要為前端數(shù)據(jù)處理和跟蹤服務處理模塊,負責完成雷達設備與車輛高清抓拍卡口設備數(shù)據(jù)的采集、分析、處理、雷達設備與攝像機同步觸發(fā)抓拍、被跟蹤目標丟失補償、目標軌跡修正、軌跡再現(xiàn)、多雷達之間目標信息數(shù)據(jù)相互傳遞、雷達目標動態(tài)數(shù)據(jù)與車牌抓拍獲取的車輛特征數(shù)據(jù)深度融合、被跟蹤目標信息回溯、數(shù)據(jù)格式轉(zhuǎn)化、目標定位實時解析輸出高精度經(jīng)緯度信息等多種功能。外場感知設施設置示意圖如圖2所示。

圖2 外場感知設施設置示意圖

數(shù)據(jù)邊緣計算單元與毫米波雷達采用同址設置,每個點位設置1套數(shù)據(jù)邊緣計算單元。數(shù)據(jù)邊緣計算單元實現(xiàn)以下功能:

1.3.1 目標跟蹤數(shù)據(jù)采集

數(shù)據(jù)邊緣計算單元采用網(wǎng)絡連接方式與雷達傳感器進行互聯(lián),獲取雷達傳感器視場范圍內(nèi)所有目標的原始數(shù)據(jù)信息,并按照預先設定的各種條件和參數(shù)來對原始數(shù)據(jù)進行分析、處理、融合。數(shù)據(jù)邊緣計算單元采用網(wǎng)絡連接方式與視頻監(jiān)控設備進行互聯(lián),獲取、分析、處理獲取抓拍的車輛特征信息。經(jīng)過數(shù)據(jù)邊緣計算單元處理后的雷達數(shù)據(jù)可以實時推送目標跟蹤數(shù)據(jù)和報警數(shù)據(jù)到車牌抓拍服務端。對收集到的車輛類型的目標數(shù)據(jù)進行實時記錄,為目標建立系統(tǒng)中唯一編碼作為該目標唯一標識,并納入持續(xù)跟蹤列表。

1.3.2 目標跟蹤數(shù)據(jù)補充與軌跡修正

當系統(tǒng)判定目標數(shù)據(jù)完全丟失時,系統(tǒng)會啟動該功能并繼續(xù)運行目標跟蹤數(shù)據(jù)補充和軌跡修正服務,降低目標數(shù)據(jù)受影響程度。

轉(zhuǎn)眼到了柚子的采摘期，可能是因為那年夏初時分的氣溫過低，人們把柚子采摘下來一看，傻眼了，這些柚子的皮足有三四厘米厚，柚瓤卻又小又瘦。往年一到這個時候，外地水果商販們都會一車接一車地把柚子收購去，但今年，雖然水果商們同樣一批又一批地來到這里，但最終卻又一批又一批地搖頭離去。果農(nóng)們?yōu)榱税谚肿淤u出去，不斷主動壓低價格，但這同樣沒有讓商販們心動，商人們深知，東西不好再便宜也沒用。

1.3.3 雷達觸發(fā)攝像機抓拍及融合

當雷達檢測到被跟蹤的車輛進入到高清攝像機最佳抓拍區(qū)域時,雷達會發(fā)出同步觸發(fā)捕捉的命令觸發(fā)攝像機抓拍,以保證將同一輛被跟蹤定位的車輛的動態(tài)數(shù)據(jù)信息以及被車輛精準監(jiān)控卡口設備獲得的車輛的特征信息進行綁定及融合,并進行數(shù)據(jù)輸出。

1.3.4 多雷達目標連續(xù)跟蹤

要想實現(xiàn)目標全路徑的跟蹤定位,在保持目標能夠被連續(xù)跟蹤的同時更要實現(xiàn)兩個相鄰雷達傳感器之間數(shù)據(jù)有效的相互傳遞。當目標運行至兩個雷達重疊檢測區(qū)域時,系統(tǒng)會自動啟動目標融合算法,對被兩個雷達同時跟蹤的同一車輛進行融合匹配[2]。實現(xiàn)目標從第一個雷達檢測區(qū)域平滑過渡到第二個雷達檢測區(qū)域內(nèi),并保持目標唯一身份信息不變。

1.3.5 數(shù)據(jù)融合共享

通過上述服務,達到對雷達目標數(shù)據(jù)的持續(xù)跟蹤,并完成車牌抓拍數(shù)據(jù)與雷達目標跟蹤數(shù)據(jù)的融合。將兩種數(shù)據(jù)按照預定規(guī)則格式進行封裝,建立數(shù)據(jù)共享服務,實時與中心管理計算服務器進行通訊,共同完成異常事件和交通控制措施的聯(lián)動運行。

1.4 中心管理服務器

中心管理服務器主要用于承載系統(tǒng)平臺的相關應用。平臺通過與外場路側的數(shù)據(jù)邊緣計算單元進行通信,獲取數(shù)據(jù)邊緣計算單元上傳的數(shù)據(jù)信息、報警信息、圖像信息等,并對其下發(fā)控制指令、參數(shù)設定指令、與其他相關系統(tǒng)的聯(lián)動指令等。

2 系統(tǒng)方案

南寧沙井至吳圩高速公路是交通運輸部在廣西開展的交通強國試點工程。該項目融合多維度交通運行數(shù)字化感知、北斗高精度定位、車路協(xié)同云管控工程、全生命周期高精度多模態(tài)空間數(shù)據(jù)工程等技術方案,創(chuàng)新試點先進技術的應用,建立車路協(xié)同示范應用等一系列創(chuàng)新設計場景。項目全線長度約為26 km,設計采用在主線范圍進行道路全域部署感知設施方案,以支撐基于車路協(xié)同的智能駕駛相關應用。

2.1 系統(tǒng)設置方案

項目按照350 m的間隔設置定向毫米波雷達傳感器、高清監(jiān)控攝像機。雷達探測器與高清攝像機設置于道路中央分隔帶立桿上,邊緣計算單元設于道路路側,視距不良的特殊路段采用加密方式布設。

毫米波雷達探測器采用定向探測傳遞方案,安裝高度為6 m,探測距離為400 m。為保障雷達探測器的數(shù)據(jù)有效性,在視野開闊的直線路段上的布設間距為350 m,對于彎道視距不良路段,對探測器設置間距進行加密。

2.2 系統(tǒng)工作流程(圖3)

圖3 毫米波雷達和攝像機探測方案示意圖

當車輛駛入毫米波雷達傳感器所覆蓋的檢測區(qū)域,毫米波雷達傳感器通過實時掃描的方式來獲取車輛的初始數(shù)據(jù),該數(shù)據(jù)通過本地網(wǎng)絡傳至路側邊緣計算單元,路側邊緣計算單元再通過對雷達傳感器上傳的數(shù)據(jù)進行實時分析和處理,獲取雷達傳感器所覆蓋的檢測區(qū)域內(nèi)每一個目標車輛的實時動態(tài)信息。主要包括以下內(nèi)容:目標車輛的經(jīng)緯度信息、運行速度信息、運行方向信息、所在位置信息,并生成檢測區(qū)域內(nèi)唯一ID數(shù)字標識信息等。

當系統(tǒng)通過雷達傳感器跟蹤并定位到車輛進入預先設定的抓拍觸發(fā)檢測區(qū)域時,系統(tǒng)會將觸發(fā)信息通過邊緣計算單元傳輸給高清監(jiān)控攝像機,觸發(fā)高清監(jiān)控攝像機對駛入的車輛進行圖像抓拍,然后將抓拍的圖像數(shù)據(jù)傳至邊緣計算單元,由其進行圖像AI結構化,實時提取該車輛的特征信息,主要包括車輛的顏色、車型、品牌、商標、車牌、類別等信息。

邊緣計算單元將雷達傳感器和攝像機所獲取同一輛車輛的動態(tài)信息與車輛特征信息進行融合,融合的每輛車輛將具備唯一的完整數(shù)據(jù)信息,并采用車輛身份信息編制原則在系統(tǒng)中生成唯一的車輛身份信息。

雷達傳感器通過數(shù)據(jù)處理后可精準跟蹤定位每一個目標車輛所在位置,定位精度達到車道級。因此,為防止車輛并行、遮擋而導致高清監(jiān)控攝像機誤觸發(fā),進而導致對于同一車輛獲取車輛特征信息與動態(tài)信息錯誤匹配和錯誤融合,應按照實際車道數(shù)量安裝車牌抓拍攝像機以及設置對應的觸發(fā)抓拍區(qū)域,以保證雷達傳感器、邊緣計算單元、高清監(jiān)控攝像機協(xié)同工作完成車輛同步觸發(fā)抓拍、精準數(shù)據(jù)融合。

3 系統(tǒng)功能

3.1 實現(xiàn)道路全域連續(xù)感知

通過在主線布設的毫米波雷達設備和高清攝像機,系統(tǒng)可對道路全域進行連續(xù)感知。通過在監(jiān)控中心對道路狀態(tài)進行實時全域展示,解決了視頻監(jiān)控無法對道路進行連續(xù)查看的情況,達到了對道路的全程連續(xù)檢測,且避免了惡劣天氣和光線的影響,實現(xiàn)全天候?qū)崟r感知。

3.2 實現(xiàn)精準檢測,報警數(shù)據(jù)有效化

系統(tǒng)采集毫米波雷達數(shù)據(jù)和高清攝像機的視頻圖像數(shù)據(jù),并通過在路側部署的數(shù)據(jù)邊緣計算單元中進行數(shù)據(jù)分析,形成“雷視融合”,篩選二者數(shù)據(jù)中的優(yōu)質(zhì)數(shù)據(jù),排除二者由于不利因素分別帶來的低質(zhì)量數(shù)據(jù),實現(xiàn)精準檢測。系統(tǒng)采用同時間、同位置、同類型、同時分析的邏輯報警方式,從而提高道路數(shù)據(jù)的質(zhì)量,減少誤報警。

系統(tǒng)能夠?qū)Ω鞣N路段(單向多車道、雙向多車道、橋梁)進行可靠的事件檢測,檢測類型包括:車輛停駛、車輛擁堵、車輛排隊、車輛逆行、車輛慢行、行人以及特定區(qū)域的非法入侵等異常事件,對異常事件快速形成報警信息予以提示。當系統(tǒng)檢測到異常事件時,能夠聯(lián)動與雷達配套的高清槍式攝像機或者距離事件最近的高清球形攝像機對異常車輛、行人或事故現(xiàn)場持續(xù)自動跟蹤、定位和查看,降低監(jiān)控人員的勞動強度。

3.3 實現(xiàn)全面采集和全方位掌控

通過前端感知設備的采集數(shù)據(jù),不僅可以得到單個車輛的動態(tài)信息和報警數(shù)據(jù),同時可以得到覆蓋范圍內(nèi)的交通路況信息和交通狀態(tài)信息:道路流量信息、車輛平均速度信息、區(qū)域內(nèi)車輛數(shù)量信息、車型統(tǒng)計信息、道路通行狀態(tài)信息等。道路運營管理者以此信息為依據(jù),可清楚地了解當前道路交通狀況,并根據(jù)不同交通狀況和事件,采取不同的管理措施,對道路形成全方位的掌控。

3.4 實現(xiàn)系統(tǒng)數(shù)據(jù)互聯(lián)互通

系統(tǒng)在路側部署邊緣計算單元,通過光纖連接通信,將路側各個單元節(jié)點、邊緣計算單元、中心監(jiān)控平臺之間的通信鏈路打通,數(shù)據(jù)傳輸協(xié)議打通,使整個系統(tǒng)的各個節(jié)點形成系統(tǒng)性關聯(lián),各設備之間的數(shù)據(jù)互聯(lián)互通。系統(tǒng)支持將更多感知設施和邊緣處理單元集成進來形成統(tǒng)一的系統(tǒng),避免形成信息孤島,造成重復建設和數(shù)據(jù)資源的浪費。

4 結語

通過基于雷視融合技術的全域車輛感知方案,可實現(xiàn)多場景、多功能的應用,包括交通事件檢測、目標實時跟蹤、路況信息、交通流量信息、車輛實時信息等,多個感知設備之間實現(xiàn)數(shù)據(jù)互通、融合、智能分析。本文提出的方案彌補了傳統(tǒng)視頻監(jiān)控系統(tǒng)存在的不足,并可根據(jù)不同的路況與需求進行多種功能的實現(xiàn)與拓展,為車路協(xié)同與智慧交通等各類應用場景提供可靠的基礎支撐。