基于雷視融合的數(shù)字孿生技術(shù)研究

徐 聞 淵

[上海市政工程設(shè)計研究總院(集團(tuán))有限公司, 上海 200092]

0 引 言

數(shù)字孿生是近年來交通行業(yè)數(shù)字化轉(zhuǎn)型最為熱門的研究方向之一。它通過各類傳感器在數(shù)字空間內(nèi)再現(xiàn)物理世界的萬物,使物理世界在數(shù)字空間內(nèi)產(chǎn)生互動反饋,并通過數(shù)據(jù)融合分析和決策迭代優(yōu)化為管理者提供了幫助[1]。

隨著社會經(jīng)濟(jì)的發(fā)展和人民生活水平的提高,城市道路長度及機(jī)動車保有量迅猛增長,機(jī)動車在道路上產(chǎn)生了大量數(shù)據(jù)。對于交通行業(yè)而言,數(shù)字孿生可以通過全面感知實時道路交通參與者的信息以及路側(cè)設(shè)施運行狀態(tài),并根據(jù)歷史數(shù)據(jù)及短時交通預(yù)測算法對后續(xù)運行情況進(jìn)行預(yù)測,支撐交通管理決策。由此可見,對道路動態(tài)交通流的全息感知是交通數(shù)字孿生運行的基礎(chǔ)。

1 主流交通檢測技術(shù)對比

目前市面上主流的交通檢測技術(shù)包括感應(yīng)線圈檢測、毫米波雷達(dá)檢測、視頻檢測等。感應(yīng)線圈的檢測原理是通過實時掃描線圈磁場的變化范圍來檢測車輛[2];視頻檢測的原理是通過檢測圖像灰度的變化獲取車輛信息;毫米波雷達(dá)的檢測原理是通過不間斷發(fā)送波長為毫米級的電磁波并接收物體反射的回波來獲取運動物體信息。

交通檢測技術(shù)對比如表1所示。

表1 交通檢測技術(shù)對比

受制于檢測范圍,感應(yīng)線圈檢測技術(shù)僅能檢測線圈所在位置的交通狀況,且不具備定位、車牌識別等功能,另外線圈饋線淺埋于瀝青層內(nèi),極易損壞,因此不能作為數(shù)字孿生的感知設(shè)備。毫米波雷達(dá)與視頻檢測均為區(qū)域型檢測技術(shù),其中毫米波雷達(dá)不易受環(huán)境影響,速度、位置檢測精度較高,但卻不具備車牌及車輛顏色的識別,而此項正是視頻檢測技術(shù)的長處。因此,依靠單一種類檢測器難以進(jìn)行全路段全息采集或軌跡追蹤,多種檢測器的融合是實現(xiàn)數(shù)字孿生的必然選擇。

2 系統(tǒng)關(guān)鍵技術(shù)特點

2.1 雷達(dá)視頻融合聯(lián)動交通全息檢測

雷達(dá)視頻融合聯(lián)動交通全息檢測簡稱雷視融交通檢測,即通過在微波雷達(dá)交通檢測和視頻交通檢測所得交通目標(biāo)檢測散射點信息層面的深度融合,獲得交通流目標(biāo)的交通全息數(shù)據(jù),雷視融交通檢測將雷達(dá)交通檢測與視頻交通檢測技術(shù)優(yōu)勢融于一體,取長補(bǔ)短相得益彰,具有交通信息檢測完整、準(zhǔn)確、實時以及全天候等特點。

雷視融檢測包括雷視融合檢測、雷視聯(lián)動檢測和雷視融合聯(lián)動檢測。雷視融合檢測指雷達(dá)與定焦攝像機(jī)(槍形攝像機(jī))之間的交通檢測信息融合,實現(xiàn)交通流全數(shù)字化檢測和近距離交通事件檢測(小于80 m);雷視聯(lián)動指雷達(dá)與遙控攝像機(jī)(云臺和球機(jī))之間的交通信息檢測聯(lián)動,實現(xiàn)遠(yuǎn)距離(80～350 m)交通事件檢測;雷視融合聯(lián)動檢測指雷達(dá)、定焦攝像機(jī)和遙控攝像機(jī)之間的交通檢測信息融合,可以實現(xiàn)由近及遠(yuǎn)全范圍的交通檢測信息融合,并對特定車輛進(jìn)行跨設(shè)備的視頻監(jiān)控自動追蹤。

2.2 目標(biāo)多元檢測空間同步和時間同步

目標(biāo)多元檢測包括雷達(dá)檢測、定焦攝像機(jī)檢測和遙控攝像機(jī)檢測,目標(biāo)多元檢測融合必然涉及空間同步和時間同步問題。

空間同步指對于同一目標(biāo),不同檢測設(shè)備必須在同一空間坐標(biāo)系下給出目標(biāo)位置。通常情況下檢測設(shè)備給出的坐標(biāo)信息都是相對坐標(biāo),即目標(biāo)相對于檢測設(shè)備本身的坐標(biāo)(平面坐標(biāo)為x、y,空間坐標(biāo)則為距離、方位角度和俯仰角度等)。不同設(shè)備處于不同位置,因此各設(shè)備給出的目標(biāo)坐標(biāo)信息各不相同。常用的統(tǒng)一坐標(biāo)系是WGS84大地絕對坐標(biāo)系,空間同步需要選取每個檢測設(shè)備檢測范圍內(nèi)的若干點,并在WGS84坐標(biāo)系內(nèi)進(jìn)行標(biāo)定,以獲取檢測范圍在WGS84坐標(biāo)系上的坐標(biāo)。標(biāo)定完成后,不同類檢測設(shè)備均可以通過插值法給出基于WGS84坐標(biāo)系的目標(biāo)位置信息,完成雷達(dá)與定焦攝像機(jī)、雷達(dá)與遙控攝像機(jī)間的空間同步。

對于靜止目標(biāo)而言,空間同步可以把多元檢測設(shè)備給出的目標(biāo)位置信息統(tǒng)一起來,但是如果目標(biāo)是運動的,且多元檢測設(shè)備的采樣頻率不同,對于同一運動目標(biāo),不同設(shè)備同一時間給出的目標(biāo)坐標(biāo)和速度信息,實際上對應(yīng)于目標(biāo)在不同位置處的信息,而不是同一目標(biāo)在相同位置處的信息。因此要實現(xiàn)多元檢測數(shù)據(jù)融合,除了空間同步之外還需要時間同步。

時間同步就是把多元檢測設(shè)備對應(yīng)于同一運動目標(biāo)在相同位置所檢測到的信息(對應(yīng)于多元檢測不同時刻的輸出信息)進(jìn)行同步,以克服多元檢測設(shè)備檢測響應(yīng)時間不同造成的延遲問題。以雷視融合檢測為例,雷達(dá)、視頻數(shù)據(jù)均帶有時間戳,雷達(dá)采樣頻率一般為10 Hz,視頻約為30 Hz。對于某一特定時刻,系統(tǒng)將分別選距離該時刻最接近的雷達(dá)、視頻時間戳對應(yīng)的目標(biāo)位置信息,由時間同步算法處理后生成該時刻該目標(biāo)所在的位置。

通過空間同步標(biāo)定和時間同步標(biāo)定,即可實現(xiàn)多元檢測目標(biāo)深度融合的空時同步相關(guān)問題。

2.3 數(shù)據(jù)拼接

數(shù)據(jù)拼接是指將同一目標(biāo)的所有信息在相鄰檢測設(shè)備之間傳遞的技術(shù),是實現(xiàn)數(shù)字孿生“由點及面”發(fā)展的重要技術(shù)手段。

單一目標(biāo)在通過時空同步之后,在數(shù)字孿生系統(tǒng)中每一時刻均具有了確定的位置。根據(jù)“同一時間同一對象的位置一致”原則,系統(tǒng)分析相鄰檢測設(shè)備檢測范圍重疊區(qū)域內(nèi)的目標(biāo)位置,并比對車牌車型顏色中的一個或多個參數(shù)是否一致,若一致,則將上游檢測器采集的數(shù)據(jù)信息傳遞給下游檢測器。以此類推,完成整個數(shù)字孿生系統(tǒng)的數(shù)據(jù)拼接。

2.4 數(shù)字孿生的展示

(1) 靜態(tài)設(shè)施的孿生展示。2D交通孿生再現(xiàn)是將實時交通流展示在二維坐標(biāo)系中,只展示道路標(biāo)線和交通流,可以看到車輛在不同車道上的實時運動軌跡。2D宏觀狀態(tài)展示可以看到數(shù)字孿生覆蓋區(qū)域的交通流情況,2D微觀狀態(tài)展示可以看到快速路中每一輛車的車牌號碼、主體顏色、位置坐標(biāo)以及運動速度等,并可以對該車輛進(jìn)行連續(xù)自動追蹤。

(2) 3D孿生再現(xiàn)。3D交通孿生再現(xiàn)是將實時交通流展示在三維坐標(biāo)系中,并且3D實景展示地形地貌、周邊交通標(biāo)志標(biāo)牌以及路邊建筑物等,可以在三維場景中看到車輛實時運動狀態(tài)。

3 系統(tǒng)應(yīng)用

兩港大道(新四平公路-S2-大治河)快速化工程位于上海市浦東新區(qū)臨港新片區(qū)境內(nèi),工程西起新四平公路,東行至S2滬蘆高速,轉(zhuǎn)向北至大治河,全長約25.9 km,采用“主線雙向6車道快速路+地面道路”建設(shè)形式。該項目作為臨港新城首條快速路,對標(biāo)臨港未來之城的目標(biāo),在常規(guī)快速路監(jiān)控系統(tǒng)外同步設(shè)置了基于雷視融合的數(shù)字孿生系統(tǒng)。

3.1 系統(tǒng)組成

基于雷視融合的數(shù)字孿生系統(tǒng)由感知層、傳輸層、中心層組成。

3.1.1 感知層

感知層設(shè)備主要包含云臺攝像機(jī)、定焦槍機(jī)、雷達(dá)檢測器以及雷視融合主機(jī)等。雷達(dá)檢測器用于檢測范圍內(nèi)所有車輛的所在位置、行駛方向角、速度、車型等信息,以及路段交通流量、速度、占有率等交通參數(shù),定焦槍機(jī)用于檢測車輛牌照、顏色等信息,并由雷視融合主機(jī)利用空間及時間標(biāo)定技術(shù)將其檢測結(jié)果與雷達(dá)檢測器的檢測結(jié)果融合,形成對單一車輛的全要素感知。與此同時,雷達(dá)檢測器與雷視融合主機(jī)協(xié)同工作,對檢測范圍內(nèi)進(jìn)行不間斷掃描,識別可能存在的異常停車、逆行、車輛事故、擁堵等突發(fā)事件。檢測到突發(fā)事件后,雷達(dá)檢測器將事件發(fā)生的WGS84坐標(biāo)位置發(fā)送給雷視融合主機(jī),由主機(jī)根據(jù)事發(fā)位置判斷給后臺事件檢測服務(wù)器推送定焦槍機(jī)視頻流或云臺攝像機(jī)視頻流,實現(xiàn)快速路突發(fā)事件的自動識別、管控。

3.1.2 傳輸層

對于數(shù)字孿生系統(tǒng)而言,傳輸層的作用主要是將外場感知層數(shù)據(jù)向中心層傳輸,采用光纖作為傳輸介質(zhì),交換機(jī)作為數(shù)據(jù)傳輸設(shè)備。為保障數(shù)據(jù)傳輸?shù)目煽啃约皶r效性,傳輸層網(wǎng)絡(luò)架構(gòu)采用了環(huán)形架構(gòu),交換機(jī)采用千兆工業(yè)級交換機(jī),確保傳輸帶寬的同時,任一單點故障不會影響全網(wǎng)數(shù)據(jù)傳輸。

3.1.3 中心層

中心層主要設(shè)備包括事件檢測服務(wù)器、雷視融合服務(wù)器。事件檢測服務(wù)器的主要功能為接收前端感知設(shè)備上傳的視頻流,并利用高性能圖像處理單元對視頻流進(jìn)行分析,自動識別包括車輛自燃、車輛事故、交通擁堵、車輛拋錨、異常停車、車輛倒車、車輛逆行、非機(jī)動車駛?cè)?、行人進(jìn)入、障礙物等異常事件。雷視融合服務(wù)器的主要功能包括數(shù)字地圖展示、全息數(shù)據(jù)清洗、拼接、視頻事件分析、路口AI分析以及結(jié)構(gòu)化數(shù)據(jù)輸出。

3.2 系統(tǒng)功能

3.2.1 靜態(tài)設(shè)施的數(shù)字化表達(dá)

靜態(tài)設(shè)施孿生是構(gòu)建交通數(shù)字孿生系統(tǒng)的基礎(chǔ),本系統(tǒng)完成高架結(jié)構(gòu)、路面、標(biāo)線、各類標(biāo)志牌、桿件、路邊機(jī)柜、信號機(jī)、攝像機(jī)、雷達(dá)設(shè)備等靜態(tài)設(shè)施的數(shù)字化表達(dá),包含外貌結(jié)構(gòu)、所處位置、設(shè)備編號、IP地址等內(nèi)容,構(gòu)建精準(zhǔn)數(shù)字空間。

數(shù)字空間支持路網(wǎng)、設(shè)備等各類設(shè)備分層級疊加展示,也支持飛行瀏覽和360°視角切換瀏覽。靜態(tài)設(shè)施的數(shù)字化表達(dá)如圖1所示。

圖1 靜態(tài)設(shè)施的數(shù)字化表達(dá)

3.2.2 外場設(shè)施運行狀態(tài)的數(shù)字化表達(dá)

有別于靜態(tài)設(shè)施,交通監(jiān)控設(shè)備會隨時間或中心指令的不同,改變其設(shè)備運行狀態(tài)及對外發(fā)布的信息。為滿足“數(shù)字孿生是在數(shù)字空間實時構(gòu)建物理對象精準(zhǔn)數(shù)字化映射”的定義,數(shù)字空間中的交通監(jiān)控設(shè)施將與物理世界中的設(shè)施同步信息。外場設(shè)施運行狀態(tài)的數(shù)字化表達(dá)如圖2所示。

3.2.3 宏觀、微觀信息展示

微觀信息展示指精確到個體級對象的各項信息展示。如車牌、車型、顏色、行駛軌跡、車速等信息,本系統(tǒng)基于多元檢測時空同步及數(shù)據(jù)拼接技術(shù),接收外場感知設(shè)備實時數(shù)據(jù)推送,并經(jīng)后端服務(wù)器清洗、解析,結(jié)合高精度地圖數(shù)據(jù),實現(xiàn)個體級車輛信息(車牌、車型、車輛顏色等)展示、車輛軌跡及速度還原、車輛追蹤、車輛框選查詢、事故定位等功能。個體級對象的信息展示如圖3所示。

宏觀信息展示主要內(nèi)容為路段(網(wǎng))級的交通信息。本系統(tǒng)可分上下行統(tǒng)計并展示兩港大道路段內(nèi)的實時在網(wǎng)車輛數(shù)、道路擁堵起終點與長度、在網(wǎng)車輛平均速度、路段實時飽和度、道路擁堵指數(shù)等信息。路段交通信息展示如圖4所示。

圖4 路段交通信息展示

3.2.4 交通數(shù)據(jù)分析與預(yù)測

利用實時交通流數(shù)據(jù),通過在線仿真模型實現(xiàn)短時交通流預(yù)測。系統(tǒng)依據(jù)實時推演的全局仿真數(shù)據(jù),分析各個路段的仿真結(jié)果,預(yù)測未來不同時長內(nèi)的交通流。針對預(yù)測中的大客流,數(shù)字孿生模型可根據(jù)預(yù)案,在模型中調(diào)整上游情報板、主線車道燈、上匝道車道燈等設(shè)備,來模擬不同的管控方案對大客流產(chǎn)生的影響,評估分析不同條件下的最佳管控方案。

4 結(jié) 語

隨著人工智能、大數(shù)據(jù)等新興技術(shù)的發(fā)展,數(shù)字孿生得到了長足的進(jìn)步,已陸續(xù)在交通領(lǐng)域?qū)崿F(xiàn)了落地應(yīng)用。雷視融合技術(shù)取雷達(dá)、視頻兩種檢測技術(shù)的長處,彌補(bǔ)單一檢測技術(shù)的不足,具有識別事件快、采集信息多、追蹤軌跡準(zhǔn)、受環(huán)境及天氣影響小等特點,是實現(xiàn)數(shù)字孿生現(xiàn)實世界外場感知的必備技術(shù)路線。