城市交通管理中AR可視化技術(shù)的應(yīng)用研究

李 洋，韓 偉，沈 暉，陳漢祿

(1.北京警察學(xué)院，北京 102202；2.北京市公安局公安交通管理局，北京 100037；3.北京博研智通科技有限公司，北京 100190)

AR(增強(qiáng)現(xiàn)實(shí))是虛擬現(xiàn)實(shí)的提升，通過實(shí)時(shí)計(jì)算實(shí)景影像的位置及角度，將真實(shí)世界信息通過運(yùn)算和圖像技術(shù)，并與虛擬世界信息進(jìn)行有機(jī)疊加的新技術(shù)，它的目標(biāo)是在屏幕上展示現(xiàn)實(shí)世界與虛擬世界的疊加、呈現(xiàn)與互動(dòng)[1].

AR技術(shù)，在展現(xiàn)真實(shí)環(huán)境信息的同時(shí)將虛擬的信息疊加顯示出來，實(shí)現(xiàn)真實(shí)環(huán)境和虛擬環(huán)境信息相互疊加[2].通過視覺化的增強(qiáng)現(xiàn)實(shí)場(chǎng)景，系統(tǒng)地把真實(shí)環(huán)境的場(chǎng)景與計(jì)算機(jī)圖形多重合的無縫疊加在一起，實(shí)現(xiàn)更多的信息呈現(xiàn).AR技術(shù)包括但不限于場(chǎng)景建模、視頻跟蹤、圖像顯控、數(shù)據(jù)融合、場(chǎng)景融合等數(shù)據(jù)處理技術(shù)[3].

目前，在交通領(lǐng)域中視頻技術(shù)已在視頻監(jiān)控、交通流檢測(cè)、違法抓拍及事故取證等細(xì)分領(lǐng)域應(yīng)用，但現(xiàn)有系統(tǒng)獨(dú)立存在，無法實(shí)現(xiàn)多系統(tǒng)聯(lián)動(dòng)、直觀呈現(xiàn)全景化的監(jiān)控拼接畫面[4].本研究結(jié)合城市交通管理的業(yè)務(wù)需求，研究AR可視化技術(shù)在城市交通管理的應(yīng)用場(chǎng)景，分析AR視頻可視化在交通管控“情指勤督”中發(fā)揮的作用，解決目標(biāo)區(qū)域內(nèi)多視頻間無法聯(lián)動(dòng)、視頻圖像無法拼接的問題，進(jìn)而促進(jìn)AR視頻在交通管控和治安行業(yè)的普及應(yīng)用，提升城市交通管理效能.

1 關(guān)鍵技術(shù)研究

1.1 智能化視頻跟蹤技術(shù)

智能化視頻跟蹤技術(shù)可確定虛擬目標(biāo)在真實(shí)場(chǎng)景的對(duì)應(yīng)關(guān)系，識(shí)別、定位真實(shí)場(chǎng)景環(huán)境的相關(guān)信息位置，對(duì)拍攝到的圖形數(shù)據(jù)進(jìn)行虛擬化分析處理，并疊加到相應(yīng)真實(shí)場(chǎng)景中，進(jìn)而處理虛擬信息與真實(shí)場(chǎng)景的關(guān)系邏輯，實(shí)現(xiàn)視頻可視化的動(dòng)態(tài)跟蹤處理.針對(duì)拍攝到的圖形信息可實(shí)現(xiàn)人工標(biāo)注和基于自然特征自動(dòng)識(shí)別的視頻跟蹤注冊(cè)[5]，其中人工標(biāo)注主要是通過把特定人工標(biāo)志的物體標(biāo)記在真實(shí)場(chǎng)景中，然后對(duì)拍攝到的圖像中已知物體的識(shí)別進(jìn)行分析處理和運(yùn)算后，得到攝像機(jī)位置和角度，再經(jīng)過坐標(biāo)變換算法，將虛擬物體有機(jī)的疊加到真實(shí)場(chǎng)景的相對(duì)位置.ARToolkit和ARTag是人工標(biāo)注最具代表性的2種方法[6].圖1和圖2分別展示了ARToolkit和ARTag的人工標(biāo)注方案示意.

圖1 ARToolkit人工標(biāo)注示意

圖2 ARTag人工標(biāo)注示意

1.2 三維圖像融合技術(shù)

AR三維圖像融合技術(shù)，首先采集多個(gè)攝像機(jī)設(shè)備拍攝的可視區(qū)域內(nèi)的真實(shí)場(chǎng)景或物體模型視頻圖像，并與相適應(yīng)的虛擬場(chǎng)景圖像進(jìn)行融合，通過計(jì)算機(jī)運(yùn)算形成全新的AR三維視頻實(shí)景，三維視頻融合技術(shù)主要包括視頻采集、圖像修正、圖像配準(zhǔn)、色彩還原、視頻拼接、轉(zhuǎn)換輸出幾個(gè)處理流程[7].

1)視頻采集設(shè)備分布在真實(shí)場(chǎng)景下的多個(gè)安裝位置，由1組或多組組成，2～10個(gè)高清攝像機(jī)為1組，實(shí)現(xiàn)對(duì)可視監(jiān)控區(qū)域的360°全覆蓋.

2)圖像修正完成對(duì)視頻的畸變矯正，主要解決視頻圖像周邊和交界處的邊緣變形.

3)視頻圖像經(jīng)過計(jì)算機(jī)運(yùn)算準(zhǔn)確實(shí)現(xiàn)全景大視角圖像的分塊分區(qū)配準(zhǔn)，確保視頻圖像的各個(gè)區(qū)塊平面投影轉(zhuǎn)換的誤差最小.

4)色彩還原主要針對(duì)不同視頻采集設(shè)備或各個(gè)采集環(huán)境下形成的視頻色彩進(jìn)行還原校準(zhǔn)，并做歸一化處理，消除視頻之間的色差.

5)并行處理視頻拼接需要在區(qū)塊匹配和視頻圖像配準(zhǔn)數(shù)據(jù)基礎(chǔ)上，對(duì)視頻圖像分區(qū)分塊進(jìn)行映射，并完成邊緣融合處理.

6)對(duì)視頻拼接后形成全景圖像進(jìn)行整體輸出，或分片分區(qū)進(jìn)行視頻轉(zhuǎn)換后輸出到系統(tǒng)屏幕上，輸出范圍和規(guī)則可由用戶選擇定義.

1.3 增強(qiáng)現(xiàn)實(shí)動(dòng)態(tài)標(biāo)注技術(shù)

增強(qiáng)現(xiàn)實(shí)動(dòng)態(tài)標(biāo)注技術(shù)主要完成針對(duì)不同品牌、不同類型的視頻監(jiān)控統(tǒng)一標(biāo)準(zhǔn)化后圖像動(dòng)態(tài)標(biāo)注數(shù)字化標(biāo)簽，研究AR標(biāo)簽技術(shù)、數(shù)字化標(biāo)簽增強(qiáng)信息及動(dòng)態(tài)標(biāo)注技術(shù)，分析各種視頻聯(lián)動(dòng)應(yīng)用場(chǎng)景的標(biāo)注信息參數(shù)，完成標(biāo)簽數(shù)據(jù)的實(shí)時(shí)顯示，實(shí)現(xiàn)AR增強(qiáng)現(xiàn)實(shí)對(duì)虛擬信息的可視化管理及多層、多級(jí)標(biāo)簽之間的信息交互(圖3).

圖3 增強(qiáng)現(xiàn)實(shí)的動(dòng)態(tài)標(biāo)注示意圖

AR標(biāo)簽內(nèi)容具有多形式展現(xiàn)，可關(guān)聯(lián)多種數(shù)據(jù)，如監(jiān)控點(diǎn)、圖片、文字、鏈接等信息，滿足用戶信息集中的需求.

2 AR可視化技術(shù)業(yè)務(wù)應(yīng)用

通過AR可視化關(guān)鍵技術(shù)的研究和城市交通業(yè)務(wù)需求分析，并以交通視頻監(jiān)控管理平臺(tái)為基礎(chǔ)與AR可視化技術(shù)相融合，構(gòu)建智能交通AR可視化綜合業(yè)務(wù)平臺(tái)，通過平臺(tái)架構(gòu)和業(yè)務(wù)功能設(shè)計(jì)，為交通管理部門提供智能化手段和可視化輔助決策工具，并通過實(shí)際業(yè)務(wù)場(chǎng)景實(shí)踐應(yīng)用，為交通管理者解決監(jiān)控畫面無法實(shí)現(xiàn)“畫中畫”(兼顧整體與局部)問題.

2.1 平臺(tái)架構(gòu)

利用AR可視化技術(shù)的智能化視頻跟蹤、三維圖像融合和增強(qiáng)現(xiàn)實(shí)動(dòng)態(tài)標(biāo)注等技術(shù)，結(jié)合交通視頻監(jiān)控管理平臺(tái)，構(gòu)建AR可視化監(jiān)控平臺(tái)的整體架構(gòu)，充分發(fā)揮AR可視化技術(shù)在城市交通管理中的作用.交通視頻監(jiān)控管理平臺(tái)負(fù)責(zé)接入外場(chǎng)視頻監(jiān)控資源、電警抓拍資源、人臉抓拍資源、卡口抓拍資源等，實(shí)現(xiàn)交通前端物聯(lián)設(shè)備的統(tǒng)一匯聚與接入，構(gòu)建視頻監(jiān)控統(tǒng)一的結(jié)構(gòu)化數(shù)據(jù)管理.AR可視化監(jiān)控平臺(tái)利用交通視頻監(jiān)控管理平臺(tái)的前端AR球機(jī)(槍機(jī))、高清全景視頻等設(shè)備，通過高速光纖的視頻專網(wǎng)通信鏈路保障AR視頻應(yīng)用的實(shí)時(shí)性，AR視頻以虛擬標(biāo)簽方式整合場(chǎng)景內(nèi)的數(shù)據(jù)信息，實(shí)現(xiàn)視域內(nèi)圖像增強(qiáng)現(xiàn)實(shí)的效果(圖4).

圖4 平臺(tái)架構(gòu)圖

2.2 平臺(tái)功能

2.2.1 全景視頻聯(lián)動(dòng)聯(lián)控

在平臺(tái)GIS界面上展示所有AR視頻點(diǎn)位，通過平臺(tái)窗口的視頻標(biāo)簽可調(diào)閱任意的AR視頻，并通過高點(diǎn)、低點(diǎn)互動(dòng)標(biāo)簽進(jìn)行全域視頻監(jiān)控資源聯(lián)動(dòng)，使之形成全域視頻監(jiān)控一張圖的格局(圖5).

圖5 GIS地圖聯(lián)動(dòng)展示圖

2.2.2 與GIS地圖聯(lián)動(dòng)

平臺(tái)采用高德的離線GIS地圖和高精GIS地圖，實(shí)現(xiàn)AR視頻與GIS地圖的聯(lián)動(dòng).GIS地圖可顯示AR高點(diǎn)視頻、AR低點(diǎn)視頻設(shè)備安裝的實(shí)際地理位置，如點(diǎn)擊平臺(tái)GIS地圖上對(duì)應(yīng)的AR高低點(diǎn)視頻標(biāo)簽，即可呈現(xiàn)對(duì)應(yīng)的AR視頻監(jiān)控場(chǎng)景(圖6).

圖6 AR視頻場(chǎng)景巡邏圖

2.2.3 AR場(chǎng)景自動(dòng)巡邏

平臺(tái)具有多個(gè)AR場(chǎng)景巡邏功能，可設(shè)置AR場(chǎng)景按照一定的時(shí)間間隔進(jìn)行循環(huán)巡邏，通常默認(rèn)時(shí)間間隔為20～30 s.點(diǎn)擊對(duì)應(yīng)開啟按鈕開啟巡邏，再次點(diǎn)擊關(guān)閉巡邏.

2.2.4 視頻聯(lián)動(dòng)預(yù)案

平臺(tái)根據(jù)實(shí)際交通場(chǎng)景需要，配置對(duì)應(yīng)的視頻巡邏預(yù)案，通過制訂聯(lián)動(dòng)預(yù)案，可在預(yù)定的時(shí)間自動(dòng)調(diào)用執(zhí)行對(duì)應(yīng)的預(yù)案，減少操作人員頻繁的操作視頻，提高視頻巡邏效率(圖7).

圖7 AR視頻預(yù)案分屏顯示圖

2.2.5 標(biāo)簽自動(dòng)同步功能

平臺(tái)通過AR視頻設(shè)備，在全景相機(jī)上面添加的虛擬數(shù)字標(biāo)簽，可自動(dòng)同步至云臺(tái)相機(jī)畫面中.利用坐標(biāo)系轉(zhuǎn)換技術(shù)，可實(shí)現(xiàn)全景相機(jī)中的坐標(biāo)標(biāo)簽同步到球機(jī)后依舊保持精準(zhǔn)的坐標(biāo)位置.

2.2.6 AR場(chǎng)景高高聯(lián)動(dòng)

平臺(tái)支持在AR高點(diǎn)視域場(chǎng)景監(jiān)視畫面中添加視域邊界信息，并通過虛擬標(biāo)簽關(guān)聯(lián)相鄰區(qū)域的高點(diǎn)視頻信息.指揮中心人員發(fā)布勤務(wù)安保和涉車布控預(yù)案時(shí)，當(dāng)勤務(wù)車隊(duì)或涉事車輛從一個(gè)AR視頻視域向另一個(gè)AR視頻視域行進(jìn)時(shí)，2個(gè)相鄰監(jiān)控區(qū)域的AR視頻將自動(dòng)轉(zhuǎn)換監(jiān)視場(chǎng)景，形成監(jiān)視場(chǎng)景無縫對(duì)接.

2.2.7 AR場(chǎng)景高低聯(lián)動(dòng)

平臺(tái)以AR高點(diǎn)視頻的寬視野、大場(chǎng)景及可視域范圍廣，視頻全景窗口可實(shí)現(xiàn)區(qū)域內(nèi)重點(diǎn)路段的全方位立體化巡視的特點(diǎn)，并以高點(diǎn)視頻為核心通過虛擬標(biāo)簽動(dòng)態(tài)標(biāo)注信息統(tǒng)領(lǐng)視域內(nèi)低點(diǎn)視頻，在實(shí)景地圖上呈現(xiàn)全域高點(diǎn)、低點(diǎn)AR視頻聯(lián)動(dòng)的防控網(wǎng)絡(luò).

3 應(yīng)用研究成果

通過對(duì)城市交通管理中AR可視化關(guān)鍵技術(shù)和AR可視化技術(shù)業(yè)務(wù)應(yīng)用的深入研究表明，AR視頻在交管和治安業(yè)務(wù)的應(yīng)用，將解決傳統(tǒng)視頻監(jiān)控需人工實(shí)時(shí)監(jiān)視的現(xiàn)狀問題，實(shí)現(xiàn)事件的自動(dòng)感知、識(shí)別和報(bào)警[8].當(dāng)監(jiān)視場(chǎng)景內(nèi)事件、事故發(fā)生時(shí)，利用AR視頻檢測(cè)技術(shù)的自動(dòng)報(bào)警，使值班人員在第一時(shí)間獲悉報(bào)警消息，及時(shí)進(jìn)行快速響應(yīng)及事件處置.

通過AR可視化技術(shù)的業(yè)務(wù)分析和實(shí)踐應(yīng)用，城市交通管理中AR可視化技術(shù)可在以下方面應(yīng)用并發(fā)揮重要作用.

1)路口全息監(jiān)測(cè)：全息感知路口的交通流行駛軌跡、實(shí)時(shí)交通流量及車輛構(gòu)成，實(shí)現(xiàn)對(duì)路口的各流向車道通行路徑進(jìn)行全量統(tǒng)計(jì)，為交通信號(hào)優(yōu)化提供精細(xì)化交通流數(shù)據(jù)支撐.

2)全局監(jiān)視：AR技術(shù)的應(yīng)用，解決了以往查看一條道路的狀況時(shí)需要調(diào)動(dòng)多個(gè)視頻攝像機(jī)的獨(dú)立畫面才能確定，實(shí)現(xiàn)了可視域內(nèi)交通宏觀狀態(tài)“一張圖”的全局監(jiān)視.

3)緝查布控：AR視頻聯(lián)動(dòng)視頻綜合違法平臺(tái)對(duì)各類重點(diǎn)人員及重點(diǎn)車輛進(jìn)行布控預(yù)警，檢測(cè)到涉事目標(biāo)車輛后，根據(jù)涉案車輛的行駛軌跡、場(chǎng)所，自動(dòng)產(chǎn)生AR視頻布控指令，聯(lián)動(dòng)區(qū)域內(nèi)視頻攝像機(jī)自動(dòng)接力追蹤.

4)視頻聯(lián)動(dòng)預(yù)案：根據(jù)視頻監(jiān)控視域內(nèi)實(shí)際場(chǎng)景配置對(duì)應(yīng)的視頻巡邏預(yù)案，并在預(yù)定的時(shí)間自動(dòng)執(zhí)行對(duì)應(yīng)預(yù)案，減少AR系統(tǒng)操作人員頻繁的視頻操作，提高視頻巡邏效率.

5)人臉識(shí)別：利用AR視頻的高精度檢測(cè)技術(shù)自動(dòng)對(duì)交通出行者進(jìn)行人臉識(shí)別，并與公安治安人口數(shù)據(jù)庫(kù)進(jìn)行人物身份比對(duì)驗(yàn)證.

6)車輛識(shí)別：通過AR視頻識(shí)別車輛的類型、顏色、車牌號(hào)碼等特征，并與公安部六合一平臺(tái)的“車、駕、管”數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)比對(duì)，適用于車輛逃逸及涉車案件追蹤等場(chǎng)景.

7)拋灑物品檢測(cè)：對(duì)AR視頻監(jiān)視區(qū)域內(nèi)的城市道路和高速公路行駛貨車及客車發(fā)生物品掉落、拋灑時(shí)，AR視頻就會(huì)實(shí)時(shí)報(bào)警，應(yīng)用場(chǎng)景包括公交場(chǎng)站、城際大巴車站、城市道路、高速道路等[9].

8)擁堵檢測(cè)：對(duì)擁堵路口、路段進(jìn)行實(shí)時(shí)交通流檢測(cè)，當(dāng)發(fā)現(xiàn)車輛滯留在路口內(nèi)引起的路口擁堵或路口下游路段泄流能力不足，導(dǎo)致交通流回溢至路口內(nèi)，視頻將自動(dòng)啟動(dòng)擁堵預(yù)警.

9)人體異常特征分析：在城市道路、公共場(chǎng)所及交通樞紐等場(chǎng)所的AR視頻檢測(cè)區(qū)域，通過對(duì)人體正常行為特征行為的采集，形成人體特征行為數(shù)據(jù)庫(kù)，利用人體行為特征數(shù)據(jù)庫(kù)辨別交通出行者的異常行為，對(duì)突然倒地、打架、斗毆和聚眾鬧事等有潛在危險(xiǎn)的行為進(jìn)行預(yù)警.

10)事件監(jiān)測(cè)：在城市道路交叉口、路段及高速公路的交通事故發(fā)生現(xiàn)場(chǎng)，通過AR視頻檢測(cè)技術(shù)對(duì)事故現(xiàn)場(chǎng)的場(chǎng)景突變狀況進(jìn)行實(shí)時(shí)檢測(cè)預(yù)警.

11)實(shí)景化警力調(diào)度：通過AR系統(tǒng)動(dòng)態(tài)標(biāo)簽與警員手持終端、車載終端、警務(wù)通和執(zhí)法記錄儀等設(shè)備映射關(guān)聯(lián)，實(shí)現(xiàn)警員、警車在AR系統(tǒng)窗口中具體位置的實(shí)時(shí)定位，為交通管理者指揮調(diào)度和警力調(diào)配提供可視化、實(shí)景化決策依據(jù).

12)交通管控：以AR可視化技術(shù)為支撐，通過精準(zhǔn)、實(shí)時(shí)、全面地掌控交通運(yùn)行狀態(tài)，逐步實(shí)現(xiàn)交通管控由“粗獷管理”向“動(dòng)態(tài)掌控”轉(zhuǎn)變，達(dá)到全面提升交通立體防控體系的掌控能力.

4 結(jié)束語

隨著AR技術(shù)快速發(fā)展，在人工智能、物聯(lián)網(wǎng)和人機(jī)交互技術(shù)的推動(dòng)下，視頻跟蹤技術(shù)、三維圖像融合技術(shù)、拼接設(shè)備性能均有不同程度的提高.交通管理信息化中AR技術(shù)創(chuàng)新和廣泛應(yīng)用，有效整合各種交通管理數(shù)據(jù)資源，使視頻巡邏模式由人工設(shè)置向智能巡邏轉(zhuǎn)變，實(shí)現(xiàn)了視頻監(jiān)控隨勤務(wù)預(yù)案、交通擁堵、涉車逃逸等交通事件的智能跟蹤和立體化綜合管控，有效緩解警務(wù)人員頻繁接處警的工作強(qiáng)度，快速將交通事件消滅在萌芽狀態(tài)，提高交通擁堵與涉車事件的處置率.通過AR可視化技術(shù)在交通管理中的應(yīng)用，可實(shí)現(xiàn)交管領(lǐng)域的數(shù)據(jù)與視頻、業(yè)務(wù)與視頻、管理與視頻的結(jié)合；推動(dòng)交通管理基礎(chǔ)工作創(chuàng)新，構(gòu)建高空全景瞭望、低位跟蹤接力的交通場(chǎng)景監(jiān)測(cè)“一張圖”，解決目前交通監(jiān)測(cè)宏觀與微觀之間過渡跳躍的問題，提升公安交警部門宏觀交通管理和立體防控能力.