機(jī)場(chǎng)全景可視化系統(tǒng)設(shè)計(jì)

黎永志 張焱輝

摘 ?要：隨著機(jī)場(chǎng)飛行區(qū)越來越繁忙，迫切需要智慧化、可視化的技術(shù)手段，滿足飛行區(qū)管制運(yùn)行指揮需要，機(jī)場(chǎng)全景可視化系統(tǒng)是大規(guī)模實(shí)現(xiàn)這一目標(biāo)的重要途徑，是大密度機(jī)場(chǎng)提高飛行區(qū)運(yùn)行效率和機(jī)場(chǎng)運(yùn)行效率的必然選擇。本文基于全景4K拼接融合和全景視頻實(shí)景地圖的關(guān)鍵技術(shù)，最終實(shí)現(xiàn)成像無拼接痕跡，多個(gè)攝像機(jī)嚴(yán)格同步，畫面色彩均衡統(tǒng)一，拼縫處無重影、無殘缺，讓監(jiān)控人員體驗(yàn)完美的全景視頻效果。以融合后的全景視頻為底圖，通過坐標(biāo)空間轉(zhuǎn)換關(guān)鍵技術(shù)，實(shí)現(xiàn)信息掛牌和聯(lián)動(dòng)控制業(yè)務(wù)應(yīng)用，為飛行區(qū)管制運(yùn)行提供可視化手段。

關(guān)鍵詞：民用機(jī)場(chǎng);視頻拼接融合;全景可視化

中圖分類號(hào)：TP277 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）12-0009-04

Abstract：The airport flight area is becoming busier and busier，and there is an urgent need for intelligent and visualized technical means to meet the needs of control and operation command of the flight area. Airport panoramic visualization system is an important way to achieve this goal on a large scale，and it is an inevitable choice for dense airports to improve the operation efficiency of the flight area and the airport operation efficiency. Based on the key technology of panoramic 4K mosaic fusion and panoramic video scene map，this paper finally realizes the perfect panoramic video effect for the surveillance personnel，which has no mosaic traces，strict synchronization of multiple cameras，uniform color balance and no ghost or defect at the mosaic. Taking the fused panoramic video as the base image，the key technologies of coordinate space conversion are used to realize the application of information listing and linkage control business，which provides a visual means for the control and operation of the flight area.

Keywords：civil airport;video mosaic and fusion;panoramic visualization

0 ?引 ?言

隨著我國民航快速發(fā)展，機(jī)場(chǎng)規(guī)模不斷擴(kuò)大、布局更加復(fù)雜，多跑道、多滑行道、多航站樓、多機(jī)坪的機(jī)場(chǎng)眾多，大型機(jī)場(chǎng)地面交通流量大、密度大已呈常態(tài)化，復(fù)雜的運(yùn)行情況在機(jī)場(chǎng)飛行區(qū)運(yùn)行時(shí)也尤其明顯。

機(jī)場(chǎng)飛行區(qū)大致分為機(jī)動(dòng)區(qū)和機(jī)坪區(qū)。機(jī)場(chǎng)機(jī)動(dòng)區(qū)主要包括機(jī)場(chǎng)跑道和主滑行道，在這里面主要是飛機(jī)在活動(dòng);機(jī)坪區(qū)主要是停機(jī)坪，在這里面活動(dòng)的不只有飛機(jī)，還包括相應(yīng)的服務(wù)保障設(shè)備和人員，如客梯車、擺渡車、行李車等以及機(jī)務(wù)維修、安全監(jiān)護(hù)等人員，運(yùn)行情況遠(yuǎn)比機(jī)動(dòng)區(qū)復(fù)雜。為滿足飛行區(qū)管制運(yùn)行指揮需要，機(jī)場(chǎng)全景可視化系統(tǒng)是大規(guī)模實(shí)現(xiàn)這一目標(biāo)的重要途徑，是大密度機(jī)場(chǎng)提高飛行區(qū)運(yùn)行效率和機(jī)場(chǎng)運(yùn)行效率的必然選擇。

1 ?基于4K視頻的拼接融合算法

根據(jù)機(jī)場(chǎng)飛行區(qū)可視化運(yùn)行管制的實(shí)際應(yīng)用需求，我們創(chuàng)新性地利用視頻的拼接融合算法[1]，結(jié)合采用先進(jìn)的4K視頻融合和拼接技術(shù)，最終成像無拼接痕跡，多個(gè)攝像機(jī)嚴(yán)格同步，畫面色彩均衡統(tǒng)一，拼縫處無重影、無殘缺，讓監(jiān)控人員體驗(yàn)完美的全景視頻效果。

本次實(shí)現(xiàn)的4K全景拼接技術(shù)，支持每路圖像分辨率為3840*2160，算法支持3到6路視頻流實(shí)時(shí)拼接，視頻解碼、圖像投影變換、圖像融合、圖像亮度補(bǔ)償、圖像色度補(bǔ)償、圖像顯示均在GPU里完成，利用多線程技術(shù)并行加速處理。在拼接過程中，算法自動(dòng)識(shí)別相鄰幀畫面之間的重疊部分及亮度、色度差異，并自動(dòng)矯正及進(jìn)行無縫拼接，整個(gè)系統(tǒng)參數(shù)只在初始幀時(shí)計(jì)算一次，后續(xù)幀僅完成圖像投影變換及圖像融合，從而大大節(jié)省時(shí)間成本，保證整個(gè)系統(tǒng)快速高效的運(yùn)行。3路4K全景視頻拼接融合圖像效果如圖1所示。

2 ?基于全景視頻的可視化系統(tǒng)

通過全景融合拼接算法形成全景視頻，融合后的全景視頻為信息掛牌（疊加）和聯(lián)動(dòng)控制業(yè)務(wù)應(yīng)用提供視頻圖像底圖。

全景視頻實(shí)景地圖結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)機(jī)場(chǎng)重要目標(biāo)、設(shè)備（低點(diǎn)槍機(jī)、圍欄攝像機(jī)）、航班信息、入侵事件、飛機(jī)入離位事件等以標(biāo)簽的形式進(jìn)行標(biāo)注，形成整體的實(shí)景效果，給監(jiān)控人員帶來非常直觀的現(xiàn)場(chǎng)感。

全景視頻中支持疊加建筑物信息、飛行區(qū)中的重要目標(biāo)（跑道區(qū)、飛行區(qū)、停機(jī)坪）、安保設(shè)施（含低點(diǎn)攝像機(jī)）、機(jī)位編號(hào)等信息進(jìn)行標(biāo)注，實(shí)現(xiàn)飛行區(qū)運(yùn)行全景可視化顯示。

客戶端可通過全景圖像縮放分層顯示各種信息，逐層疊加顯示或隱藏不同信息圖層，支持多極縮放。通過鼠標(biāo)點(diǎn)擊全景視頻中的目標(biāo)圖標(biāo)，即可對(duì)標(biāo)注的重要目標(biāo)進(jìn)行詳情查看，可以幫助操作人員快速掌握機(jī)場(chǎng)重要區(qū)域分布情況，在事件發(fā)生后，快速準(zhǔn)確地定位到事發(fā)現(xiàn)場(chǎng)，迅速獲取區(qū)域負(fù)責(zé)人的聯(lián)系方式，極大地減少了操作人員的工作量，有助于提高工作效率。為全景視頻疊加標(biāo)簽的效果如圖2所示。

為全景視頻中的航空器疊加標(biāo)簽來顯示航班號(hào)等信息，標(biāo)簽跟隨航空器一起運(yùn)動(dòng)，從而輔助機(jī)場(chǎng)飛行區(qū)管理用戶的調(diào)度指揮，提高工作效能。

系統(tǒng)通過接口從A-CDM系統(tǒng)獲取航空器的航班信息，包括航班號(hào)、經(jīng)緯度、海拔、速度等數(shù)據(jù)（如表1所示），計(jì)算得到每個(gè)起降航空器的位置信息。同時(shí)，全景視頻通過智能分析，檢測(cè)視頻圖像中運(yùn)動(dòng)的航空器，獲得航空器的位置。系統(tǒng)建立空間坐標(biāo)系和視頻二維坐標(biāo)系之間的變換關(guān)系，為每個(gè)運(yùn)動(dòng)的航空器匹配航班信息，將航班信息疊加到全景視頻中。全景視頻航空器掛牌顯示效果如圖3所示。

用戶通過全景視頻可以掌握機(jī)場(chǎng)全局態(tài)勢(shì)，然而由于廣闊的機(jī)場(chǎng)監(jiān)控區(qū)域，對(duì)于遠(yuǎn)處目標(biāo)，即使4K分辨率也無法獲取清晰畫面，用戶在實(shí)際使用中，希望看清遠(yuǎn)處的細(xì)節(jié)。通過坐標(biāo)空間轉(zhuǎn)換關(guān)鍵技術(shù)，用戶可以全景視頻中雙擊目標(biāo)，系統(tǒng)自動(dòng)引導(dǎo)激光夜視云臺(tái)移動(dòng)到目標(biāo)區(qū)域，并變倍放大顯示，將目標(biāo)清晰地呈現(xiàn)在畫面中。全景與云臺(tái)聯(lián)動(dòng)效果如圖4所示。

激光夜視云臺(tái)在夜間具備較好的成像效果，對(duì)于暗處的目標(biāo)也能較為清晰地成像，同時(shí)激光采用的波段對(duì)機(jī)場(chǎng)航空安全無影響，適用于機(jī)場(chǎng)環(huán)境。

通過對(duì)接航站樓現(xiàn)有監(jiān)控平臺(tái)，獲取攝像機(jī)列表與視頻，用戶將已部署的低點(diǎn)視頻在全景視頻中標(biāo)注，而無須記錄低點(diǎn)攝像機(jī)的名稱和位置，在全景視頻中點(diǎn)擊低點(diǎn)視頻的數(shù)據(jù)標(biāo)簽，即可彈出獨(dú)立視頻窗口播放視頻。從而實(shí)現(xiàn)對(duì)低點(diǎn)視頻的快捷調(diào)閱。在全景視頻中定位事件位置后，即可快速查看事件周邊的攝像機(jī)，從多個(gè)角度監(jiān)控事發(fā)現(xiàn)場(chǎng)，實(shí)現(xiàn)事發(fā)周邊多攝像機(jī)的同步播放，提高工作效率。全景聯(lián)動(dòng)低點(diǎn)視頻效果如圖5所示。

重要區(qū)域入侵檢測(cè)與記錄是利用智能視頻分析技術(shù)，對(duì)4K全景視頻中的該區(qū)域進(jìn)行實(shí)時(shí)分析處理。檢測(cè)該區(qū)域的人員和車輛的非法入侵事件，具備目標(biāo)自動(dòng)智能發(fā)現(xiàn)和跟蹤能力，主動(dòng)提醒監(jiān)控人員關(guān)注疑似目標(biāo)，記錄事件全過程。有效保障重點(diǎn)區(qū)域的安全，提前消除安全隱患，避免人員、車輛闖入作業(yè)區(qū)造成的飛行安全事故，提高機(jī)場(chǎng)安全管理水平，從科技角度避免（或降低）機(jī)場(chǎng)事故的發(fā)生。全景視頻分析效果如圖6所示。

通過地圖全局態(tài)勢(shì)功能，可了解整個(gè)系統(tǒng)的態(tài)勢(shì)，地圖中標(biāo)記所有攝像機(jī)、云臺(tái)等設(shè)備，顯示云臺(tái)的方位角度，在預(yù)警發(fā)生后，第一時(shí)間顯示報(bào)警區(qū)域，并通過設(shè)備配置的參數(shù)完成預(yù)警目標(biāo)和軌跡在地圖中的疊加。目標(biāo)預(yù)警后，基于設(shè)備安裝參數(shù)、云臺(tái)角度、預(yù)警目標(biāo)坐標(biāo)等參數(shù)，利用數(shù)學(xué)公式計(jì)算出預(yù)警點(diǎn)的實(shí)際坐標(biāo)，并不斷更新目標(biāo)當(dāng)前位置，在電子地圖中實(shí)時(shí)繪制目標(biāo)軌跡。系統(tǒng)支持目標(biāo)歷史軌跡的回放。

通過地圖可了解系統(tǒng)的整個(gè)態(tài)勢(shì)，比如當(dāng)前系統(tǒng)內(nèi)的設(shè)備分布情況、每個(gè)設(shè)備的當(dāng)前監(jiān)視區(qū)域、報(bào)警目標(biāo)位置以及報(bào)警目標(biāo)的運(yùn)動(dòng)目標(biāo)等軌跡。電子地圖使信息更加直觀，便于指揮中心值班人員全面掌握實(shí)時(shí)的綜合態(tài)勢(shì)，針對(duì)不同事件快速便捷地制定精確的指揮計(jì)劃，并根據(jù)不斷變化的情勢(shì)隨機(jī)應(yīng)變，調(diào)整戰(zhàn)略。電子地圖態(tài)勢(shì)效果如圖7所示。

通過地圖聯(lián)動(dòng)支持疊加各種圖標(biāo)，包括前端設(shè)備、報(bào)警點(diǎn)、監(jiān)控中心，用圖標(biāo)體現(xiàn)設(shè)備狀態(tài)，并支持選擇，攝像機(jī)圖標(biāo)需要疊加可視區(qū)，云臺(tái)攝像機(jī)實(shí)時(shí)更新當(dāng)前監(jiān)視的扇形區(qū)域等。通過地圖，可以引導(dǎo)云臺(tái)移動(dòng)至關(guān)注區(qū)域，便于事件發(fā)生后，監(jiān)控人員快速引導(dǎo)云臺(tái)進(jìn)行視頻關(guān)注。電子地圖示意圖如圖8所示。

歷史數(shù)據(jù)多畫面回溯功能，可以將機(jī)場(chǎng)實(shí)時(shí)監(jiān)看的全景視頻，再度以全景的形式回放出來，對(duì)整體的歷史事件的回溯，可以更加直觀、準(zhǔn)確地再現(xiàn)。便于事后的研判分析和運(yùn)營的指揮管理，并且可以將關(guān)聯(lián)的激光云臺(tái)視頻同步回放顯示。

3 ?機(jī)場(chǎng)全景視頻可視化系統(tǒng)實(shí)踐

在多家機(jī)場(chǎng)項(xiàng)目中，在飛行區(qū)機(jī)坪運(yùn)行指揮時(shí)，全景可視化系統(tǒng)是最為方便和直觀的，全景監(jiān)控畫面符合人視野的習(xí)慣性，比起點(diǎn)位監(jiān)控對(duì)地域影像的捕捉更為整體和連貫，有效減少了機(jī)坪上飛機(jī)滑行與特種車輛的沖突，使出行更加安全。指揮效率的提高，縮短了飛機(jī)在機(jī)坪上滑行的時(shí)間，從而縮短旅客等待起飛和等待下機(jī)時(shí)間，提高了廊橋使用率，更多安排近機(jī)位，可使旅客更方便地上下機(jī)。機(jī)場(chǎng)全景可視化系統(tǒng)的實(shí)施，成為現(xiàn)代化塔臺(tái)指揮利用科技手段實(shí)施管制運(yùn)行指揮的重要技術(shù)保障。

4 ?結(jié) ?論

本課題研究符合《國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要（2006-2020）》《中國民用航空發(fā)展第十三個(gè)五年規(guī)劃》、MH/T 7003-2017《民用運(yùn)輸機(jī)場(chǎng)安全保衛(wèi)設(shè)施》《關(guān)于推進(jìn)航空器機(jī)坪運(yùn)行管理移交機(jī)場(chǎng)管理機(jī)構(gòu)工作的通知》等國家、行業(yè)的規(guī)劃和戰(zhàn)略部署。

機(jī)場(chǎng)全景可視化系統(tǒng)投入使用，為機(jī)場(chǎng)飛行區(qū)域整體監(jiān)控提供了支撐，從而使指揮人員、監(jiān)控人員能快速、正確地判斷飛行區(qū)域整體運(yùn)行情況，降低安全隱患，確保人員、財(cái)產(chǎn)安全。

參考文獻(xiàn)：

[1] 劉杰，王生進(jìn).基于邊界擴(kuò)展的圖像顯著區(qū)域檢測(cè) [J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，57（1）：72-78.

[2] 張建偉，趙旭，潘輝.基于卡爾曼濾波與相位相關(guān)算法的機(jī)場(chǎng)周邊遠(yuǎn)場(chǎng)圖像全景拼接優(yōu)化 [J].中國民航飛行學(xué)院學(xué)報(bào)，2019，30（2）：5-9.

[3] 張簡(jiǎn).全景視頻監(jiān)視系統(tǒng)在貴陽機(jī)場(chǎng)的應(yīng)用 [J].電腦知識(shí)與技術(shù)，2015，11（7）：228-229.

作者簡(jiǎn)介：黎永志（1980.08-），男，漢族，廣東佛山人，民航事業(yè)部總經(jīng)理，工程師，有著10多年電子信息、軟件研發(fā)經(jīng)驗(yàn)和民航行業(yè)應(yīng)用研發(fā)經(jīng)驗(yàn)，碩士研究生，研究方向：電子工程;張焱輝（1984.08-），男，漢族，廣東梅州人，產(chǎn)品經(jīng)理，助理工程師，本科，研究方向：通信工程。