青島膠東國(guó)際機(jī)場(chǎng)空港地面保障節(jié)點(diǎn)視頻采集監(jiān)管技術(shù)研究

摘" 要：當(dāng)前民航發(fā)展迅速，機(jī)場(chǎng)現(xiàn)場(chǎng)運(yùn)行核心業(yè)務(wù)在于航空器保障、旅客服務(wù)和貨郵處理。已有旅客服務(wù)和貨郵處理系統(tǒng)化比較成熟，但機(jī)坪航空器保障還多以人工報(bào)送進(jìn)展為主。通過利用新一代信息技術(shù)，研究智慧空港監(jiān)管系統(tǒng)的關(guān)鍵技術(shù)，設(shè)計(jì)一套維護(hù)行李、貨物安全及便利化監(jiān)管技術(shù)方案，以促進(jìn)民航業(yè)的自動(dòng)化處理和智能化提升。其中，對(duì)小目標(biāo)檢測(cè)可靠性進(jìn)行探索提升，以提高機(jī)坪小型車輛的探測(cè)準(zhǔn)確度，平衡性能與算力，并為機(jī)場(chǎng)業(yè)務(wù)應(yīng)用提供底層技術(shù)支撐。最后介紹了復(fù)雜場(chǎng)景下控制成本與提升目標(biāo)的檢測(cè)速度的方法與效果。

關(guān)鍵詞：智慧機(jī)場(chǎng)；機(jī)場(chǎng)監(jiān)管；視頻分析；人工智能

中圖分類號(hào)：TP311" 文獻(xiàn)標(biāo)識(shí)碼：A" 文章編號(hào)：2096-4706（2024）23-0145-05

Research on Video Acquisition and Supervision Technology for Airport Ground Support Nodes at Qingdao Jiaodong International Airport

LI Kun， DING Jicun， CHEN Yusong

（Qingdao Civil Aviation Cares Co.， Ltd.， Qingdao" 266061， China）

Abstract： With the rapid development of civil aviation currently， the operation core business of airport onsite focuses on aircraft support， passenger service， and cargo handling. The systematization of existing passenger service and cargo handling systems is relatively mature， but aircraft support on the apron is mainly reliant on manual reporting of progress. This paper researches the key technologies of smart airport supervision system by utilizing next-generation information technology to design a set of technology scheme to maintain luggage and cargo security and convenient supervision for promoting automatic handling and intelligent improvement in civil aviation industry. Among this， it explores to improve the reliability of small target detection， so as to improve the detecting accuracy， balancing performance and computational power of small vehicles on the apron， and provides foundational technology support for airport business operation. Finally， it introduces the methods and effect of controlling cost and improving the target detection speed of in complex scenarios.

Keywords： smart airport; airport supervision; video analysis; Artificial Intelligence

0" 引" 言

近年來，為提升機(jī)場(chǎng)運(yùn)行效率和服務(wù)能力，中國(guó)民用航空局下發(fā)了《機(jī)場(chǎng)協(xié)同決策系統(tǒng)技術(shù)規(guī)范MHT 6125—2022》，為航班保障作業(yè)規(guī)范性和新技術(shù)在航班保障過程中得使用提供了參考和新要求，明確了基于視頻分析實(shí)現(xiàn)保障節(jié)點(diǎn)自動(dòng)采集得節(jié)點(diǎn)項(xiàng)、性能指標(biāo)等具體要求因受制于信息共享機(jī)制和信息采集條件，但經(jīng)過這兩年的實(shí)際運(yùn)行，協(xié)同決策所需的航班地面保障節(jié)點(diǎn)數(shù)據(jù)在及時(shí)性、完整性等方面仍存在問題，有一定的提升空間。隨著機(jī)器視覺（CV）與人工智能（AI）的持續(xù)演進(jìn)，借助視頻智能分析與機(jī)場(chǎng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)可以為機(jī)場(chǎng)監(jiān)管提供更多參考。

1" 業(yè)務(wù)現(xiàn)狀分析

1.1" 機(jī)場(chǎng)保障業(yè)務(wù)分析

機(jī)場(chǎng)業(yè)務(wù)保障關(guān)鍵是航班正常率，為了保障航班正常率需要即時(shí)獲取當(dāng)前保障進(jìn)展?fàn)顟B(tài)，而此類保障進(jìn)展多由人工通過對(duì)講機(jī)或者手持機(jī)APP手動(dòng)報(bào)送。目前國(guó)內(nèi)機(jī)場(chǎng)主要依靠傳統(tǒng)的視頻監(jiān)控系統(tǒng)進(jìn)行安全監(jiān)管。傳統(tǒng)的視頻監(jiān)控平臺(tái)雖然擁有豐富的監(jiān)控視頻數(shù)據(jù)資源，但功能相對(duì)單一、對(duì)于業(yè)務(wù)數(shù)據(jù)價(jià)值尚未深入挖掘、事后回查費(fèi)時(shí)費(fèi)力，缺少聯(lián)動(dòng)高效處置的方法，存在一定的滯后性和被動(dòng)性，不能有效地起到實(shí)時(shí)預(yù)警的作用。通過智能分析視頻方式實(shí)現(xiàn)對(duì)地面保障節(jié)點(diǎn)的進(jìn)程監(jiān)控、時(shí)間采集和動(dòng)作記錄，有效管控航空器地面運(yùn)行。借助對(duì)保障車輛及航空器的檢測(cè)和追蹤，實(shí)現(xiàn)保障進(jìn)展的狀態(tài)自動(dòng)化監(jiān)測(cè)。全面提升機(jī)場(chǎng)運(yùn)行效率，優(yōu)化地面資源配置。航空器保障監(jiān)管還是貨郵、行李處理，計(jì)算機(jī)處理的核心都是目標(biāo)檢測(cè)。目標(biāo)檢測(cè)也是近年來機(jī)器視覺領(lǐng)域發(fā)展最快、應(yīng)用最為廣泛的一種研究方向。從傳統(tǒng)的特征點(diǎn)檢測(cè)到逐步轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)的算法，目標(biāo)檢測(cè)的效果逐步提升。使用人工智能算法對(duì)各個(gè)環(huán)節(jié)進(jìn)行自動(dòng)分析上報(bào)，有效解決人工上報(bào)存在的漏報(bào)誤報(bào)等問題，節(jié)省了人力成本，提高了監(jiān)管效率。

1.2" 民航標(biāo)準(zhǔn)要求

2022年3月，由中國(guó)民用航空局下發(fā)了《機(jī)場(chǎng)協(xié)同決策系統(tǒng)技術(shù)規(guī)范MHT 6125—2022》，為航班保障作業(yè)規(guī)范性和新技術(shù)在航班保障過程中得使用提供了參考和新要求，明確了基于視頻分析實(shí)現(xiàn)保障節(jié)點(diǎn)自動(dòng)采集得節(jié)點(diǎn)項(xiàng)、性能指標(biāo)等具體要求。

2" 整體方案

2.1" 系統(tǒng)結(jié)構(gòu)

系統(tǒng)結(jié)構(gòu)如圖1所示，主要包含攝像機(jī)、分析單元、存儲(chǔ)設(shè)備和智能分析四個(gè)部分。

2.1.1" 攝像機(jī)

攝像機(jī)主要采用可見光高清攝像機(jī)，通過安裝在機(jī)坪特定的多個(gè)角度相機(jī)，對(duì)識(shí)別區(qū)域內(nèi)的航空器、人員、車輛及對(duì)應(yīng)的保障任務(wù)節(jié)點(diǎn)進(jìn)行采集，同時(shí)可以提供實(shí)時(shí)視頻以協(xié)助完成監(jiān)管。

2.1.2" 分析單元

分析單元作為本系統(tǒng)核心部件，主要由高性能GPU服務(wù)器集群構(gòu)成，對(duì)可見光相機(jī)傳回的動(dòng)態(tài)數(shù)據(jù)流進(jìn)行實(shí)時(shí)處理及分析，該分析單元可以根據(jù)保障識(shí)別任務(wù)的業(yè)務(wù)類型及業(yè)務(wù)總量進(jìn)行靈活配置，可以滿足中大型機(jī)場(chǎng)高峰期吞吐量的識(shí)別要求，同時(shí)技術(shù)上集群采用高可用及冗余設(shè)計(jì)，保持業(yè)務(wù)的持續(xù)性。

2.1.3" 存儲(chǔ)設(shè)備

根據(jù)機(jī)場(chǎng)業(yè)務(wù)體量可以靈活的配置分析單元的集群規(guī)模和存儲(chǔ)設(shè)備規(guī)模，系統(tǒng)支持中大型機(jī)場(chǎng)的極大數(shù)據(jù)量存儲(chǔ)，并支持?jǐn)?shù)據(jù)備份及冗余設(shè)計(jì)，滿足上百路視頻分析數(shù)據(jù)流的接入，支持實(shí)時(shí)查看，歷史回放。

2.1.4" 智能分析

智能分析使用深度學(xué)習(xí)算法，事先學(xué)習(xí)到各種保障車輛的關(guān)鍵特征，需要?jiǎng)澏ǖ挠涗洉r(shí)間的圖像區(qū)域，然后將該區(qū)域的圖像輸入到深度學(xué)習(xí)算法模塊中，根據(jù)車載GPS定位輔助信息確認(rèn)車的類型，一旦確認(rèn)后記錄時(shí)間節(jié)點(diǎn)，并開始計(jì)時(shí)，直到檢測(cè)到保障車輛離開該區(qū)域，記錄離開時(shí)間節(jié)點(diǎn)，完成整個(gè)計(jì)時(shí)。

2.2" 核心架構(gòu)

智慧監(jiān)管系統(tǒng)整體架構(gòu)自底向上分為五層：基礎(chǔ)設(shè)置層、基礎(chǔ)服務(wù)層、算法層、AI架構(gòu)層、業(yè)務(wù)數(shù)據(jù)層、業(yè)務(wù)服務(wù)層，如圖2所示。

基礎(chǔ)設(shè)施和基礎(chǔ)服務(wù)與算法算力層進(jìn)行解耦，可以無縫接入滿足要求的基礎(chǔ)設(shè)施，整個(gè)底層架構(gòu)具備更優(yōu)的開放性。

算法算力層在基礎(chǔ)服務(wù)基礎(chǔ)設(shè)施所提供的資源基礎(chǔ)上，提供算法、算力基礎(chǔ)能力。算法能力支持包括但不限于多攝像頭、機(jī)坪檢測(cè)、機(jī)坪追蹤、機(jī)坪定位算法，包含人、車輛、航空器、物體以及事件算法，同時(shí)算法算力平臺(tái)具備接入第三方算法的能力，具備持續(xù)迭代、擴(kuò)展開放的良好能力。算法算力平臺(tái)采用前沿云原生架構(gòu)，通過云原生、容器虛擬化的能力，將整體資源池化，實(shí)現(xiàn)智能資源調(diào)度，資源服務(wù)器使用量低，資源使用靈活高效。同時(shí)集成模型管理、算法自訓(xùn)練、推理加速，更加適配算法整體所需的計(jì)算能力。

業(yè)務(wù)數(shù)據(jù)層可以更好地產(chǎn)生業(yè)務(wù)應(yīng)用所需數(shù)據(jù)，達(dá)到優(yōu)秀指標(biāo)。從現(xiàn)實(shí)世界真實(shí)邏輯出發(fā)綜合人、場(chǎng)、物、車關(guān)聯(lián)邏輯進(jìn)行融合計(jì)算產(chǎn)出數(shù)據(jù)。

業(yè)務(wù)服務(wù)層中人員安全、車輛安全、航空器安全及航班保障節(jié)點(diǎn)的功能基于智能分析平臺(tái)的算法算力平臺(tái)，完成海量視頻數(shù)據(jù)預(yù)處理以及人、車、物、航空器時(shí)空數(shù)據(jù)結(jié)構(gòu)化、事件檢測(cè)分析，極大地減少了煙囪架構(gòu)模式，減少成本，為各應(yīng)用系統(tǒng)提供業(yè)務(wù)服務(wù)能力。

2.3" 主要識(shí)別節(jié)點(diǎn)

主要識(shí)別節(jié)點(diǎn)如表1所示。

2.4" 技術(shù)難點(diǎn)分析

監(jiān)控視頻中飛機(jī)占比巨大，而保障車輛、保障人員、保障設(shè)施體積相比飛機(jī)十分渺小，導(dǎo)致實(shí)際視頻中分辨率很低，而實(shí)際運(yùn)行中存在雨雪霧等不利天氣，實(shí)際分辨率和干擾更大，而機(jī)場(chǎng)的機(jī)位眾多，需要在盡量低的硬件條件下，實(shí)現(xiàn)盡可能高的識(shí)別率，并盡量減少相應(yīng)的時(shí)延，需要持續(xù)優(yōu)化相關(guān)模型與參數(shù)，保證識(shí)別率。

視頻采集過程中受到攝像機(jī)安裝位置影響，往往單一攝像機(jī)不能完整覆蓋一個(gè)完整機(jī)位，需要多個(gè)視角整合，同時(shí)由于安裝位置不同，視角不同、不同航司的飛機(jī)與保障車輛型號(hào)、涂裝、部分設(shè)備存在變形與多環(huán)節(jié)共享的情況，需要針對(duì)實(shí)際運(yùn)行進(jìn)行持續(xù)完善。

2.5" 實(shí)現(xiàn)分析

結(jié)合業(yè)務(wù)模型，本方案對(duì)目標(biāo)檢測(cè)算法中的二階段算法RCNN、FastR-Cnn[1-2]、FasterRCNN與一階段目標(biāo)檢測(cè)算法SSD、YOLOV3[3]、YOLOv4[4]、YOLOV5進(jìn)行了評(píng)估，經(jīng)分析保障節(jié)點(diǎn)智能視頻分析算法是一個(gè)以目標(biāo)檢測(cè)算法為基礎(chǔ)的解決方案，目標(biāo)檢測(cè)算法優(yōu)劣主要分為兩個(gè)指標(biāo)：

2.5.1" 識(shí)別的準(zhǔn)確率

識(shí)別的準(zhǔn)確度決定了算法識(shí)別的代表具體環(huán)節(jié)的物體是否準(zhǔn)確，算法的執(zhí)行速度，決定了1臺(tái)服務(wù)器算法能夠接入多少路視頻，接入的路數(shù)越多整體方案的成本越低。二階段目標(biāo)檢測(cè)算法準(zhǔn)確率更高，但是執(zhí)行速度很慢，一階段目標(biāo)檢測(cè)算法犧牲了一定的準(zhǔn)確率，但是執(zhí)行速度更快。

深度學(xué)習(xí)算法需要大量圖像標(biāo)注，通過將標(biāo)注數(shù)據(jù)進(jìn)行迭代訓(xùn)練從而找出一個(gè)較好的算法模型進(jìn)行部署測(cè)試。機(jī)場(chǎng)的環(huán)境中，飛機(jī)尺寸巨大，而車輛目標(biāo)較小，部分保障設(shè)備如輪擋等在視頻中占比極小，作為小目標(biāo)分辨率低，在多種不利條件下容易收遮擋、光照、陰影、反光等因素導(dǎo)致識(shí)別率低[5]，需要通過持續(xù)跟蹤小目標(biāo)，構(gòu)建相應(yīng)的處理網(wǎng)絡(luò)[6-8]，進(jìn)行綜合判斷[9]才能保證最終的識(shí)別率。

在選型過程中，YOLOV5是一階段檢測(cè)器中兼顧準(zhǔn)確率、識(shí)別速度相對(duì)較好的一個(gè)算法，因此經(jīng)過綜合考量[8]最終選擇了YOLOV5算法作為本方案的初步選擇，并在此基礎(chǔ)上進(jìn)行優(yōu)化[10]。

2.5.2" 算法的執(zhí)行速度

算法主要分為算法模塊和地面保障后臺(tái)模塊，算法模塊分為目標(biāo)檢測(cè)算法、消息推送以及視頻流處理部分，目標(biāo)檢測(cè)算法主要基于OpenCV接入rtsp視頻流通過對(duì)視頻流的切分處理對(duì)每一張圖片上的物體進(jìn)行識(shí)別，視頻推流直播主要通過ffmpeg對(duì)識(shí)別后的圖片轉(zhuǎn)成rtmp流進(jìn)行推送處理，消息推送部分負(fù)責(zé)將目標(biāo)檢測(cè)算法識(shí)別到的物體信息，通過rabbitmq傳輸給地面保障后臺(tái)系統(tǒng)。地面保障后臺(tái)分為直播流處理、基礎(chǔ)數(shù)據(jù)、邏輯判定三部分，直播流處理主要處理對(duì)目標(biāo)檢測(cè)算法處理后的rtmp視頻流進(jìn)行直播并對(duì)相關(guān)視頻數(shù)據(jù)進(jìn)行本地保存，基礎(chǔ)數(shù)據(jù)主要是對(duì)不同的保障環(huán)節(jié)進(jìn)行標(biāo)注，輔助邏輯判定進(jìn)行任務(wù)完成情況的判別，邏輯判定服務(wù)主要是通過讀取基礎(chǔ)數(shù)據(jù)以及消息隊(duì)列中的物體信息，判定當(dāng)前執(zhí)行的是什么任務(wù)，這個(gè)任務(wù)的完成狀態(tài)是什么，并對(duì)識(shí)別到的狀態(tài)進(jìn)行上報(bào)。

保障節(jié)點(diǎn)采集算法采用分布式部署的方案，可以通過多臺(tái)深度學(xué)習(xí)服務(wù)器進(jìn)行部署，每臺(tái)GPU服務(wù)器分別識(shí)別不同機(jī)位上的攝像頭視頻，并將識(shí)別結(jié)果通過消息隊(duì)列推送給地服后臺(tái)通過讀取每個(gè)環(huán)節(jié)的基礎(chǔ)數(shù)據(jù)，并根據(jù)環(huán)節(jié)的不同，分別判定該環(huán)節(jié)開始時(shí)間與結(jié)束時(shí)間進(jìn)行自動(dòng)上報(bào)。視頻數(shù)據(jù)則會(huì)通過ffmpeg推送到nginx-rtmp端，前端可通過nginx-rtmp視頻流進(jìn)行播放。

算法首先配置具體的保障環(huán)節(jié)、機(jī)位、視頻設(shè)備，然后對(duì)算法事件與保障環(huán)節(jié)的關(guān)系進(jìn)行配置，通過視頻攝像頭實(shí)時(shí)接入機(jī)位視頻，對(duì)接入的視頻進(jìn)行切分，對(duì)圖像進(jìn)行歸一化等預(yù)處理工作，對(duì)處理后的圖像輸送到算法中獲得識(shí)別結(jié)果，并將識(shí)別到結(jié)果通過消息隊(duì)列進(jìn)行推送，處理后的圖像通過ffmpeg推送的視頻服務(wù)器端，可供前端直接展示。邏輯判定模塊通過讀取消息隊(duì)列中的識(shí)別結(jié)果，根據(jù)識(shí)別到的物體找到與物體綁定環(huán)節(jié)，對(duì)目前正在進(jìn)行的保障環(huán)節(jié)及開始結(jié)束時(shí)間并進(jìn)行實(shí)時(shí)上報(bào)。

3" 應(yīng)用成果

實(shí)驗(yàn)數(shù)據(jù)收集了5天青島機(jī)場(chǎng)的視頻數(shù)據(jù)，每個(gè)環(huán)節(jié)隨機(jī)選擇40個(gè)航班的結(jié)果與算法分析的結(jié)果進(jìn)行比對(duì)分析，對(duì)航空器入位、航空器推出、引導(dǎo)車開始、引導(dǎo)車結(jié)束、靠廊橋、撤廊橋、開艙門、關(guān)艙門、開貨艙門、關(guān)貨艙門、皮帶傳送車開始、皮帶傳送車結(jié)束、牽引車開始、牽引車結(jié)束、配餐開始、配餐結(jié)束、放輪擋、撤輪擋18個(gè)環(huán)節(jié)，進(jìn)行比較分析。結(jié)果如表2所示，通過表2可以看出，整體保障準(zhǔn)確率可以滿足民航局指導(dǎo)要求，也可以滿足機(jī)場(chǎng)實(shí)際運(yùn)行需要。

4" 結(jié)" 論

機(jī)坪作為機(jī)場(chǎng)核心業(yè)務(wù)場(chǎng)景，通過視頻節(jié)點(diǎn)采集可以有效地提升整體運(yùn)行和協(xié)同效率，是機(jī)場(chǎng)運(yùn)行指揮的關(guān)鍵抓手。未來可以擴(kuò)展更多保障環(huán)節(jié)，并實(shí)現(xiàn)更多業(yè)務(wù)聯(lián)動(dòng)，保證航班正常率。

參考文獻(xiàn)：

[1] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2017，39（6）：1137-1149.

[2] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once： Unified，Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016.

[3] XIA C Q，LI X R，ZHAO L Y，et al. Infrared Small Target Detection Based on Multiscale Local Contrast Measure Using Local Energy Factor [J].IEEE Geoscience and Remote Sensing Letters，2010：157-161.

[4] 黎航，鄒衛(wèi)軍，沈運(yùn).基于fast-LOF與光流軌跡的弱小目標(biāo)檢測(cè)算法 [J].電光與控制，2019，26（4）：39-43.

[5] WEI Y，CHENG Z D，ZHU B，et al. Multiscale Hysteresis Threshold Detection Algorithm for a Small Infrared Target in a Complex Background [J].Optical and Quantum Electronics，2019，51（4）：1-14.

[6] HE K M，ZHANG X Y，REN X Q，et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2015，37（9）：1904-1916.

[7] RAZAKARIVONY S，JURIE F. Vehicle Detection in Aerial Imagery： A Small Target Detection Benchmark [J].Journal of Visual Communication and Image Representation，2016，34：187-203.

[8] 王海濤，姜文東，程遠(yuǎn)，等.兩級(jí)上下文卷積網(wǎng)絡(luò)寬視場(chǎng)圖像小目標(biāo)檢測(cè)方法 [J].計(jì)算機(jī)測(cè)量與控制，2019，27（6）：199-204.

[9] 李廷玉.基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法研究 [D].成都：電子科技大學(xué)，2024.

[10] 羊釗，陳怡欣，張智杰.基于地面保障流程的過站航班延誤預(yù)測(cè)方法 [J].重慶交通大學(xué)學(xué)報(bào)：自然科學(xué)版，2023，42（9）：122-129+154.

作者簡(jiǎn)介：李坤（1986—），男，漢族，山東淄博人，工程師，本科，研究方向：民航行業(yè)數(shù)據(jù)采集、分析與挖掘、民航人工智能；丁繼存（1982—），男，漢族，山東兗州人，高級(jí)工程師，碩士，研究方向：民航行業(yè)管理、業(yè)務(wù)流程仿真/建模、數(shù)據(jù)可視化；陳昱松（1996—）男，漢族，山東青島人，本科，研究方向：大數(shù)據(jù)分析、民航業(yè)務(wù)流程管理。