基于StarRocks 的機場飛行區(qū)數(shù)據(jù)治理研究與應用

摘要：機場飛行區(qū)數(shù)據(jù)面臨著多樣性、復雜性和孤島化等挑戰(zhàn)，傳統(tǒng)數(shù)據(jù)庫在數(shù)據(jù)整合、計算、處理和分析方面存在局限性。StarRocks憑借向量化、MPP架構、實時更新的列式存儲引擎等技術，實現(xiàn)了高可用、實時、高并發(fā)的數(shù)據(jù)分析能力，為機場飛行區(qū)數(shù)據(jù)治理提供了新的解決方案。通過StarRocks實現(xiàn)機場飛行區(qū)的數(shù)據(jù)治理，將FOD、鳥情、燈光、航班、車輛、設備、航空器等不同業(yè)務系統(tǒng)數(shù)據(jù)匯聚、接入、清洗、轉(zhuǎn)換、分析，為機場運行管理、航班調(diào)度、安全監(jiān)控等提供決策支持，快速構建報表大屏完成數(shù)據(jù)分析，可視化呈現(xiàn)數(shù)據(jù)處理全過程。該方案有助于推動機場核心數(shù)據(jù)的高效供給、流通和應用，實現(xiàn)數(shù)據(jù)融合共享和價值挖掘，提升數(shù)據(jù)管理效能和運行保障效率，為機場發(fā)展提供新動力。

關鍵詞：StarRocks；機場飛行區(qū)；大數(shù)據(jù)

中圖分類號：TP311文獻標識碼：A

文章編號：1009-3044（2024）35-0076-04開放科學（資源服務）標識碼（OSID）：

1引言

1.1民航機場飛行區(qū)的數(shù)據(jù)復雜性

隨著航空業(yè)的快速發(fā)展，作為機場飛行區(qū)數(shù)據(jù)量增長較快，以青島機場為例，由2019年的每月幾十萬的數(shù)據(jù)量增長至2023年每月幾百萬的數(shù)據(jù)量，業(yè)務范圍也由適航保障業(yè)務拓展到適航保障、區(qū)域管理、綜合管理三大業(yè)務板塊，存在數(shù)據(jù)采集難度大、缺乏信息的直觀展示、數(shù)據(jù)標準不統(tǒng)一、數(shù)據(jù)質(zhì)量參差不齊等問題，給飛行區(qū)帶來安全風險隱患，嚴重制約著機場的總體發(fā)展，為了高效、安全地管理和利用這些數(shù)據(jù)，民航局發(fā)布“7+1”民航業(yè)數(shù)據(jù)治理規(guī)范[1]。

為了整合空管數(shù)據(jù)、航信數(shù)據(jù)、A-CDM數(shù)據(jù)、地服數(shù)據(jù)和飛行區(qū)各業(yè)務系統(tǒng)數(shù)據(jù)，利用大數(shù)據(jù)分析、匯總，最終實現(xiàn)平臺化管理，能夠真正做到“數(shù)據(jù)全面、功能多樣、流程合理、穩(wěn)定可靠、平臺管理”，可全面提升飛行區(qū)的空防安全裕度，保證飛行區(qū)安全、有效地運行。

1.2傳統(tǒng)飛行區(qū)系統(tǒng)的局限性

傳統(tǒng)飛行區(qū)系統(tǒng)大多以業(yè)務主體為分類，形成圍界系統(tǒng)、道面系統(tǒng)、助航燈光系統(tǒng)、鳥情系統(tǒng)等獨立系統(tǒng)，導致存在數(shù)據(jù)孤島，無法整合數(shù)據(jù)，形成有價值的數(shù)據(jù)資產(chǎn)。StarRocks作為高性能、高可用、高可靠的分析型數(shù)據(jù)庫系統(tǒng)[2]，其快速加載、實時更新以及復雜查詢的高效處理能力為機場飛行區(qū)數(shù)據(jù)實時同步、校驗和存儲提供有效手段，幫助機場打通數(shù)據(jù)孤島，建設數(shù)據(jù)標準體系，提升數(shù)據(jù)質(zhì)量，全面盤點數(shù)據(jù)資產(chǎn)，快速構建報表大屏完成數(shù)據(jù)分析，實現(xiàn)數(shù)據(jù)處理全流程可觀測。推動機場數(shù)據(jù)融合共享和價值挖掘，提升數(shù)據(jù)管理效能和運行保障效率。

2基于StarRocks的飛行區(qū)數(shù)據(jù)治理平臺優(yōu)勢

通過StarRocks實時數(shù)倉技術的飛行區(qū)管理平臺在民用機場的應用，完全突破了飛行區(qū)信息化的傳統(tǒng)思維模式，利用視頻分析、物聯(lián)網(wǎng)、移動通信和數(shù)據(jù)建模技術對數(shù)據(jù)進行處理，使用2D、3D技術以可視化形式呈現(xiàn)飛行區(qū)運行狀態(tài)，打造全流程、全要素、全場景的一體化飛行區(qū)數(shù)據(jù)治理平臺。其優(yōu)勢主要體現(xiàn)在以下幾個方面。

2.1充分面向機場飛行區(qū)的數(shù)據(jù)治理模型

依據(jù)機場相關數(shù)據(jù)規(guī)范以及多年機場數(shù)據(jù)治理經(jīng)驗，平臺內(nèi)置完善的機場數(shù)據(jù)標準模型，包括圍界、鳥情、助航燈光、FOD、道面、車輛、設備、人員八大類。

2.2整合業(yè)務流程，提升飛行區(qū)空防安全能力

整合飛行區(qū)業(yè)務、流程、資源，全面監(jiān)管機場飛行區(qū)圍界、跑道的安全運行，實現(xiàn)及時預判、智能分析，有效提升空防安全能力和運行效率。

2.3高速實時處理，提高工作效率

StarRocks基于MPP架構，采用全向量化執(zhí)行引擎和列式存儲技術，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速加載和實時更新。傳統(tǒng)數(shù)據(jù)庫并發(fā)量和實時計算能力不足，在每秒接入并處理飛行區(qū)內(nèi)上百輛車的實時位置數(shù)據(jù)等業(yè)務場景下，StarRocks通過高并發(fā)量實時和離線的數(shù)據(jù)處理能力，滿足機場飛行區(qū)對實時數(shù)據(jù)處理分析的需求[3]。

2.4擴展性強，用戶易學習

StarRocks支持多種查詢方式和復雜查詢語句，能夠滿足機場飛行區(qū)在數(shù)據(jù)分析、報表生成等方面的多樣化需求。同時兼容MySQL協(xié)議，用戶可以利用現(xiàn)有的MySQL客戶端工具進行查詢和數(shù)據(jù)分析，降低用戶的學習成本和使用門檻。

3系統(tǒng)整體設計

本系統(tǒng)的設計結(jié)合民航機場飛行區(qū)的業(yè)務特點，充分發(fā)揮StarRocks在實時數(shù)倉領域的優(yōu)勢，既支持從各類實時和離線的數(shù)據(jù)源高效導入數(shù)據(jù)，也支持直接分析數(shù)據(jù)湖上各種格式的數(shù)據(jù)。同時具備水平擴展、高可用、高可靠、易運維等特性。

3.1總體功能設計

本系統(tǒng)功能主要包括面向機場飛行區(qū)用戶的飛行區(qū)管理平臺，以及面向數(shù)據(jù)管理用戶的數(shù)據(jù)可視化平臺、數(shù)據(jù)治理與共享交換平臺、數(shù)據(jù)開發(fā)平臺、基礎組件管理平臺、統(tǒng)一門戶。

飛行區(qū)管理平臺包括數(shù)字孿生、適航保障、區(qū)域管理、綜合管理、移動端模塊。數(shù)字孿生模塊通過可視化2D/3D地圖展示整個飛行區(qū)的全貌和實時運行狀態(tài)，兩側(cè)通過圖、表等多種形式顯示整體的運行指標和報警信息。適航保障集成機場飛行區(qū)的FOD監(jiān)測、道面管理、鳥情管理、道面除雪、助航燈光五大業(yè)務數(shù)據(jù)。區(qū)域管理提供包括全景監(jiān)控、安全監(jiān)管、安全準入、智能圍界、施工管理、督查管理六大領域功能。綜合管理包括排班派工、定時提示、知識庫、應急管理、運維支持五大主題相關功能[4]。同時為現(xiàn)場一線保障用戶提供適航保障、區(qū)域管理、綜合管理的移動端功能。

數(shù)據(jù)可視化平臺提供自助報表和可視化門戶功能，包括機場數(shù)據(jù)治理整體看板、數(shù)據(jù)交換看板等。

數(shù)據(jù)治理與共享交換平臺提供資產(chǎn)目錄和門戶，用戶可申請數(shù)據(jù)資產(chǎn)，同時支持數(shù)據(jù)標準、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、數(shù)據(jù)報表、數(shù)據(jù)模型、數(shù)據(jù)血緣、接口/文件開發(fā)與集成等功能，把數(shù)據(jù)倉庫的數(shù)據(jù)提供給第三方系統(tǒng)。

數(shù)據(jù)開發(fā)平臺支持把業(yè)務系統(tǒng)的數(shù)據(jù)通過庫表、文件、接口、消息等方式接入數(shù)據(jù)倉庫，并在數(shù)據(jù)倉庫進行清洗、轉(zhuǎn)換、校驗、計算等，形成ODS（原始表）、DWD（根據(jù)參考數(shù)據(jù)標準完成參考值的標準化，根據(jù)查詢統(tǒng)計需求完成寬表構建，以及數(shù)據(jù)的清洗和轉(zhuǎn)換）、DWS（數(shù)據(jù)統(tǒng)計分析）三層數(shù)據(jù)架構。

基礎組件平臺提供組件配置、服務啟停、運維監(jiān)控等功能。

統(tǒng)一門戶支持統(tǒng)一認證、用戶權限、審計日志、任務調(diào)度配置等功能。

3.2技術架構設計

本系統(tǒng)分為獲取層、存儲計算層、服務層、展示層4個層級，開發(fā)平臺貫穿全局。充分利用業(yè)內(nèi)主流前沿技術，結(jié)合企業(yè)數(shù)據(jù)服務需求，融合構建統(tǒng)一數(shù)據(jù)治理工具。

獲取層：負責采集各種數(shù)據(jù)源的數(shù)據(jù)，匯聚存儲至存儲計算層。通過數(shù)據(jù)同步工具，如JDBC、DATAX等完成數(shù)據(jù)獲取，通過消息中間件，如Kafka、Rab?bitMQ等完成數(shù)據(jù)的分發(fā)與傳輸，通過Flink、Spark等數(shù)據(jù)處理腳本，完成結(jié)構化數(shù)據(jù)和非結(jié)構化數(shù)據(jù)預處理。此外，ETL技術還包括爬蟲技術和事件采集技術，應用于多場景的數(shù)據(jù)獲取。

存儲計算層：支持大數(shù)據(jù)分布式計算、MapReduce大規(guī)模并行計算[5]、Spark并行計算、基于Flink或SparkStreaming的實時流式數(shù)據(jù)計算[6]，支持基于MPP數(shù)據(jù)的復雜關聯(lián)分析和基于NoSQL數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫的交互式查詢與分析，支持基于Hadoop分布式、MPP分布式數(shù)據(jù)庫和傳統(tǒng)數(shù)據(jù)庫等進行存儲。

服務層：負責數(shù)據(jù)治理相關配置管理及數(shù)據(jù)服務。數(shù)據(jù)服務主要通過OpenAPI技術對外提供數(shù)據(jù)交換接口；通過即時查詢工具，如Hue、Zeepelin等，支持即席查詢；通過SQL解析等技術實現(xiàn)自定義報表及可視化大屏詢功能。

展示層：集成多種前端組件庫來實現(xiàn)數(shù)據(jù)服務的多元化前端展示。

開發(fā)平臺：通過虛擬化環(huán)境及容器管理，實現(xiàn)應用容器化部署及編排。

3.3部署架構設計

平臺采用MySQL數(shù)據(jù)庫、MongoDB數(shù)據(jù)庫、Post?greSQL數(shù)據(jù)庫作為業(yè)務數(shù)據(jù)庫；StarRocks作為數(shù)據(jù)倉庫，承擔數(shù)據(jù)倉儲、計算、轉(zhuǎn)換等功能；核心服務包括適航保障、區(qū)域管理、綜合管理、配置管理、數(shù)據(jù)適配服務；輔助服務包括Zuul網(wǎng)關、Eureka注冊中心、統(tǒng)一認證、視頻推流服務、移動管理平臺、即時通信、任務調(diào)度中心、工作流引擎、知識庫、GIS服務；中間件包括RabbitMq、VerneMq、Redis、Seatunnel、flink、zookeeper、Nginx。

3.4業(yè)務流程設計

本系統(tǒng)根據(jù)StarRocks既支持從各類實時和離線的數(shù)據(jù)源高效導入數(shù)據(jù)的特性，將民用機場飛行區(qū)的FOD數(shù)據(jù)、鳥情數(shù)據(jù)、圍界數(shù)據(jù)、燈光數(shù)據(jù)、安全防范數(shù)據(jù)、道面數(shù)據(jù)、車輛位置數(shù)據(jù)、航空器位置數(shù)據(jù)、航班數(shù)據(jù)、保障數(shù)據(jù)等實時導入StarRocks數(shù)據(jù)倉庫，根據(jù)業(yè)務場景的不同進行清洗、轉(zhuǎn)換、計算、分析，最終將結(jié)果以報表、大屏、第三方接口的形式展示呈現(xiàn)。

以跑道FOD的業(yè)務流程為例，詳細闡述本系統(tǒng)數(shù)據(jù)治理過程。本系統(tǒng)通過實時同步防跑道入侵系統(tǒng)的FOD數(shù)據(jù)表，存入StarRocks的ODS層。經(jīng)過數(shù)據(jù)計算，將錯誤報警數(shù)據(jù)自動清除，獲得有效的FOD報警數(shù)據(jù)，利用StarRocks的數(shù)據(jù)校驗、數(shù)據(jù)訂正等功能，對機場FOD數(shù)據(jù)進行質(zhì)量檢查和修復，確保數(shù)據(jù)的準確性和完整性后，通過關聯(lián)航班信息、跑道信息等，形成DWD層FOD數(shù)據(jù)表，將業(yè)務數(shù)據(jù)展示在平臺中，用戶可進行報警確認、派工、處理、催促等操作。將DWD層FOD數(shù)據(jù)表利用StarRocks的復雜查詢能力根據(jù)日期、部門、區(qū)域、種類等信息進行分析，對機場飛行區(qū)FOD數(shù)據(jù)進行深入分析和挖掘，形成DW層FOD統(tǒng)計表，為機場運行管理、航班調(diào)度、安全監(jiān)控等提供決策支持。此過程中平臺通過數(shù)據(jù)生命周期全過程的安全防護體系，包括數(shù)據(jù)加密、訪問控制、審計日志等措施，保證數(shù)據(jù)傳輸、計算、存儲的安全性和可靠性。

3.5應用效果評估

飛行區(qū)數(shù)據(jù)治理技術底座實現(xiàn)數(shù)據(jù)匯聚、共享交互和數(shù)據(jù)服務，通過數(shù)據(jù)庫表、接口、消息、文件等方式匯聚生產(chǎn)運營系統(tǒng)、站坪無線調(diào)度系統(tǒng)、跑道防入侵系統(tǒng)、鳥情系統(tǒng)、圍界系統(tǒng)、助航燈光系統(tǒng)、空管系統(tǒng)、道面系統(tǒng)等10多個系統(tǒng)數(shù)據(jù)；通過數(shù)據(jù)清洗、轉(zhuǎn)換、融合、質(zhì)量校核，建立機場飛行區(qū)統(tǒng)一的數(shù)據(jù)標準模型，包括圍界、鳥情、助航燈光、FOD、道面、車輛、設備、人員八大類；平臺支持PB級存儲，具備高性能計算能力，其中離線計算48TB，實時計算15萬TPS，支持作業(yè)調(diào)度5萬以上并發(fā)量。

基于StarRocks構建的數(shù)據(jù)治理平臺，利用數(shù)據(jù)治理技術全面展示機場飛行區(qū)的總體運行情況，可宏觀掌控飛行區(qū)的運行安全、日常管理和運營效率等各個方面。平臺的建設不僅能提高值班效率，提升空防安全和管理效率，更能提升整個機場的運行品質(zhì)，帶動機場全面發(fā)展。日常管理方面，拓展飛行區(qū)實際應用，實現(xiàn)飛行區(qū)資源和人員的統(tǒng)一管理，優(yōu)化日常保障和監(jiān)管流程，提升綜合管理水平；安全管理方面，利用GIS和可視化等技術，結(jié)合實際應用場景，合理派工，自動上報，可視化查看現(xiàn)場情況，減少不必要的人工巡視，提高巡視效率，機坪防跑道入侵自動化報警，提升空防安全，實現(xiàn)整個飛行區(qū)安全體系建設；部門建設方面，通過專家知識庫建設，幫助飛行區(qū)管理部擺脫靠經(jīng)驗管理的模式，實現(xiàn)數(shù)據(jù)沉淀，實時在線分享經(jīng)驗，查閱技術文檔。流程管理方面，實現(xiàn)飛行區(qū)工作的電子化、智能化、移動化辦公，提高飛行區(qū)的信息化整體水平，多系統(tǒng)數(shù)據(jù)互聯(lián)互通，打破信息孤島，實現(xiàn)信息數(shù)據(jù)的深度挖掘。

4未來發(fā)展方向

4.1技術改進和創(chuàng)新方向

1）仿真模擬：機場吞吐量不斷增加，航班與資源不匹配問題日益突出，通過海量歷史數(shù)據(jù)結(jié)合仿真模型，模擬仿真飛行區(qū)未來運行情況，評估航班與資源的需求情況，為機場管理人員提供決策參考。

2）國產(chǎn)化改造：目前機場逐步替換信創(chuàng)產(chǎn)品，平臺全面支持操作系統(tǒng)、數(shù)據(jù)庫、開發(fā)語言SDK、應用框架、技術組件、數(shù)據(jù)倉庫等國產(chǎn)化適配。

3）物聯(lián)網(wǎng)技術結(jié)合：機場飛行區(qū)內(nèi)有數(shù)以萬計的攝像頭、門禁等物聯(lián)設備，存在設備監(jiān)測難、數(shù)據(jù)采集難等問題，通過物聯(lián)網(wǎng)技術把設備數(shù)據(jù)采集并接入平臺，實現(xiàn)飛行區(qū)設備的數(shù)據(jù)治理。

4）結(jié)合視頻分析技術：目前機場通過人員巡檢的方式來實現(xiàn)飛行區(qū)安全監(jiān)管，研究和開發(fā)基于視頻分析的異常行為識別和預警算法，能夠及時發(fā)現(xiàn)和報警異常行為，有效提升飛行區(qū)安全能力。

4.2應用拓展的方向

1）隨著民航業(yè)的快速發(fā)展，數(shù)據(jù)治理范圍可以由機場飛行區(qū)進一步擴大至整個民航機場領域，如公共區(qū)、航站樓、貨運區(qū)等，以提升機場整體數(shù)據(jù)治理水平。

2）隨著通用航空等產(chǎn)業(yè)日益發(fā)展，與其深度融合的飛行區(qū)數(shù)據(jù)治理應用，擁有廣闊的市場前景。

3）隨著數(shù)據(jù)要素化的開展，將機場飛行區(qū)數(shù)據(jù)以要素化的方式在數(shù)據(jù)交易平臺中登記交易，賦能行業(yè)共同發(fā)展。

5結(jié)論

隨著民航業(yè)的旅客量不斷提升，基于StarRocks的機場飛行區(qū)數(shù)據(jù)治理在民用機場會更加舉足輕重。在未來，隨著技術的日益完善和成熟，數(shù)據(jù)要素化制度和法律法規(guī)進一步完善，數(shù)據(jù)將得到更全面的應用。首先，采用StarRocks實時數(shù)倉的飛行區(qū)數(shù)據(jù)治理平臺，隨著業(yè)務數(shù)據(jù)增加，結(jié)合大語言模型和人工智能應用，可進一步分析機場飛行區(qū)的潛在風險和業(yè)務瓶頸，為機場高質(zhì)量發(fā)展提供夯實的數(shù)據(jù)支撐。其次，挖掘機場飛行區(qū)數(shù)據(jù)交易場景，初步建立相應數(shù)據(jù)資源計量、定價策略，通過數(shù)據(jù)交易平臺，完成數(shù)據(jù)資產(chǎn)登記和掛牌交易。

另外，目前數(shù)據(jù)資本化已處在早期探索階段，以銀行貸款為主，輔以數(shù)字資產(chǎn)保險、數(shù)據(jù)信托、證券化產(chǎn)品、作價入股和交易等多元資本化方式，平臺可以在交通運輸、金融服務、文化旅游、城市治理等更多領域進行復制，服務數(shù)據(jù)要素高效有序流通。

綜上所述，基于StarRocks的機場飛行區(qū)數(shù)據(jù)治理平臺不僅提高機場數(shù)據(jù)運營效能，發(fā)揮數(shù)據(jù)價值，還提升旅客服務水平，最終打造出一個平安、綠色、智慧、人文的四型機場。

參考文獻：

[1]袁婷，劉一.基于“7+1”智慧民航數(shù)據(jù)治理規(guī)范的行業(yè)數(shù)據(jù)治理[J].民航管理，2024（4）：21-25.

[2]高海峰，葉春明.基于StarRocks的實時數(shù)倉設計[J].計算機時代，2023（2）：46-50，60.

[3]張楠.StarRocks引領數(shù)據(jù)庫革新[J].軟件和集成電路，2023（12）：55-57.

[4]鄭廣，李建政，張義軍.應用數(shù)據(jù)倉庫技術實現(xiàn)民航?jīng)Q策支持系統(tǒng)[J].計算機工程與應用，2002，38（5）：249-252.

[5]滕長青.大數(shù)據(jù)平臺建設關鍵技術研究[J].數(shù)字通信世界，2019（12）：62.

[6]劉輝，陳剛.基于Flink的工業(yè)大數(shù)據(jù)實時分析平臺[J].電子技術與軟件工程，2021（6）：185-187.

【通聯(lián)編輯：梁書】