大數(shù)據(jù)技術(shù)在民航空管監(jiān)控系統(tǒng)中的應(yīng)用

沈爾斌

摘要：新技術(shù)的發(fā)展促進(jìn)來(lái)了社會(huì)的進(jìn)步和行業(yè)的發(fā)展，大數(shù)據(jù)技術(shù)作為新興技術(shù)的代表，自出現(xiàn)以來(lái)不斷發(fā)展并衍生應(yīng)用到不同領(lǐng)域。為進(jìn)一步提高民航發(fā)展水平，大數(shù)據(jù)技術(shù)也被引入到民航發(fā)展領(lǐng)域當(dāng)中，本文主要針對(duì)民航空管監(jiān)控系統(tǒng)的發(fā)展進(jìn)行研究分析，詳細(xì)分析大數(shù)據(jù)技術(shù)在民航空管監(jiān)控系統(tǒng)中的應(yīng)用前景。首先就大數(shù)據(jù)技術(shù)進(jìn)行解讀，然后就大數(shù)據(jù)技術(shù)在民航空管系統(tǒng)的中應(yīng)用思路和流程進(jìn)行研究和分析。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);民航;空管監(jiān)控系統(tǒng)

引言

大數(shù)據(jù)技術(shù)自發(fā)展以來(lái)，因其優(yōu)越性和創(chuàng)新性受到人們的廣泛，在受到關(guān)注的同時(shí)也被應(yīng)用到不同領(lǐng)域。大數(shù)據(jù)技術(shù)不僅僅能夠應(yīng)用于現(xiàn)有數(shù)據(jù)的分析、風(fēng)險(xiǎn)規(guī)律，而且能夠?qū)ΜF(xiàn)有數(shù)據(jù)進(jìn)行深度解讀實(shí)現(xiàn)對(duì)未來(lái)的預(yù)測(cè)，因此其具備廣泛的用用前景。目前，大數(shù)據(jù)不僅僅代表一種技術(shù)，更代表著先進(jìn)的生產(chǎn)力，逐漸變?yōu)橐环N生產(chǎn)要素和資源被應(yīng)用到不同的領(lǐng)域和行業(yè)。英美等發(fā)達(dá)國(guó)家最開(kāi)始發(fā)展并布局大數(shù)據(jù)產(chǎn)業(yè)，“大數(shù)據(jù)研究和發(fā)展技術(shù)”的布局和開(kāi)展投資數(shù)億元，經(jīng)過(guò)多年發(fā)展之后已經(jīng)創(chuàng)造來(lái)了巨大的價(jià)值。另外歐美國(guó)家以及日韓等發(fā)達(dá)國(guó)家也同時(shí)發(fā)展大數(shù)據(jù)技術(shù)，出臺(tái)了相應(yīng)戰(zhàn)略性舉措，在這一背景下我國(guó)也不斷發(fā)展大數(shù)據(jù)技術(shù)，希望在發(fā)展技術(shù)的基礎(chǔ)上開(kāi)拓大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域，預(yù)計(jì)我國(guó)大數(shù)據(jù)技術(shù)的潛在市場(chǎng)規(guī)模超過(guò)十億美元。大數(shù)據(jù)技術(shù)作為未來(lái)的“礦產(chǎn)和石油”，其發(fā)展水平直接決定了我國(guó)綜合國(guó)力，在民航空管監(jiān)控系統(tǒng)中引入該技術(shù)也勢(shì)在必行。

1.大數(shù)據(jù)技術(shù)

1.1 特點(diǎn)

1.1.1 規(guī)模性（Volume）

大數(shù)據(jù)技術(shù)涉及巨大的規(guī)模和數(shù)據(jù)量，而且規(guī)模具有完整性。大數(shù)據(jù)技術(shù)涉及的數(shù)據(jù)量能達(dá)到ZB。大數(shù)據(jù)技術(shù)和網(wǎng)絡(luò)技術(shù)以及數(shù)據(jù)存儲(chǔ)技術(shù)息息相關(guān)，大數(shù)據(jù)技術(shù)發(fā)展水平的提高，必然推動(dòng)網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)存儲(chǔ)技術(shù)的進(jìn)步。我國(guó)近年來(lái)網(wǎng)絡(luò)技術(shù)、互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，使得數(shù)據(jù)量和數(shù)據(jù)存儲(chǔ)量激增。比如

1.1.2 高速性（Velocity）

高速性是大數(shù)據(jù)技術(shù)最典型的特征，主要是大數(shù)據(jù)和數(shù)據(jù)流的移動(dòng)性，其高速性是基于現(xiàn)實(shí)生活中對(duì)數(shù)據(jù)實(shí)時(shí)性需求基礎(chǔ)上發(fā)展起來(lái)的。移動(dòng)網(wǎng)絡(luò)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展讓人們?cè)絹?lái)越注重?cái)?shù)據(jù)實(shí)時(shí)性，包括人們?nèi)粘Ｉ钪谐Ｒ?jiàn)的物流信息、交通信息、天氣信息等。實(shí)時(shí)性催生了數(shù)據(jù)信息的高速性，要求互聯(lián)網(wǎng)數(shù)據(jù)、大數(shù)據(jù)技術(shù)能在第一時(shí)間獲取關(guān)鍵事件信息，同時(shí)將獲取的信息進(jìn)行傳遞和傳播，最終實(shí)現(xiàn)了數(shù)據(jù)傳輸?shù)母咚傩浴?/p>

1.1.3 多樣性（Variety）

大數(shù)據(jù)技術(shù)呈現(xiàn)出典型的多樣性，包括非關(guān)系型數(shù)據(jù)和關(guān)系型數(shù)據(jù)等。大數(shù)據(jù)的多樣性對(duì)大數(shù)據(jù)提出了明確要求，需要能夠?qū)ΨN類(lèi)繁多、海量的數(shù)據(jù)進(jìn)行分析，通過(guò)深度分析發(fā)現(xiàn)數(shù)據(jù)間的內(nèi)在聯(lián)系。尤其是在互聯(lián)網(wǎng)技術(shù)發(fā)展的背景下，數(shù)據(jù)類(lèi)型繁多，不僅僅包括傳統(tǒng)的簡(jiǎn)單文本數(shù)據(jù)，還包括音頻、視頻、傳感器、日志等各種信息。大數(shù)據(jù)技術(shù)充分利用多樣性，對(duì)于海量數(shù)據(jù)中的有用數(shù)據(jù)進(jìn)行分析和篩選，從而能夠得到有用信息，并剔除不需要的信息，最終滿(mǎn)足用戶(hù)的數(shù)據(jù)需求。

1.1.4 價(jià)值性（Value）

價(jià)值性是大數(shù)據(jù)技術(shù)應(yīng)用的真實(shí)意義，大數(shù)據(jù)技術(shù)的價(jià)值性體現(xiàn)在其不確定性、稀缺性和多樣性。目前海量的數(shù)據(jù)實(shí)質(zhì)是雜亂的“稻草堆”，引入大數(shù)據(jù)之后能夠?qū)@些數(shù)據(jù)和“稻草堆”進(jìn)行梳理，在其中找到有價(jià)值、有意義的信息。價(jià)值信息往往較少，并且呈現(xiàn)出稀疏性，這也是大數(shù)據(jù)技術(shù)的典型特征。

1.2 方法

1.2.1 可視化分析

大數(shù)據(jù)分析使用者不僅僅包括大數(shù)據(jù)分析專(zhuān)家，還包括具備大數(shù)據(jù)需求的普通用戶(hù)，對(duì)于二者而言均具備可視化實(shí)際需求。希望通過(guò)可視化能夠?qū)⑺械臄?shù)據(jù)進(jìn)行直觀呈現(xiàn)，將數(shù)據(jù)特征直觀形象的呈現(xiàn)給用戶(hù)和大數(shù)據(jù)分析專(zhuān)家。

1.2.2 數(shù)據(jù)挖掘算法

大數(shù)據(jù)技術(shù)得以發(fā)展和推廣的核心是數(shù)據(jù)挖掘算法，通過(guò)數(shù)據(jù)挖掘算法能夠?qū)﹄s亂、多樣性的數(shù)據(jù)進(jìn)行梳理、分析，得到有價(jià)值的信息并直觀呈現(xiàn)。作為最難、最先進(jìn)的數(shù)據(jù)統(tǒng)計(jì)方法，目前大數(shù)據(jù)技術(shù)被人們廣泛認(rèn)可，其在價(jià)值信息的挖掘中也呈現(xiàn)出不可忽視的作用。通過(guò)數(shù)據(jù)挖掘算法能夠迅速、及時(shí)的進(jìn)行大數(shù)據(jù)的處理，傳統(tǒng)的算法在海量數(shù)據(jù)的處理中往往需要耗費(fèi)長(zhǎng)達(dá)幾年的實(shí)踐進(jìn)行處理，才能得到有價(jià)值的信息，而數(shù)據(jù)挖掘技術(shù)的應(yīng)用很好解決了這一問(wèn)題，大數(shù)據(jù)價(jià)值直接呈現(xiàn)。

1.2.3 預(yù)測(cè)性分析能力

大數(shù)據(jù)技術(shù)的另一典型特征是預(yù)測(cè)性分析能力，大數(shù)據(jù)技術(shù)能對(duì)當(dāng)前海量的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和深度分析，挖掘出特點(diǎn)的基礎(chǔ)上結(jié)合數(shù)學(xué)技術(shù)構(gòu)建科學(xué)的模型，然后利用該模型和新數(shù)據(jù)進(jìn)行未來(lái)數(shù)據(jù)的預(yù)測(cè)。

1.2.4 語(yǔ)義引擎

目前大數(shù)據(jù)技術(shù)已經(jīng)在數(shù)據(jù)挖掘和分析中廣泛應(yīng)用，可以借助標(biāo)簽關(guān)鍵詞、關(guān)鍵詞和其他輸入語(yǔ)義進(jìn)行信息搜索，在檢索和分析的基礎(chǔ)上判斷用戶(hù)的實(shí)際需求，然后根據(jù)實(shí)際需求進(jìn)一步挖掘和分析，為提供用戶(hù)更有價(jià)值的信息。

1.2.5 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理

大數(shù)據(jù)技術(shù)在不同領(lǐng)域的應(yīng)用需要高質(zhì)量數(shù)據(jù)的支持，數(shù)據(jù)管理技術(shù)對(duì)大數(shù)據(jù)技術(shù)的應(yīng)用和推廣和具有重要意義。只有有效的數(shù)據(jù)管理技術(shù)和高質(zhì)量數(shù)據(jù)的支持，才能夠保證大數(shù)據(jù)技術(shù)應(yīng)用和分析結(jié)果的價(jià)值性、有效性以及真實(shí)性。

1.3 工具

云計(jì)算技術(shù)和大數(shù)據(jù)技術(shù)兩者相輔相成，密不可分。大數(shù)據(jù)技術(shù)的應(yīng)用和推廣必然需要結(jié)合分布式架構(gòu)，同時(shí)也需要大量計(jì)算機(jī)的支持，依托云計(jì)算的分布式數(shù)據(jù)庫(kù)、分布式處理、虛擬化技術(shù)以及云存儲(chǔ)技術(shù)實(shí)現(xiàn)。就目前大型大數(shù)據(jù)的應(yīng)用中主要采用Hadoop 平臺(tái)，該平臺(tái)是基于Apache基金會(huì)額分布式系統(tǒng)基礎(chǔ)架構(gòu)基礎(chǔ)上進(jìn)行構(gòu)建的。作為一種可靠、成熟、可伸縮、高效的處理方式，Hadoop結(jié)構(gòu)圖如圖1所示。

2. 大數(shù)據(jù)技術(shù)在民航空管中應(yīng)用思路及流程

2.1 思路

前面分析提出大數(shù)據(jù)技術(shù)和云計(jì)算技術(shù)是相輔相成、密不可分的，在大數(shù)據(jù)技術(shù)的應(yīng)用中必須要依靠多臺(tái)計(jì)算機(jī)設(shè)備、采用分布式架構(gòu)，基于此才能夠?qū)嫶髷?shù)據(jù)進(jìn)行挖掘、分析和整合。在大數(shù)據(jù)技術(shù)中引入云計(jì)算技術(shù)之后，能夠?qū)崿F(xiàn)對(duì)海量數(shù)據(jù)的有效梳理、存儲(chǔ)和虛擬管理。比如前面指出目前常用的大數(shù)據(jù)技術(shù)是基于Hadoop平臺(tái)進(jìn)行構(gòu)建的，結(jié)合分布式系統(tǒng)基礎(chǔ)架構(gòu)實(shí)現(xiàn)問(wèn)題的高效、科學(xué)處理。

2.2 流程

2.2.1 數(shù)據(jù)采集

基于傳感器形式，結(jié)合不同數(shù)據(jù)庫(kù)對(duì)Web以及App等中的數(shù)據(jù)采集和接受，該技術(shù)還需要保障用戶(hù)具備處理和查詢(xún)權(quán)力。目前大數(shù)據(jù)應(yīng)用中會(huì)涉及到大量用戶(hù)同時(shí)操作或訪問(wèn)服務(wù)的情況，這給大數(shù)據(jù)技術(shù)帶來(lái)極大的挑戰(zhàn)。以機(jī)票銷(xiāo)售網(wǎng)站作為案例進(jìn)行分析，尤其是機(jī)票銷(xiāo)售網(wǎng)站的節(jié)假日期間，往往會(huì)有大量的用戶(hù)同時(shí)訪問(wèn)網(wǎng)站，并且這些用戶(hù)具有查詢(xún)、購(gòu)買(mǎi)機(jī)票的服務(wù)需求，給大數(shù)據(jù)技術(shù)采集、帶來(lái)挑戰(zhàn)，機(jī)票銷(xiāo)售網(wǎng)站的荷載力較大。

2.2.2 導(dǎo)入與處理

大數(shù)據(jù)技術(shù)在完成數(shù)據(jù)采集之后需要對(duì)采集到的數(shù)據(jù)進(jìn)行梳理、統(tǒng)計(jì)和分析，在此過(guò)程中需要將數(shù)據(jù)導(dǎo)入分布式存儲(chǔ)集群和分布式數(shù)據(jù)庫(kù)之中。數(shù)據(jù)導(dǎo)入和處理的關(guān)鍵點(diǎn)包括數(shù)據(jù)預(yù)處理工作，另外數(shù)據(jù)量極大，每秒鐘有超過(guò)千兆、百兆的數(shù)據(jù)傳輸。

2.2.3 統(tǒng)計(jì)分析

大數(shù)據(jù)技術(shù)借助分布式數(shù)據(jù)庫(kù)、分布式計(jì)算集群技術(shù)進(jìn)行統(tǒng)計(jì)和分析，首先對(duì)海量的數(shù)據(jù)進(jìn)行分類(lèi)、整理、歸納和分析，根據(jù)用戶(hù)需求進(jìn)行匹配性處理。大數(shù)據(jù)技術(shù)應(yīng)用的難點(diǎn)之一是海量的數(shù)據(jù)，其會(huì)占據(jù)巨大的存儲(chǔ)空間。

2.2.4 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術(shù)和傳統(tǒng)的數(shù)據(jù)處理技術(shù)不同，不預(yù)先設(shè)定主體，根據(jù)算法和現(xiàn)有數(shù)據(jù)進(jìn)行分析，在分析和解讀的基礎(chǔ)上預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)，從而滿(mǎn)足更高級(jí)別數(shù)據(jù)分析的實(shí)際需求。大數(shù)據(jù)技術(shù)的運(yùn)算數(shù)量較大、運(yùn)算方式復(fù)雜。

3. 民航空管大數(shù)據(jù)處理平臺(tái)架構(gòu)

3.1 總體架構(gòu)

如圖2所示的空管大數(shù)據(jù)處理平臺(tái)的底層是硬件層，硬件層中涉及到的大量硬件能夠?yàn)榇髷?shù)據(jù)處理平臺(tái)提供硬件支撐，其由文件服務(wù)器、防火墻、網(wǎng)絡(luò)資源、數(shù)據(jù)庫(kù)服務(wù)器以及存儲(chǔ)陣列等硬件構(gòu)成，這些硬件能夠?yàn)槠脚_(tái)提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和通信支持。硬件層又由硬件基礎(chǔ)服務(wù)平臺(tái)和虛擬化基礎(chǔ)平臺(tái)構(gòu)成，實(shí)現(xiàn)對(duì)業(yè)務(wù)資源、虛擬資源和用戶(hù)資源的集中存儲(chǔ)、計(jì)算，另外在硬件層中還配備統(tǒng)一接口，實(shí)現(xiàn)對(duì)虛擬資源的統(tǒng)一管理和調(diào)度，極大降低空管數(shù)據(jù)處理成本，另外也提高了系統(tǒng)的可靠性級(jí)安全性，對(duì)節(jié)能、綠色、安全大數(shù)據(jù)處理中心的構(gòu)建具有建設(shè)性、基礎(chǔ)性意義。

3.2 基礎(chǔ)平臺(tái)組成

本文提出的空管大數(shù)據(jù)處理平臺(tái)同樣是基于Hadoop 平臺(tái)架構(gòu)，作為主流的平臺(tái)架構(gòu)，其同樣是采用HDFS分布式文件系統(tǒng)，分布式 NoSQL 列數(shù)據(jù)庫(kù)采用HBase，處理數(shù)據(jù)倉(cāng)庫(kù)采用Hive，并行計(jì)算采用MapReduce?；诖藰?gòu)建的平臺(tái)具備專(zhuān)家系統(tǒng)、實(shí)時(shí)監(jiān)控、趨勢(shì)分析和數(shù)據(jù)挖掘功能，能夠?qū)展茉O(shè)備采集和監(jiān)測(cè)到的實(shí)時(shí)數(shù)據(jù)進(jìn)行接收和采集，在數(shù)據(jù)整理的基礎(chǔ)上將信息以表格、圖形、Web Gis的形式展現(xiàn)出來(lái)。另外該系統(tǒng)還具備歷史查詢(xún)、實(shí)時(shí)警告功能。結(jié)合分析引擎、模型對(duì)數(shù)據(jù)進(jìn)行挖掘和分析，以此分析空管設(shè)備的運(yùn)行狀態(tài)、運(yùn)行趨勢(shì)，結(jié)合分析結(jié)果對(duì)接維修單位，提供專(zhuān)家系統(tǒng)服務(wù)。

3.3 平臺(tái)計(jì)算引擎

3.3.1 批處理計(jì)算引擎

在空管監(jiān)控系統(tǒng)中的沖突預(yù)測(cè)、流量預(yù)測(cè)、尾流間隔縮減、跑道侵入預(yù)測(cè)等業(yè)務(wù)模塊均由批處理計(jì)算引擎支持。流量預(yù)測(cè)首先需要對(duì)機(jī)場(chǎng)中的航班計(jì)劃、航班運(yùn)行信息結(jié)合大數(shù)據(jù)技術(shù)進(jìn)行分析，在航線、高度、航班、時(shí)間、空域以及天氣監(jiān)控的基礎(chǔ)上對(duì)未來(lái)一段時(shí)間內(nèi)的機(jī)場(chǎng)、空域運(yùn)行情況進(jìn)行信息預(yù)測(cè)?；陬A(yù)測(cè)信息合理管制人員值班計(jì)劃、安排繞滑行道使用、安排航班進(jìn)離場(chǎng)順序等，進(jìn)而提升民航空管的效率和安全水平。在對(duì)空管航班飛行高度、飛行時(shí)間統(tǒng)計(jì)分析的基礎(chǔ)上，首先對(duì)航路潛在沖突的預(yù)測(cè)，根據(jù)預(yù)測(cè)結(jié)果采取應(yīng)對(duì)措施有效規(guī)避沖突。批處理計(jì)算引擎主要面向航司、空管部門(mén)提供的航班時(shí)刻表、飛行計(jì)劃報(bào)、空域信息等歷史積累數(shù)據(jù)。

3.3.2 流處理計(jì)算引擎

民航空管監(jiān)控系統(tǒng)在引入大數(shù)據(jù)技術(shù)的時(shí)候具備極高的快速性、實(shí)時(shí)性和準(zhǔn)確性要求，對(duì)于航班飛行過(guò)程、天氣信息、飛行計(jì)劃、飛行器運(yùn)行狀態(tài)等信息必須要實(shí)時(shí)獲取，實(shí)現(xiàn)對(duì)航班和飛行器的實(shí)時(shí)監(jiān)控管制。平臺(tái)的實(shí)時(shí)監(jiān)控模塊數(shù)據(jù)來(lái)源包括場(chǎng)面運(yùn)行、ADS-B、ACARS等，涉及到航班運(yùn)行狀態(tài)、飛機(jī)運(yùn)行高度、速度、位置以及航向等重要信息，而空管指揮要求實(shí)時(shí)、精確、快速的獲取這些信息，此類(lèi)信息的價(jià)值會(huì)因時(shí)間的推移而逐漸降低。大數(shù)據(jù)處理平臺(tái)具備實(shí)時(shí)性、快速性，實(shí)現(xiàn)對(duì)飛行器運(yùn)行狀態(tài)、運(yùn)行狀況的實(shí)時(shí)監(jiān)控，管控人員根據(jù)監(jiān)控信息對(duì)飛行器飛行態(tài)勢(shì)進(jìn)行判斷。如果發(fā)現(xiàn)危險(xiǎn)或者潛在危險(xiǎn)的時(shí)候，空管人員會(huì)根據(jù)監(jiān)控情況進(jìn)行分析，得到問(wèn)題和潛在問(wèn)題的原因，調(diào)度地面工具和工作人員、技術(shù)人員采取針對(duì)性措施進(jìn)行處理和預(yù)防，進(jìn)一步提升故障解決效率。

目前，應(yīng)對(duì)實(shí)時(shí)流計(jì)算引擎主要包括：Apache Flink，Yahoo 的S4，Twitter 的 Storm 和 Facebook 的 Puma。

結(jié)論

我國(guó)民航產(chǎn)業(yè)不斷發(fā)展，空管監(jiān)控系統(tǒng)發(fā)展要求不斷提高，信息化建設(shè)迫在眉睫，智慧空管不僅是當(dāng)前空管系統(tǒng)建設(shè)的要點(diǎn)，也是未來(lái)空管行業(yè)的重要發(fā)展趨勢(shì)。在未來(lái)空管行業(yè)發(fā)展中，希望能夠?qū)崿F(xiàn)智慧空管在空管系統(tǒng)中的全覆蓋。面對(duì)海量的數(shù)據(jù)，大數(shù)據(jù)技術(shù)在智慧空管發(fā)展中具備不可替代的重要作用。采用大數(shù)據(jù)技術(shù)對(duì)海量的數(shù)據(jù)進(jìn)行采集、傳輸和存儲(chǔ)，為分析、預(yù)測(cè)、判別、故障處理提供數(shù)據(jù)支持，有效規(guī)避信息孤島情況的出現(xiàn)，滿(mǎn)足行業(yè)數(shù)據(jù)需求，對(duì)我國(guó)空管行業(yè)邁向智慧空管有著重要的意義。

參考文獻(xiàn)

[1]寧召宇.大數(shù)據(jù)時(shí)代機(jī)場(chǎng)網(wǎng)絡(luò)安全威脅及防護(hù)研究[J].中小企業(yè)管理與科技（中旬刊），2021（04）：128-129.

[2]佟岱山. 民航工程建設(shè)大數(shù)據(jù)平臺(tái)架構(gòu)的思考[N]. 中國(guó)民航報(bào)，2021-04-15（006）.

[3]胡翼.以大數(shù)據(jù)為基礎(chǔ)的空中交通流量管理研究綜述[J].民航學(xué)報(bào)，2021，5（02）：65-68.

[4]趙學(xué)武，吳寧，王軍，阮利，李玲玲，徐濤.航空大數(shù)據(jù)研究綜述[J/OL].計(jì)算機(jī)科學(xué)與探索：1-30.

[5]潘衛(wèi)軍，劉鎧源，朱新平，王玄，王少杰.民航機(jī)場(chǎng)應(yīng)急救援大數(shù)據(jù)處理平臺(tái)架構(gòu)研究[J].計(jì)算機(jī)與數(shù)字工程，2021，49（02）：280-283.