民航空管大數(shù)據(jù)處理平臺(tái)架構(gòu)研究

潘衛(wèi)軍 劉鎧源 王潤(rùn)東 左青海

(中國(guó)民用航空飛行學(xué)院 四川 廣漢 618300)

0 引 言

大數(shù)據(jù)是近年來(lái)受到各行業(yè)普遍關(guān)注的新概念，大數(shù)據(jù)技術(shù)指通過(guò)新的數(shù)據(jù)處理分析技術(shù)對(duì)體量大、類(lèi)型多、來(lái)源復(fù)雜的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高速采集、傳輸、分析，挖掘潛藏的數(shù)據(jù)價(jià)值。

空管行業(yè)具有應(yīng)用大數(shù)據(jù)技術(shù)解決業(yè)務(wù)需求的天然環(huán)境，空管業(yè)務(wù)過(guò)程中涉及到的人員機(jī)構(gòu)職能眾多，據(jù)實(shí)地統(tǒng)計(jì)，一個(gè)典型的民航空管單位(空管分局(站))一年收集到的數(shù)據(jù)就超過(guò)20 TB，全國(guó)民航空管一年運(yùn)行產(chǎn)生的數(shù)據(jù)至少在PB級(jí)別以上[1]?？展軜I(yè)務(wù)過(guò)程中的參與單位既是空管數(shù)據(jù)的生產(chǎn)者和使用者，又能夠收集、維護(hù)運(yùn)行過(guò)程中產(chǎn)生的海量數(shù)據(jù)，具備構(gòu)建空管大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)資源。

空中交通管理過(guò)程涉及的海量數(shù)據(jù)除了業(yè)界普遍認(rèn)可的大數(shù)據(jù)4V特征[2]，Volume(數(shù)據(jù)量大)、Velocity(速度快)、Variety(多樣化)、Value(價(jià)值密度低)，還具有以下兩個(gè)新的特征：

(1) Veracity(真實(shí)性)。不同于其他行業(yè)大數(shù)據(jù)的來(lái)源普遍帶有主觀性，空管數(shù)據(jù)直接采集自各業(yè)務(wù)單位數(shù)據(jù)系統(tǒng)，數(shù)據(jù)是真實(shí)有效的，數(shù)據(jù)的處理分析結(jié)果也是更加精準(zhǔn)的，在管制決策應(yīng)用中是安全可靠的。

(2) Complexity(復(fù)雜性)?？展軘?shù)據(jù)來(lái)源多、種類(lèi)多、格式多、非結(jié)構(gòu)化數(shù)據(jù)占比大、對(duì)數(shù)據(jù)處理和分析的難度大。

隨著空管行業(yè)信息技術(shù)水平的發(fā)展，通信、導(dǎo)航、監(jiān)視新技術(shù)涉及到的智能終端在空管系統(tǒng)中被快速推廣應(yīng)用，空管業(yè)務(wù)產(chǎn)生的數(shù)據(jù)量必將快速增長(zhǎng)，數(shù)據(jù)類(lèi)型、來(lái)源將不斷增多?？展芟到y(tǒng)中落后的數(shù)據(jù)處理應(yīng)用能力，導(dǎo)致數(shù)據(jù)分析挖掘受限、非結(jié)構(gòu)化數(shù)據(jù)缺乏有效利用等問(wèn)題，制約了空管行業(yè)向信息化智能化的發(fā)展。

美國(guó)在空管大數(shù)據(jù)建設(shè)方面處于領(lǐng)先地位，20世紀(jì)90年代開(kāi)始FAA針對(duì)空管運(yùn)行過(guò)程的不同階段和業(yè)務(wù)需求，建設(shè)了美國(guó)國(guó)家飛行數(shù)據(jù)中心(NFDC)，研發(fā)了全域信息管理系統(tǒng)(SWIM)、FAA運(yùn)行與效能數(shù)據(jù)系統(tǒng)、增強(qiáng)型交通管理系統(tǒng)(ETMS)、NAS語(yǔ)音系統(tǒng)等多種空管大數(shù)據(jù)處理系統(tǒng)，并對(duì)運(yùn)行過(guò)程中產(chǎn)生的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘、二次開(kāi)發(fā)，以此來(lái)應(yīng)對(duì)日益增長(zhǎng)的航空運(yùn)輸壓力，并提升空管運(yùn)行安全能力和效率[3-10]。

國(guó)內(nèi)在空管大數(shù)據(jù)的應(yīng)用方面開(kāi)展了相關(guān)研究。在空管智能化技術(shù)[11]、民航機(jī)場(chǎng)協(xié)同決策系統(tǒng)[12]、空管運(yùn)行安全數(shù)據(jù)[13-14]方面有一些研究，但沒(méi)有形成支撐空管大數(shù)據(jù)處理平臺(tái)的相關(guān)技術(shù)體系，在空管系統(tǒng)數(shù)據(jù)處理挖掘方面也沒(méi)有自身的大數(shù)據(jù)平臺(tái)。隨著空管行業(yè)信息化技術(shù)水平的提高，對(duì)數(shù)據(jù)實(shí)時(shí)處理、數(shù)據(jù)挖掘方面需求越來(lái)越迫切。空管大數(shù)據(jù)應(yīng)用與其他行業(yè)大數(shù)據(jù)應(yīng)用在存在很大差異，現(xiàn)有大數(shù)據(jù)處理平臺(tái)并不能在容錯(cuò)性、可靠性、實(shí)時(shí)性上完全適用于空管行業(yè)，因此針對(duì)空管大數(shù)據(jù)處理開(kāi)發(fā)平臺(tái)顯得非常必要且迫切。

本文針對(duì)空管業(yè)務(wù)需求，對(duì)空管大數(shù)據(jù)處理平臺(tái)總體架構(gòu)、功能、基礎(chǔ)平臺(tái)組成以及數(shù)據(jù)處理技術(shù)進(jìn)行了研究，為空管大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)與應(yīng)用奠定基礎(chǔ)。

1 平臺(tái)總體架構(gòu)

空管大數(shù)據(jù)處理平臺(tái)架構(gòu)設(shè)計(jì)主要包括硬件層、資源層、數(shù)據(jù)層、處理層及應(yīng)用層設(shè)計(jì)。

圖1 空管大數(shù)據(jù)處理平臺(tái)架構(gòu)

空管大數(shù)據(jù)處理平臺(tái)的底層為硬件層，硬件層為大數(shù)據(jù)處理平臺(tái)提供物理硬件支撐，主要由防火墻、文件服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、網(wǎng)絡(luò)資源、存儲(chǔ)陣列等組成，為上層數(shù)據(jù)存儲(chǔ)處理平臺(tái)提供通信、網(wǎng)絡(luò)、存儲(chǔ)、計(jì)算等資源。采用虛擬化基礎(chǔ)平臺(tái)和硬件基礎(chǔ)服務(wù)平臺(tái)組成，完成對(duì)虛擬資源、業(yè)務(wù)資源、用戶(hù)資源的集中存儲(chǔ)和計(jì)算，同時(shí)通過(guò)統(tǒng)一的接口，對(duì)虛擬資源進(jìn)行集中調(diào)度和管理，從而降低了空管大數(shù)據(jù)處理業(yè)務(wù)的運(yùn)行成本，保證了系統(tǒng)的安全性和可靠性，構(gòu)建安全、綠色、節(jié)能的大數(shù)據(jù)處理中心。

資源層設(shè)計(jì)主要目標(biāo)為通過(guò)統(tǒng)一的數(shù)據(jù)平臺(tái)對(duì)空管業(yè)務(wù)數(shù)據(jù)進(jìn)行集中匯集存儲(chǔ)，并通過(guò)建立定性或定量的數(shù)據(jù)分類(lèi)、安全分級(jí)標(biāo)準(zhǔn)和政策，剔除其中的無(wú)效數(shù)據(jù),僅對(duì)完整、存在潛在價(jià)值的數(shù)據(jù)進(jìn)行處理，對(duì)涉密數(shù)據(jù)進(jìn)行嚴(yán)格安全管理，提升數(shù)據(jù)的有效性、規(guī)范性、安全性，為數(shù)據(jù)交換、數(shù)據(jù)處理、挖掘預(yù)測(cè)類(lèi)等子平臺(tái)提供全面、一致的數(shù)據(jù)基礎(chǔ)。打破現(xiàn)有空管系統(tǒng)數(shù)據(jù)來(lái)源多、格式多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，提升處理平臺(tái)建設(shè)和運(yùn)行效率。確?？展軜I(yè)務(wù)各級(jí)部門(mén)均在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為空管行業(yè)重要資產(chǎn)的潛在價(jià)值。

數(shù)據(jù)層采用開(kāi)放式X86架構(gòu)的PC服務(wù)器搭建Hadoop分布式系統(tǒng)集群架構(gòu)[15],基于Hadoop的HDFS集群主要解決了空管大數(shù)據(jù)的存儲(chǔ)問(wèn)題，隨著空管運(yùn)行數(shù)據(jù)的爆炸式增長(zhǎng)，一味地靠增加硬件數(shù)量來(lái)提高存儲(chǔ)量和計(jì)算能力，不僅成本高，而且效率低。Hadoop的搭建只需要普通的PC機(jī)，分布式文件系統(tǒng)HDFS，分布式計(jì)算引擎MapReduce，兩大組件都屏蔽了分布式及并行底層技術(shù)細(xì)節(jié)問(wèn)題，使用起來(lái)簡(jiǎn)單方便。

數(shù)據(jù)層設(shè)計(jì)包括數(shù)據(jù)交換設(shè)計(jì)和數(shù)據(jù)存儲(chǔ)索引設(shè)計(jì)，數(shù)據(jù)交換設(shè)計(jì)包含結(jié)構(gòu)化數(shù)據(jù)交換組件、半結(jié)構(gòu)化數(shù)據(jù)交換組件、非結(jié)構(gòu)化數(shù)據(jù)交換組件三類(lèi)數(shù)據(jù)交換組件。數(shù)據(jù)交換的設(shè)計(jì)目標(biāo)有以下幾點(diǎn)：保證數(shù)據(jù)在平臺(tái)內(nèi)高速流轉(zhuǎn)；保證數(shù)據(jù)交換過(guò)程中不失真；保證數(shù)據(jù)交換過(guò)程中不丟失；保證數(shù)據(jù)交換過(guò)程安全可靠。

結(jié)構(gòu)化數(shù)據(jù)交換組件通過(guò)Perl+Hive Load技術(shù)實(shí)現(xiàn)，面向空管業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，包括存儲(chǔ)在Oracle、SQLSever、MySQL和MongoDB等傳統(tǒng)數(shù)據(jù)庫(kù)中的空域信息、航班計(jì)劃、雷達(dá)監(jiān)視數(shù)據(jù)等。半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)交換組件通過(guò)SFTP協(xié)議批量進(jìn)行數(shù)據(jù)傳輸，并開(kāi)發(fā)JAVA應(yīng)用調(diào)用資源層API，將抽取到的數(shù)據(jù)加載到分布式數(shù)據(jù)存儲(chǔ)平臺(tái)HDFS指定目錄，面向空管業(yè)務(wù)中產(chǎn)生的陸空通話(huà)語(yǔ)音、監(jiān)控視頻、音頻、office文件等數(shù)據(jù)。數(shù)據(jù)交換采用NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)計(jì)，如圖2所示。數(shù)據(jù)交換存儲(chǔ)設(shè)計(jì)中元數(shù)據(jù)區(qū)用來(lái)存儲(chǔ)大數(shù)據(jù)平臺(tái)各個(gè)Hadoop集群的元數(shù)據(jù)信息，如HDFS文件系統(tǒng)元數(shù)據(jù)；數(shù)據(jù)導(dǎo)入導(dǎo)出臨時(shí)數(shù)據(jù)區(qū)用來(lái)暫存數(shù)據(jù)資源層推送平臺(tái)每日推送的管制、通信、導(dǎo)航、監(jiān)視、氣象等提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)以及暫存數(shù)據(jù)處理層處理計(jì)算結(jié)果；ETL(Extract-Transform-Load)數(shù)據(jù)處理程序區(qū)將數(shù)據(jù)加工處理程序(數(shù)據(jù)壓縮、數(shù)據(jù)加載、數(shù)據(jù)處理等)統(tǒng)一存儲(chǔ)在NAS集群指定目錄。

圖2 數(shù)據(jù)交換存儲(chǔ)設(shè)計(jì)

數(shù)據(jù)存儲(chǔ)索引設(shè)計(jì)將Elasticsearch與Hadoop中HDFS分布式文件系統(tǒng)深度集成，Hadoop的兩大核心HDFS和MapReduce為大數(shù)據(jù)存儲(chǔ)和分析提供了解決方案，但在實(shí)時(shí)搜索分析方面Hadoop還仍有欠缺。ElasticSearch是一個(gè)開(kāi)源的分布式搜索引擎，將全文檢索、數(shù)據(jù)分析以及分布式技術(shù)設(shè)計(jì)用于大數(shù)據(jù)檢索，能夠進(jìn)行實(shí)時(shí)搜索、交互式數(shù)據(jù)探索，并且可與Grafana、Kibana等數(shù)據(jù)可視化工具集成，提供給平臺(tái)應(yīng)用層進(jìn)行數(shù)據(jù)可視化展示。Elasticsearch-HDFS將Hadoop海量的數(shù)據(jù)存儲(chǔ)和深度加工能力與Elasticsearch實(shí)時(shí)搜索和分析功能進(jìn)行連接，能夠在Elasticsearch和Hadoop之間輕松地雙向移動(dòng)數(shù)據(jù)。通過(guò)數(shù)據(jù)交換組件的數(shù)據(jù)首先存入HDFS，然后與Hive結(jié)合來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的實(shí)時(shí)訪問(wèn)、實(shí)時(shí)結(jié)構(gòu)化、全文檢索，從而減少篩選數(shù)據(jù)量，同時(shí)借助HDFS作為存儲(chǔ)庫(kù)進(jìn)行長(zhǎng)期存檔，并依托Hadoop API的動(dòng)態(tài)擴(kuò)展構(gòu)建動(dòng)態(tài)嵌入式搜索應(yīng)用來(lái)檢索HDFS數(shù)據(jù)，執(zhí)行深度低延時(shí)分析，彌補(bǔ)了HDFS不能執(zhí)行低延時(shí)數(shù)據(jù)訪問(wèn)的不足。

數(shù)據(jù)處理包括數(shù)據(jù)批處理和數(shù)據(jù)流處理兩種方式。將存儲(chǔ)在HDFS中空管業(yè)務(wù)產(chǎn)生的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)MapRedurce進(jìn)行結(jié)構(gòu)化處理，并按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總，將數(shù)據(jù)通過(guò)批處理和流處理計(jì)算引擎加工后，結(jié)果交付到應(yīng)用服務(wù)層。

應(yīng)用服務(wù)層設(shè)計(jì)主要將處理層的數(shù)據(jù)，通過(guò)Office集成、儀表盤(pán)、靜態(tài)報(bào)表、Web展示等可視化方法，針對(duì)空管業(yè)務(wù)一線單位，以及運(yùn)行監(jiān)控中心等業(yè)務(wù)需求提供定制化服務(wù)，為一線空管部門(mén)正確決策提供支持，保證管制服務(wù)安全有序，提升管制指揮、運(yùn)行智能化水平。

2 基礎(chǔ)平臺(tái)組成

空管大數(shù)據(jù)處理基礎(chǔ)平臺(tái)采用基于Hadoop集群架構(gòu)，Hadoop的分布式文件系統(tǒng)HDFS具有高容錯(cuò)性、高吞吐量的特點(diǎn)，適合超大數(shù)據(jù)集的應(yīng)用程序，滿(mǎn)足了處理平臺(tái)對(duì)大型數(shù)據(jù)集存儲(chǔ)分析的應(yīng)用需求。HDFS由Java開(kāi)發(fā)，可以在支持Java的機(jī)器上部署，并通過(guò)多副本機(jī)制，自動(dòng)保存多個(gè)副本，某一個(gè)副本丟失以后，可以自動(dòng)恢復(fù)，提高了空管大數(shù)據(jù)處理平臺(tái)的可靠性和容錯(cuò)性。HDFS的“一次寫(xiě)入，多次讀取，只能追加，不能修改”機(jī)制，保證了空管大數(shù)據(jù)的一致性，并且支持空管一線單位及機(jī)場(chǎng)運(yùn)行監(jiān)控中心多用戶(hù)的高吞吐量訪問(wèn)。

HDFS放寬了可移植操作系統(tǒng)的要求，能實(shí)現(xiàn)以流的形式訪問(wèn)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)?？展軜I(yè)務(wù)中管制指揮涉及到的飛行數(shù)據(jù)、航路航線情況數(shù)據(jù)、實(shí)時(shí)天氣數(shù)據(jù)是以流的形式存儲(chǔ)在大數(shù)據(jù)處理平臺(tái)中。一個(gè)HDFS集群通常包含名稱(chēng)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)。名稱(chēng)節(jié)點(diǎn)管理著文件系統(tǒng)的名稱(chēng)、空間，并規(guī)范客戶(hù)端對(duì)文件的訪問(wèn)權(quán)限，以及對(duì)各個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行統(tǒng)一調(diào)配。數(shù)據(jù)節(jié)點(diǎn)主要對(duì)空管業(yè)務(wù)產(chǎn)生的相關(guān)數(shù)據(jù)進(jìn)行存儲(chǔ)。HDFS架構(gòu)如圖3所示。

圖3 HDFS架構(gòu)

2.1 名稱(chēng)節(jié)點(diǎn)

名稱(chēng)節(jié)點(diǎn)在空管大數(shù)據(jù)處理平臺(tái)作為Master服務(wù)器，提供集中式的集群管理功能，主要用于管理HDFS文件系統(tǒng)命名空間，執(zhí)行文件系統(tǒng)命名空間操作，如文件打開(kāi)、關(guān)閉，目錄結(jié)構(gòu)等集群管理功能，并調(diào)節(jié)客戶(hù)端對(duì)文件的訪問(wèn)，還確定塊到DataNodes的映射。若名稱(chēng)節(jié)點(diǎn)終止，則對(duì)應(yīng)的Hadoop集群服務(wù)也會(huì)停止，名稱(chēng)節(jié)點(diǎn)對(duì)穩(wěn)定性要求高，因此空管大數(shù)據(jù)處理平臺(tái)的名稱(chēng)節(jié)點(diǎn)應(yīng)使用穩(wěn)定的小型服務(wù)器，保證集群工作的可靠性和性能。

2.2 數(shù)據(jù)節(jié)點(diǎn)

數(shù)據(jù)節(jié)點(diǎn)是一個(gè)通常在HDFS架構(gòu)中的單獨(dú)機(jī)器上運(yùn)行的組件，管理連接到運(yùn)行的節(jié)點(diǎn)的存儲(chǔ)和讀寫(xiě)。HDFS將一個(gè)文件分割成很多塊，這些塊可能存儲(chǔ)在一個(gè)數(shù)據(jù)節(jié)點(diǎn)上或者是多個(gè)數(shù)據(jù)節(jié)點(diǎn)上。數(shù)據(jù)節(jié)點(diǎn)響應(yīng)來(lái)自名稱(chēng)節(jié)點(diǎn)的創(chuàng)建、刪除和復(fù)制塊的命令?？展苓\(yùn)行的數(shù)據(jù)在數(shù)據(jù)節(jié)點(diǎn)上是分布式存儲(chǔ)的，可以通過(guò)HDFS在集群數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)平衡分配和備份，在故障的情況下也能可靠地存儲(chǔ)數(shù)據(jù)，保證集群計(jì)算效率和安全。

3 平臺(tái)計(jì)算引擎

3.1 批處理計(jì)算引擎

批處理計(jì)算引擎應(yīng)用于流量預(yù)測(cè)、沖突預(yù)測(cè)、跑道侵入預(yù)測(cè)、尾流間隔縮減等空管業(yè)務(wù)模塊。流量預(yù)測(cè)功能采集每天所有機(jī)場(chǎng)的航班計(jì)劃，通過(guò)大數(shù)據(jù)技術(shù)分析航班的飛行時(shí)間、航線、高度、結(jié)合空域、天氣、機(jī)場(chǎng)運(yùn)行狀況等信息預(yù)測(cè)未來(lái)某一時(shí)段管制空域或機(jī)場(chǎng)的流量，從而合理安排航班進(jìn)離場(chǎng)順序、繞滑行道使用安排、管制人員值班計(jì)劃等，有效提升管制運(yùn)行安全水平和效率。同時(shí)通過(guò)對(duì)飛行時(shí)間、飛行高度進(jìn)行大數(shù)據(jù)分析，完成對(duì)航路潛在沖突的預(yù)測(cè)功能。批處理計(jì)算引擎主要面向航司、空管部門(mén)提供的航班時(shí)刻表、飛行計(jì)劃報(bào)、空域信息等歷史積累數(shù)據(jù)。

空管大數(shù)據(jù)處理平臺(tái)采用Apache Spark批處理計(jì)算引擎應(yīng)對(duì)空管生產(chǎn)業(yè)務(wù)過(guò)程中積累的PB級(jí)歷史數(shù)據(jù)。Apache Spark與Hadoop中MapReduce引擎基于相同原則開(kāi)發(fā)而來(lái)。不同于MapReduce數(shù)據(jù)處理流程中每一步都需要一個(gè)Map和一個(gè)Reduce階段，Apache Spark采用內(nèi)存迭代計(jì)算模型，加快了批處理的運(yùn)行速度，在處理完一個(gè)階段以后，可以繼續(xù)處理多個(gè)階段，消除了MapReduce的有限處理限制，提供了更強(qiáng)的計(jì)算功能。但Apache Spark在分布式存儲(chǔ)方面本身并沒(méi)有自身的分布式文件系統(tǒng)，因此磁盤(pán)存儲(chǔ)大多依賴(lài)于處理平臺(tái)的文件存儲(chǔ)系統(tǒng)?？展艽髷?shù)據(jù)處理平臺(tái)將Apache Spark集成在Hadoop的分布式文件存儲(chǔ)HDFS中，與Hadoop深度集成并取代MapReduce引擎，為處理平臺(tái)提供了更強(qiáng)大的計(jì)算功能。Apache Spark運(yùn)行架構(gòu)如圖4所示。

圖4 Apache Spark運(yùn)行架構(gòu)

Apache Spark支持Standalone、Spark on Mesos和Spark on YARN三種分布式部署方式，并支持HDFS、Cassandra、AmazonS3等接口的連接，為空管大數(shù)據(jù)處理平臺(tái)提供多種數(shù)據(jù)存儲(chǔ)解決方式，并允許用戶(hù)將數(shù)據(jù)加載至存儲(chǔ)器中，支持對(duì)其多次查詢(xún)，并集成了多種算法，支持交互式查詢(xún)、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、深度學(xué)習(xí)等常見(jiàn)的空管大數(shù)據(jù)處理場(chǎng)景，為空管大數(shù)據(jù)處理平臺(tái)提供了有力的支撐。

3.2 流處理計(jì)算引擎

空管業(yè)務(wù)對(duì)大數(shù)據(jù)處理平臺(tái)的實(shí)時(shí)性、快速性、準(zhǔn)確性要求非常高，需要實(shí)時(shí)獲取飛機(jī)在飛行過(guò)程，場(chǎng)面運(yùn)行過(guò)程中的各類(lèi)數(shù)據(jù)信息，進(jìn)而實(shí)時(shí)監(jiān)控管制空域內(nèi)飛機(jī)的運(yùn)行狀態(tài)。實(shí)時(shí)監(jiān)控模塊的數(shù)據(jù)來(lái)源通常是ADS-B、ACARS報(bào)文、場(chǎng)面運(yùn)行等，包含飛機(jī)的位置、高度、速度、航向、識(shí)別號(hào)等重要信息[16]，對(duì)空管指揮、現(xiàn)場(chǎng)運(yùn)行等業(yè)務(wù)來(lái)說(shuō)，這些數(shù)據(jù)的價(jià)值隨著時(shí)間的流逝而迅速降低。大數(shù)據(jù)處理平臺(tái)迅速的流數(shù)據(jù)處理能力能輔助管制員對(duì)飛機(jī)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，意味著管制人員可通過(guò)實(shí)時(shí)監(jiān)控來(lái)判斷飛機(jī)或者機(jī)長(zhǎng)的行為是否正當(dāng)。當(dāng)特情發(fā)生時(shí)，管制人員可迅速分析判斷特情原因，組織調(diào)度相關(guān)技術(shù)人員、地面工具等，一旦飛機(jī)降落，迅速進(jìn)行故障解決，提高效率。目前，應(yīng)對(duì)實(shí)時(shí)流計(jì)算引擎主要包括：Apache Flink,Yahoo的S4,Twitter的Storm和Facebook的Puma?？展艽髷?shù)據(jù)處理平臺(tái)對(duì)數(shù)據(jù)處理的實(shí)時(shí)性、準(zhǔn)確性、容錯(cuò)性要求極高，對(duì)比目前主流的流計(jì)算引擎性能，空管大數(shù)據(jù)處理平臺(tái)采用Apache Flink流處理計(jì)算引擎。

Apache Flink是一個(gè)開(kāi)源的分布式的高容錯(cuò)大數(shù)據(jù)流處理引擎，面向數(shù)據(jù)提供流處理(無(wú)邊界數(shù)據(jù)流)和批處理(有邊界數(shù)據(jù)集)兩種數(shù)據(jù)處理方式，并支持多種編程語(yǔ)言，既能兼容空管大數(shù)據(jù)處理平臺(tái)中相關(guān)的傳統(tǒng)數(shù)據(jù)庫(kù)、各類(lèi)文件系統(tǒng)等數(shù)據(jù)源，也可以作為獨(dú)立集群運(yùn)行，還能與所有常見(jiàn)的集群資源管理器(如Hadoop YARN、Apache Mesos和Kubernetes)集成，從而針對(duì)不同管制業(yè)務(wù)部門(mén)需求開(kāi)發(fā)實(shí)時(shí)計(jì)算系統(tǒng)。Apache Flink運(yùn)行在大數(shù)據(jù)處理平臺(tái)數(shù)據(jù)層搭建的開(kāi)源Hadoop集群上，采用Hadoop的YARN作為資源管理器，以HDFS作為數(shù)據(jù)存儲(chǔ)。因此，F(xiàn)link可以和空管大數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn)無(wú)縫對(duì)接。

Flink在運(yùn)行中主要有三個(gè)組件組成:工作端,主節(jié)點(diǎn)和從節(jié)點(diǎn)。用戶(hù)首先提交Flink程序到工作端，經(jīng)過(guò)工作端的處理、解析、優(yōu)化提交到主節(jié)點(diǎn)，最后由從節(jié)點(diǎn)運(yùn)行工作單元。Flink處理架構(gòu)如圖5所示。

圖5 Flink處理架構(gòu)

在實(shí)現(xiàn)流處理和批處理時(shí)不同于現(xiàn)有的開(kāi)源計(jì)算方案把流處理和批處理作為兩種處理類(lèi)型，而是將批處理也作為流處理的一種，只是它的輸入被定義為有界數(shù)據(jù)集。Flink以數(shù)據(jù)緩存塊為單位進(jìn)行數(shù)據(jù)傳輸，不同于別的執(zhí)行引擎數(shù)據(jù)記錄必須填滿(mǎn)緩沖器才會(huì)被發(fā)送到緩存區(qū)，F(xiàn)link可以通過(guò)指定緩存塊的超時(shí)值來(lái)決定數(shù)據(jù)的傳輸時(shí)機(jī)。流處理一般需要低延遲支持，F(xiàn)link在進(jìn)行流處理時(shí)將超時(shí)值設(shè)置為0，此時(shí)系統(tǒng)的處理延遲最低，但吞吐量也降低，可以通過(guò)調(diào)節(jié)緩存塊的超時(shí)值來(lái)調(diào)節(jié)系統(tǒng)延遲和吞吐量的沖突，達(dá)到在高吞吐量的同時(shí)實(shí)現(xiàn)毫秒級(jí)的數(shù)據(jù)分析處理，符合空管大數(shù)據(jù)處理平臺(tái)對(duì)吞吐量和低延時(shí)性的高要求，為實(shí)時(shí)性要求極高的空管業(yè)務(wù)提供支撐服務(wù)。

4 平臺(tái)應(yīng)用分析

通過(guò)搭建空管大數(shù)據(jù)處理平臺(tái)為空管大數(shù)據(jù)提供存儲(chǔ)、計(jì)算、分析能力，將通信、導(dǎo)航、監(jiān)視、氣象、空域信息、航線情況、陸空通話(huà)、廣播報(bào)文、電子進(jìn)程單等數(shù)據(jù)通過(guò)相應(yīng)工具采集到大數(shù)據(jù)分析平臺(tái)中，存儲(chǔ)到Oracle、SQLSever、MySQL和MongoDB等數(shù)據(jù)庫(kù)中，并通過(guò)不同的數(shù)據(jù)交換組件存儲(chǔ)在分布式文件存儲(chǔ)系統(tǒng)中對(duì)各類(lèi)空管數(shù)據(jù)進(jìn)行有效地融合。通過(guò)批處理和流處理計(jì)算引擎，對(duì)空管業(yè)務(wù)數(shù)據(jù)進(jìn)行快速處理，并依托不同的可視化工具，提供給空管業(yè)務(wù)部門(mén)，對(duì)實(shí)時(shí)性要求極高的空管業(yè)務(wù)進(jìn)行支持。為空管大數(shù)據(jù)分析者提供各類(lèi)數(shù)據(jù)分析的工具，讓空管大數(shù)據(jù)的應(yīng)用者不需要關(guān)注底層大數(shù)據(jù)開(kāi)發(fā)技術(shù)，只需要專(zhuān)注于業(yè)務(wù)開(kāi)發(fā)，解決空管一線業(yè)務(wù)單位面臨的問(wèn)題。最終驗(yàn)證了本平臺(tái)架構(gòu)的可行性。

5 結(jié) 語(yǔ)

伴隨著民航業(yè)的快速發(fā)展和空管行業(yè)信息化建設(shè)的深入開(kāi)展，智慧空管已經(jīng)成為空管行業(yè)發(fā)展的方向和趨勢(shì)，智慧空管的最終目標(biāo)是建設(shè)成為覆蓋空管系統(tǒng)整個(gè)生產(chǎn)過(guò)程的全景實(shí)時(shí)系統(tǒng)。而支撐智慧空管安全、高效、可靠運(yùn)行的基礎(chǔ)是空管系統(tǒng)數(shù)據(jù)實(shí)時(shí)采集、傳輸、存儲(chǔ)，以及在運(yùn)行過(guò)程中對(duì)累積的海量多源異構(gòu)數(shù)據(jù)快速準(zhǔn)確處理分析?；诖髷?shù)據(jù)技術(shù)的空管數(shù)據(jù)處理平臺(tái)為智慧空管的建設(shè)提供了平臺(tái)技術(shù)支持，空管大數(shù)據(jù)處理平臺(tái)為流量預(yù)測(cè)、沖突探測(cè)、侵入告警等空管業(yè)務(wù)提供支撐，有助于空管行業(yè)打破信息孤島，實(shí)現(xiàn)行業(yè)數(shù)據(jù)共享，滿(mǎn)足行業(yè)數(shù)據(jù)需求，對(duì)我國(guó)空管行業(yè)邁向智慧空管有著重要的意義。