大數(shù)據(jù)下民航氣象資料的收集與分發(fā)

洪莉雯

民航氣象中心 北京 100018

引言

隨著航空運輸量的增長，全行業(yè)的需求也在增長。其中，氣象信息化快速發(fā)展，亞洲航空氣象中心、中俄聯(lián)合體第4個全球空間天氣中心陸續(xù)在空管系統(tǒng)中建設完成，為了給航空氣象服務做好后臺技術支撐，民航飛行安全運行保駕護航，氣象信息的傳遞是運行中重要的一環(huán)。

民航氣象數(shù)據(jù)交換包括：民航報文、自動站資料、探測資料、GPS高空探測、閃電定位資料、風廓線雷達資料、話音方式航空器空中報告、實時航跡資料、衛(wèi)星資料等等[1]。民航氣象中心不僅參與國內七個地區(qū)中心和航站的氣象資料轉發(fā)工作，還肩負著與國際的氣象情報交換工作。資料數(shù)據(jù)量龐大，并且部分資料刷新時間在1分鐘內。

1 實施概況

1.1 開發(fā)環(huán)境

收集分發(fā)系統(tǒng)采用Java語言開發(fā)，Java作為一種功能強大的編程語言，在世界范圍內深受認可，所以此次設計中采用了Java語言進行編程。Java是最為廣泛的網(wǎng)絡編程語言之一，它具有簡單、穩(wěn)定、面向對象、與平臺無關等特點。

1.2 系統(tǒng)部署情況

目前從各地區(qū)空管局氣象中心獲取氣象數(shù)據(jù)的方式有兩種，一種是互聯(lián)網(wǎng)方式，一種是專線方式，從而匯集到民航氣象中心數(shù)據(jù)庫中，民航氣象中心進行數(shù)據(jù)質量控制后，整合、下發(fā)，主要在航空服務平臺上展示給使用用戶，推送至一些航空公司，和在共享系統(tǒng)上共享給各地區(qū)氣象中心[2]。

根據(jù)民航氣象中心數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)傳輸方式，氣象資料收集傳輸系統(tǒng)的傳輸方式，數(shù)據(jù)入庫應用程序的部署特點，在操作系統(tǒng) centos上部署好目錄環(huán)境，建立傳輸資料的落地目錄，文件經過質量控制軟件進行質控處理，正確的文件入庫處理，錯誤的文件進行錯誤日志留底保存。

在數(shù)據(jù)傳輸?shù)倪^程中會存在一些常見問題，如漏傳、多傳、擁塞、等待等，還有關于傳輸資料的安全性的問題。民航氣象中心與各地區(qū)中心共享多種氣象資料，資料共享方式是FTP傳輸?shù)姆绞?。在資料收集與下發(fā)、共享方面，通過FTP方式進行資料傳輸是最常用的應用手段。FTP傳輸方式的優(yōu)點在于文件傳輸速度較快，還可以匿名登錄，但在傳輸過程中的安全性較低。主被動模式會受到客戶端、服務器端防火墻影響，但是在有安全設備保護的內網(wǎng)中使用是非常簡單便捷的，很適合在內網(wǎng)業(yè)務中使用。所以選擇傳輸資料的方式還是需要根據(jù)當前的大環(huán)境，業(yè)務的需求，因時制宜的選取相應的傳輸技術。

2 系統(tǒng)設計

下圖是收集分發(fā)系統(tǒng)管理網(wǎng)站菜單介紹，可分為節(jié)點管理、帶寬管理、線路管理、規(guī)則管理、規(guī)則鏈管理、質控入庫管理、輔助工具、系統(tǒng)管理。

圖1 收集分發(fā)系統(tǒng)管理網(wǎng)站菜單

2.1 節(jié)點管理

節(jié)點管理包括管理節(jié)點建立連接的收集分發(fā)節(jié)點和收集分發(fā)節(jié)點與目標服務器所建立的線路，收集分發(fā)節(jié)點在部署的時候，會配置好NODE_ID，NODE_ID是一個收集分發(fā)節(jié)點的唯一標識，NODE_ID在收集分發(fā)節(jié)點中沒有特殊的作用，但是在管理節(jié)點中有很重要的作用，管理節(jié)點的數(shù)據(jù)庫中的所有關于該收集分發(fā)節(jié)點的配置都是與NODE_ID綁定的。

2.2 帶寬管理

帶寬修改中為了保證帶寬速度，可以修改此分發(fā)規(guī)則的保證帶寬配置，單位Kbit/s，修改此分發(fā)規(guī)則的在迅速提升帶寬時的恢復比例配置，配置為100%時，即在迅速提升帶寬時恢復至該分發(fā)規(guī)則的需求帶寬值，單位為百分比。

2.3 線路管理

FTP線路中包括當前線路節(jié)點歸屬，用于區(qū)別線路唯一，F(xiàn)TP服務器用戶名，F(xiàn)TP服務器密碼，F(xiàn)TP服務器地址，F(xiàn)TP服務器監(jiān)聽端口號，每隔一定時間檢測FTP連接，F(xiàn)TP服務器編碼格式，F(xiàn)TP服務器其他信息。

2.4 規(guī)則管理

在當前規(guī)則所屬節(jié)點中，其中包括一些定義，如規(guī)則號是唯一標識，線路類型是規(guī)則所選線路類型，線路號是規(guī)則所使用的線路，本地路徑是收集文件保存路徑，獲取策略按“收集后刪除”，“按時間取新增”方式。定時調度表達式來設置規(guī)則執(zhí)行頻率，規(guī)則也進行分組管理。遠程路徑是遠程服務器文件存放位置。忽略時長即文件最后修改時間在規(guī)定時間之前，則文件不再下載。

2.5 規(guī)則鏈管理

規(guī)則鏈管理是文件開始處理與結束處理的關鍵步驟，可同時啟動與停止質控規(guī)則和收集規(guī)則；可添加節(jié)點，選擇文件的收集規(guī)則類型，選擇文件的收集規(guī)則號，與之相對應的是質控規(guī)則號，每一個收集規(guī)則號對應一個質控規(guī)則號，如果有入庫規(guī)則號則選擇相應資料的入庫規(guī)則號，如果文件需要分發(fā)，點擊“增加分發(fā)規(guī)則”，會自動添加分發(fā)規(guī)則號，點擊資料的規(guī)則號，可以查看具體的資料配置信息，啟動規(guī)則鏈中的規(guī)則后，將開始處理文件，進行拆解質控入庫。

2.6 質控入庫管理

按照氣象資料要求，進行文件質控。添加資料規(guī)則，查看頁面中是否有需要處理的資料規(guī)則，如果沒有則添加，彈出添加規(guī)則框，完成常規(guī)資料的規(guī)則添加，當有多種資料子類時點選下方的“增加資料種類”繼續(xù)添加，添加完后點擊保存按鈕添加完畢。

在資料傳輸過程中觸發(fā)其他規(guī)則（質控，發(fā)送）時發(fā)送通知消息，并且可以選擇是否開啟文件名上的時間過期校驗，判斷文件有效性。獲取時間正則可以獲取文件名上時間正則表達式。告警等級用于配置文件名時間過期時的告警等級。設置有效時長讓文件名時間小于當前時間減去有效時長文件不再下載。文件名修改策略可以調整文件名大小寫。遠程路徑策略“無正則”，“取最大”，“取最新”。臨時后綴用來標記未傳輸完的文件，還可以啟用斷點續(xù)傳，在文件傳輸一半后，繼續(xù)上一次傳輸。文件名正則用來只收集符合正則的文件，取最新（大）目錄數(shù)量來規(guī)定每次獲取文件夾的數(shù)量等。

2.7 輔助工具

輔助工具中包括正則校驗、文件名時間過濾校驗、精確文件名文件格式生成。

2.8 系統(tǒng)管理

系統(tǒng)管理中包括角色管理，用來分配權限；用戶管理，用來管理系統(tǒng)登錄用戶；系統(tǒng)操作記錄操作日志；系統(tǒng)參數(shù)用來修改和配置系統(tǒng)各種數(shù)據(jù)庫記錄保留時長[3]。

3 結論

大數(shù)據(jù)環(huán)境下，氣象預報需要大量數(shù)據(jù)推演，收集分發(fā)系統(tǒng)不僅有利于今后中心業(yè)務數(shù)據(jù)資料傳輸方式的選擇，能夠減少數(shù)據(jù)傳輸問題，提高業(yè)務效率，更有益于我們更好的保障民航氣象中心與各數(shù)據(jù)運行中心的資料傳輸與分發(fā)，為民航氣象提高宏觀可靠性做出貢獻，為民航氣象提供數(shù)據(jù)需求和幫助，助力航班正常運行。

4 結束語

計算機的問世使數(shù)值天氣預報變?yōu)楝F(xiàn)實。用超算將各地方的氣象觀測資料和大量的計算，做出數(shù)值天氣預報，可以使天氣預報能夠更加定量化和客觀化。它對氣象學和其他各理論科學以及技術學科提出了不少新的要求，從而對氣象科學的發(fā)展起到了推動作用。

氣象事業(yè)的最終目的就是服務用戶,提升服務質量和服務效果是氣象事業(yè)發(fā)展的不斷追求,氣象服務的不斷發(fā)展同時也牽引著觀測,預報等其他方面的氣象基礎事業(yè)的不斷前進，從而形成整個氣象行業(yè)不斷提高的良性循環(huán)。如今，越來越多的氣象資料引進，全球的氣象情報交換使人類的生活更加便捷，大量的數(shù)據(jù)傳遞更加需要一個穩(wěn)定高效的傳輸系統(tǒng)。