氣象數(shù)據(jù)管理平臺設計與實現(xiàn)

■陳建云 孫運凡

（福建省福州市氣象局 福建 福州350008）

氣象數(shù)據(jù)管理平臺設計與實現(xiàn)

■陳建云 孫運凡

（福建省福州市氣象局 福建 福州350008）

研發(fā)氣象數(shù)據(jù)管理平臺，實現(xiàn)對采集數(shù)據(jù)的管理，包括原始采集庫數(shù)據(jù)的來源、采集數(shù)據(jù)維護和氣象產品數(shù)據(jù)的處理、交換、備份、監(jiān)控以及維護進行管理。實現(xiàn)了對氣象工作信息化和管理工作流程化，在同業(yè)務多系統(tǒng)數(shù)據(jù)冗余方面提出了較好的解決方案。

數(shù)據(jù)管理數(shù)據(jù)維護

1 概述

數(shù)據(jù)管理平臺負責管理、維護、配置、監(jiān)控等所有與數(shù)據(jù)平臺相關的操作，其主要目的是提供一套完整的、易用的、強大的平臺供數(shù)據(jù)維護人員使用，減輕數(shù)據(jù)維護人員實際工作壓力，減小維護數(shù)據(jù)的成本。

數(shù)據(jù)管理平臺一般運行于數(shù)據(jù)管理員日常工作所在的機器，亦可運行于數(shù)據(jù)服務器。

2 平臺設計

2.1 數(shù)據(jù)管理平臺的設計原則

（1）規(guī)范化。為了保證數(shù)據(jù)共享交換，必須遵循統(tǒng)一的數(shù)據(jù)標準和規(guī)范，優(yōu)先采用國家、行業(yè)標準，并結合實際應用制定相關標準，使科學數(shù)據(jù)信息便于各類用戶使用。

（2）網絡化。數(shù)據(jù)中心的數(shù)據(jù)應用于因特網技術的網絡化信息平臺，數(shù)據(jù)中心須采用因特網技術實現(xiàn)信息資源的共享與發(fā)布。

（3）可擴展性。應充分考慮數(shù)據(jù)不斷變化增加的需要，充分考慮數(shù)據(jù)對外共享與分發(fā)服務的需要，充分考慮行業(yè)業(yè)務發(fā)展的需要，充分考慮軟件硬件技術發(fā)展的需要，以保證軟硬件的升級不會給系統(tǒng)使用帶來困難，保證具有持續(xù)長久的生命力。

（4）安全性。

2.2 數(shù)據(jù)管理平臺框架設計

數(shù)據(jù)管理平臺含有數(shù)據(jù)監(jiān)控平臺、數(shù)據(jù)備份平臺、數(shù)據(jù)質量控制平臺、數(shù)據(jù)交換平臺、數(shù)據(jù)處理平臺、數(shù)據(jù)結構平臺、數(shù)據(jù)啟動與控制平臺等。如圖1所示。

圖1 數(shù)據(jù)管理平臺框架圖

2.3 各業(yè)務模塊功能分析與設計

2.3.1 數(shù)據(jù)采集模塊

數(shù)據(jù)采集子平臺負責對原始數(shù)據(jù)進行采集，并根據(jù)數(shù)據(jù)存儲子平臺定義的標準將數(shù)據(jù)進行轉換、同化，而后將數(shù)據(jù)入庫。數(shù)據(jù)采集子平臺在整個數(shù)據(jù)處理過程中起到承上啟下的作用，數(shù)據(jù)處理與分析等子平臺均需依賴原始采集庫中的數(shù)據(jù)進行進一步的分析與處理。

2.3.2 數(shù)據(jù)處理模塊

數(shù)據(jù)處理子平臺包括對氣象數(shù)據(jù)實時解析、用靜態(tài)數(shù)據(jù)處理平臺、CIMISS數(shù)據(jù)獲取及應用、鄉(xiāng)鎮(zhèn)網格精細化訂正、雨量統(tǒng)計預處理、雷達基數(shù)據(jù)二次處理、云圖基數(shù)據(jù)二次處理、自動站色斑圖預生成等。

2.3.3 數(shù)據(jù)備份模塊

負責對數(shù)據(jù)進行備份、恢復、清理等。

2.4 數(shù)據(jù)監(jiān)控模塊

負責對數(shù)據(jù)運行狀況進行監(jiān)控，包括對網絡、服務器、磁盤、數(shù)據(jù)源、應用產品數(shù)據(jù)等進行統(tǒng)一的監(jiān)控與報警。

2.5 數(shù)據(jù)維護模塊

負責對數(shù)據(jù)進行維護，例如對產品數(shù)據(jù)進行維護，對采集、解析類型進行配置；客戶端應用模塊。

2.6 數(shù)據(jù)啟動與控制模塊

負責啟動“數(shù)據(jù)處理”、“數(shù)據(jù)交換”、“數(shù)據(jù)備份”、“數(shù)據(jù)監(jiān)控”、“數(shù)據(jù)維護”中所有長期駐守于內存中的模塊，并通過心跳日志等手段保證其穩(wěn)定性。

3 平臺實現(xiàn)

3.1 系統(tǒng)整體架構實現(xiàn)

（1）數(shù)據(jù)采集的二次開發(fā)：通過擴展采集組件完成，通過Webservice接口獲取數(shù)據(jù)進行二次開發(fā)。（2）數(shù)據(jù)解析的二次開發(fā)：通過擴展解析組件完成，通過采集規(guī)范化的結果產品（圖片等）進行二次開發(fā)。（3）結果數(shù)據(jù)二次開發(fā)：通過數(shù)據(jù)預處理后規(guī)范數(shù)據(jù)文件(格點數(shù)據(jù)、流數(shù)據(jù)等)進行二次開發(fā)。

采集解析預報產品、服務產品、預警信號、自動站實況、雷達圖、云圖、臺風路徑等原始數(shù)據(jù)，生成標準webservice數(shù)據(jù)接口。各子系統(tǒng)使用該標準的webservice數(shù)據(jù)接口。系統(tǒng)整體技術架構如圖2所示。

圖2 平臺整體架構圖

3.2 系統(tǒng)功能實現(xiàn)。

系統(tǒng)登錄后有系統(tǒng)管理、原始采集數(shù)據(jù)維護、應用產品數(shù)據(jù)維護、數(shù)據(jù)處理、數(shù)據(jù)監(jiān)控等模塊。如圖3所示。

圖3 系統(tǒng)功能圖

P4[文獻碼]B

1000-405X（2016）-12-410-1