綜合氣象信息共享與管理系統(tǒng)的構(gòu)建與應(yīng)用研究

丁偉杰，黃志聰，陳 燕

（佛山市高明區(qū)氣象局，廣東 佛山528000）

近些年在氣象事業(yè)快速發(fā)展的同時，信息化建設(shè)成為了主流，佛山市結(jié)合自身實(shí)際情況，利用信息化手段，不斷提升氣象信息化管理水平，讓氣象信息業(yè)務(wù)水平及管理水平得到極大提升。通過基礎(chǔ)設(shè)施的信息化建設(shè)，能夠?qū)崿F(xiàn)綜合業(yè)務(wù)工作開展的信息化，將氣象觀測、天氣預(yù)報等設(shè)置在系統(tǒng)中，發(fā)揮系統(tǒng)管理在實(shí)際工作中的作用。氣象信息綜合管理共享系統(tǒng)的構(gòu)建與應(yīng)用，能夠滿足時代發(fā)展需求，確保在氣象行業(yè)的健康發(fā)展，為氣象業(yè)務(wù)管理工作提供支持。

打破業(yè)務(wù)數(shù)據(jù)管理壁壘、整合氣象信息技術(shù)資源、簡化業(yè)務(wù)流程和各環(huán)節(jié)、推進(jìn)氣象業(yè)務(wù)數(shù)據(jù)融合與技術(shù)協(xié)同，在進(jìn)行氣象管理工作期間，可以實(shí)現(xiàn)氣象數(shù)據(jù)信息共享，提升氣象工作的管理水平，為佛山市氣象信息業(yè)務(wù)的發(fā)展奠定堅實(shí)基礎(chǔ)。

1 系統(tǒng)設(shè)計

1.1 總體架構(gòu)

佛山市綜合氣象管理信息資源共享與數(shù)據(jù)管理服務(wù)系統(tǒng)平臺致力于在綜合氣象管理行業(yè)內(nèi)部有效滿足各氣象業(yè)務(wù)部門和信息管理系統(tǒng)之間的氣象數(shù)據(jù)信息資源相互共享和信息交換，為各區(qū)綜合氣象管理業(yè)務(wù)和信息管理系統(tǒng)用戶同時提供氣象信息資源共享和管理一站式信息在線查詢服務(wù)。歸納起來，共享管理信息主要類型包括氣象觀測基礎(chǔ)數(shù)據(jù)、公共服務(wù)產(chǎn)品、專業(yè)服務(wù)產(chǎn)品和人員信息等大數(shù)據(jù)。

實(shí)現(xiàn)上述基礎(chǔ)信息的存儲統(tǒng)一管理共享和集中管理，系統(tǒng)必須獨(dú)立制定一套標(biāo)準(zhǔn)、規(guī)范的共享數(shù)據(jù)管理存儲信息格式，實(shí)現(xiàn)系統(tǒng)多源、異構(gòu)共享數(shù)據(jù)的信息集中管理存儲和統(tǒng)一共享，功能上主要包括共享數(shù)據(jù)系統(tǒng)資源信息目錄存儲管理、元數(shù)據(jù)存儲管理、共享數(shù)據(jù)信息存儲管理、系統(tǒng)資源存儲管理、數(shù)據(jù)服務(wù)器和接口存儲管理、數(shù)據(jù)系統(tǒng)監(jiān)控等諸多基礎(chǔ)信息。系統(tǒng)數(shù)據(jù)總體管理架構(gòu)如圖1所示，采用成熟的三層數(shù)據(jù)體系管理架構(gòu)：數(shù)據(jù)表示層、業(yè)務(wù)邏輯處理層和重大數(shù)據(jù)處理層。表示層網(wǎng)站是氣象系統(tǒng)監(jiān)測門戶，采用國際標(biāo)準(zhǔn)的移動webgi客戶端進(jìn)行開發(fā)，負(fù)責(zé)與監(jiān)測用戶數(shù)據(jù)進(jìn)行交互，提供數(shù)據(jù)狀態(tài)智能自動檢索、快速智能導(dǎo)航、個性化智能推薦和監(jiān)測數(shù)據(jù)狀態(tài)可視化智能展示等多種功能，通過輸入webgis、圖形、表格等多種方式即可實(shí)現(xiàn)各類大型氣象監(jiān)測數(shù)據(jù)的信息共享上傳服務(wù)。業(yè)務(wù)系統(tǒng)邏輯管理層除了可以提供對于基礎(chǔ)用戶數(shù)據(jù)、公共氣象服務(wù)產(chǎn)品、專業(yè)氣象服務(wù)產(chǎn)品和用戶管理業(yè)務(wù)信息的各種接口數(shù)據(jù)訪問，還可以提供對所有用戶業(yè)務(wù)行為、日志管理信息等業(yè)務(wù)系統(tǒng)本身的數(shù)據(jù)管理信息服務(wù)。數(shù)據(jù)管理層主要集成依賴于CIMISS氣象數(shù)據(jù)管理環(huán)境庫并構(gòu)建佛山市本地氣象業(yè)務(wù)綜合信息數(shù)據(jù)庫，在對本地氣象數(shù)據(jù)等進(jìn)行存儲與管理期間，可以對其進(jìn)行集中存儲與管理，在對應(yīng)的氣象數(shù)據(jù)服務(wù)管理接口，能將各類數(shù)據(jù)服務(wù)請求進(jìn)行及時接收，然后確保在氣象系統(tǒng)發(fā)展期間，能在數(shù)據(jù)支持下實(shí)現(xiàn)業(yè)務(wù)的合理開展。

圖1 綜合氣象信息共享與管理系統(tǒng)總體架構(gòu)

1.2 功能設(shè)計

佛山市綜合基礎(chǔ)氣象管理信息數(shù)據(jù)共享與綜合管理服務(wù)系統(tǒng)主要包括共享基礎(chǔ)氣象數(shù)據(jù)、業(yè)務(wù)管理產(chǎn)品、服務(wù)管理產(chǎn)品和綜合氣象信息管理4個主要功能模塊。

1.2.1 網(wǎng)站首頁

首頁氣象作為系統(tǒng)的氣象訪問檢索入口，綜合方位展示我市氣象行業(yè)基礎(chǔ)技術(shù)數(shù)據(jù)、業(yè)務(wù)、服務(wù)和氣象信息安全管理等重點(diǎn)領(lǐng)域關(guān)注的氣象信息，功能除了各類業(yè)務(wù)功能導(dǎo)航、通知欄等信息外，還包括各種智能氣象檢索、個性化氣象推薦、最新氣象產(chǎn)品詳情鏈接等。

1.2.2 檢查基礎(chǔ)統(tǒng)計數(shù)據(jù)

基礎(chǔ)氣象數(shù)據(jù)通常認(rèn)為是氣象行業(yè)內(nèi)和用戶整體需求量最大的一類基本氣象基礎(chǔ)科學(xué)資料數(shù)據(jù)，根據(jù)基礎(chǔ)氣象科學(xué)資料的主要內(nèi)容功能屬性和諸如CIMISS等的分類使用標(biāo)準(zhǔn)，功能數(shù)據(jù)分類主要包括輻射地面、高空，輻射農(nóng)氣及水生態(tài)，大氣化學(xué)成分，大氣生態(tài)環(huán)流及輻射雷達(dá)、衛(wèi)星氣象數(shù)值天氣預(yù)報5類產(chǎn)品和其他共10類基礎(chǔ)氣象科學(xué)資料。除了提供包括制圖查詢、統(tǒng)計和文件下載等各種常規(guī)制圖功能外，還包括了諸如顯示時序結(jié)構(gòu)圖、分布結(jié)構(gòu)圖、等值圖曲線、色斑結(jié)構(gòu)圖的各種在線自動制圖查詢服務(wù)。

1.2.3 業(yè)務(wù)核心產(chǎn)品

業(yè)務(wù)核心產(chǎn)品主要面向各級氣象業(yè)務(wù)部門、科研企業(yè)用戶。功能范圍覆蓋各級氣象部門所屬核心氣象業(yè)務(wù)，包括氣象天氣預(yù)測類、氣候監(jiān)測類、農(nóng)氣服務(wù)類、專業(yè)氣象服務(wù)項目類和氣象人影服務(wù)類的氣象業(yè)務(wù)核心產(chǎn)品。除可以提供各種常規(guī)數(shù)據(jù)查詢服務(wù)功能外，還可以提供材料加工數(shù)據(jù)統(tǒng)計值、分布統(tǒng)計圖等多種在線數(shù)據(jù)分析查詢功能。

1.2.4 服務(wù)性的產(chǎn)品

服務(wù)各類產(chǎn)品主要用于面向政府決策、公眾和氣象專業(yè)用戶服務(wù)，將氣象行業(yè)基礎(chǔ)技術(shù)數(shù)據(jù)、氣象服務(wù)產(chǎn)品加工制作和服務(wù)產(chǎn)品應(yīng)用有機(jī)相互融合，提供基于氣象服務(wù)產(chǎn)品的可視化信息展示應(yīng)用功能。

1.2.5 妥善管理個人信息

管理決策信息中心面向各級氣象輔助管理決策部門主體用戶，實(shí)現(xiàn)各級氣象輔助業(yè)務(wù)、事務(wù)管理決策數(shù)據(jù)的信息規(guī)范化、扁平化，為各級氣象輔助管理部門提供氣象輔助管理決策數(shù)據(jù)支持，提升決策執(zhí)行力和決策預(yù)判的能力。功能上主要范圍包括網(wǎng)絡(luò)數(shù)據(jù)安全監(jiān)控、質(zhì)量安全監(jiān)控和網(wǎng)絡(luò)信息安全通報。數(shù)據(jù)質(zhì)量監(jiān)控主要包括氣象基礎(chǔ)技術(shù)數(shù)據(jù)、業(yè)務(wù)以及產(chǎn)品、服務(wù)以及產(chǎn)品，從數(shù)據(jù)收集、解析、入庫管理到用戶共享等一體化、全方位流程的質(zhì)量監(jiān)控數(shù)據(jù)管理;信息質(zhì)量服務(wù)監(jiān)控主要包括信息傳輸服務(wù)質(zhì)量（CIMISS、mdos）、預(yù)報服務(wù)質(zhì)量、預(yù)警服務(wù)質(zhì)量等相關(guān)信息的質(zhì)量監(jiān)控；信息資源主要包括現(xiàn)代化網(wǎng)站建設(shè)、產(chǎn)品信息發(fā)布、數(shù)據(jù)資源下載信息通報等。

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 海量異構(gòu)氣象數(shù)據(jù)存儲

由于CIMISS對于采用關(guān)系型氣象數(shù)據(jù)庫組合存儲非典型結(jié)構(gòu)化氣象數(shù)據(jù)的采用元數(shù)據(jù)存儲信息、采用氣象集群文件系統(tǒng)組合存儲非典型結(jié)構(gòu)化氣象數(shù)據(jù)文件，上述基于傳統(tǒng)軟件架構(gòu)對不斷變化增加的應(yīng)用海量非典型結(jié)構(gòu)化氣象數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫和存儲文件服務(wù)系統(tǒng)功能需求不足，易出現(xiàn)數(shù)據(jù)負(fù)載性能飽和、讀寫系統(tǒng)性能不足的服務(wù)瓶頸技術(shù)問題，影響了氣象系統(tǒng)存儲服務(wù)的數(shù)據(jù)時效性和數(shù)據(jù)穩(wěn)定性。

因此，對基于CIMISS等的數(shù)據(jù)庫和存儲系統(tǒng)進(jìn)行了可擴(kuò)展性和應(yīng)用場景研究，提出基于Adoracleop數(shù)據(jù)庫存儲集群和Ci-Hadoopop分布式文件系統(tǒng)等混合應(yīng)用架構(gòu)的氣象管理綜合信息數(shù)據(jù)庫，氣象信息基礎(chǔ)設(shè)施數(shù)據(jù)、業(yè)務(wù)硬件產(chǎn)品、服務(wù)軟件產(chǎn)品和企業(yè)管理氣象信息的一個標(biāo)準(zhǔn)、統(tǒng)一、集約化的存儲應(yīng)用環(huán)境。

2.2 氣象數(shù)據(jù)加工處理

氣象統(tǒng)計數(shù)據(jù)分析加工任務(wù)處理功能系統(tǒng)按照不同業(yè)務(wù)處理功能主要分為自動常規(guī)產(chǎn)品統(tǒng)計處理產(chǎn)品計劃加工、網(wǎng)格化處理產(chǎn)品統(tǒng)計加工、自動圖形化處理產(chǎn)品統(tǒng)計加工。在不同的業(yè)務(wù)功能產(chǎn)品下，根據(jù)相關(guān)標(biāo)準(zhǔn)及規(guī)范，對本地氣象常規(guī)統(tǒng)計產(chǎn)品要素，一定要對其進(jìn)行明確，并能將日、候、旬等基本單位進(jìn)行囊括；氣象網(wǎng)格化統(tǒng)計產(chǎn)品主要是以5×5公里氣象實(shí)況的網(wǎng)格化統(tǒng)計產(chǎn)品數(shù)據(jù)為統(tǒng)計基礎(chǔ)，融合本地區(qū)小時、日等值的地面氣候觀測氣象數(shù)據(jù)，細(xì)化設(shè)計生成1×1公里的本地區(qū)特色實(shí)時氣象要素和網(wǎng)格式特點(diǎn)化統(tǒng)計產(chǎn)品；氣象圖形化統(tǒng)計產(chǎn)品以氣象圖形化統(tǒng)計產(chǎn)品作為標(biāo)準(zhǔn)，實(shí)時、準(zhǔn)實(shí)時地細(xì)化生成區(qū)域落區(qū)氣象圖、分布?xì)庀髨D等13種氣象圖形化統(tǒng)計產(chǎn)品。

任務(wù)調(diào)度、數(shù)據(jù)接口加工等是數(shù)據(jù)接口加工任務(wù)處理工作的基本流程，在不同模塊的規(guī)范實(shí)踐下，能夠保證業(yè)務(wù)開展的可靠性與合理性。任務(wù)調(diào)度管理采用Quartz軟件開源開發(fā)組件進(jìn)行實(shí)現(xiàn)，Quartz組件是一個輕量級的大型企業(yè)任務(wù)調(diào)度管理框架，完全由Java語言編寫，能為任務(wù)調(diào)度管理提供可靠支持，確保管理機(jī)制開展的有效性，而且在軟件的實(shí)際應(yīng)用中操作比較簡單。在Quartz任務(wù)調(diào)度系統(tǒng)框架的應(yīng)用下，加工資料處理任務(wù)系統(tǒng)能夠?qū)σ粋€加工處理任務(wù)進(jìn)行觸發(fā)，調(diào)用加工處理任務(wù)后，任務(wù)調(diào)度要求的統(tǒng)計結(jié)果集可以在服務(wù)用戶接口終端獲?。蝗缓罂梢栽诮y(tǒng)計算法以及模型中將統(tǒng)計結(jié)果集以及數(shù)據(jù)模型傳入，這樣就可以在統(tǒng)計算法以及模型的應(yīng)用下，得到對應(yīng)的統(tǒng)計結(jié)果集；最后，服務(wù)接口終端需要接收統(tǒng)計運(yùn)算后的結(jié)果，然后可以寫入加工數(shù)據(jù)。在具體操作期間，每一次都會進(jìn)行日志記錄，為以后進(jìn)行日志記錄分析工作提供數(shù)據(jù)參考。

2.3 智能搜索引擎

傳統(tǒng)的氣象數(shù)據(jù)檢索處理方法已經(jīng)難以有效滿足用戶日益增長的各種氣象信息數(shù)據(jù)高性能信息檢索服務(wù)需求，如何快速、高效地從各種海量化的氣象信息數(shù)據(jù)中檢索有用的氣象數(shù)據(jù)信息資源已經(jīng)發(fā)展成為信息共享與數(shù)據(jù)管理信息系統(tǒng)的一大難點(diǎn)。因此，結(jié)合氣象個性化信息推薦和分布式氣象搜索分析引擎，提出了基于數(shù)字Elasticsearch引擎構(gòu)建的智能氣象搜索分析引擎，針對海量氣象信息數(shù)據(jù)可以實(shí)現(xiàn)智能自動檢索分析相關(guān)氣象信息，同時為廣大用戶免費(fèi)提供快速氣象信息檢索查詢分析服務(wù)。

構(gòu)建案例Elasticsearch垂直搜索集群引擎設(shè)計包括分布式搜索集群引擎設(shè)計、垂直搜索領(lǐng)域內(nèi)的專業(yè)搜索詞典引擎構(gòu)建、數(shù)據(jù)資源索引、數(shù)據(jù)資源搜索和企業(yè)個性化產(chǎn)品推薦。Elasticsearch分布式氣象集群根據(jù)現(xiàn)有的氣象行業(yè)基礎(chǔ)集群數(shù)據(jù)、各類集群產(chǎn)品應(yīng)用規(guī)模及集群相關(guān)產(chǎn)品性能數(shù)據(jù)進(jìn)行氣象集群結(jié)構(gòu)設(shè)計。

2.4 面向氣象數(shù)據(jù)的可視化信息技術(shù)

可視化信息技術(shù)系統(tǒng)融合了工業(yè)信息技術(shù)可視化、科學(xué)技術(shù)可視化、人機(jī)交互、數(shù)據(jù)挖掘等多門學(xué)科，針對復(fù)雜氣象相關(guān)數(shù)據(jù)模型具有多交互類型、高交互維度、弱交互模式等不同特點(diǎn)，利用交互分布式界面對復(fù)雜氣象相關(guān)數(shù)據(jù)模型進(jìn)行實(shí)時分析和綜合展示，同時充分融入用戶認(rèn)知思維能力和綜合計算思維能力，從而為用戶實(shí)時提供復(fù)雜氣象相關(guān)數(shù)據(jù)的高效處理和分析服務(wù)。

3 結(jié)束語

綜合氣象信息數(shù)據(jù)共享與業(yè)務(wù)管理信息系統(tǒng)不僅是直接支持氣象信息業(yè)務(wù)管理應(yīng)用的氣象數(shù)據(jù)服務(wù)技術(shù)平臺，同時也是直接支撐氣象部門核心技術(shù)業(yè)務(wù)、提升氣象部門信息管理服務(wù)水平的重要技術(shù)基礎(chǔ)，該信息系統(tǒng)的開發(fā)設(shè)計與應(yīng)用研究將有效地解決氣象部門對多媒體類型、規(guī)模大、業(yè)務(wù)管理邏輯復(fù)雜等氣象數(shù)據(jù)缺乏共享和信息管理不足的實(shí)際難題。