天津氣象信息綜合管理共享系統(tǒng)建設(shè)與應(yīng)用①

趙玉娟,武國良,袁衛(wèi)華,雷 鳴,朱男男,王 藝,姜罕盛

1(天津市氣象信息中心,天津 300074)

2(天津海洋中心氣象臺,天津 300074)

隨著氣象現(xiàn)代化建設(shè)不斷推進(jìn),天津氣象業(yè)務(wù)信息化水平顯著提高,市區(qū)兩級建設(shè)了多個業(yè)務(wù)系統(tǒng),涉及觀測、天氣預(yù)報、環(huán)境預(yù)報、海洋預(yù)報、服務(wù)等多個領(lǐng)域,對于提升監(jiān)測能力、預(yù)報服務(wù)效果發(fā)揮了重要作用.但由于缺乏頂層設(shè)計和整體規(guī)劃,業(yè)務(wù)流程冗余、數(shù)據(jù)反復(fù)搬家、數(shù)據(jù)不一致等問題突出.此外,隨著氣象業(yè)務(wù)快速發(fā)展,氣象數(shù)據(jù)增長迅猛,天津省級各類氣象數(shù)據(jù)日增量接近TB 級,業(yè)務(wù)和科研希望存儲更長時間序列數(shù)據(jù)的需求日益迫切.構(gòu)建統(tǒng)一的數(shù)據(jù)環(huán)境,做好海量氣象數(shù)據(jù)的管理和共享已成為天津氣象發(fā)展亟需解決的關(guān)鍵問題.

氣象數(shù)據(jù)涉及地面、高空、雷達(dá)、衛(wèi)星、數(shù)值模式、服務(wù)產(chǎn)品等多種類型,來源廣、格式復(fù)雜、數(shù)據(jù)量大,用戶需求多樣,氣象數(shù)據(jù)的存儲管理和共享一直是困擾業(yè)務(wù)和管理人員的難題,氣象專家不斷在探索氣象數(shù)據(jù)存儲管理及共享的技術(shù)和方法.

20世紀(jì)初期,國家和省級許多專家利用Web 技術(shù)、數(shù)據(jù)庫提升氣象數(shù)據(jù)存儲和共享能力,并取得了一定進(jìn)展,但都是獨(dú)立開發(fā)、分散建設(shè)[1-3].為解決國省數(shù)據(jù)環(huán)境不一致,應(yīng)用難推廣的問題,2009年國家氣象信息中心啟動了全國綜合氣象信息共享系統(tǒng)建設(shè)(China Integrated Meteorological Information Sharing System,CIMISS),CIMISS 系統(tǒng)集數(shù)據(jù)收集與分發(fā)、質(zhì)量控制與產(chǎn)品生成、存儲管理、共享服務(wù)及業(yè)務(wù)監(jiān)控于一體,采用統(tǒng)一的技術(shù)架構(gòu)、數(shù)據(jù)處理標(biāo)準(zhǔn)和流程、數(shù)據(jù)存儲規(guī)格和接口服務(wù)規(guī)范,在國省級兩級部署[4],為氣象部門用戶提供了統(tǒng)一的數(shù)據(jù)環(huán)境.此后,各級氣象部門專家開展了許多基于CIMISS 的研究工作.何林等[5]依托CIMISS 和本地數(shù)據(jù)庫構(gòu)建了面向業(yè)務(wù)一線人員的陜西省氣象數(shù)據(jù)共享系統(tǒng),實(shí)現(xiàn)了CIMISS 提供的地面、高空、農(nóng)氣等14 大類數(shù)據(jù)及陜西自有特色數(shù)據(jù)的對內(nèi)共享服務(wù).范保松[6]針對本省觀測數(shù)據(jù)服務(wù)質(zhì)量低下、存在“信息孤島”的問題,設(shè)計并實(shí)現(xiàn)了河南省氣象觀測數(shù)據(jù)綜合服務(wù)平臺.李新慶等[7]基于CIMISS 提出了寧夏綜合氣象信息共享與管理系統(tǒng)設(shè)計與實(shí)現(xiàn)的思路,有效解決了省際氣象數(shù)據(jù)匯交、標(biāo)準(zhǔn)化存儲等問題.郭慶燕等[8]基于CIMISS構(gòu)建了具備實(shí)時歷史數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計及極端事件監(jiān)控功能的服務(wù)系統(tǒng).總體來看,以CIMISS 為基礎(chǔ),面向各地實(shí)際需求建設(shè)共享系統(tǒng)是近年來采用的主要方式.

CIMISS 業(yè)務(wù)化以來,在促進(jìn)省級數(shù)據(jù)集約、共享方面發(fā)揮了重要作用,但隨著氣象數(shù)據(jù)種類和數(shù)據(jù)量的持續(xù)增長,單純依靠傳統(tǒng)集中式存儲架構(gòu)已無法充分滿足需求[9].與此同時,大數(shù)據(jù)、云計算技術(shù)蓬勃發(fā)展,國家和省級氣象專家紛紛開始探索新技術(shù)對氣象數(shù)據(jù)處理效率、服務(wù)能力的提升方案,取得了良好效果.宋智等[10]采用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫對CIMISS 系統(tǒng)進(jìn)行升級改造,有效改善了四川省級氣象數(shù)據(jù)存儲和并發(fā)響應(yīng)能力.肖衛(wèi)青等[11]提出了基于Hadoop 的地面觀測資料統(tǒng)計分析效率提升方案.徐擁軍等[12]利用分布式關(guān)系型數(shù)據(jù)庫開展了海量氣象站點(diǎn)數(shù)據(jù)的存儲研究,發(fā)現(xiàn)分布式數(shù)據(jù)庫在數(shù)據(jù)插入和檢索方面都具有較好的性能,同時具有較好的可靠性、靈活性和擴(kuò)展性.王建榮等[13]提出了分布式數(shù)值預(yù)報產(chǎn)品處理與存儲系統(tǒng)的解決方案,為長時間序列數(shù)值預(yù)報產(chǎn)品的存儲和檢索提供了新思路.

本文針對天津氣象數(shù)據(jù)特點(diǎn)及管理共享需求,結(jié)合技術(shù)發(fā)展趨勢,基于分布式存儲和WebGIS 技術(shù),構(gòu)建了集采集、加工處理、可視化展示、統(tǒng)計分析、數(shù)據(jù)服務(wù)于一體的氣象信息綜合管理共享系統(tǒng),實(shí)現(xiàn)了天津氣象數(shù)據(jù)的集約管理和一站式服務(wù),文中對系統(tǒng)的設(shè)計思路、數(shù)據(jù)流程、關(guān)鍵技術(shù)、主要功能及應(yīng)用情況進(jìn)行了介紹.

1 系統(tǒng)設(shè)計

1.1 總體架構(gòu)

天津氣象信息綜合管理共享系統(tǒng)致力于實(shí)現(xiàn)天津氣象業(yè)務(wù)涉及的各類氣象數(shù)據(jù)的統(tǒng)一管理,為市區(qū)兩級氣象業(yè)務(wù)提供更穩(wěn)定高效的數(shù)據(jù)支撐,為各類用戶提供一站式信息共享和服務(wù).

為實(shí)現(xiàn)各類信息的統(tǒng)一管理、高效訪問,在遵循CIMISS 數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范下,參考?xì)庀筚Y料和氣象要素分類編碼標(biāo)準(zhǔn),對天津氣象數(shù)據(jù)資源進(jìn)行梳理,制定了天津氣象局?jǐn)?shù)據(jù)存儲規(guī)范,在CIMISS 基礎(chǔ)上擴(kuò)建分布式數(shù)據(jù)庫和文件庫,構(gòu)建了天津氣象大數(shù)據(jù)環(huán)境.

系統(tǒng)采用分層架構(gòu)進(jìn)行布局,邏輯上分5 個層次,針對5 類用戶進(jìn)行設(shè)計開發(fā),總體架構(gòu)如圖1所示.

基礎(chǔ)支撐層負(fù)責(zé)為平臺提供計算、存儲、網(wǎng)絡(luò)資源及相關(guān)的軟件支撐,依托天津氣象局基礎(chǔ)設(shè)施資源池實(shí)現(xiàn).數(shù)據(jù)存儲層負(fù)責(zé)氣象觀測數(shù)據(jù)、氣象產(chǎn)品、業(yè)務(wù)管理信息、行業(yè)共享數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)及GIS 數(shù)據(jù)、運(yùn)行日志等信息的存儲,依托CIMISS 和擴(kuò)展的分布式存儲環(huán)境實(shí)現(xiàn)；數(shù)據(jù)管理層負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)的收集分發(fā)、解碼入庫、質(zhì)量控制,按業(yè)務(wù)需求進(jìn)行數(shù)據(jù)同步、加工、清理及為上層應(yīng)用提供訪問接口,依托CIMISS 和自建數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn).展現(xiàn)交互層為天津氣象數(shù)據(jù)的綜合展示和共享門戶,負(fù)責(zé)與用戶進(jìn)行交互,提供數(shù)據(jù)可視化展示及檢索、統(tǒng)計等功能,通過WebGIS、圖形、表格、數(shù)據(jù)下載、接口等形式實(shí)現(xiàn)數(shù)據(jù)的共享服務(wù).

5類用戶是業(yè)務(wù)人員、科研人員、管理人員、行業(yè)共享用戶和開發(fā)人員.業(yè)務(wù)用戶可通過平臺的展示、統(tǒng)計功能快速實(shí)現(xiàn)對各類氣象數(shù)據(jù)的分析；管理用戶可通過平臺發(fā)布管理制度、業(yè)務(wù)軟件、質(zhì)量通報等信息,在全省范圍實(shí)現(xiàn)信息共享,也可通過平臺展示的數(shù)據(jù)了解各業(yè)務(wù)系統(tǒng)運(yùn)行狀態(tài)；科研用戶可利用平臺的檢索下載功能獲取研究所需數(shù)據(jù)；對行業(yè)共享用戶,能按照管理需求,為其提供定制數(shù)據(jù)的瀏覽；開發(fā)人員可通過平臺了解數(shù)據(jù)接口使用方法,更快完成應(yīng)用對接.

1.2 數(shù)據(jù)流程

天津氣象信息綜合管理共享系統(tǒng)的核心目標(biāo)是實(shí)現(xiàn)各種資料的統(tǒng)一收集、加工、存儲及共享,功能上主要包括數(shù)據(jù)收發(fā)、數(shù)據(jù)加工、數(shù)據(jù)存儲管理、信息共享門戶4 部分,數(shù)據(jù)流程如圖2所示.

圖1 系統(tǒng)架構(gòu)

圖2 數(shù)據(jù)流程

(1)數(shù)據(jù)收發(fā)系統(tǒng)：按照業(yè)務(wù)需求完成通信系統(tǒng)、業(yè)務(wù)平臺、行業(yè)共享、互聯(lián)網(wǎng)數(shù)據(jù)的收集或主動采集,分發(fā)給各業(yè)務(wù)系統(tǒng)和數(shù)據(jù)加工系統(tǒng).

(2)數(shù)據(jù)加工系統(tǒng)：按照應(yīng)用需求對數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、質(zhì)量控制、加工、統(tǒng)計等處理,提交給數(shù)據(jù)存儲管理系統(tǒng)進(jìn)行存儲.

(3)數(shù)據(jù)存儲管理系統(tǒng)：根據(jù)數(shù)據(jù)特點(diǎn)存儲至CIMISS 存儲環(huán)境和分布式存儲環(huán)境；定期對數(shù)據(jù)進(jìn)行備份與清理；為加工系統(tǒng)和各類應(yīng)用系統(tǒng)(包括共享門戶)提供數(shù)據(jù)的調(diào)取服務(wù).

(4)信息共享門戶：響應(yīng)用戶操作,按照用戶權(quán)限,為用戶提供數(shù)據(jù)的綜合展示、查詢、統(tǒng)計及下載.調(diào)用數(shù)據(jù)存儲管理系統(tǒng)提取數(shù)據(jù),對于需要加工的,調(diào)用數(shù)據(jù)加工處理系統(tǒng)對數(shù)據(jù)進(jìn)行加工,將加工結(jié)果反饋給用戶.

1.3 關(guān)鍵技術(shù)

1.3.1 氣象大數(shù)據(jù)存儲管理技術(shù)

在CIMISS 基礎(chǔ)上,根據(jù)本市氣象數(shù)據(jù)特點(diǎn)和應(yīng)用需求,運(yùn)用Share-Nothing 架構(gòu)[14]的分布式NAS、分布式數(shù)據(jù)庫技術(shù)擴(kuò)建分布式存儲環(huán)境,提高數(shù)據(jù)訪問性能.對于結(jié)構(gòu)化數(shù)據(jù),采用列式數(shù)據(jù)庫Gbase8a 構(gòu)建存儲集群.鑒于Gbase8a 目前不支持主鍵約束,實(shí)時數(shù)據(jù)首先接入事務(wù)型數(shù)據(jù)庫保障唯一性,再通過專用工具同步到Gbase8a.對于半結(jié)構(gòu)化數(shù)據(jù),采用HBase數(shù)據(jù)庫構(gòu)建存儲集群,對于文件數(shù)據(jù),采用分布式NAS集群進(jìn)行存儲.按照應(yīng)用需求定期對各類數(shù)據(jù)進(jìn)行清理,清理策略利用數(shù)據(jù)庫存儲保障靈活性,數(shù)據(jù)清理任務(wù)基于Quarz[15]調(diào)度.基于Quarz 的任務(wù)調(diào)度關(guān)鍵代碼如下：

1.3.2 數(shù)據(jù)接口技術(shù)

通過建立數(shù)據(jù)訪問接口,可降低數(shù)據(jù)環(huán)境和業(yè)務(wù)系統(tǒng)間的耦合度,保證數(shù)據(jù)使用規(guī)范性和可擴(kuò)展性.

對于天津氣象省級數(shù)據(jù)環(huán)境中的數(shù)據(jù),封裝了多個接口,供共享門戶和其他業(yè)務(wù)系統(tǒng)調(diào)用,同時提供接口的在線服務(wù),支持用戶在線查看接口使用說明和測試,為快速實(shí)現(xiàn)應(yīng)用對接提供支撐.CIMISS 系統(tǒng)的氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(Meteorological Unified Service Interface Community,MUSIC),為用戶提供了多種形式的數(shù)據(jù)訪問接口和應(yīng)用編程接口,同時支持新增資料接口的配置發(fā)布[16].對于天津特色結(jié)構(gòu)化氣象數(shù)據(jù)的通用訪問,基于MUSIC 實(shí)現(xiàn)數(shù)據(jù)接口配置與發(fā)布.對于HBase 及分布式NAS 中存儲的數(shù)據(jù),基于Swagger框架[17]實(shí)現(xiàn)接口文檔自動生成和在線測試.

當(dāng)應(yīng)用系統(tǒng)需要獲取要素級數(shù)據(jù)時,將檢索條件(如資料代碼、接口ID、時間、經(jīng)緯度、要素等)提交給接口,接口從存儲環(huán)境提取數(shù)據(jù)返回給應(yīng)用系統(tǒng),返回數(shù)據(jù)提供JSON、CSV、數(shù)組等多種形式.當(dāng)應(yīng)用系統(tǒng)需要獲取文件時,將資料類型、時間、要素等信息提交給接口,接口將文件返回給應(yīng)用系統(tǒng).以下為調(diào)用接口獲取自動站資料的關(guān)鍵代碼：

基于MUSIC 配置特色資料接口的主要步驟：

(1)定義元數(shù)據(jù)信息,一是對于要按站點(diǎn)查詢的數(shù)據(jù),按照CIMISS 規(guī)范在省級自建關(guān)系型數(shù)據(jù)庫中建立臺站元數(shù)據(jù)表；二是連接到本省CIMISS 支撐庫,增加新增數(shù)據(jù)字段定義.

(2)定義數(shù)據(jù)庫,包括數(shù)據(jù)ID、數(shù)據(jù)庫類型、數(shù)據(jù)庫連接參數(shù)等.

(3)定義數(shù)據(jù)實(shí)體及數(shù)據(jù)表,即配置數(shù)據(jù)所在數(shù)據(jù)表、關(guān)聯(lián)數(shù)據(jù)庫、數(shù)據(jù)字段及是否有臺站信息表等.

(4)基于MUSIC 系統(tǒng)的通用接口,篩選適合新增數(shù)據(jù)的查詢接口發(fā)布.

1.3.3 Web 平臺優(yōu)化技術(shù)

利用多種技術(shù)手段,提高顯示性能,改善用戶體驗,具體包括：應(yīng)用并行計算技術(shù)提高WebGIS[18]顯示速度；對于服務(wù)器端返回數(shù)據(jù)使用壓縮技術(shù),減少傳輸時間；對于返回數(shù)據(jù)量較大的統(tǒng)計頁面,采用分頁技術(shù)；對于自定義繪圖功能,采用基于流的實(shí)時繪圖技術(shù)代替?zhèn)鹘y(tǒng)的生成圖片文件的方式.此外,對于系統(tǒng)欄目采用配置方式進(jìn)行管理,提高其靈活性.

2 主要功能設(shè)計

2.1 數(shù)據(jù)存儲架構(gòu)設(shè)計

CIMISS 系統(tǒng)采用的Share Disk 架構(gòu)受制于磁盤IO 瓶頸,性能難有大幅提升,在高并發(fā)用戶數(shù)據(jù)請求時,查詢時效變差.分布式存儲將負(fù)載分擔(dān)到多個節(jié)點(diǎn),性能和擴(kuò)展性更好[19].

針對本省需求及CIMISS 在數(shù)據(jù)訪問方面的不足,引進(jìn)業(yè)界先進(jìn)存儲產(chǎn)品擴(kuò)建分布式存儲環(huán)境.針對結(jié)構(gòu)化數(shù)據(jù)的長時間序列歷史數(shù)據(jù)存儲檢索場景,采用列式數(shù)據(jù)庫搭建存儲集群；針對智能網(wǎng)格預(yù)報、數(shù)值模式等半結(jié)構(gòu)化數(shù)據(jù),采用HBase 數(shù)據(jù)庫；針對文件級數(shù)據(jù),采用分布式NAS 系統(tǒng).升級改造后的天津氣象大數(shù)據(jù)存儲環(huán)境架構(gòu)如圖3所示.

分布式NAS 集群由7 個專用服務(wù)器和內(nèi)部高性能交換機(jī)構(gòu)成,Gbase8a 集群由3 臺服務(wù)器構(gòu)成,HBase集群由3 臺服務(wù)器構(gòu)成,均可根據(jù)需求橫向擴(kuò)展.

分布式列式數(shù)據(jù)庫較傳統(tǒng)的行存儲數(shù)據(jù)庫,具備更高的壓縮比,并行性高,僅檢索和返回用戶所需數(shù)據(jù),因此,對長時間序列數(shù)據(jù)查詢可提供更好的性能.

圖3 天津氣象大數(shù)據(jù)環(huán)境存儲架構(gòu)

對于非結(jié)構(gòu)化數(shù)據(jù),CIMISS 系統(tǒng)采用的是文件存儲聯(lián)合在關(guān)系數(shù)據(jù)庫中建立相應(yīng)索引和元數(shù)據(jù)描述信息的方式.其中的數(shù)值天氣預(yù)報、智能網(wǎng)格數(shù)據(jù)具備經(jīng)緯度、要素、高度、時間等屬性,按時間、要素、經(jīng)緯度范圍等進(jìn)行提取是業(yè)務(wù)中常用的場景,針對此類數(shù)據(jù),搭建HBase 數(shù)據(jù)庫集群保障性能并滿足精細(xì)化查詢的需要.

對于圖片、視頻、衛(wèi)星、雷達(dá)等應(yīng)用場景主要是文件整體訪問的非結(jié)構(gòu)化數(shù)據(jù),引入分布式NAS對訪問性能進(jìn)行改善.相對傳統(tǒng)的磁盤陣列,分布式NAS 支持NFS、SMB、FTP 等多種協(xié)議,訪問方式更加靈活,各業(yè)務(wù)系統(tǒng)利用以太網(wǎng)即可訪問,使用更加便捷.

2.2 數(shù)據(jù)集約存儲范圍和服務(wù)接口擴(kuò)展

CIMISS 實(shí)現(xiàn)了全國通用數(shù)據(jù)和產(chǎn)品的集約管理,但是未將各省特色氣象數(shù)據(jù)及業(yè)務(wù)所需的行業(yè)共享、互聯(lián)網(wǎng)數(shù)據(jù)納入統(tǒng)一管理.為了解決本省特色數(shù)據(jù)存儲分散的問題,促進(jìn)數(shù)據(jù)集約,依托新建的分布式存儲環(huán)境對本省特色觀測、質(zhì)控、預(yù)報產(chǎn)品、行業(yè)共享數(shù)據(jù)、業(yè)務(wù)所需互聯(lián)網(wǎng)數(shù)據(jù)等資料進(jìn)行集中存儲管理.

各業(yè)務(wù)平臺制作的預(yù)報服務(wù)產(chǎn)品、加工的數(shù)據(jù)文件、圖片等非結(jié)構(gòu)化數(shù)據(jù)存入分布式NAS 集群,陸地、海洋、環(huán)境等智能網(wǎng)格預(yù)報產(chǎn)品存儲至HBase 集群,本地特色觀測數(shù)據(jù)、非常規(guī)觀測資料、本地特色預(yù)報產(chǎn)品、行業(yè)共享數(shù)據(jù)、氣象災(zāi)害資料等結(jié)構(gòu)化數(shù)據(jù)進(jìn)行要素級存儲.

為方便用戶獲取集約存儲的本地特色數(shù)據(jù),對于新增的數(shù)據(jù)和產(chǎn)品,封裝并發(fā)布數(shù)據(jù)接口.依托CIMISS的MUSIC 系統(tǒng)新增站點(diǎn)類接口395 個,基于Swagger發(fā)布格點(diǎn)數(shù)據(jù)訪問接口32 個、文件訪問接口218 個,新增接口詳見表1.

2.3 信息共享門戶

信息共享門戶包括首頁、實(shí)況監(jiān)測、數(shù)值模式、智能預(yù)報、氣象服務(wù)、數(shù)據(jù)服務(wù)、視頻數(shù)據(jù)、管理信息等10 大模塊,實(shí)現(xiàn)了天津氣象業(yè)務(wù)所需觀測數(shù)據(jù)和預(yù)報產(chǎn)品的綜合顯示,同時可滿足數(shù)據(jù)服務(wù)、管理信息共享、系統(tǒng)管理、技術(shù)交流的需求.

表1 天津氣象信息綜合管理共享系統(tǒng)新增接口

(1)首頁：由最新實(shí)況、欄目導(dǎo)航、常用欄目快捷通道、通知公告、全站搜索等功能組成.最新實(shí)況基于GIS 將當(dāng)前最新的自動站、雷達(dá)、預(yù)警信息及降水、溫度統(tǒng)計數(shù)據(jù)集成在一張圖中,并提供自動刷新,為用戶快速了解天氣信息及服務(wù)情況提供了便捷途徑,通過欄目導(dǎo)航、常用欄目快捷通道、全站搜索功能,用戶可快速進(jìn)入二級功能頁面,獲取更詳細(xì)的數(shù)據(jù).

(2)實(shí)況監(jiān)測：包括自動站、雷達(dá)、云圖、風(fēng)廓線、城市邊界層、大氣環(huán)境、重要天氣、站網(wǎng)信息等13 個子模塊,顯示內(nèi)容涵蓋了天津氣象局的地面、高空、海洋的所有觀測項目及天津氣象業(yè)務(wù)所需的海河流域、行業(yè)共享、互聯(lián)網(wǎng)觀測數(shù)據(jù),提供GIS、色斑圖、時序圖、表格等顯示形式,用戶可按站號、站名、站類、時間、區(qū)域、閾值進(jìn)行數(shù)據(jù)篩選,圖片、表格數(shù)據(jù)支持下載,對于業(yè)務(wù)最常用的自動站數(shù)據(jù),提供GIS 綜合分析、單要素統(tǒng)計、單站多要素疊加分析、24 小時變化趨勢分析、歷史數(shù)據(jù)對比等功能,單要素統(tǒng)計包括業(yè)務(wù)常用的1、3、6、24 小時及08-08、05-05 等固定時段統(tǒng)計和自定義統(tǒng)計,對于自定義統(tǒng)計支持實(shí)時生成色斑圖.

(3)數(shù)值模式：提供8 類業(yè)務(wù)常用數(shù)值模式中國、華北、海河、天津4 個區(qū)域的產(chǎn)品展示,支持按時間、要素進(jìn)行產(chǎn)品篩選,提供單圖和郵票圖兩種顯示形式.

(4)智能預(yù)報：提供天津智能網(wǎng)格預(yù)報產(chǎn)品的GIS、時序圖展示.

(5)氣象服務(wù)：提供天氣、海洋、環(huán)境、決策、農(nóng)氣、氣候、人影等預(yù)報服務(wù)產(chǎn)品的展示.除了常規(guī)文檔展示及下載,對于業(yè)務(wù)常用的雨情公報和預(yù)警信號展示,增加了特色顯示和統(tǒng)計功能.對于雨情公報,以日歷直觀展示各日降雨量級,點(diǎn)擊日期可查看該降水過程各國家站的逐時降水詳情,同時提供按時間段、降雨量級篩選降雨過程,提供近一周、近一月、近半年、近一年、入汛以來等時間段的降雨最多TOP10日期和站點(diǎn)統(tǒng)計.對于預(yù)警信號,可按時間段、預(yù)警類型、發(fā)布單位、預(yù)警級別統(tǒng)計發(fā)布情況,同時利用時序圖展示預(yù)警演變、持續(xù)時間情況.

(6)數(shù)據(jù)服務(wù)：提供天津氣象大數(shù)據(jù)環(huán)境的氣象、行業(yè)共享及社會數(shù)據(jù)的在線查詢和下載服務(wù).服務(wù)方式包括在線檢索、訂單和接口服務(wù)等.

(7)視頻數(shù)據(jù)：提供實(shí)景觀測及會商視頻展示共享.

(8)管理信息：各類管理制度、業(yè)務(wù)軟件、會商PPT 等信息的展示共享.

(9)系統(tǒng)管理：包括角色、用戶、菜單、文件等信息的管理功能,供系統(tǒng)管理員對用戶、權(quán)限、系統(tǒng)欄目進(jìn)行配置.

(10)社區(qū)論壇：供用戶反饋系統(tǒng)問題及完善建議.

3 系統(tǒng)應(yīng)用

3.1 系統(tǒng)應(yīng)用

天津氣象信息綜合管理共享系統(tǒng)構(gòu)建了統(tǒng)一集約的省級數(shù)據(jù)環(huán)境,為天津氣象各類應(yīng)用提供數(shù)據(jù)支撐,市、區(qū)兩級的氣象部門用戶和行業(yè)共享用戶可通過瀏覽器訪問信息共享門戶,共享門戶顯示數(shù)據(jù)來源于天津氣象大數(shù)據(jù)環(huán)境,氣象部門用戶可通過FTP、共享、數(shù)據(jù)接口、數(shù)據(jù)訂單等方式獲取數(shù)據(jù)環(huán)境中的數(shù)據(jù),數(shù)據(jù)環(huán)境存儲內(nèi)容涵蓋氣象數(shù)據(jù)、行業(yè)共享數(shù)據(jù)及天津業(yè)務(wù)所需的互聯(lián)網(wǎng)數(shù)據(jù),信息共享門戶提供了相關(guān)數(shù)據(jù)的綜合展示及數(shù)據(jù)下載.圖4為基于GIS 的自動站數(shù)據(jù)展示效果,圖5為智能網(wǎng)格預(yù)報產(chǎn)品展示效果,圖6為雨情公報展示效果.

圖4 基于GIS 的自動站數(shù)據(jù)展示效果

圖5 智能網(wǎng)格預(yù)報產(chǎn)品展示效果

圖6 雨情公報展示效果

3.2 效益分析

通過搭建分布式存儲環(huán)境,建立統(tǒng)一的數(shù)據(jù)采集、加工、共享流程,擴(kuò)展集約存儲數(shù)據(jù)范圍和服務(wù)接口,天津省級氣象數(shù)據(jù)環(huán)境的存儲容量和性能得到大幅提升,存儲能力由幾十TB 級提升至幾百TB 級,為天津預(yù)報一體化平臺、天津氣象APP、決策服務(wù)平臺等關(guān)鍵業(yè)務(wù)系統(tǒng)提供了更加集約、高效的數(shù)據(jù)支撐,7 大類36 小類本市特色數(shù)據(jù)實(shí)現(xiàn)要素級存儲,網(wǎng)格數(shù)據(jù)訪問性能提升4 倍,業(yè)務(wù)中最常用的自動站數(shù)據(jù)查詢性能提升8倍,分鐘級數(shù)據(jù)存儲時長由數(shù)月增長至數(shù)年并可按需擴(kuò)展.

4 結(jié)論與展望

天津氣象數(shù)據(jù)綜合管理共享系統(tǒng)構(gòu)建了集約、高效的氣象大數(shù)據(jù)環(huán)境及綜合可視化展示服務(wù)平臺,主要承擔(dān)為天津各類氣象業(yè)務(wù)提供數(shù)據(jù)支撐,為氣象部門市區(qū)兩級用戶和行業(yè)共享用戶提供實(shí)時監(jiān)測數(shù)據(jù)、產(chǎn)品數(shù)據(jù)的綜合展示、查詢、統(tǒng)計服務(wù),實(shí)現(xiàn)各類管理制度、業(yè)務(wù)軟件、會商資料在全省范圍的共享.系統(tǒng)基于分布式存儲技術(shù)和WebGIS 技術(shù)進(jìn)行優(yōu)化處理,響應(yīng)速度快、功能完善、界面友好,為氣象監(jiān)測預(yù)警、信息共享提供了良好的支撐,得到用戶的一致肯定.接下來的研究工作是進(jìn)一步擴(kuò)充完善系統(tǒng)功能,提升數(shù)據(jù)支撐和共享能力.