湖南省氣象業(yè)務內(nèi)網(wǎng)平臺的設計與實現(xiàn)

鐘艷雯 尹新懷 朱亮 馮冼 夏正龍

摘要：為了實現(xiàn)業(yè)務系統(tǒng)的集約整合，提供一站式數(shù)據(jù)在線訪問和共享服務，建設了湖南省氣象業(yè)務內(nèi)網(wǎng)平臺。該平臺基于通用的J2EE應用架構(gòu);使用統(tǒng)一數(shù)據(jù)源;采用分布式架構(gòu)，利用大數(shù)據(jù)技術提升查詢統(tǒng)計速度;通過自定義各種組件實現(xiàn)地圖圖層疊加。該平臺為省市縣用戶提供統(tǒng)一業(yè)務數(shù)據(jù)、產(chǎn)品與信息服務，為氣象預報、測報、管理等業(yè)務提供有效補充手段和數(shù)據(jù)支撐。

關鍵詞：氣象業(yè)務內(nèi)網(wǎng);數(shù)據(jù);分布式數(shù)據(jù)環(huán)境

中圖分類號：S163

文獻標識碼：A

文章編號：0439-8114（ 2020） 20-0155-04

DOl：10.1408 8/j .cnki.issn0439-8114.2020.20.035

隨著氣象事業(yè)的發(fā)展，多來源、高密度、精細化的氣象觀測資料及產(chǎn)品對數(shù)據(jù)處理、應用、共享提出了新的要求，因此中國氣象局及各省氣象部門先后開展了內(nèi)部信息資源整合工作，構(gòu)建內(nèi)部“業(yè)務內(nèi)網(wǎng)”系統(tǒng)[1-5]。湖南省各類業(yè)務系統(tǒng)數(shù)量大、小而散現(xiàn)象突出，需要統(tǒng)一的平臺進行集約整合;預測、預警、決策等用戶需要統(tǒng)一的數(shù)據(jù)環(huán)境提供數(shù)據(jù)支撐與服務;基層各業(yè)務單位需要對各類氣象數(shù)據(jù)與產(chǎn)品集中、便捷的在線訪問[6，7]。為了充分發(fā)揮地面、高空、雷達、數(shù)值預報、衛(wèi)星云圖等氣象資料的整體效益，實時、準確地獲取觀測數(shù)據(jù)與氣象產(chǎn)品，增強對暴雨、冰雹、大風等災害性天氣的監(jiān)測能力和氣象防災減災能力，助力公眾服務與農(nóng)業(yè)生產(chǎn)，湖南省按照集約化發(fā)展思路，建設了氣象業(yè)務內(nèi)網(wǎng)平臺（以下簡稱平臺）。作為湖南省內(nèi)統(tǒng)一的業(yè)務產(chǎn)品展示、服務和業(yè)務管理信息綜合共享平臺，氣象業(yè)務內(nèi)網(wǎng)平臺滿足了省內(nèi)業(yè)務、管理和服務需求，實現(xiàn)了省一市一縣三級用戶信息共享和一站式在線訪問，同時為預報、測報、管理等業(yè)務提供有效補充手段和數(shù)據(jù)支撐。

1 系統(tǒng)設計與實現(xiàn)

平臺的建設目標為基于統(tǒng)一數(shù)據(jù)環(huán)境，構(gòu)建湖南省氣象部門內(nèi)部統(tǒng)一的業(yè)務數(shù)據(jù)、產(chǎn)品與信息共享門戶系統(tǒng);面向省內(nèi)用戶信息的共享和應用需求，向省一市一縣三級用戶提供快捷、高效的產(chǎn)品訪問與共享支撐;提供省內(nèi)實時觀測、預報預警、氣候業(yè)務、氣象信息業(yè)務等氣象信息與產(chǎn)品的一站式可視化展示。

1.1 系統(tǒng)架構(gòu)

采用“云端部署、終端應用”的模式建設，在省級分布式數(shù)據(jù)環(huán)境中建立一套部署在省級，以CIMISS（China Integrated Meteorological Information SharingSystem，即全國綜合氣象信息共享系統(tǒng)）為主要數(shù)據(jù)源，為省一市一縣用戶提供統(tǒng)一業(yè)務數(shù)據(jù)、產(chǎn)品與信息服務[8]。該平臺包括信息收集與處理系統(tǒng)、數(shù)據(jù)存儲管理系統(tǒng)、信息共享服務系統(tǒng)等三個子系統(tǒng)，總體結(jié)構(gòu)如圖1所示。

該平臺基于通用的J2EE應用架構(gòu)（Velocity+SpringBoot），從邏輯上分為表現(xiàn)層、應用層、數(shù)據(jù)層（圖2）。表現(xiàn)層是基于瀏覽器的客戶端，為用戶呈現(xiàn)一個豐富的、具有高交互性的可視化界面，以圖文一體化的方式顯示空間和屬性信息，同時也為用戶提供地圖交互、信息查詢、地圖分析的交互接口。應用層接收來自客戶端的請求，并根據(jù)用戶請求類型做出相應響應;通過WebCIS服務器Ⅱ向應空間數(shù)據(jù)和屬性數(shù)據(jù)請求，對空間數(shù)據(jù)進行分析和控制，同時利用應用網(wǎng)關、遠程服務與業(yè)務數(shù)據(jù)庫進行交互，完成業(yè)務數(shù)據(jù)的查詢。數(shù)據(jù)層是平臺的底層，負責空間數(shù)據(jù)的存取機制，維護各種數(shù)據(jù)之間的關系，并提供數(shù)據(jù)備份、數(shù)據(jù)存檔、數(shù)據(jù)安全機制，為整個平臺提供數(shù)據(jù)保障。平臺建立了基于配置的產(chǎn)品發(fā)布模式，實現(xiàn)了數(shù)據(jù)獲取與前端顯示功能的獨立分離，屏蔽了大量的后臺數(shù)據(jù)獲取復雜邏輯，每個數(shù)據(jù)獲取邏輯只需在配置界面配置數(shù)據(jù)源、獲取頻次以及獲取方式，在顯示端即可通過制定ID方式獲取所需數(shù)據(jù)，并使整個開發(fā)更專注于前端展示頁面，考慮業(yè)務用戶需求體驗，后端數(shù)據(jù)源甚至數(shù)據(jù)結(jié)構(gòu)的變化可以通過一鍵式配置快速調(diào)整，有效應對氣象數(shù)據(jù)多樣性特點。

該平臺主要包括信息收集與處理系統(tǒng)、數(shù)據(jù)存儲管理系統(tǒng)、信息共享服務系統(tǒng)三個子系統(tǒng)。信息收集與處理子系統(tǒng)依托地面寬帶網(wǎng)以及CIMISS系統(tǒng)，快速、完整地收集各類氣象資料數(shù)據(jù)及氣象服務產(chǎn)品;根據(jù)業(yè)務的需求，對相關數(shù)據(jù)進行解碼、格式轉(zhuǎn)換、數(shù)據(jù)反演等處理加工，生成各類氣象監(jiān)測、服務產(chǎn)品等，并提供數(shù)據(jù)采集、分發(fā)、處理情況的監(jiān)控以及監(jiān)控信息的統(tǒng)計分析功能。數(shù)據(jù)存儲管理子系統(tǒng)以文件和結(jié)構(gòu)化數(shù)據(jù)庫相結(jié)合的方式，建立高效、安全、穩(wěn)定的數(shù)據(jù)存儲管理子系統(tǒng);采用科學合理的管理機制，提供統(tǒng)一、分級的數(shù)據(jù)檢索接口和服務，滿足用戶對氣象數(shù)據(jù)資料檢索訪問的各種需求，具有歷史實時數(shù)據(jù)導入、追加、更新、數(shù)據(jù)的備份和恢復、數(shù)據(jù)清理維護等功能，并提供數(shù)據(jù)入庫、存儲資源使用情況的監(jiān)控以及監(jiān)控信息的統(tǒng)計分析功能。信息共享服務子系統(tǒng)采用共享文件目錄接口、Web網(wǎng)站等方式，發(fā)布和管理各種基礎數(shù)據(jù)、監(jiān)測、預測和預警服務綜合信息，為用戶提供針對性的氣象數(shù)據(jù)和產(chǎn)品的目錄導航、數(shù)據(jù)檢索、查看、下載以及數(shù)據(jù)統(tǒng)計分析等共享服務，并提供信息發(fā)布、訪問情況的監(jiān)控，以及監(jiān)控信息的統(tǒng)計分析功能，具體功能結(jié)構(gòu)劃分如下圖3。

1.2 數(shù)據(jù)庫設計

為了提高訪問速度，需要對常用的觀測數(shù)據(jù)、預報產(chǎn)品、運維數(shù)據(jù)等進行統(tǒng)一管理?？紤]數(shù)據(jù)量達到TB級，通過對比選用了基于Hadoop的HBase大數(shù)據(jù)平臺。按照功能分為站點數(shù)據(jù)表，自動站觀測數(shù)據(jù)表以及業(yè)務數(shù)據(jù)表共35個。根據(jù)數(shù)據(jù)存儲時效，數(shù)據(jù)表可分為永久數(shù)據(jù)表和固定時間數(shù)據(jù)表。永久數(shù)據(jù)表表示數(shù)據(jù)存儲時效不受限制，可以永久保存。固定時間數(shù)據(jù)表指為保證數(shù)據(jù)的可維護性。數(shù)據(jù)表將從插入時間開始，根據(jù)存儲時效，將超過存儲時效的數(shù)據(jù)每日定時清理。根據(jù)不同數(shù)據(jù)表存儲量大小，為避免單表數(shù)據(jù)量過大，需要設計單表的分區(qū)策略。同時為加快數(shù)據(jù)查詢速度，可以建立對應的索引信息[8，9]。

1.3 安裝部署

平臺硬件資源使用5臺通用X86服務器組成服務器集群，內(nèi)部數(shù)據(jù)交換采用兩個萬兆交換機堆疊，外部數(shù)據(jù)訪問采用兩個千兆交換機堆疊。平臺操作系統(tǒng)為CentOS Linux，建立基于Hadoop的分布式數(shù)據(jù)環(huán)境并進行相關軟件部署。服務器部署情況如表1所示。

1.4 關鍵技術

1.4.1 基于CIMISS的統(tǒng)一數(shù)據(jù)環(huán)境基于模塊化和松耦合的設計思路，平臺對CIMISS的接口調(diào)用客戶端進行了輕量級的封裝，并且提供了一個JS庫用來在瀏覽器端直接訪問CIMISS獲取數(shù)據(jù)，方便和規(guī)范系統(tǒng)各模塊對CIMISS接口的調(diào)用。同時提供了超時處理，即保證在CIMISS無響應的情況下不會導致該系統(tǒng)請求線程不釋放而耗盡線程資源。在需要查詢氣象數(shù)據(jù)資料的模塊，平臺主要通過調(diào)用CIMISS接口的方式獲取資料。對于目前無法從CIMISS獲取的數(shù)據(jù)資料，平臺暫時從其他數(shù)據(jù)庫或網(wǎng)絡文件夾上獲取，同時留下數(shù)據(jù)接口，以便下一步進行對接。

1.4.2 分布式服務器集群技術內(nèi)網(wǎng)平臺對周邊6省將近2萬個自動站的分鐘實況數(shù)據(jù)進行實時展示，對于此類大范圍、多要素、高頻次的數(shù)據(jù)，平臺采取的策略是：一是在硬件上采用高性能服務器組成服務器集群;二是在軟件上采用Hadoop大數(shù)據(jù)分析技術，利用HBase數(shù)據(jù)庫、Kafka、Tachyon，Spark、Phoenix等組件，提升自動站查詢統(tǒng)計速度的問題[10-12]。

1.4.3 WebCIS展示技術平臺設計基于JavaScript的WebGIS框架，通過自定義各種組件，實現(xiàn)地圖圖層疊加。表現(xiàn)層的各種顯示通過定制功能組件完成，各個組件互相通信，協(xié)同工作;利用ArcCIS APl完成地圖渲染、繪制及客戶端數(shù)據(jù)處理。應用層地圖服務采用動態(tài)地圖渲染和地圖切片技術相結(jié)合的方式來發(fā)布，對于底層不經(jīng)常變化的地圖數(shù)據(jù)和地圖背景，利用地圖切片技術，以四叉樹方式對同一地圖在n級不同比例尺下進行切分，按照先比例尺等級再圖片所在行對地圖進行切片，然后對圖片所在列的文件目錄方式進行組織并存儲在服務端;上層實時變化的氣象數(shù)據(jù)則采用動態(tài)渲染。數(shù)據(jù)層利用WebGIS實現(xiàn)多源數(shù)據(jù)的疊加顯示、空間分析等綜合利用，主要實現(xiàn)自動站與雷達圖、云圖、預報產(chǎn)品、等值線分析產(chǎn)品的疊加顯示;自動站的要素平面填圖、基于地圖的站點要素統(tǒng)計查詢及動態(tài)顯示;雷達圖在WebCIS里面的時間序列動畫顯示等功能。

2 應用效果

該平臺于2018年2月在湖南省測試運行，2019年7月正式運行，期間得到了省、市、縣三級用戶的廣泛應用及高度好評。建立了預報服務產(chǎn)品集約共享機制，整合了省、市氣象臺的各類產(chǎn)品及水文、環(huán)保等行業(yè)交換數(shù)據(jù)，實現(xiàn)了一體化查詢與展示，在為氣象部門內(nèi)部提供數(shù)據(jù)服務的同時，為湖南省防汛辦、長江流域氣象中心等部門提供了數(shù)據(jù)共享，充分發(fā)揮了數(shù)據(jù)的整體效益。目前平臺包含實況監(jiān)測、預報預警、服務產(chǎn)品以及業(yè)務管理4大板塊18個欄目，近2 000種產(chǎn)品，并隨著氣象業(yè)務服務需求拓展不斷增長，為基層氣象部門業(yè)務服務提供了豐富的數(shù)據(jù)與產(chǎn)品支撐。該平臺實現(xiàn)了管理規(guī)范查閱、傳輸質(zhì)量監(jiān)控統(tǒng)計、預報質(zhì)量評估結(jié)果展示等功能，融合了業(yè)務服務與管理，有效促進了氣象業(yè)務質(zhì)量提升;湖南省傳輸及時率達到100%的資料種類由2017年的4類增長到2019年上半年的7類，數(shù)據(jù)可用性也明顯增長。在汛期關鍵時期，一線業(yè)務服務人員可直接采用平臺產(chǎn)品快速制作各類決策服務材料，利用高效的分鐘級實況數(shù)據(jù)及時發(fā)布監(jiān)測警報，在氣象防災減災中發(fā)揮了不可或缺的作用。

3 結(jié)語

內(nèi)網(wǎng)平臺根據(jù)業(yè)務特點，聚合數(shù)據(jù)和服務，存儲、計算資源向省級集中，通信資源向外延伸，形成“一級部署、多級應用”的業(yè)務布局，實現(xiàn)了“一平臺”提供省市縣三級應用，“一窗口”支撐氣象預報預警服務，“一站式”提供數(shù)據(jù)加工處理與共享，“一體化”整合信息業(yè)務服務與管理。隨著氣象業(yè)務及信息網(wǎng)絡技術發(fā)展，平臺將為省內(nèi)用戶提供更快捷、更高效、更智能的數(shù)據(jù)支撐與服務。

參考文獻：

[1]張志強，張強，胡星，等.國家氣象業(yè)務內(nèi)網(wǎng)設計與實現(xiàn)[J].安徽農(nóng)業(yè)科學，2016，44（6）：224-227

[2]李新慶，衛(wèi)建國，單新蘭，等.寧夏氣象業(yè)務內(nèi)網(wǎng)的功能與實現(xiàn)[J].干旱氣象，2017，35（6）：1077-1083。

[3]王會品，王洪祥，孫悅程，等.基于，ArcGIS的大連氣象內(nèi)網(wǎng)業(yè)務平臺設計與實現(xiàn)[J].湖北農(nóng)業(yè)科學，2018，57（11）：111-112，117

[4]詹利群，任曉煒，黃志，等廣西氣象業(yè)務內(nèi)網(wǎng)功能設計與實現(xiàn)[J].氣象研究與應用，2019，40（1）：71-76.

[5]朱倩雨，宋雅婷氣象業(yè)務內(nèi)網(wǎng)中業(yè)務管理模塊的應用[J].沙漠與綠洲氣象，2016（ Sl）：140-141.

[6] QX/Tl02-2009，氣象資料分類與編碼[s].

[7]熊安元，趙芳，王穎，等.全國綜合氣象信息共享系統(tǒng)的設計與實現(xiàn)[J]應用氣象學報，2015，26（4）：500-512

[8]錢建梅，孫安來，徐韶，等.風云氣象衛(wèi)星數(shù)據(jù)存檔與服務系統(tǒng)[J].應用氣象學報，2012，23（3）：369-376.

[9]張潔，薛勝軍云計算環(huán)境下氣象大數(shù)據(jù)服務的應用[J].安徽農(nóng)業(yè)科學，2016，44（5），298-301.

[10j LARS G.HBase權威指南[M]北京：人民郵電出版社，2013.

[11]陸嘉恒.Hadoop實戰(zhàn)[M].第2版北京：機械工業(yè)出版社，2012.

[12]肖衛(wèi)青，楊潤芝，胡開喜，等Hadoop在氣象數(shù)據(jù)密集型處理領域中的應用[J]氣象科技，2015（5）：53-58.

作者簡介：鐘艷雯（1976-），女，廣西柳州人，高級工程師，碩士，主要從事氣象信息處理方面的研究，（電話）0731-85600000（電子信箱）cs-yw@163.com;通信作者，尹新懷（1968-），男，湖南邵陽人，高級工程師，碩士，主要從事氣象信息處理與氣象業(yè)務系統(tǒng)開發(fā)方面的研究.（電話）0731-85534785（電子信箱）yinlb@foxmail.com。