基于網(wǎng)絡(luò)技術(shù)的氣象數(shù)據(jù)共享方案探討

◆黃錦燦 蔡賢達 田良鈺

?

基于網(wǎng)絡(luò)技術(shù)的氣象數(shù)據(jù)共享方案探討

◆黃錦燦 蔡賢達 田良鈺

(佛山市高明區(qū)氣象局 廣東 528500)

隨著科技的不斷發(fā)展，為了對于氣象信息的解讀也更加科學(xué)與高效，加強氣象數(shù)據(jù)系統(tǒng)建設(shè)與信息分享勢在必行，本系統(tǒng)建設(shè)以氣象業(yè)務(wù)系統(tǒng)、預(yù)警發(fā)布手段以及電子政務(wù)網(wǎng)和政務(wù)大數(shù)據(jù)為基礎(chǔ)，充分利用移動、聯(lián)通、電信等運營商的網(wǎng)絡(luò)資源和社會資源，實現(xiàn)氣象信息的高速共享，為其進一步發(fā)展打下堅實的基礎(chǔ)。

網(wǎng)絡(luò)技術(shù)；氣象數(shù)據(jù)；共享

0 引言

目前高明區(qū)氣象局每天要處理大量的觀測數(shù)據(jù)、預(yù)報數(shù)據(jù)、預(yù)警數(shù)據(jù)，但是尚沒有自己的數(shù)據(jù)中心，所有數(shù)據(jù)需要從其他局系統(tǒng)中抓取，經(jīng)常導(dǎo)致數(shù)據(jù)不完整、不穩(wěn)定、不正確、不及時等問題。嚴(yán)重影響氣象業(yè)務(wù)的正常開展，更加難以適應(yīng)“互聯(lián)網(wǎng)+”和大數(shù)據(jù)戰(zhàn)略的實施。難以給公眾和各行各業(yè)提供實時、準(zhǔn)確的、充足的氣象數(shù)據(jù)和服務(wù)。同時經(jīng)過多年的建設(shè)，高明區(qū)氣象局在硬件上已經(jīng)滿足了日后的發(fā)展的需要，隨時可以滿足氣象數(shù)據(jù)綜合管理系統(tǒng)的建設(shè)。如果不充分利用這些硬件設(shè)施，會造成資源的浪費，因此需要對于氣象數(shù)據(jù)做好共享工作，提升共享效率。

1 高明區(qū)氣象局?jǐn)?shù)據(jù)中心建設(shè)背景

1.1建設(shè)現(xiàn)狀

高明“智慧氣象”數(shù)據(jù)中心是基于高明氣象局以及其他部門的數(shù)據(jù)共享的基礎(chǔ)上，利用氣象大數(shù)據(jù)，搭建氣象數(shù)據(jù)中心以實現(xiàn)數(shù)據(jù)資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業(yè)務(wù)系統(tǒng)和信息服務(wù)提供深入、全面的數(shù)據(jù)基礎(chǔ)，并提供相應(yīng)數(shù)據(jù)接口。數(shù)據(jù)中心的主要功能有數(shù)據(jù)交換與共享、數(shù)據(jù)存儲、數(shù)據(jù)處理三大部分。實現(xiàn)對采集到的各種信息進行分類和存儲等功能，能夠按照數(shù)據(jù)來源、數(shù)據(jù)類別、數(shù)據(jù)時間等多種維度進行管理，且具備統(tǒng)計分析、監(jiān)控、報表制作等功能。在數(shù)據(jù)的存儲上要求能夠存儲和管理結(jié)構(gòu)化數(shù)據(jù)，也能夠存儲和管理非結(jié)構(gòu)化數(shù)據(jù)。能夠應(yīng)對大數(shù)據(jù)量、多數(shù)據(jù)類型的情況。

1.2建設(shè)目標(biāo)

智慧氣象是智慧城鎮(zhèn)建設(shè)的重要組成部分。要實現(xiàn)智慧氣象更好的服務(wù)公眾，服務(wù)行業(yè)經(jīng)濟，實現(xiàn)“互聯(lián)網(wǎng)+”的應(yīng)用和跨界大數(shù)據(jù)分析功能，首先要建立一個氣象數(shù)據(jù)綜合管理中心，提供數(shù)據(jù)管理和氣象數(shù)據(jù)支持，通過整合統(tǒng)一的大數(shù)據(jù)接口平臺為其他部門、社區(qū)信息員和人民群眾提供精細化、網(wǎng)格化的信息服務(wù)，為智慧城鎮(zhèn)建設(shè)提供氣象信息支持。

根據(jù)以上背景和分析，我們提出以下項目建設(shè)總體目標(biāo)：

（1）依托通用數(shù)據(jù)平臺，建設(shè)“智慧氣象”數(shù)據(jù)中心管理平臺基于廣東省氣象局和佛山市氣象局的數(shù)據(jù)支持和其他部門的數(shù)據(jù)共享，“智慧氣象”數(shù)據(jù)中心項目將搭建大數(shù)據(jù)平臺以實現(xiàn)數(shù)據(jù)資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業(yè)務(wù)系統(tǒng)和信息服務(wù)提供深入、全面的數(shù)據(jù)基礎(chǔ)，并提供相應(yīng)數(shù)據(jù)共享接口。

（2）建設(shè)基于GIS的氣象業(yè)務(wù)數(shù)據(jù)可視化支撐平臺為協(xié)助氣象部門對氣象數(shù)據(jù)分析預(yù)報并使服務(wù)信息更精細化，項目將建設(shè)氣象數(shù)據(jù)結(jié)合GIS地理信息分析，展現(xiàn)各類的氣象要素，從而綜合提升氣象部門的業(yè)務(wù)能力。

1.3建設(shè)意義

本系統(tǒng)充分利用公共無線和固定通信網(wǎng)絡(luò)，通過多種發(fā)布手段相互結(jié)合、互為彌補的方式為人民群眾提供一個及時傳遞氣象產(chǎn)品信息和公共事件預(yù)警信息的載體，是解決信息服務(wù)“最后一公里”問題的有效途徑，大大提高了公共事件預(yù)警信息發(fā)布的時效性。通過智慧氣象系統(tǒng)建設(shè)，使原來分散在不同部門、不同行業(yè)的應(yīng)急信息，通過系統(tǒng)中專用的突發(fā)公共事件預(yù)警信息發(fā)布系統(tǒng)，權(quán)威、暢通、有效的突發(fā)公共事件預(yù)警信息發(fā)布渠道統(tǒng)一進行發(fā)布。同時，利用各種發(fā)布手段的覆蓋范圍和控制功能，可以將氣象產(chǎn)品信息和公共事件預(yù)警信息的發(fā)布范圍進行精確控制。氣象數(shù)據(jù)的跨行業(yè)價值挖掘?qū)a(chǎn)生巨大的社會和經(jīng)濟價值，據(jù)了解，英國的氣象服務(wù)已經(jīng)全部商業(yè)化，年產(chǎn)值達到2600億美元，美國1600億美元，日本100億美元，而中國只有6億美元，專業(yè)的氣象數(shù)據(jù)服務(wù)在中國市場前景巨大。本系統(tǒng)的建設(shè)將挖掘氣象跨行業(yè)的數(shù)據(jù)價值，最終提供商業(yè)化服務(wù)。

2 網(wǎng)絡(luò)技術(shù)在氣象數(shù)據(jù)共享中的應(yīng)用

2.1技術(shù)規(guī)范

數(shù)據(jù)中心配備包括支撐以上功能的硬件基礎(chǔ)設(shè)施、大型外部設(shè)備、數(shù)據(jù)庫管理商用軟件、數(shù)據(jù)處理專業(yè)商用軟件、數(shù)據(jù)管理應(yīng)用軟件、數(shù)據(jù)服務(wù)應(yīng)用軟件、數(shù)據(jù)交換系統(tǒng)，以及相應(yīng)的專業(yè)人員。數(shù)據(jù)中心硬件配置一般包括：服務(wù)器（業(yè)務(wù)應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、交換服務(wù)器）、存儲系統(tǒng)（SAN 光纖交換機、磁盤陣列、NAS文件存貯）、交換機（核心交換機、服務(wù)器群子網(wǎng)交換機、部門接入子網(wǎng)交換機）、大型外設(shè)、全冗余的硬件設(shè)備及鏈路。數(shù)據(jù)中心軟件配置包括：網(wǎng)管軟件、應(yīng)用服務(wù)器軟件、數(shù)據(jù)庫管理系統(tǒng)、GIS軟件、數(shù)據(jù)備份軟件、目錄服務(wù)及元數(shù)據(jù)發(fā)布軟件、LDAP服務(wù)器、安全管理軟件、消息中間件、云虛擬機管理軟件等。整個高明“智慧氣象”數(shù)據(jù)中心網(wǎng)絡(luò)可以建立在云計算平臺之上，所有的應(yīng)用系統(tǒng)服務(wù)器均由虛擬化服務(wù)器提供，這樣的好處在于可以按需配置服務(wù)器資源，保障服務(wù)器資源的充分利用和靈活調(diào)度。

2.2數(shù)據(jù)采集

氣象業(yè)務(wù)數(shù)據(jù)采集子系統(tǒng)包括：氣象自動站數(shù)據(jù)采集模塊、氣象格點數(shù)據(jù)數(shù)據(jù)采集模塊、臺風(fēng)路徑數(shù)據(jù)采集模塊、氣象預(yù)報數(shù)據(jù)采集模塊、氣象預(yù)警數(shù)據(jù)采集模塊。

（1）氣象自動站數(shù)據(jù)采集模塊連接氣象自動站數(shù)據(jù)源接口，按相應(yīng)規(guī)則定時采集指定時次，站點，要素的自動站基礎(chǔ)數(shù)據(jù)。

（2）氣象格點數(shù)據(jù)數(shù)據(jù)采集模塊連接氣象格點數(shù)據(jù)源接口，采集指定時次、要素、區(qū)域范圍的格點數(shù)據(jù)。

（3）臺風(fēng)路徑數(shù)據(jù)采集模塊連接臺風(fēng)數(shù)據(jù)源接口，按數(shù)據(jù)規(guī)則采集臺風(fēng)數(shù)據(jù)，采集內(nèi)容包括臺風(fēng)名稱、實時風(fēng)力風(fēng)速、途經(jīng)地點、風(fēng)力半徑等。

（4）氣象預(yù)報數(shù)據(jù)采集模塊連接氣象預(yù)報數(shù)據(jù)源接口，采集多時次、多區(qū)域的天氣預(yù)報、氣象指數(shù)、景點天氣預(yù)警等預(yù)報數(shù)據(jù)。

（5）氣象預(yù)警數(shù)據(jù)采集模塊連接氣象預(yù)警數(shù)據(jù)源接口，采集指定區(qū)域的實時預(yù)警數(shù)據(jù)。

2.3數(shù)據(jù)存儲

高明“智慧氣象”數(shù)據(jù)中心由兩臺高性能計算機作為數(shù)據(jù)庫載體，配以大容量的磁盤陣列和磁帶機，系統(tǒng)通過光纖存儲交換機相連，采用雙鏈路備份的方式，保證數(shù)據(jù)庫的可用性與可靠性。系統(tǒng)涉及到整合其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，其他寫數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫可能有Oracle或者SQLServer等結(jié)構(gòu)化數(shù)據(jù)庫，也有NoSQL類型的數(shù)據(jù)庫，或者分布式數(shù)據(jù)庫，同時考慮到與政務(wù)大數(shù)據(jù)平臺相結(jié)合，因此，本方案設(shè)計系統(tǒng)把采集過來的數(shù)據(jù)存儲在由Hadoop搭建的分布式存儲系統(tǒng)上，通過HBase進行結(jié)構(gòu)化數(shù)據(jù)存儲，通過逐步建立分布式數(shù)據(jù)分析模型，不斷地豐富系統(tǒng)提供的氣象產(chǎn)品服務(wù)。

2.4數(shù)據(jù)共享

MapReduce是由Google提供的建立在HDFS之上的一個并行計算框架；我們需要通過MapReduce框架設(shè)計對共享數(shù)據(jù)的檢索與分析，為各種業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)。HBase是一個類似于Google BigTable的分布式NoSQL列數(shù)據(jù)庫；Hive是由Facebook貢獻的一個數(shù)據(jù)倉庫工具提供類SQL查詢方法，使得上層數(shù)據(jù)應(yīng)用程序可以通過關(guān)系型數(shù)據(jù)庫訪問的方式查詢分布式文件系統(tǒng)中的數(shù)據(jù)；Zookeeper是由Facebook提供的一個分布式鎖設(shè)施，在整個平臺中起到協(xié)調(diào)各種操作的作用。Pig是一個大數(shù)據(jù)分析平臺，為用戶提供多種接口，在系統(tǒng)中主要通過其方便的腳本編程接口為上層數(shù)據(jù)應(yīng)用程序提供服務(wù)。

3 總結(jié)

在對于氣象數(shù)據(jù)進行分析和共享時，各種錯誤數(shù)據(jù)需要認(rèn)真的比對和分析，從而對其進行評估，因此作為工程師應(yīng)當(dāng)具有一定的建模能力，使得共享效率提升，能夠?qū)⑾鄳?yīng)工具在精確運行中應(yīng)用，同時這樣有利于實現(xiàn)氣象數(shù)據(jù)設(shè)備的科學(xué)規(guī)劃與合理布局。共享技術(shù)對于氣象設(shè)備的發(fā)展來說具有極為重要的意義，因此需要對其技術(shù)進行進一步的優(yōu)化。

[1]王闊音.航空氣象信息服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[D].中國礦業(yè)大學(xué)，2015.

[2]馮慧菁.基于GIS的氣象信息集成與可視化系統(tǒng)[D].南京信息工程大學(xué)，2013.

[3]王增武.基于GIS技術(shù)的氣象數(shù)據(jù)處理系統(tǒng)設(shè)計與實現(xiàn)[D].電子科技大學(xué)，2008.

廣東省氣象局“氣象信息大數(shù)據(jù)創(chuàng)新團隊”（團隊編號：201507）。