“秦云工程”氣象數(shù)據(jù)對(duì)接的設(shè)計(jì)與實(shí)現(xiàn)

何 林，吉 慶，燕東渭，李亞麗，王 壘

(1.秦嶺和黃土高原生態(tài)環(huán)境氣象重點(diǎn)實(shí)驗(yàn)室，西安 710016；2.陜西省氣象信息中心，西安 710014；3.渭南市氣象局，陜西渭南 714000)

在大數(shù)據(jù)技術(shù)及產(chǎn)業(yè)高速發(fā)展的背景下，以政府牽頭、惠及民生為目標(biāo)的行業(yè)數(shù)據(jù)交換共享與融合應(yīng)用成為一個(gè)重要發(fā)展方向。“秦云工程”即陜西省大數(shù)據(jù)產(chǎn)業(yè)的“N+1”云工程，“N”是22朵行業(yè)云，“1”是大數(shù)據(jù)交換共享平臺(tái)，是“秦云工程”建設(shè)的核心。大數(shù)據(jù)交換共享平臺(tái)承載了行業(yè)云的數(shù)據(jù)交換、共享、開放、服務(wù)四大功能體系，在保證政府?dāng)?shù)據(jù)流通性和安全性的前提下，實(shí)現(xiàn)行業(yè)數(shù)據(jù)匯聚交換、互聯(lián)互通和開放共享[1-2]。氣象云作為“秦云工程”22朵“行業(yè)云”之一，通過大數(shù)據(jù)交換共享平臺(tái)與環(huán)保、水利、交通、旅游其他行業(yè)云的數(shù)據(jù)進(jìn)行融合分析，充分挖掘和發(fā)揮氣象數(shù)據(jù)的應(yīng)用效益。對(duì)此，研究數(shù)據(jù)對(duì)接技術(shù)實(shí)現(xiàn)氣象數(shù)據(jù)高效地接入“秦云工程”是首要解決的問題。

1 設(shè)計(jì)原則

(1)保證氣象數(shù)據(jù)使用的安全性。由于氣象觀測(cè)數(shù)據(jù)中涉及地理坐標(biāo)等敏感信息，需嚴(yán)格遵循中國(guó)氣象局第4號(hào)令《氣象資料共享管理辦法》，避免核心數(shù)據(jù)、加密數(shù)據(jù)、歷史數(shù)據(jù)開放后，對(duì)國(guó)家安全造成危害[3]。

(2)保證氣象數(shù)據(jù)更新的及時(shí)性。按照數(shù)據(jù)的觀測(cè)頻次，設(shè)計(jì)合理的同步策略，保證最新的觀測(cè)數(shù)據(jù)在最小的時(shí)間損耗下接入氣象云，為行業(yè)數(shù)據(jù)融合與應(yīng)用提供高時(shí)效的數(shù)據(jù)服務(wù)。

(3)保證氣象數(shù)據(jù)接入的可靠性。在“秦云工程”氣象數(shù)據(jù)采集和交換的過程中，不對(duì)氣象部門內(nèi)現(xiàn)有各類常規(guī)業(yè)務(wù)的順利開展、信息系統(tǒng)的穩(wěn)定運(yùn)行造成影響。

2 技術(shù)架構(gòu)

“秦云工程”氣象云的數(shù)據(jù)來源為全國(guó)綜合氣象信息共享平臺(tái)(China integrated meteorological information sharing system，下簡(jiǎn)稱“CIMISS”)。作為氣象部門建立規(guī)范的國(guó)省兩級(jí)氣象數(shù)據(jù)環(huán)境，CIMISS將各類氣象數(shù)據(jù)納入集約化管理，為氣象業(yè)務(wù)和科研提供了權(quán)威、豐富的數(shù)據(jù)源，為氣象大數(shù)據(jù)的應(yīng)用與研究奠定了基礎(chǔ)[4]。由于存在網(wǎng)絡(luò)隔離，需要在“秦云工程”和氣象業(yè)務(wù)局域網(wǎng)之間搭建專線網(wǎng)絡(luò)來保障數(shù)據(jù)交換通暢。實(shí)際的數(shù)據(jù)交換由部署在局域網(wǎng)內(nèi)的一臺(tái)前置機(jī)完成，包括氣象數(shù)據(jù)的采集及推送代理。其中，數(shù)據(jù)采集代理通過調(diào)用CIMISS氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(meteorological unified service interface community，下簡(jiǎn)稱“MUSIC”)，將“秦云工程-氣象云”所需的數(shù)據(jù)同步至前置機(jī)；數(shù)據(jù)推送代理則采用主動(dòng)共享方式，將氣象數(shù)據(jù)接入“秦云工程”的大數(shù)據(jù)交換共享平臺(tái)。最后，通過大數(shù)據(jù)交換共享平臺(tái)實(shí)現(xiàn)22朵“行業(yè)云”之間的數(shù)據(jù)交互。數(shù)據(jù)對(duì)接的技術(shù)架構(gòu)如圖1所示。

圖1 (秦云工程-氣象云)總體技術(shù)架構(gòu)圖

3 實(shí)現(xiàn)方案

3.1 接口定制

MUSIC面向氣象行業(yè)內(nèi)部提供了開放、全量、標(biāo)準(zhǔn)的數(shù)據(jù)接入服務(wù)。而“秦云工程”面向社會(huì)大眾，為保證數(shù)據(jù)使用安全，需要基于對(duì)MUSIC標(biāo)準(zhǔn)接口的定制，實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)的適當(dāng)裁剪后才可共享。根據(jù)《基本氣象資料和產(chǎn)品開放清單》向全社會(huì)開放共享的地面、高空、氣象衛(wèi)星、天氣雷達(dá)、數(shù)值預(yù)報(bào)等5 類 17 種基本氣象資料和產(chǎn)品清單[5]，結(jié)合“秦云工程”資料需求，劃定可共享的數(shù)據(jù)范圍(表1)。

表1 “秦云工程-氣象云”第一批核心資料共享范圍

接口定制通過MUSIC后臺(tái)管理平臺(tái)進(jìn)行操作，其核心是更新接口元數(shù)據(jù)[6]，實(shí)現(xiàn)對(duì)“秦云工程”API賬戶的資料訪問權(quán)限控制。設(shè)定該用戶可訪問的數(shù)據(jù)僅為表1所示的三類資料，其他資料禁止訪問。同時(shí)，對(duì)三類資料時(shí)間、空間屬性也須做裁剪，通過修改元數(shù)據(jù)要素配置值，劃定明細(xì)的站號(hào)范圍以及時(shí)間范圍。以中國(guó)地面(國(guó)家站)逐小時(shí)觀測(cè)資料的接口定制為例(表2)，列出了主要的元數(shù)據(jù)配置項(xiàng)。

3.2 數(shù)據(jù)同步

通過調(diào)用定制的MUSIC接口，研發(fā)數(shù)據(jù)采集代理程序，并部署在前置機(jī)。前置機(jī)的最主要作用是屏蔽“秦云工程”數(shù)據(jù)對(duì)接對(duì)CIMISS業(yè)務(wù)庫的影響， 同時(shí)避免了開通CIMISS公網(wǎng)端口訪

表2 MUSIC接口定制的元數(shù)據(jù)配置示例

問造成的安全隱患。此外，為保證氣象數(shù)據(jù)及時(shí)更新，還需在前置機(jī)上根據(jù)不同資料的時(shí)效特點(diǎn)，配置不同的定時(shí)任務(wù)執(zhí)行策略。以中國(guó)地面(國(guó)家站)逐小時(shí)觀測(cè)資料為例，由于CIMISS中，當(dāng)前時(shí)次整點(diǎn)數(shù)據(jù)的入庫呈現(xiàn)類指數(shù)方式的增長(zhǎng)，實(shí)時(shí)同步的數(shù)據(jù)代理進(jìn)程可設(shè)置策略為每時(shí)次的01、02、03、05、07、10、30、59分各定時(shí)執(zhí)行一次。圖2給出了通過調(diào)用MUSIC實(shí)現(xiàn)地面逐小時(shí)數(shù)據(jù)同步流程。

3.3 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)同步到前置機(jī)進(jìn)行存儲(chǔ)。按照數(shù)據(jù)的組織結(jié)構(gòu)特點(diǎn)，一般可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩大類，其中非結(jié)構(gòu)化數(shù)據(jù)含有自描述信息的半結(jié)構(gòu)化數(shù)據(jù)[7]。典型的結(jié)構(gòu)化數(shù)據(jù)都以記錄的方式存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中，如Oracle、MySql等。其他大部分?jǐn)?shù)據(jù)都是以文檔、圖片等非結(jié)構(gòu)化的形式存儲(chǔ)，這些數(shù)據(jù)可直接保存于文件系統(tǒng)中[8]。此外，為了提高訪問效率和用戶體驗(yàn)，對(duì)交互頻次較高的數(shù)據(jù)，將其存儲(chǔ)索引以記錄的形式在Redis內(nèi)存數(shù)據(jù)庫中保留一份[9]。前置機(jī)上的數(shù)據(jù)包括主動(dòng)和被動(dòng)兩種共享方式。以前置機(jī)為中心，被動(dòng)共享是指大數(shù)據(jù)共享交換平臺(tái)可通過專線網(wǎng)絡(luò)直接訪問存儲(chǔ)在前置機(jī)上的數(shù)據(jù)；主動(dòng)共享是指通過前置機(jī)部署的數(shù)據(jù)推送代理，將數(shù)據(jù)推送至大數(shù)據(jù)交換共享平臺(tái)以及其他對(duì)氣象數(shù)據(jù)有需求“行業(yè)云”。兩種方式皆可實(shí)現(xiàn)數(shù)據(jù)訪問，本方案選取了主動(dòng)共享方式。

3.4 數(shù)據(jù)服務(wù)

“秦云工程”大數(shù)據(jù)交換共享平臺(tái)集結(jié)了已授權(quán)的行業(yè)云數(shù)據(jù)，提供了內(nèi)容全面、功能豐富的數(shù)據(jù)服務(wù)，滿足各類用戶多元化的數(shù)據(jù)服務(wù)需求。氣象數(shù)據(jù)接入后，可通過大數(shù)據(jù)交換共享平臺(tái)的開放接口獲取相關(guān)數(shù)據(jù)服務(wù)，將氣象數(shù)據(jù)進(jìn)行可視化的展示。圖3給出了一個(gè)大屏展示氣象數(shù)據(jù)的截圖。該應(yīng)用為某政府部門通過“秦云工程”大數(shù)據(jù)交換共享平臺(tái)調(diào)用氣象數(shù)據(jù)進(jìn)行服務(wù)的圖例原型。

同時(shí)，通過大數(shù)據(jù)交換共享平臺(tái)的代理服務(wù)，可將其他通過授權(quán)的行業(yè)數(shù)據(jù)，如環(huán)保、水文數(shù)據(jù)等推送至氣象內(nèi)網(wǎng)的前置機(jī)上，便于氣象部門開展行業(yè)數(shù)據(jù)融合分析及相關(guān)應(yīng)用研究。

4 結(jié)論與展望

通過采用本文設(shè)計(jì)的數(shù)據(jù)對(duì)接方案，目前，氣象數(shù)據(jù)已成功接入“秦云工程”并形成示范。這不僅擴(kuò)大了氣象數(shù)據(jù)資源的共享開放力度，有助于打破政府部門間的“數(shù)據(jù)壁壘”，拆除“應(yīng)用煙囪”[10]。同時(shí)，與其他行業(yè)的數(shù)據(jù)交換、融合、分析，進(jìn)一步推動(dòng)了智慧氣象的發(fā)展。未來，借助“秦云工程”，如何用好數(shù)據(jù)將是重點(diǎn)研究方向，只有將氣象業(yè)務(wù)與大數(shù)據(jù)應(yīng)用技術(shù)相結(jié)合，才能最大化發(fā)揮氣象數(shù)據(jù)的效益。