基于氣象行業(yè)共享數(shù)據(jù)標(biāo)準(zhǔn)化處理的設(shè)計(jì)與實(shí)現(xiàn)

高婷 陳晴 孫曉燕 徐海明 楊明 陸明

（1 浙江省氣象信息網(wǎng)絡(luò)中心，杭州 310017；2 浙江省氣象局，杭州 310002）

0 引言

近年來(lái)，中國(guó)氣象局提出“加快集約整合、推動(dòng)氣象大數(shù)據(jù)資源共建共享”的目標(biāo)。各地氣象部門積極推進(jìn)本部門與交通、水利等氣象相關(guān)行業(yè)的數(shù)據(jù)共享，以實(shí)現(xiàn)跨行業(yè)的數(shù)據(jù)價(jià)值挖掘。目前浙江省氣象局已獲取來(lái)自環(huán)保、水利、交通、電力、海洋等氣象相關(guān)行業(yè)的共享數(shù)據(jù)。行業(yè)的特種觀測(cè)數(shù)據(jù)不僅可以補(bǔ)充氣象站點(diǎn)數(shù)量的不足，還可以擴(kuò)展觀測(cè)內(nèi)容與種類，對(duì)氣象監(jiān)測(cè)起到有益的補(bǔ)充與擴(kuò)展作用，充分利用多種數(shù)據(jù)源，可以為氣象預(yù)警預(yù)報(bào)與防災(zāi)減災(zāi)提供更高的保障。

由于行業(yè)氣象數(shù)據(jù)標(biāo)準(zhǔn)各不相同，導(dǎo)致各類數(shù)據(jù)在共享方式、數(shù)據(jù)格式、數(shù)據(jù)質(zhì)量上均有較大的差異，且與氣象部門對(duì)觀測(cè)數(shù)據(jù)的要求也有很大偏差，難以直接應(yīng)用在氣象業(yè)務(wù)中。隨著氣象現(xiàn)代化信息化的不斷發(fā)展，國(guó)家及各級(jí)政府都在強(qiáng)調(diào)標(biāo)準(zhǔn)體系的建立及完善[1]，氣象標(biāo)準(zhǔn)化是氣象現(xiàn)代化的表征之一[2]。因此，設(shè)計(jì)氣象相關(guān)行業(yè)間共享數(shù)據(jù)的標(biāo)準(zhǔn)化處理流程，實(shí)現(xiàn)從數(shù)據(jù)接收到數(shù)據(jù)存儲(chǔ)共享的全流程規(guī)范化管理，制作出行業(yè)間共享觀測(cè)數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)集，具有重要的意義，可為加快推進(jìn)多源信息在氣象中的應(yīng)用，實(shí)現(xiàn)各類數(shù)據(jù)的融合提供基礎(chǔ)與保障。對(duì)氣象數(shù)據(jù)起到了很好的補(bǔ)充與擴(kuò)展作用，在氣象服務(wù)中不可或缺。

1 數(shù)據(jù)介紹

目前浙江省氣象局已獲取海洋、交通等共計(jì)6個(gè)部門的共享數(shù)據(jù)，具體資料情況匯總?cè)绫?。

表1 行業(yè)間共享數(shù)據(jù)匯總表Table1 The summary of sharing data between industries related to meteorology

從表1可見(jiàn)，行業(yè)間數(shù)據(jù)種類豐富，觀測(cè)要素中既有氣象中常用的溫壓濕風(fēng)等數(shù)據(jù)，又有水位、流量、AQI、NO2等行業(yè)特色數(shù)據(jù)，大大擴(kuò)展了氣象觀測(cè)數(shù)據(jù)的數(shù)據(jù)種類。分析表1，還可以看出不同來(lái)源的行業(yè)間數(shù)據(jù)在共享方式、觀測(cè)頻率、數(shù)據(jù)計(jì)量單位等方面均有差異與不同。

利用站點(diǎn)的經(jīng)緯度信息，可獲取氣象相關(guān)行業(yè)間共享數(shù)據(jù)在空間的分布特征，其中交通站、電力站、水文站的空間分布如圖1所示。

圖1 目前浙江省行業(yè)間已共享數(shù)據(jù)站點(diǎn)空間分布Fig. 1 Distribution of sharing weather stations between industries in Zhejiang Province

從圖1中可以看出，行業(yè)間自動(dòng)站在全省數(shù)量眾多、覆蓋密集，且所在位置與氣象站互不重疊，充分利用行業(yè)間的數(shù)據(jù)，可以填補(bǔ)氣象監(jiān)測(cè)的盲點(diǎn)與空白。

2 設(shè)計(jì)原則與方法

行業(yè)間共享數(shù)據(jù)的處理流程設(shè)計(jì)應(yīng)充分考慮以下三個(gè)方面：一是盡量保持原始觀測(cè)數(shù)據(jù)的完整性，二是確保數(shù)據(jù)的可靠性，三是滿足數(shù)據(jù)查詢的便捷性。同時(shí)，應(yīng)考慮在保留各類行業(yè)間特色數(shù)據(jù)的基礎(chǔ)上，盡量將其中常用的氣象觀測(cè)要素與本部門的觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)一。基于以上原則，初步設(shè)計(jì)了行業(yè)間共享數(shù)據(jù)標(biāo)準(zhǔn)化處理流程（圖2）。

圖2 行業(yè)間共享數(shù)據(jù)標(biāo)準(zhǔn)化處理流程設(shè)計(jì)方案Fig. 2 The design flow of the standard preprocess for sharing data between

針對(duì)氣象相關(guān)行業(yè)間共享數(shù)據(jù)標(biāo)準(zhǔn)化處理流程，主要內(nèi)容有以下幾個(gè)方面。

2.1 建立行業(yè)間報(bào)文型數(shù)據(jù)的存儲(chǔ)標(biāo)準(zhǔn)

2.1.1 文件目錄結(jié)構(gòu)規(guī)范

為了實(shí)現(xiàn)行業(yè)間觀測(cè)數(shù)據(jù)與氣象數(shù)據(jù)的統(tǒng)一，考慮依據(jù)數(shù)據(jù)分類，以樹(shù)形結(jié)構(gòu)為存儲(chǔ)目錄結(jié)構(gòu)。參考中國(guó)氣象局制定的《氣象要素分類與編碼》（QXT 102—2009），將數(shù)據(jù)分為16大類，其中第16大類，為“其他數(shù)據(jù)”，其解釋為其他行業(yè)觀測(cè)獲得或收集加工的各種資料及相應(yīng)數(shù)據(jù)產(chǎn)品。故可將行業(yè)間數(shù)據(jù)劃分到此類中，作為目錄的第一層次；其次，根據(jù)行業(yè)間數(shù)據(jù)的生產(chǎn)單位，進(jìn)行目錄第二層次的分類；若在以上兩層次的基礎(chǔ)上，數(shù)據(jù)還未能劃分，則可根據(jù)數(shù)據(jù)的格式、時(shí)空屬性等不同特點(diǎn)進(jìn)行第三到第四層次的劃分。

依據(jù)以上數(shù)據(jù)分類原則，結(jié)合各類行業(yè)間數(shù)據(jù)的實(shí)際特點(diǎn)，設(shè)計(jì)了浙江省行業(yè)間共享報(bào)文數(shù)據(jù)目錄結(jié)構(gòu)（表2）。

2.1.2 文件命名的規(guī)范

參考《國(guó)家氣象中心文件命名規(guī)范》《全國(guó)公共氣象服務(wù)產(chǎn)品庫(kù)文件命名規(guī)范》《氣象數(shù)據(jù)傳輸文件命名》（QX/T 129—2011），并結(jié)合行業(yè)間數(shù)據(jù)的實(shí)際特點(diǎn)，將行業(yè)間觀測(cè)文件命名格式規(guī)范如下：

Pflag_productidentifier_department_oflag_originator_yyyyMMddhhmmss_Ftype_Timer.type

1）pflag字段：用來(lái)指示對(duì)后面productidentifier字段如何進(jìn)行解碼。目前pflag 的取值均為Z，表示文件為國(guó)內(nèi)交換的資料。

2）productidentifier字段：用來(lái)標(biāo)識(shí)文件中數(shù)據(jù)的實(shí)際類型，當(dāng)pflag為Z時(shí)，編碼如表3。

3）department：用來(lái)指示數(shù)據(jù)生產(chǎn)的機(jī)構(gòu)。

4）oflag：用來(lái)指示對(duì)后面的originator字段如何進(jìn)行編碼。目前，oflag字段可以有以下允許的值：C、I、S，分別表示后面originator字段按四位編碼（即CCCC碼）進(jìn)行解碼、按目前臺(tái)站區(qū)站號(hào)5位碼或站名進(jìn)行編碼、按站號(hào)+子站號(hào)進(jìn)行編碼。

5）originator：不定長(zhǎng)，用來(lái)代表文件的生成地點(diǎn)，一般可用臺(tái)站號(hào)或臺(tái)站名代替。

6）yyyyMMddhhmmss：文件生成時(shí)間“年月日時(shí)分秒”。

7）Ftype：代表文件的屬性，常見(jiàn)取值有B（代表業(yè)務(wù)通知）、O（代表觀測(cè)資料）、P（代表加工產(chǎn)品、反演資料、預(yù)報(bào)產(chǎn)品、服務(wù)產(chǎn)品）、C（代表測(cè)站站點(diǎn)信息）、R（代表各種統(tǒng)計(jì)信息、質(zhì)量管理信息）、L（代表系統(tǒng)運(yùn)行l(wèi)og文件）。由于行業(yè)間報(bào)文數(shù)據(jù)均為觀測(cè)數(shù)據(jù)，故Ftype取固定值O。

8）Timer：指示是否為定時(shí)觀測(cè)，定時(shí)觀測(cè)用FTM、非定時(shí)觀測(cè)用ITM表示。

9）Type字段：是一個(gè)可變長(zhǎng)度的字段，用以標(biāo)識(shí)文件的一般格式類型。

依據(jù)以上命名規(guī)范，將現(xiàn)有的行業(yè)間報(bào)文型數(shù)據(jù)命名如表4所列。

2.2 行業(yè)共享數(shù)據(jù)數(shù)據(jù)庫(kù)的設(shè)計(jì)

由于報(bào)文型數(shù)據(jù)不方便用戶讀取，考慮以數(shù)據(jù)庫(kù)形式存儲(chǔ)共享行業(yè)間數(shù)據(jù)。依據(jù)各類行業(yè)間數(shù)據(jù)觀測(cè)要素的不同，分別建立各行業(yè)間數(shù)據(jù)的獨(dú)立數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)設(shè)計(jì)包括數(shù)據(jù)庫(kù)名、表名、字段名的設(shè)計(jì)，字段類型、數(shù)據(jù)單位的規(guī)范，具體設(shè)計(jì)以《氣象數(shù)據(jù)庫(kù)存儲(chǔ)管理命名》（QX/T233—2014）為標(biāo)準(zhǔn)。對(duì)于其中的氣象要素，需保證其記錄單位與本部門的一致。對(duì)于行業(yè)間的特色觀測(cè)要素，結(jié)合行業(yè)應(yīng)用為設(shè)計(jì)實(shí)施準(zhǔn)則。

依據(jù)以上，將行業(yè)間數(shù)據(jù)庫(kù)命名規(guī)范為：數(shù)據(jù)庫(kù)分級(jí)代碼_數(shù)據(jù)管理中心代碼_數(shù)據(jù)分類代碼_數(shù)據(jù)所屬大類_數(shù)據(jù)生產(chǎn)單位標(biāo)識(shí)代碼。如行業(yè)間共享海洋數(shù)據(jù)庫(kù)命名為：P_BEHZ_D_OTHE_ oceanDB。

數(shù)據(jù)表的命名規(guī)范為：氣象數(shù)據(jù)存儲(chǔ)管理代碼[_氣象數(shù)據(jù)存儲(chǔ)管理代碼]_數(shù)據(jù)庫(kù)對(duì)象代碼[_數(shù)據(jù)庫(kù)對(duì)象代碼][_數(shù)據(jù)庫(kù)對(duì)象擴(kuò)展屬性代碼]。如海洋小時(shí)數(shù)據(jù)表命名為：OTHE_ OCEAN_BEHZ_MUL_HOR_TAB。

數(shù)據(jù)表中的相關(guān)字段采用V、Q、C和D等字母作為前綴，用以表示其數(shù)據(jù)類型（表5）。

表5 字段類型前綴說(shuō)明Table 5 The description for the prefix of field type

對(duì)于其中的氣象要素相關(guān)字段命名，氣象要素代碼由XXYYY[_ZZZZ]組成。XX為要素類型碼，YYY為要素碼，[_ZZZZ]是要素特殊碼，為自由碼。氣象要素以外的其他要素字段采用帕斯卡（Pascal）命名規(guī)則執(zhí)行。

2.3 基于行業(yè)間共享數(shù)據(jù)的接口設(shè)計(jì)與開(kāi)發(fā)

在建立統(tǒng)一規(guī)范的數(shù)據(jù)環(huán)境的基礎(chǔ)上，充分考慮在多種環(huán)境下的適用性，基于全國(guó)綜合氣象信息共享平臺(tái)（CIMISS）系統(tǒng)開(kāi)發(fā)部門間共享數(shù)據(jù)的訪問(wèn)接口，實(shí)現(xiàn)部門間共享數(shù)據(jù)的集約、高效共享。

開(kāi)發(fā)的數(shù)據(jù)訪問(wèn)接口提供全面的數(shù)據(jù)獲取功能，包括：行業(yè)間站點(diǎn)資料的按站檢索、按時(shí)間檢索、按要素檢索以及數(shù)據(jù)的按時(shí)間、按區(qū)域、按站統(tǒng)計(jì)等功能，并提供多種選擇的返回格式。

3 結(jié)論

參照行業(yè)共享數(shù)據(jù)的標(biāo)準(zhǔn)化業(yè)務(wù)流程，將行業(yè)數(shù)據(jù)進(jìn)行相應(yīng)的規(guī)范化處理，實(shí)現(xiàn)了行業(yè)共享數(shù)據(jù)的標(biāo)準(zhǔn)化管理，并建設(shè)了存儲(chǔ)行業(yè)共享數(shù)據(jù)的存儲(chǔ)數(shù)據(jù)庫(kù)，通過(guò)接口調(diào)用，實(shí)現(xiàn)行業(yè)間共享數(shù)據(jù)的實(shí)時(shí)訪問(wèn)。如圖3 為“浙江氣象決策服務(wù)云平臺(tái)”中接入的水文、交通、電力站數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)。從圖3中可以看出，通過(guò)數(shù)據(jù)接口獲取行業(yè)間的氣象數(shù)據(jù)，實(shí)現(xiàn)了各類部門間資料與本部門數(shù)據(jù)的一張圖顯示，體現(xiàn)了多源信息在氣象中的融合，保障了行業(yè)間數(shù)據(jù)的應(yīng)用。

圖3 浙江氣象決策服務(wù)云平臺(tái)中行業(yè)間數(shù)據(jù)的實(shí)時(shí)顯示Fig. 3 Display for the sharing data between industries in meteorological decision service platform for Zhejiang

本文表明，行業(yè)共享數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的業(yè)務(wù)流程管理，符合中國(guó)氣象局提出的“加快集約整合、推動(dòng)氣象大數(shù)據(jù)資源共建共享”的目標(biāo)，有利于各類業(yè)務(wù)平臺(tái)方便獲取行業(yè)間資料，為行業(yè)間數(shù)據(jù)的應(yīng)用提供了基礎(chǔ)性保障。由于目前中國(guó)氣象局還未頒發(fā)針對(duì)行業(yè)間共享數(shù)據(jù)的處理辦法，此文中提出的標(biāo)準(zhǔn)化處理流程可為各省、市氣象部門提供參考，具有實(shí)用意義。