貴州省自有數(shù)據(jù)接入CIMISS流程介紹

李從英，王 彪，金石聲，郭 茜

(貴州省氣象信息中心，貴陽 550002)

全國綜合氣象信息共享平臺(China integrated meteorological information service system,下簡稱CIMISS)[1]作為中國氣象局和省級氣象部門統(tǒng)一的數(shù)據(jù)資源環(huán)境，為各業(yè)務(wù)單位用戶提供強有力的數(shù)據(jù)支撐服務(wù)，解決了重復(fù)投資，資源浪費，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一等問題?，F(xiàn)階段各省氣象信息中心大力推進CIMISS系統(tǒng)與各單位業(yè)務(wù)系統(tǒng)對接工作，以接口應(yīng)用為突破口，加快對接工作。為了解決貴州省自有數(shù)據(jù)接入和接口服務(wù)問題，建立全省業(yè)務(wù)數(shù)據(jù)共享流程，需要完成省級自有資料的解碼、入庫，并通過對API接口的研究提供省級自有資料的定制開發(fā)。

災(zāi)害性天氣短臨預(yù)報預(yù)警系統(tǒng)(severe weather auto nowforecasting 下簡稱SWAN)可提供豐富的實況監(jiān)測和短臨預(yù)報產(chǎn)品，是當(dāng)前我國各級氣象臺站開展短時臨近預(yù)報業(yè)務(wù)的主要平臺。目前該系統(tǒng)的架構(gòu)數(shù)據(jù)仍采用目錄共享方式，數(shù)據(jù)共享存在系統(tǒng)安全及效率低下問題，因此在對CIMISS系統(tǒng)進行技術(shù)框架研究前提下，以SWAN產(chǎn)品接入為例，詳細(xì)介紹了非結(jié)構(gòu)化資料的接入流程，為該項技術(shù)的應(yīng)用提供參考。

1 設(shè)計原理

結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的接入處理流程不同。SWAN產(chǎn)品屬于非結(jié)構(gòu)化資料。非結(jié)構(gòu)化數(shù)據(jù)接入到CIMISS涉及到到數(shù)據(jù)收集與分發(fā)(China telecommunication system，下簡稱CTS[1-4])、數(shù)據(jù)加工處理系統(tǒng)(data processing center，下簡稱DPC[1-4])、數(shù)據(jù)存儲管理系統(tǒng)(service-oriented data storage system 下簡稱SOD[1-4])，以及氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(meteorological unified service interface community ，下簡稱MUSIC)部分。CTS收集到數(shù)據(jù)后，根據(jù)配置將文件信息通過消息隊列推送到DPC，同時將文件推送給CTS與DPC的接口目錄；DPC根據(jù)配置，對SWAN產(chǎn)品進行重命名；將重命名產(chǎn)品信息通過消息隊列推送到SOD，將產(chǎn)品文件推送到DPC與SOD接口目錄；SOD接收到消息之后，根據(jù)入庫和存儲策略進行入庫；最后通過配置MUSIC[5]，為用戶提供可檢索到相關(guān)數(shù)據(jù)的接口。

下面以接入變分法定量估測降水產(chǎn)品為例，介紹具體的設(shè)計過程。

2 具體設(shè)計

2.1 數(shù)據(jù)收集與分發(fā)

SWAN產(chǎn)品存放在專用服務(wù)器上，其框架是一個程序調(diào)度平臺，用來按照條件調(diào)度服務(wù)器模塊，并發(fā)送結(jié)果通知給對應(yīng)的客戶端。因此SWAN產(chǎn)品接入CIMISS系統(tǒng)，需要通過FTP將數(shù)據(jù)推送給CTS。CTS系統(tǒng)根據(jù)表1中的四級編碼和對應(yīng)的文件名(定量估測降水產(chǎn)品對應(yīng)的原始文件名為Z_QPF_yyyymmddhhmmss. F030.bin. bz2，重命名后文件名為RADA_BEGY_DOR_L3_SWAN-QPF-F030-yyyyMMddHHmmss. bin. bz2，其中30表示30 min數(shù)據(jù)。)規(guī)則進行傳輸配置調(diào)整和文件名模板配置。

表1 變分法定量估測降水產(chǎn)品不同模塊對應(yīng)的編碼

2.2 數(shù)據(jù)加工處理

DPC收到消息隊列之后，需要根據(jù)以下四個配置文件對產(chǎn)品重命名，主要包括原始資料處理配置文件rawdatajudge.xml，重命名原始信息配置文件rawfileinfo.xml，重命名產(chǎn)品信息配置文件rawfilerename.xml，產(chǎn)品處理配置文件prodatajudge.xml。其中rawdatajudge.xml中rename為1，其他參數(shù)為0；prodatajudge.xml中storage為1，其余為0。根據(jù)原始文件名，在重命名原始信息配置文件rawfileinfo.xml中添加如下配置。

J.0013.0008.R001

rawfileinfo.xml會將原始文件的文件名按分隔符(- _.)劃分成不同的字段，賦值給不同的變量名；重命名時會使用其中的某些字段。由于該類資料有60 min數(shù)據(jù)和30 min數(shù)據(jù)，因此F030位置用一個變量JG來代替。

根據(jù)重命名后的文件名信息，在重命名產(chǎn)品信息配置文件rawfilerename.xml中添加以下重命名規(guī)范。

J.0013.0008.R001

RADA_BEGY_DOR_L3_SWAN-QPF-

JG

-

YYYYMMDDHHmmSS

.

BIN

.

BZ

配置好之后，重啟DPC系統(tǒng)，使以上配置生效。

2.3 數(shù)據(jù)存儲管理系統(tǒng)

新接入非結(jié)構(gòu)化資料后，SOD系統(tǒng)需要調(diào)整支撐SOD應(yīng)用系統(tǒng)的數(shù)據(jù)庫、創(chuàng)建存儲結(jié)構(gòu)和入庫策略。其中支撐庫調(diào)整包括新增資料信息表dmin_data_type_tab，要素屬性信息表dmin_column_tab，資料要素對應(yīng)關(guān)系信息dmin_data_element_tab。

2.3.1 支撐庫調(diào)整 新增資料信息，需在dmin_data_type_tab增加資料信息(表2)；在dmin_data_element_tab表中增加要素對應(yīng)關(guān)系信息(表3)。為了方便顯示和查詢不同時間屬性的資料，在dmin_column_tab要素屬性信息表中增加V_PROD_H字段，用來表示產(chǎn)品時間標(biāo)識符。

表2 dmin_data_type_tab新增資料信息

表3 dmin_data_element_tab表中新增信息

2.3.2 創(chuàng)建存儲結(jié)構(gòu) 在存儲管理業(yè)務(wù)系統(tǒng)界面創(chuàng)建存儲結(jié)構(gòu)，根據(jù)貴州省具體情況確定入基礎(chǔ)庫位置，資料存儲類型選擇文件目錄類型，管理字段類型選擇雷達(dá)文件9，表名為RADA_CHN_DOR_L3_SWAN創(chuàng)建目錄策略為年月日。并為表添加一個唯一索引和一個一般索引。

2.3.3 建入庫策略 根據(jù)重命名后的文件名格式,設(shè)計入庫策略以RADA_BEGY_DOR_L3_SWAN-QPF-F030-yyyyMMddHHmmss. bin. bz2文件為例，入庫策略配置如表4。配置完成后，重啟調(diào)度，使入庫策略生效。

2.4 接口配置

2.4.1 更新支撐庫的三張元數(shù)據(jù)表 為了更新資料的四級編碼與資料中文名稱對應(yīng)關(guān)系，資料四級編碼與存儲的數(shù)據(jù)表名的對應(yīng)關(guān)系，數(shù)據(jù)表名與數(shù)據(jù)表要素字段的對應(yīng)關(guān)系，需要更新支撐庫中對應(yīng)的三張元數(shù)據(jù)表(DMIN_DATA_ID_DEFINE、DMIN_DATA_ID_TABLE、DIMN_DATA_TABLE_FIELD)。即將新接入的資料信息加入到這三張表中。

表4 入庫策略配置信息

2.4.2 定義資料別名 在MUSIC接口支撐庫中，增加新接入的變分法定量估測降水產(chǎn)品資料的定義。使用USR_GDS_API賬戶登錄支撐庫，將新增資料信息更新至api_data_define表。根據(jù)實際情況填寫表中各個字段的信息。

2.4.3 為新增資料配置適用接口 進入接口后臺管理網(wǎng)站，點擊“氣象資料”—“ 氣象資料定義”，找到新增的雷達(dá)資料，并點擊右側(cè)的查詢按鈕，進入對該資料進行配置界面，在上方有相應(yīng)的讀寫接口的配置，勾選合適的接口類別。配置完成后，在接口前臺可以獲取相應(yīng)的數(shù)據(jù)。

3 結(jié)語

將SWAN產(chǎn)品接入CIMISS統(tǒng)一的數(shù)據(jù)環(huán)境中，為SWAN產(chǎn)品提供統(tǒng)一管理，同時用戶可以通過接口準(zhǔn)確定位產(chǎn)品。其他非結(jié)構(gòu)化數(shù)據(jù)可參照SWAN產(chǎn)品的接入方法接入CIMISS，豐富接口數(shù)據(jù)，為用戶提供更快捷、更全面的服務(wù)。

[1] 熊安元，趙芳，王穎，等.全國綜合氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)[J].應(yīng)用氣象學(xué)報，2015，26(4)：500-512.

[2] 國家氣象信息中心.全國綜合氣象信息共享平臺總體設(shè)計總論卷[Z].2009.

[3] 國家氣象信息中心.全國綜合氣象信息共享平臺(CIMISS)總體設(shè)計架構(gòu)[Z].2011.

[4] 國家氣象信息中心.全國綜合氣象信息共享平臺內(nèi)部技術(shù)規(guī)范：氣象數(shù)據(jù)共享分級及其用戶分類[Z].2010.

[5] 史彩霞，李穎智，張許斌.基于CIMISS的廣西氣象服務(wù)信息綜合業(yè)務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[J].氣象研究與應(yīng)用,2016，37(4)：82-85.