MARS軟件在數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理中的應(yīng)用

肖華東 孫 婧 張 璽 卞曉豐

(國家氣象信息中心，北京 100081)

?

MARS軟件在數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理中的應(yīng)用

肖華東*孫 婧 張 璽 卞曉豐

(國家氣象信息中心，北京 100081)

該文簡(jiǎn)單介紹MARS(Meteorological Archival and Retrieval System)軟件的架構(gòu)及組成部分，并基于MARS軟件，介紹了數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)。通過在GRIB2數(shù)據(jù)段對(duì)應(yīng)描述層次類型和氣象要素的表格文件中定義新的層次類型和氣象要素，在MARS軟件解析GRIB2數(shù)據(jù)所需要查找的相關(guān)模板表格文件中定義氣象要素對(duì)應(yīng)的產(chǎn)品類型號(hào)、要素類別號(hào)、要素號(hào)、要素名稱和要素名稱縮寫，說明GRIB2數(shù)據(jù)模板和代碼表創(chuàng)建方法。以GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)為例，實(shí)現(xiàn)應(yīng)用MARS軟件管理GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)。結(jié)合存儲(chǔ)管理TSM(Tivoli Storage Manager)軟件，研究開發(fā)MARS軟件和TSM軟件連接接口程序，實(shí)現(xiàn)數(shù)據(jù)的直接遷移和回調(diào)。以T639L60模式產(chǎn)品為例，通過測(cè)試檢索性能，MARS軟件檢索數(shù)值預(yù)報(bào)產(chǎn)品速度超過當(dāng)前國家級(jí)氣象數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)檢索速度1倍，說明MARS軟件檢索數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)具有時(shí)效優(yōu)勢(shì)。

MARS; GRIB2模板; 存儲(chǔ)管理軟件; 數(shù)據(jù)遷移和回調(diào)

引 言

隨著現(xiàn)代數(shù)值預(yù)報(bào)技術(shù)水平的提高，產(chǎn)生了大量預(yù)報(bào)時(shí)效長、時(shí)間間隔短、精度高的數(shù)值預(yù)報(bào)產(chǎn)品[1-2]。受限于磁盤容量，當(dāng)前系統(tǒng)只能在線保留1年左右的模式產(chǎn)品數(shù)據(jù)。超過在線存儲(chǔ)時(shí)間預(yù)設(shè)期限，產(chǎn)品數(shù)據(jù)需轉(zhuǎn)移到二級(jí)存儲(chǔ)(如磁帶庫)中，而當(dāng)實(shí)際氣象業(yè)務(wù)需要使用這些數(shù)據(jù)時(shí)，要從二級(jí)存儲(chǔ)中導(dǎo)出這些歷史數(shù)據(jù)，這種導(dǎo)出操作涉及許多復(fù)雜手工操作，給數(shù)據(jù)使用帶來極大不便[3]。數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)通常采用表驅(qū)碼格式(如GRIB1, GRIB2)保存，在讀取這些數(shù)據(jù)時(shí)，只能將整個(gè)數(shù)據(jù)文件完整取出并下載到本地磁盤后自行對(duì)其進(jìn)行后處理，從而得到所需數(shù)據(jù)。對(duì)于那些只需要使用數(shù)據(jù)文件中部分區(qū)域范圍的用戶而言，這樣的服務(wù)方式不可避免地需要占用本地存儲(chǔ)空間以及對(duì)數(shù)據(jù)文件進(jìn)行區(qū)域裁剪處理，這種簡(jiǎn)單的重復(fù)性操作和存儲(chǔ)資源需求對(duì)用戶是一種負(fù)擔(dān)。在國家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)(MDSS，the National Meteorological Data Storage System)以及全國綜合氣象信息共享平臺(tái)(CIMISS，China Integrated Meteorological Information Service System)中的數(shù)據(jù)管理系統(tǒng)中，均采用以數(shù)據(jù)庫索引表和文件相結(jié)合方式存儲(chǔ)管理數(shù)值預(yù)報(bào)產(chǎn)品，實(shí)際上仍以文件系統(tǒng)方式管理，只是將文件位置作為數(shù)據(jù)庫指針存儲(chǔ)在數(shù)據(jù)庫內(nèi)部，指向數(shù)據(jù)庫的外部操作系統(tǒng)文件[4-7]，而且處理數(shù)量高達(dá)幾十億個(gè)不同容量大小的氣象數(shù)據(jù)給當(dāng)前的數(shù)據(jù)管理帶來了巨大挑戰(zhàn)，已越來越接近其能力極限。

MARS軟件是氣象數(shù)據(jù)歸檔和檢索系統(tǒng)(Meteorological Archival and Retrieval System)，它解決了上述問題，是歐洲中期天氣預(yù)報(bào)中心(ECMWF)氣象應(yīng)用部門開發(fā)的一套氣象數(shù)據(jù)管理和服務(wù)系統(tǒng)，用于ECMWF的氣象數(shù)據(jù)存檔管理，并提供訪問這些數(shù)據(jù)的接口[8-9]。MARS軟件在ECMWF業(yè)務(wù)中已成功運(yùn)行20多年，在其成員國以及合作國家，如土耳其、澳大利亞等國的氣象部門中也逐步開展了應(yīng)用[10-11]。

不斷增強(qiáng)的高性能計(jì)算能力，促進(jìn)數(shù)值預(yù)報(bào)模式向著高精度、長預(yù)報(bào)時(shí)效、短格距積分步長方向發(fā)展，同時(shí)輸出文件的頻次、個(gè)數(shù)和單體容量均大幅增加。以前采用簡(jiǎn)單的文件系統(tǒng)或傳統(tǒng)的數(shù)據(jù)庫管理方式，只提供收集和存儲(chǔ)的功能，其他諸如插值、區(qū)域裁剪、要素提取等功能均無涉及，無法滿足數(shù)值預(yù)報(bào)產(chǎn)品服務(wù)的需求。傳統(tǒng)的數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)借助存儲(chǔ)管理軟件，依據(jù)其提供的功能仍然以單個(gè)文件為單位進(jìn)行數(shù)據(jù)遷移、回調(diào)處理[3]。遷移數(shù)據(jù)時(shí)以目錄或單個(gè)文件進(jìn)行，回調(diào)數(shù)據(jù)須以單個(gè)文件為最小對(duì)象進(jìn)行。若需要獲取的數(shù)據(jù)僅為回調(diào)數(shù)據(jù)文件中的部分內(nèi)容，或這些數(shù)據(jù)分布在回調(diào)的多個(gè)文件中，用戶則需要對(duì)這些回調(diào)的數(shù)據(jù)文件進(jìn)行額外的數(shù)據(jù)抽取、合并等后處理過程。這種服務(wù)方式?jīng)]有充分發(fā)揮數(shù)值預(yù)報(bào)產(chǎn)品表驅(qū)碼數(shù)據(jù)的自描述特征，以提供根據(jù)用戶需求進(jìn)行數(shù)據(jù)處理的服務(wù)手段，服務(wù)效果難以令用戶滿意。

本文基于MARS軟件，通過分析MARS軟件管理數(shù)據(jù)的原理，以GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)為例，創(chuàng)建一套適用于GRAPES模式產(chǎn)品的數(shù)據(jù)模板和代碼表，實(shí)現(xiàn)了數(shù)據(jù)的歸檔、檢索和后處理等功能。此外，結(jié)合存儲(chǔ)管理軟件TSM，研究實(shí)現(xiàn)MARS軟件和TSM軟件接口，實(shí)現(xiàn)了數(shù)據(jù)的遷移和回調(diào)。通過測(cè)試基于MARS軟件的數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)管理系統(tǒng)及CIMISS的數(shù)據(jù)管理系統(tǒng)檢索數(shù)據(jù)性能，表明基于MARS軟件的數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)管理系統(tǒng)檢索速度超過CIMISS的數(shù)據(jù)管理系統(tǒng)檢索速度1倍，說明基于MARS軟件的數(shù)據(jù)管理系統(tǒng)的高效性。

1 MARS軟件介紹

1.1 MARS軟件架構(gòu)

MARS軟件使用C/C++語言編寫，使用面向?qū)ο蟮募夹g(shù)存儲(chǔ)元數(shù)據(jù)，使用存儲(chǔ)管理軟件管理實(shí)際數(shù)據(jù)。它是針對(duì)氣象數(shù)據(jù)(GRIB格式的氣象數(shù)值模式要素場(chǎng)、BUFR格式和ODB格式的觀測(cè)數(shù)據(jù))的存儲(chǔ)庫軟件[10]。MARS軟件基于客戶端/服務(wù)端(C/S)架構(gòu)設(shè)計(jì)，運(yùn)行于Unix/Linux平臺(tái)。圖1為MARS軟件的架構(gòu)示意圖[11]。

圖1 MARS軟件架構(gòu)[11]Fig.1 Architecture of the MARS(from Reference[11])

MARS客戶端基于MARS請(qǐng)求協(xié)議，主要由C程序和EMOSLIB(GRIBEX或GRIB_API庫和插值程序庫)組成，提供命令行、Metview和WebMARS 3種用戶訪問接口，可在超級(jí)計(jì)算機(jī)、工作站/服務(wù)器、遠(yuǎn)程客戶端(安全機(jī)制)數(shù)據(jù)服務(wù)器上部署，并以交互式和批處理方式執(zhí)行。

MARS服務(wù)端分為兩部分，即請(qǐng)求管理器和數(shù)據(jù)管理器，實(shí)現(xiàn)數(shù)據(jù)的物理組織和邏輯組織分離，從而實(shí)現(xiàn)系統(tǒng)的可擴(kuò)展性。MARS元數(shù)據(jù)也相應(yīng)地分為邏輯描述元數(shù)據(jù)和物理描述元數(shù)據(jù)。請(qǐng)求管理器使用氣象描述專門處理用戶請(qǐng)求，記錄數(shù)據(jù)的語義信息，包括氣象數(shù)值模式要素場(chǎng)定義和一次預(yù)報(bào)描述信息(邏輯信息)。MARS軟件中，單個(gè)氣象數(shù)值模式要素場(chǎng)是最小尋址對(duì)象，表1給出了各種屬性定義。按照要素、層次和預(yù)報(bào)時(shí)效3個(gè)屬性，多個(gè)氣象數(shù)值模式要素場(chǎng)可以整合為1個(gè)歸檔對(duì)象，對(duì)應(yīng)著請(qǐng)求管理器中的邏輯描述元數(shù)據(jù)[11](如圖2所示)。按照成員、時(shí)次和日期等3個(gè)屬性，多個(gè)歸檔對(duì)象整合為超立方體[11](如圖3所示)。數(shù)據(jù)管理器記錄數(shù)據(jù)的物理位置，描述數(shù)據(jù)文件存儲(chǔ)于哪種介質(zhì)，包括磁帶、磁盤及緩存空間。每個(gè)氣象數(shù)值模式要素場(chǎng)的長度、文件名、存儲(chǔ)位置等邏輯屬性對(duì)應(yīng)著數(shù)據(jù)管理器上的物理描述元數(shù)據(jù)[11](如圖4所示)。請(qǐng)求管理器不直接處理數(shù)據(jù)文件而是處理數(shù)據(jù)邏輯索引，當(dāng)數(shù)據(jù)請(qǐng)求被執(zhí)行時(shí)，請(qǐng)求管理器將請(qǐng)求轉(zhuǎn)換為邏輯索引地址發(fā)送給數(shù)據(jù)管理器。數(shù)據(jù)管理器將數(shù)據(jù)邏輯索引地址解析為實(shí)際物理地址，將數(shù)據(jù)返回給用戶。

表1 氣象數(shù)值模式要素場(chǎng)屬性及示例取值Table 1 Attributes for meteorological parameter fields

圖2 MARS軟件中氣象數(shù)據(jù)的歸檔對(duì)象立方體模型[11]Fig.2 Archive object cube model of meteorological data in the MARS(from Reference [11])

圖3 MARS軟件中氣象數(shù)據(jù)的歸檔對(duì)象超立方體模型[11]Fig.3 Archive object hypercube model of meteoro-logical data in the MARS(from Reference [11])

圖4 MARS軟件中請(qǐng)求管理器和數(shù)據(jù)管理器的元數(shù)據(jù)[11]Fig.4 Metadata of request manager and data manager in the MARS(from Reference [11])

MARS客戶端通過執(zhí)行以MARS語言描述的請(qǐng)求，進(jìn)行歸檔、檢索、后處理等管理操作氣象數(shù)據(jù)。其中，MARS語言是以MARS預(yù)定義的詞匯唯一描述每個(gè)獨(dú)特的氣象數(shù)值模式要素場(chǎng)和請(qǐng)求執(zhí)行動(dòng)作。MARS客戶端配置了一組服務(wù)器，查找或歸檔數(shù)據(jù)時(shí)需要訪問這些服務(wù)器。

1.2 后處理

MARS軟件中，數(shù)據(jù)后處理由MARS客戶端執(zhí)行。通過在數(shù)據(jù)檢索請(qǐng)求文件寫入關(guān)鍵字(如area, grid等)并賦值，MARS客戶端執(zhí)行此請(qǐng)求時(shí)，自動(dòng)調(diào)用EMOSLIB庫中的一系列子程序函數(shù)實(shí)現(xiàn)后處理。如關(guān)鍵字area賦值實(shí)現(xiàn)子區(qū)域裁剪功能，可在請(qǐng)求文件中使用“area=North/West/South/East”，North，West，South和East分別指北緯、西經(jīng)、南緯和東經(jīng)對(duì)應(yīng)的度數(shù)，適用于規(guī)則經(jīng)緯度網(wǎng)格。關(guān)鍵字grid賦值對(duì)應(yīng)不同網(wǎng)格轉(zhuǎn)換或分辨率改變，可在請(qǐng)求中使用“grid=x1/x2”或“grid=y, gaussian=z”，其中,x1和x2分別是指東西方向(經(jīng)度)和南北方向(緯度)以度為單位的分辨率值，且插值后的分辨率不低于原始分辨率；y指歸約高斯網(wǎng)格中南或北半球緯圈數(shù)，z指高斯網(wǎng)格類型，值為regular或reduced。其中，網(wǎng)格轉(zhuǎn)換功能包括：改變高斯網(wǎng)格的分辨率，改變經(jīng)緯網(wǎng)格的分辨率，將球諧坐標(biāo)格點(diǎn)分辨率轉(zhuǎn)換為高斯網(wǎng)格分辨率，將球諧坐標(biāo)格點(diǎn)分辨率轉(zhuǎn)換為經(jīng)緯網(wǎng)格分辨率，將歸約高斯網(wǎng)格分辨率轉(zhuǎn)換為規(guī)則高斯網(wǎng)格分辨率，將高斯網(wǎng)格分辨率轉(zhuǎn)換為經(jīng)緯網(wǎng)格分辨率。對(duì)于其他后處理關(guān)鍵字的具體細(xì)節(jié)可參考?xì)庀笠夭逯弟浖南嚓P(guān)函數(shù)[12-13]。

2 基于MARS軟件的數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)

目前中國氣象局主要運(yùn)行T639L60模式、GRAPES全球及區(qū)域模式、TIGGE集合預(yù)報(bào)等幾類業(yè)務(wù)或準(zhǔn)業(yè)務(wù)天氣預(yù)報(bào)模式[14-16]。根據(jù)當(dāng)前MARS軟件的特征，分別對(duì)每一種模式產(chǎn)品建立MARS服務(wù)端，實(shí)際上多個(gè)MARS服務(wù)端可以部署在1臺(tái)或多臺(tái)服務(wù)器上。根據(jù)模式產(chǎn)品差異，建立不同的MARS客戶端，用于模式產(chǎn)品的數(shù)據(jù)歸檔入庫。對(duì)于自定義的模式產(chǎn)品，即T639L60模式、GRAPES區(qū)域及全球模式產(chǎn)品，建立一套統(tǒng)一的MARS客戶端。對(duì)用于國際交換的TIGGE產(chǎn)品，單獨(dú)建立MARS客戶端。這幾種模式產(chǎn)品分別由部署在IBM PureFlex高性能計(jì)算機(jī)上的業(yè)務(wù)預(yù)報(bào)系統(tǒng)產(chǎn)生，并推送到MARS客戶端上歸檔入庫。同時(shí)，在IBM PureFlex和神威4000A高性能計(jì)算機(jī)上另外建立兩套MARS客戶端，提供模式產(chǎn)品的數(shù)據(jù)檢索訪問、后處理等服務(wù)。為充分發(fā)揮MARS軟件的數(shù)據(jù)存儲(chǔ)能力，基于現(xiàn)有存儲(chǔ)管理軟件TSM，通過開發(fā)實(shí)現(xiàn)相關(guān)程序接口，連接MARS和TSM軟件，實(shí)現(xiàn)模式產(chǎn)品的數(shù)據(jù)無縫遷移和回調(diào)，發(fā)揮分級(jí)存儲(chǔ)系統(tǒng)的效能。數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)架構(gòu)如圖5所示。

圖5 數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)架構(gòu)Fig.5 The architecture of NWP data management system

對(duì)外提供數(shù)據(jù)服務(wù)的MARS客戶端、存儲(chǔ)管理數(shù)據(jù)的MARS服務(wù)端可以靈活地根據(jù)業(yè)務(wù)需求增加，具有良好的擴(kuò)展性。數(shù)據(jù)的遷移、回調(diào)、備份都可以通過MARS調(diào)用TSM實(shí)現(xiàn)。

3 關(guān)鍵技術(shù)

3.1 GRIB2數(shù)據(jù)模板和代碼表創(chuàng)建方法

3.1.1 GRIB2及表格驅(qū)動(dòng)編碼

MARS軟件采用WMO標(biāo)準(zhǔn)GRIB1/2格式存儲(chǔ)氣象數(shù)值模式要素場(chǎng)數(shù)據(jù)和其他空間格點(diǎn)數(shù)據(jù)。GRIB2碼(GRIdded Binary 2, FM92)是與計(jì)算機(jī)硬件無關(guān)的表格驅(qū)動(dòng)(Table Driven Code Forms, TDCFs)碼[17]，主要用來表示數(shù)值天氣分析和預(yù)報(bào)的格點(diǎn)資料，格式標(biāo)準(zhǔn)化。表格驅(qū)動(dòng)編碼不僅包含數(shù)據(jù)本身，還包含了對(duì)數(shù)據(jù)的完整描述，并通過一套完整的通用表格(標(biāo)準(zhǔn)化特點(diǎn))定義這些描述，用描述信息解釋資料內(nèi)容，從而避免了字符編碼中一種資料對(duì)應(yīng)一種編碼格式的狀況，具備良好的擴(kuò)展性與靈活性[18]。當(dāng)出現(xiàn)新的資料種類和內(nèi)容時(shí)，只需增加新的描述和定義相應(yīng)的表格即可。當(dāng)部分資料及內(nèi)容變化時(shí)，只需適當(dāng)調(diào)整代碼中的描述信息即可。

3.1.2 GRIB2模板

GRIB2所有的模板采用模板表格描述，表格按照段號(hào)分類查詢所屬模板。在表格中，模板標(biāo)為m.n 形式，m是模板所屬的段號(hào)，n是編碼正確的段中的模板號(hào)。模板描述其內(nèi)部的網(wǎng)格定義段、產(chǎn)品定義段、數(shù)據(jù)表示段和數(shù)據(jù)段。其中，網(wǎng)格定義模板描述數(shù)據(jù)段包含的數(shù)據(jù)網(wǎng)格平面和幾何特性，產(chǎn)品定義模板描述下面數(shù)據(jù)段中的數(shù)據(jù)種類，數(shù)據(jù)表示模板描述數(shù)據(jù)值如何在數(shù)據(jù)段中表示，而數(shù)據(jù)模板則描述數(shù)據(jù)本身[19-20]。

根據(jù)GRIB2數(shù)據(jù)規(guī)范說明，GRIB2各要素定義在第4段即數(shù)據(jù)段描述[20-21]。通過擴(kuò)充或修改已有的數(shù)據(jù)段，來實(shí)現(xiàn)要素的自定義。

3.1.3 增加層次類型

GRIB2產(chǎn)品中添加或修改一個(gè)層次類型定義，需修改GRIB2代碼表格文件4.5.table，這個(gè)表描述地面固定類型以及層次單位。如氣象模式產(chǎn)品數(shù)據(jù)修改積云底層次類型，修改其名稱縮寫，可在4.5.table中將相關(guān)內(nèi)容修改為

2 cbl Cloud base level。

其中，cbl是積云層次類型縮寫，“2”是積云層次代碼號(hào)。

3.1.4 增加氣象要素

GRIB2產(chǎn)品中增加一個(gè)要素，需修改GRIB2代碼表格文件4.2.*.*table，這個(gè)表描述要素號(hào)、產(chǎn)品種類號(hào)和要素類別號(hào)。如氣象模式產(chǎn)品數(shù)據(jù)增加溫度平流要素，根據(jù)表格驅(qū)動(dòng)編碼規(guī)則，查找其對(duì)應(yīng)產(chǎn)品類型號(hào)、要素類別號(hào)分別為0，0，對(duì)應(yīng)的代碼表是文件4.2.0.0.table。而溫度平流要素未定義，可在4.2.0.0.table中增加一行內(nèi)容：

224 Temperature advection (10-6K s-1)。

其中，224是要素名稱代碼號(hào)，Temperature advection則是要素名稱描述，括號(hào)中的內(nèi)容是單位。一般來說，192～225之間的數(shù)字用于自定義要素名稱代碼號(hào)。

3.1.5 MARS GRIB2模板配置

MARS軟件的GRIB2模板配置相關(guān)文件位于GRIB_API和MARS客戶端及MARS服務(wù)端3個(gè)部分中。GRIB_API中的配置文件主要有paramId.def，name.def，shortName.def等[19]，MARS客戶端有g(shù)rib.c (GRIBEX MARS)、語言文件mars.def、規(guī)則文件mars.chk；MARS服務(wù)器端有GribHeader.cc(GRIBEX MARS)、buildRules。通過修改這些文件，來描述復(fù)雜的數(shù)據(jù)，擴(kuò)展MARS處理新類型的GRIB2數(shù)據(jù)。

目前的MARS軟件處理GRIB2格式限于TIGGE產(chǎn)品和模式層數(shù)據(jù)，而T639L60模式產(chǎn)品或GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)中很多氣象要素?zé)o法直接被MARS客戶端工具正確解析，導(dǎo)致不能被MARS軟件處理。如MARS客戶端工具解析GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)，出現(xiàn)類似“PARAM=DEFAULT/9999”語句,說明數(shù)據(jù)中有些要素未正確解析。分析GRIB2數(shù)據(jù)，發(fā)現(xiàn)其中氣象要素——光照量(albedo)沒有正確解析。為使MARS軟件正確處理這一氣象要素，需要找到其對(duì)應(yīng)的代碼表格文件。由數(shù)據(jù)分析結(jié)果可知該要素在4.2.0.19.table文件中已被定義，并獲得discipline(產(chǎn)品類型號(hào))，parameterCategory(要素類別號(hào))，parameterNumber(要素號(hào))等屬性的值。通過修改GRIB_API中數(shù)據(jù)屬性定義相關(guān)文件paramId.def, name.def, shortName.def和MARS客戶端中的mars.def，實(shí)現(xiàn)MARS正確解析處理GRIB2的光照量要素。操作時(shí)，在paramId.def中添加如下代碼：

′260509′={

discipline=0;

parameterCategory=19;

parameterNumber=1;

}，

name.def中添加

′albedo′={parameter=260509;},

shortName.def中添加

′al′ ={parameter=260509;},

MARS客戶端mars.def中增加

ALBEDO;AL;260509。

其中，數(shù)字260509是光照度的要素代碼，可自行定義，但不能與已定義的要素代碼號(hào)重復(fù)。為利于數(shù)據(jù)的國際交換，增加的要素代碼定義應(yīng)盡量與其他國家氣象業(yè)務(wù)中心的代碼定義保持一致。

3.2 MARS軟件與TSM軟件接口實(shí)現(xiàn)

MARS軟件將磁帶文件視為邏輯文件，無需知道磁帶的具體位置即可訪問數(shù)據(jù)。MARS軟件和存儲(chǔ)管理軟件連接API提供一系列虛函數(shù)，能使MARS軟件從磁帶文件中讀寫數(shù)據(jù)，而不涉及任何中間的磁盤I/O操作[22]。讀寫磁帶文件流程如圖6所示，其中,寫磁帶文件流程基于事務(wù)處理，而檢索數(shù)據(jù)的緩存則由MARS應(yīng)用完成。

圖6 MARS軟件和存儲(chǔ)管理系統(tǒng)連接API讀寫磁帶文件流程Fig.6 The flow chart for reading or writing a tape file in the API between the MARS and a storage manager system

除了實(shí)現(xiàn)MARS軟件和TSM軟件連接接口程序外，MARS軟件和TSM軟件連接還需在配置文件中定義存儲(chǔ)管理軟件名、存儲(chǔ)管理類名、管理類表等。

4 MARS軟件數(shù)據(jù)管理試驗(yàn)和性能

4.1 數(shù)據(jù)管理試驗(yàn)

本試驗(yàn)以GRAPES全球模式產(chǎn)品GRIB2數(shù)據(jù)為例，應(yīng)用模板及代碼表創(chuàng)建方法，分別從數(shù)據(jù)歸檔、檢索、數(shù)據(jù)遷移及回調(diào)等多個(gè)方面進(jìn)行，并與CIMISS中數(shù)據(jù)管理系統(tǒng)檢索數(shù)據(jù)時(shí)效對(duì)比。數(shù)據(jù)歸檔入庫試驗(yàn)流程見圖7。

以GRAPES產(chǎn)品數(shù)據(jù)gmf.gra.201105150000.grb2文件為例，首先利用MARS客戶端工具grib2request命令解析數(shù)據(jù)，獲取MARS解析氣象要素信息。要素解析如下：

PARAM=131/132/130/156/133/99999/134/DEFAULT,

其中，PARAM屬性取值中，99999和DEFAULT屬于MARS軟件無法正確解析的信息，其他數(shù)字對(duì)應(yīng)一個(gè)預(yù)定義的要素量。針對(duì)GRAPES模式產(chǎn)品中的各個(gè)要素，分析GRIB2的要素解析文件，找無法解析的GRAPES模式產(chǎn)品要素，按照GRIB2代碼表和模板創(chuàng)建方法，修改相應(yīng)的數(shù)據(jù)模板和配置文件后，使GRAPES模式產(chǎn)品的所有要素均可被解析。GRAPES模式產(chǎn)品可被MARS解析的要素部分如下：

圖7 模式產(chǎn)品GRIB2數(shù)據(jù)MARS入庫試驗(yàn)流程Fig.7 The flow chart of archiving GRIB2 data of model products into the MARS

PARAM=131/132/130/156/133/500032/134/151/139/3115/3116/177/260509，

其中，這些數(shù)值分別代表東西風(fēng)分量、南北風(fēng)分量、溫度、位勢(shì)高度、比濕、幾何垂直速度、地面氣壓、平均海平面氣壓、地面溫度、長波輻射通量、短波輻射通量、地面靜熱輻射、光照量。

由于MARS軟件按照單要素層數(shù)據(jù)作為基本單位組織進(jìn)行歸檔入庫，因此，首先需要對(duì)其進(jìn)行分解，形成多個(gè)單要素層數(shù)據(jù)，該操作由MARS客戶端工具命令splitgrib執(zhí)行完成。

利用splitgrib命令分離示例數(shù)據(jù)gmf.gra.201105150000.grb2，可得到如下幾個(gè)文件：①歸檔請(qǐng)求文件列表文件splitgrib0000.idx，內(nèi)容包括splitgrib0000.req和splitgrib0001.req這兩個(gè)文件名；②分離后的單要素層GRIB2數(shù)據(jù)文件splitgrib0000.dat，splitgrib0001.dat。執(zhí)行mars splitgrib0000.req命令即可將數(shù)據(jù)splitgrib0000.dat歸檔入庫，以此類推。對(duì)于數(shù)據(jù)檢索，如果需要?jiǎng)側(cè)霂斓臄?shù)據(jù)，則只需將splitgrib0000.req中archive改成retrieve，source改成target，再次執(zhí)行mars splitgrib0000.req命令即可。

splitgrib000.req歸檔入庫請(qǐng)求內(nèi)容如下：

ARCHIEVE,

DATABASE=marsth,

SOURCE="splitgrib0000.dat",

ORIGIN=BABJ,

DATE=20110515,

TIME=0000,

STEP =0,

LEVTYPE=PL,

LEVELIST=10/20/30/50/70/100/150/200/250/300/400/500/600/700/850/925/1000,

CLASS=OD,

EXPVER=0001,

MODEL=GLOB,

DOMAIN=G,

PARAM=131/132/130/156/133/500032,

TYPE=AN,

STREAM=OPER,

EXPECT=102。

其中，ARCHIEVE是請(qǐng)求動(dòng)作；MARS請(qǐng)求中還有RETRIEVE,LIST,READ等動(dòng)作；等號(hào)左側(cè)是關(guān)鍵詞，是MARS軟件中定義的變量，如TYPE,DATE,PARAM等；等號(hào)右側(cè)是給關(guān)鍵詞的賦值，如PL,AN,OD等。

對(duì)于數(shù)據(jù)向磁帶庫遷移，則需在MARS服務(wù)端Shell下執(zhí)行marsadm命令，出現(xiàn)marsadm命令提示符，然后執(zhí)行l(wèi)ist-prearc命令先查詢預(yù)歸檔文件系統(tǒng)上的文件標(biāo)識(shí)號(hào)xxx，然后執(zhí)行flush-id xxx命令。對(duì)于數(shù)據(jù)回調(diào)，既可以通過客戶發(fā)起RETRIEVE、GET請(qǐng)求，請(qǐng)求文件寫法同上述檢索語句類似上述splitgrib0000.req內(nèi)容；也可以在MARS服務(wù)端命令marsadm提示符下，通過copy命令進(jìn)行。

數(shù)據(jù)管理操作執(zhí)行完畢后，客戶端會(huì)提示相關(guān)信息表明試驗(yàn)操作成功。

4.2 性能分析

為了說明MARS軟件檢索數(shù)據(jù)的性能優(yōu)異，對(duì)基于MARS軟件的數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)和當(dāng)前國家級(jí)氣象數(shù)據(jù)管理系統(tǒng)檢索數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)進(jìn)行測(cè)試，并對(duì)比時(shí)效。由于MDSS即將停止服務(wù)，CIMISS中的數(shù)據(jù)管理系統(tǒng)正在取代MDSS提供數(shù)據(jù)服務(wù)，故當(dāng)前國家級(jí)氣象數(shù)據(jù)管理系統(tǒng)測(cè)試選用CIMISS中的數(shù)據(jù)管理系統(tǒng)。二者用于測(cè)試的軟件和硬件環(huán)境如下：CIMISS中的數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)庫采用Oracle 11g RAC，安裝在配置2個(gè)8核 Intel Xeon E7420 2.13 GHz(共16個(gè)CPU核)、40 GB內(nèi)存的64位Linux上，CIMISS中數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)檢索客戶端部署于工作站W(wǎng)indows系統(tǒng)上；而基于MARS軟件的數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)服務(wù)端則安裝于入門級(jí)IBM P550服務(wù)器，配置4個(gè)Power 64.2 GHz處理器，32 GB內(nèi)存和AIX 6.1系統(tǒng)，MARS客戶端部署于另一臺(tái)AIX 6系統(tǒng)上。

此外，當(dāng)前CIMISS的數(shù)據(jù)管理系統(tǒng)，還未將準(zhǔn)業(yè)務(wù)運(yùn)行的GRAPES模式產(chǎn)品入庫管理，但提供了T639L60模式產(chǎn)品的東北半球區(qū)域數(shù)據(jù)，故以T639L60模式產(chǎn)品的檢索為例說明時(shí)效性能情況。任意選定系統(tǒng)中管理的某日某個(gè)時(shí)次預(yù)報(bào)某個(gè)預(yù)報(bào)時(shí)效，這里以2014年4月14日00：00(世界時(shí))預(yù)報(bào)時(shí)效24 h為例，分別在兩套系統(tǒng)上檢索所有要素?cái)?shù)據(jù)和某個(gè)特定要素(溫度)數(shù)據(jù)，運(yùn)行多次檢索命令，獲取相關(guān)信息，對(duì)比結(jié)果見表2。

表2 CIMISS的數(shù)據(jù)管理系統(tǒng)和基于MARS軟件的數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)檢索T639L60模式產(chǎn)品性能Table 2 Performance of retrieving T639L60 model production by the data management system of CIMISS and the MARS based system

由表2可看出，對(duì)于某個(gè)固定預(yù)報(bào)時(shí)間預(yù)報(bào)時(shí)效的T639L60模式產(chǎn)品，無論是檢索全部氣象要素還是某個(gè)特定要素(如溫度)，基于MARS軟件數(shù)據(jù)檢索速度都超過CIMISS檢索速度1倍。此外，基于MARS軟件的系統(tǒng)根據(jù)檢索請(qǐng)求，一次輸出1個(gè)數(shù)據(jù)，同時(shí)在檢索請(qǐng)求中可提供后處理功能，如插值、區(qū)域裁剪、一些簡(jiǎn)單數(shù)學(xué)公式計(jì)算等，而CIMISS中檢索數(shù)據(jù)相對(duì)復(fù)雜，檢索后的數(shù)據(jù)文件數(shù)眾多，如表2中的文件數(shù)量分別為32和344個(gè)，目前也沒有提供后處理功能。

5 小 結(jié)

本文基于MARS軟件，實(shí)現(xiàn)了數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理。研究實(shí)現(xiàn)了MARS和存儲(chǔ)管理軟件接口，實(shí)現(xiàn)數(shù)據(jù)的直接遷移和回調(diào)，以GRAPES全球模式產(chǎn)品為例進(jìn)行數(shù)據(jù)歸檔入庫、遷移和回遷試驗(yàn)，并以T639L60模式產(chǎn)品為例進(jìn)行數(shù)據(jù)檢索性能測(cè)試，得出以下結(jié)論：

1) 經(jīng)過分析模式產(chǎn)品GRIB2格式數(shù)據(jù)，創(chuàng)建數(shù)據(jù)模板和代碼表，基于MARS軟件的模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)可實(shí)現(xiàn)對(duì)GRIB2格式數(shù)據(jù)的管理。

2) 依據(jù)MARS軟件和TSM軟件連接API編程接口，考慮磁盤、磁帶讀寫特征，開發(fā)相關(guān)程序，可實(shí)現(xiàn)數(shù)據(jù)從在線磁盤到近線磁帶之間的直接遷移和回遷，消除手工操作。

3) 模式產(chǎn)品的數(shù)據(jù)檢索性能對(duì)比試驗(yàn)表明：基于MARS軟件的數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)相對(duì)當(dāng)前的CIMISS中的數(shù)據(jù)管理系統(tǒng)，檢索速度超過1倍，檢索時(shí)效優(yōu)勢(shì)明顯。

目前，MARS軟件已經(jīng)業(yè)務(wù)化應(yīng)用于中國氣象局TIGGE集合預(yù)報(bào)產(chǎn)品和T639L60模式產(chǎn)品、GRAPES模式產(chǎn)品的管理中。未來會(huì)進(jìn)一步考慮中國氣象局運(yùn)行的各種模式產(chǎn)品，包括一些長期試驗(yàn)系統(tǒng)，如氣候模式產(chǎn)品以及即將開展的S2S (Sub-seasonal to Seasonal Prediction Project)產(chǎn)品，并在業(yè)務(wù)中進(jìn)一步考慮模式、分辨率、區(qū)域、版本的不同，實(shí)現(xiàn)基于MARS軟件的數(shù)據(jù)管理系統(tǒng)管理多個(gè)模式產(chǎn)品，并增加更多的數(shù)據(jù)服務(wù)方式。

[1] 陳德輝，薛紀(jì)善．?dāng)?shù)值天氣預(yù)報(bào)業(yè)務(wù)模式現(xiàn)狀與展望．氣象學(xué)報(bào)，2004，62(5)：623-633．

[2] 矯梅燕，龔建東，周兵，等．天氣預(yù)報(bào)的業(yè)務(wù)技術(shù)進(jìn)展．應(yīng)用氣象學(xué)報(bào)，2006，17(5)：594-601．

[3] 張璽．并行文件系統(tǒng)下數(shù)據(jù)遷移功能的實(shí)現(xiàn)．北京信息科技大學(xué)學(xué)報(bào)，2012，12(5)：77-80．

[4] 沈文海，趙芳，高華云，等．國家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)的建立．應(yīng)用氣象學(xué)報(bào)，2004，15(6)：727-736．

[5] 李集明，沈文海，王國復(fù)．氣象信息共享平臺(tái)及其關(guān)鍵技術(shù)研究．應(yīng)用氣象學(xué)報(bào)，2006，17(5)：621-628．

[6] 國家氣象信息中心．新一代天氣雷達(dá)信息共享平臺(tái)總體設(shè)計(jì)．北京：中國氣象局,2009．

[7] 楊潤芝，馬強(qiáng)，李德泉，等．內(nèi)存轉(zhuǎn)發(fā)模型在CIMISS數(shù)據(jù)收發(fā)系統(tǒng)中的應(yīng)用．應(yīng)用氣象學(xué)報(bào)，2012，23(3)：377-384．

[8] Raoult B.Data Handling via MARS at ECMWF.ECMWFNewsletter,1996,72:15-19.

[9] Raoult B.Implementing MARS using object-oriented technology．ECMWFNewsletter,1997,75:9-10.

[10] Raoult B.MARS,ECMWF’s Meteorological Archive:Experience in Managing a Large Archive.[2013-12-10].http:∥vds.cnes.fr/manifestations/PV2002/DATA/1-5_raoult.pdf.

[11] Raoult B.Architecture of the new MARS server.[2013-12-10].http:∥www.ecmwf.int/publications/manuals/mars/server.pdf.

[12] ECMWF Operations Department.MARS User Guide.[2013-12-20].http:∥www.ecmwf.int/publications/manuals/mars/guide/MarsUserGuide.pdf.

[13] ECMWF EMOSLIB.[2014-09-27].https:∥software.ecmwf.int/wiki/display/EMOS/Emoslib.

[14] 伍湘君，金之雁，黃麗萍，等．GRAPES模式軟件框架與實(shí)現(xiàn)．應(yīng)用氣象學(xué)報(bào)，2005，16(4)：539-546．

[15] 麻素紅，吳俞，瞿安祥，等．T213與T639模式熱帶氣旋預(yù)報(bào)誤差對(duì)比．應(yīng)用氣象學(xué)報(bào)，2012，23(2)：167-173．

[16] 閆之輝，王雨，朱國富．國家氣象中心業(yè)務(wù)數(shù)值預(yù)報(bào)發(fā)展的回顧與展望．氣象，2010，36(7)：26-32．

[17] 劉媛媛，應(yīng)顯勛，趙芳．GRIB2介紹及解碼初探．氣象科技，2006，34(增刊Ⅰ)：61-64．

[18] 國家氣象信息中心通信臺(tái)．表格驅(qū)動(dòng)碼編碼手冊(cè)．北京：氣象出版社，2005．

[19] WMO.Guide to the WMO Table Driven Code Form Used for the Representation and Exchange of Regularly Spaced Data In Binary Form:FM 92 GRIB Edition 2.[2013-12-10].http:∥www.wmo.int/pages/prog/www/WMOCodes/Guides/GRIB/GRIB2_062006.pdf.

[20] WMO.Introduction to GRIB Edition1 and GRIB Edition 2.[2013-12-10].http:∥www.wmo.int/pages/prog/www/WMOCodes/Guides/GRIB/Introduction_GRIB1-GRIB2.pdf.

[21] ECMWF.Grib decoder.[2013-12-10].https:∥software.ecmwf.int/wiki/display/GRIB/Home.

[22] IBM Tivoli Storage Manager for AIX Version 6.2 Using the Application Programming Interface.[2014-09-15].http:∥pic.dhe.ibm.com/infocenter/tsminfo/v6r2/topic/com.ibm.itsm.client.develop.doc/b_api_using.pdf.

Application of the MARS to Data Management of NWP Productions

Xiao Huadong Sun Jing Zhang Xi Bian Xiaofeng

(NationalMeteorologicalInformationCenter,Beijing100081)

The NWP model runs several times every day, creating a large number of files of hundred megabytes each. In the current national meteorological data management system, the NWP model data are managed by the combination of file system and database system, which improves the operation of relative data compared to the traditional file system or database system alone. But data are separated from their index and description, which makes it difficult to manage the massive data of NWP productions.

The MARS (Meteorological Archive and Retrieve System) based on the description of meteorology can be used to resolve the above problems. The client-server architecture of the MARS is introduced briefly, and functional components of the MARS are also explained in detail. A data management solution for the national operational NWP model is designed based on the current version of the MARS. According to the characteristic of table-driven code formats, the method of creating GRIB2 code tables and templates is introduced. The application programming interface (API) between the MARS and the Tivoli Storage Manager (TSM) is studied and implemented, considering the I/O feature of disk and tape, and API achieves direct data flushing and retrieving. Taking GRIB2 data of GRAPES global model production for example, data management is implemented by the MARS. Performance test indicates that the MARS can accelerate retrieving of certain data by over one time, demonstrating great advantages of time efficiency.

The MARS integrates the meteorological content orient data management technique and the hierarchical storage management technique. Its adaptability and scalability are also verified through long time application in many meteorological centers, showing wider application prospect in the field of NWP production data management.

the MARS; GRIB2 template; storage management software; data flushing and retrieving

10.11898/1001-7313.20150213

公益性行業(yè)(氣象)科研專項(xiàng)(GYHY201106009)

肖華東，孫婧，張璽,等. MARS軟件在數(shù)值預(yù)報(bào)模式產(chǎn)品數(shù)據(jù)管理中的應(yīng)用. 應(yīng)用氣象學(xué)報(bào)，2015，26(2)：247-256.

2014-04-17收到， 2014-11-18收到再改稿。

* email: xiaohd@cma.gov.cn