全國綜合氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)

熊安元 趙 芳 王 穎 張小纓 高 峰 鄧 莉 譚小華 馬 強

(國家氣象信息中心，北京 100081)

?

全國綜合氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)

熊安元*趙 芳 王 穎 張小纓 高 峰 鄧 莉 譚小華 馬 強

(國家氣象信息中心，北京 100081)

為滿足對海量氣象數(shù)據(jù)管理和服務的需求，國家氣象信息中心設(shè)計開發(fā)了全國綜合氣象信息共享系統(tǒng)(CIMISS)。該文描述了系統(tǒng)基本設(shè)計思路、功能結(jié)構(gòu)、基礎(chǔ)平臺體系結(jié)構(gòu)、信息流程，闡述了系統(tǒng)為用戶提供的基礎(chǔ)數(shù)據(jù)使用環(huán)境。系統(tǒng)由數(shù)據(jù)收集與分發(fā)系統(tǒng)、數(shù)據(jù)加工處理系統(tǒng)、數(shù)據(jù)存儲管理系統(tǒng)、數(shù)據(jù)共享服務系統(tǒng)、業(yè)務監(jiān)控系統(tǒng)5個業(yè)務子系統(tǒng)組成，承擔數(shù)據(jù)收集、加工處理、存儲管理、共享服務和業(yè)務監(jiān)控任務。系統(tǒng)設(shè)計和開發(fā)采用了一系列現(xiàn)代信息技術(shù)，包括基于消息和文件共享的平臺內(nèi)信息交換、氣象數(shù)據(jù)標準化分類、數(shù)據(jù)處理作業(yè)調(diào)度和算法的動態(tài)擴展、元數(shù)據(jù)的設(shè)計和應用、公共配置信息管理、全流程業(yè)務監(jiān)視和調(diào)度控制、面向服務的多維度數(shù)據(jù)存儲策略、全局數(shù)據(jù)訪問視圖和統(tǒng)一訪問接口設(shè)計等。該系統(tǒng)為我國國家級和省級氣象業(yè)務提供了統(tǒng)一規(guī)范的氣象數(shù)據(jù)使用環(huán)境。

氣象數(shù)據(jù)； CIMISS； 數(shù)據(jù)管理； 數(shù)據(jù)服務

引 言

氣象資料是氣象業(yè)務和科學研究的基礎(chǔ)。隨著氣象探測技術(shù)的發(fā)展，特別是大氣遙感技術(shù)的發(fā)展和自動觀測技術(shù)的進步，氣象資料的種類和數(shù)量與日俱增。目前，國家氣象信息中心每天實時收集的來自國內(nèi)外的各種氣象資料和業(yè)務產(chǎn)品數(shù)量已近TB量級，種類涵蓋氣象資料分類體系[1]中定義的絕大部分數(shù)據(jù)類別。國家氣象信息中心收集存檔的歷史氣象資料已達PB量級,如何實時快速收集和處理來自國內(nèi)外的各類資料和業(yè)務產(chǎn)品，有效管理海量的歷史和實時氣象資料，為用戶提供方便快捷的數(shù)據(jù)服務，是氣象資料業(yè)務的重要內(nèi)容。

建立海量氣象數(shù)據(jù)的管理和服務系統(tǒng)是氣象業(yè)務和科學研究的先導性工作，一些發(fā)達國家的業(yè)務或研究機構(gòu)均投入巨資研發(fā)各種不同的數(shù)據(jù)存檔服務系統(tǒng)，有效支持了業(yè)務和科學研究工作。如歐洲中期天氣預報中心(ECMWF)1985年開始建設(shè)并一直在發(fā)展的氣象數(shù)據(jù)存檔檢索系統(tǒng)(Meteorological Archival and Retrieval System，MARS)管理ECMWF數(shù)值天氣預報模式的全部觀測資料、中間產(chǎn)品和預報分析產(chǎn)品，采用元數(shù)據(jù)和文件系統(tǒng)的數(shù)據(jù)管理模型實現(xiàn)對海量數(shù)據(jù)的管理和服務，是數(shù)值預報模式資料和產(chǎn)品存儲服務系統(tǒng)的典范。美國國家海洋大氣局(NOAA)建立的CLASS(The Comprehensive Large Array-data Stewardship System)系統(tǒng)實現(xiàn)了對美國各類極軌和靜止氣象衛(wèi)星觀測資料和加工產(chǎn)品的管理和服務(http:∥www.nsof.class.noaa.gov/saa/products/about)。

21世紀初，為解決氣象資料的存儲管理和共享服務問題，國家氣象信息中心設(shè)計建立了國家級氣象資料存儲檢索系統(tǒng)[2]，實現(xiàn)了對常用實時資料和部分歷史資料的在線存儲管理。國家衛(wèi)星氣象中心建成氣象衛(wèi)星資料存檔系統(tǒng)[3]和風云氣象衛(wèi)星數(shù)據(jù)存檔與服務系統(tǒng)[4]，實現(xiàn)風云衛(wèi)星每日3萬余個文件(2 TB)新增數(shù)據(jù)的存檔和1 TB以上數(shù)據(jù)的下載。中國氣象局作為世界氣象組織規(guī)劃的全球信息系統(tǒng)中心(WMO’s Global Information System Centers (GISC))之一，于2011年建立了GISC北京中心，提供基于互聯(lián)網(wǎng)的全球交換資料的在線發(fā)現(xiàn)、檢索和獲取服務[5]。為了滿足社會廣大用戶特別是科學研究人員對氣象科學數(shù)據(jù)的需求,國家氣象信息中心建立了基于公共網(wǎng)絡的氣象科學數(shù)據(jù)共享服務平臺(CDC Online)[6-7]。這些系統(tǒng)針對特定的氣象資料或特定的用戶而建立，為氣象資料的共享服務提供基礎(chǔ)平臺。

目前，國家級和省級業(yè)務單位所使用的氣象數(shù)據(jù)大同小異，但沒有統(tǒng)一的用戶數(shù)據(jù)使用環(huán)境，各個數(shù)據(jù)中心或業(yè)務機構(gòu)建立了規(guī)模不等、功能各異的數(shù)據(jù)庫及訪問系統(tǒng)，導致系統(tǒng)開發(fā)和維護成本高、數(shù)據(jù)不一致等問題，一些適用于全國的業(yè)務應用系統(tǒng)也難以在全國推廣使用。因此，建立國家級和省級上下一致的數(shù)據(jù)管理和共享服務平臺顯得尤為重要。全國綜合氣象信息共享系統(tǒng)(China Integrated Meteorological Information Sharing System, 簡稱CIMISS)是國家氣象信息中心于2009年啟動建設(shè)的數(shù)據(jù)管理和服務平臺，集氣象數(shù)據(jù)收集、加工處理、存儲管理和共享服務于一體，運行于國家級和31個省級氣象數(shù)據(jù)中心，管理國家級或省級數(shù)據(jù)中心全部可收集的國內(nèi)外氣象資料和業(yè)務產(chǎn)品。系統(tǒng)建設(shè)的主要目的是實現(xiàn)規(guī)范的氣象數(shù)據(jù)業(yè)務流程和各類氣象數(shù)據(jù)的統(tǒng)一、規(guī)范、高效管理，為氣象業(yè)務和相關(guān)科研用戶快捷便利地獲取氣象數(shù)據(jù)提供數(shù)據(jù)使用環(huán)境。

1 CIMISS概述

CIMISS主要承擔國內(nèi)外氣象資料的收集、處理、存儲和共享任務，通過全球氣象通信系統(tǒng)(GTS)、互聯(lián)網(wǎng)、國內(nèi)氣象通信系統(tǒng)實時收集全球和中國氣象觀測資料和氣象業(yè)務產(chǎn)品，對資料格式和質(zhì)量進行檢查并進行解碼，實時生成初級資料產(chǎn)品，使用數(shù)據(jù)庫技術(shù)對實時和歷史數(shù)據(jù)進行一體化管理，為個人用戶和業(yè)務系統(tǒng)用戶提供數(shù)據(jù)服務。CIMISS主要包括7個技術(shù)系統(tǒng)，分別為數(shù)據(jù)收集與分發(fā)系統(tǒng)、數(shù)據(jù)加工處理系統(tǒng)、數(shù)據(jù)存儲管理系統(tǒng)、數(shù)據(jù)共享服務系統(tǒng)、業(yè)務監(jiān)控系統(tǒng)、計算機與存儲系統(tǒng)、網(wǎng)絡與安全系統(tǒng)。其中，前5個系統(tǒng)為業(yè)務應用系統(tǒng)，后兩個系統(tǒng)為基礎(chǔ)設(shè)施平臺。所建設(shè)的7個技術(shù)系統(tǒng)部署在國家級中心和31個省級中心，所有中心通過全國氣象業(yè)務網(wǎng)聯(lián)結(jié)成一個物理分布、邏輯統(tǒng)一的信息共享平臺。

CIMISS的主要目標是建設(shè)一套覆蓋全國、集數(shù)據(jù)收集與分發(fā)、質(zhì)量控制與產(chǎn)品生成、存儲管理、共享服務于一體的國家和省兩級氣象資料共享業(yè)務平臺，為氣象部門及相關(guān)行業(yè)用戶提供涵蓋綜合氣象探測資料和氣象產(chǎn)品的共享服務。

2 系統(tǒng)結(jié)構(gòu)和功能

2.1 總體設(shè)計思想

CIMISS的內(nèi)容實體是氣象資料,需要解決的核心業(yè)務問題是數(shù)據(jù)從接入端到用戶端流程的規(guī)范性和可控性,主要目的是為用戶提供高效快捷的數(shù)據(jù)服務。因此，系統(tǒng)設(shè)計的基本理念是以數(shù)據(jù)為核心、以業(yè)務流程為主線、以需求為導向,深入分析各類氣象數(shù)據(jù)的特點和規(guī)格，梳理各類數(shù)據(jù)的現(xiàn)有流程和問題，理順流程和功能之間的關(guān)系，分析不同用戶對數(shù)據(jù)時效、格式、使用習慣、檢索等需求，設(shè)計規(guī)范的氣象數(shù)據(jù)管理和服務系統(tǒng)。CIMISS在國家和省兩級部署，采用統(tǒng)一的技術(shù)架構(gòu)、數(shù)據(jù)處理流程、數(shù)據(jù)處理標準、數(shù)據(jù)存儲規(guī)格和服務規(guī)范，以規(guī)范國家和省兩級氣象資料業(yè)務和數(shù)據(jù)應用環(huán)境。

CIMISS的5個業(yè)務應用系統(tǒng)之間通過消息的傳遞、文件的共享以及服務的交互實現(xiàn)業(yè)務協(xié)作，并統(tǒng)一由業(yè)務監(jiān)控系統(tǒng)進行業(yè)務調(diào)度及控制、配置管理、全業(yè)務過程監(jiān)控。從邏輯上看，整個CIMISS平臺可分為3層：系統(tǒng)邊界層、應用邏輯層和數(shù)據(jù)存儲層。其中，系統(tǒng)邊界層是CIMISS與外部的接口層，應用邏輯層包含了平臺內(nèi)的主要業(yè)務邏輯和相關(guān)的監(jiān)控能力，數(shù)據(jù)存儲層則負責完成海量氣象數(shù)據(jù)的存儲管理。

2.2 系統(tǒng)功能結(jié)構(gòu)

CIMISS平臺包括數(shù)據(jù)收集與分發(fā)、數(shù)據(jù)加工處理、數(shù)據(jù)存儲管理、數(shù)據(jù)共享服務、業(yè)務監(jiān)控五大業(yè)務功能。功能結(jié)構(gòu)見圖1。

圖1 系統(tǒng)總體業(yè)務功能結(jié)構(gòu)圖Fig.1 Framework of operational functions of CIMISS

數(shù)據(jù)收集與分發(fā)系統(tǒng)(China Telecommunication System, 簡稱CTS)包括數(shù)據(jù)收集、數(shù)據(jù)分發(fā)、收集處理、分發(fā)處理、數(shù)據(jù)存檔、系統(tǒng)管理、系統(tǒng)監(jiān)視和系統(tǒng)交互8個分系統(tǒng)，負責收集來自國內(nèi)氣象綜合探測系統(tǒng)、GTS、互聯(lián)網(wǎng)、業(yè)務單位、行業(yè)部門的各類觀測數(shù)據(jù)和加工產(chǎn)品，進行規(guī)范化的預處理；通過局域網(wǎng)絡、地面寬帶網(wǎng)絡和衛(wèi)星廣播系統(tǒng)(CMA-Cast)分發(fā)觀測資料和產(chǎn)品，實現(xiàn)國家級與省級、省級與省級之間數(shù)據(jù)的快速無障礙實時交換。

數(shù)據(jù)加工處理系統(tǒng)(Data Processing Center, 簡稱DPC)包括調(diào)度管理、數(shù)據(jù)解碼、質(zhì)量控制、產(chǎn)品生成、支撐庫管理和業(yè)務分監(jiān)控6個分系統(tǒng)，負責對各類實時和非實時觀測資料進行解碼、質(zhì)量控制，生成常用的數(shù)據(jù)產(chǎn)品；實現(xiàn)各種氣象觀測資料的綜合處理能力，實現(xiàn)地面、高空、輻射、農(nóng)業(yè)氣象、天氣雷達等數(shù)據(jù)基本質(zhì)量控制，生成面向應用需求的數(shù)據(jù)產(chǎn)品，減少不同用戶在數(shù)據(jù)處理上的重復勞動。

數(shù)據(jù)存儲管理系統(tǒng)(Service-Oriented Database, 簡稱SOD)包括數(shù)據(jù)存儲管理、入庫、處理、訪問服務、歸檔、業(yè)務控制管理6個分系統(tǒng)，運用數(shù)據(jù)庫技術(shù)對海量數(shù)據(jù)進行存儲管理，構(gòu)建全面支撐氣象業(yè)務、科研和服務的國家和省兩級數(shù)據(jù)庫，實現(xiàn)實時、歷史數(shù)據(jù)一體化存儲管理，規(guī)范氣象數(shù)據(jù)歸檔業(yè)務。

數(shù)據(jù)共享服務系統(tǒng)(Global Data Sharing, 簡稱GDS)包括數(shù)據(jù)編目管理、用戶服務管理、數(shù)據(jù)服務和分系統(tǒng)管理4個分系統(tǒng)，面向部門內(nèi)業(yè)務及科研用戶、社會公眾用戶、行業(yè)用戶，提供包括程序調(diào)用、數(shù)據(jù)共享分發(fā)、數(shù)據(jù)直接獲取、數(shù)據(jù)檢索下載等共享服務方式，為氣象實時業(yè)務應用提供數(shù)據(jù)訪問接口，實現(xiàn)數(shù)據(jù)庫系統(tǒng)與氣象核心業(yè)務應用系統(tǒng)的有效銜接，逐步實現(xiàn)完全基于數(shù)據(jù)庫的氣象數(shù)據(jù)應用。

業(yè)務監(jiān)控系統(tǒng)(Monitoring and Control Platform,簡稱MCP)包括實時監(jiān)視、綜合業(yè)務控制、綜合管理、系統(tǒng)支撐、監(jiān)控信息管理服務5個分系統(tǒng)，負責對數(shù)據(jù)收集、分發(fā)、處理、存儲和共享全過程進行綜合監(jiān)視和統(tǒng)計分析，建立統(tǒng)一的業(yè)務監(jiān)控平臺；實現(xiàn)對氣象信息業(yè)務的全面監(jiān)視以及作業(yè)調(diào)度和控制。

CIMISS平臺對于數(shù)據(jù)量大、時效性要求高的地面觀測資料(國家站和區(qū)域站)、雷達基數(shù)據(jù)、單站產(chǎn)品以及數(shù)值預報產(chǎn)品、衛(wèi)星資料等，從數(shù)據(jù)收集到完成處理并入庫存儲，全流程平均耗時不超過 1 min。平臺可支持300個用戶并發(fā)的Web數(shù)據(jù)訪問，數(shù)據(jù)訪問接口(API)支持50～100用戶并發(fā)的數(shù)據(jù)獲取，對于常見氣象業(yè)務應用場景的20用戶并發(fā)數(shù)據(jù)獲取在1 s內(nèi)，50用戶并發(fā)數(shù)據(jù)獲取在2 s內(nèi)。平臺各應用系統(tǒng)均采用集群架構(gòu)設(shè)計實現(xiàn)，具有良好的高可用性和可擴展性。

2.3 基礎(chǔ)平臺體系結(jié)構(gòu)

CIMISS平臺依托全國氣象寬帶網(wǎng)絡系統(tǒng)，連接國家級中心和全國31個省級中心，以實現(xiàn)國家級和各省級之間的互聯(lián)互通，保障氣象信息傳輸、共享的時效性和可靠性。

CIMISS平臺各級中心包括核心業(yè)務區(qū)、寬帶網(wǎng)雙向DMZ區(qū)(demililarized zone,隔離區(qū))、互聯(lián)網(wǎng)單向DMZ區(qū)、行業(yè)單向DMZ區(qū)4個網(wǎng)絡區(qū)域，其中，核心業(yè)務區(qū)由業(yè)務網(wǎng)(LAN)、管理私網(wǎng)、IB網(wǎng)和存域網(wǎng)(SAN)組成。在4個網(wǎng)絡區(qū)域內(nèi)，共建立數(shù)據(jù)收發(fā)集群、數(shù)據(jù)加工處理集群、并行數(shù)據(jù)庫服務器集群、數(shù)據(jù)存儲管理集群、應用支撐與共享服務集群、業(yè)務監(jiān)控平臺與FTP集群、行業(yè)共享服務器集群、Internet共享服務器集群8個集群系統(tǒng)，分別部署五大業(yè)務應用系統(tǒng)和大型商用集群數(shù)據(jù)庫系統(tǒng)(ORACLE)，實現(xiàn)其高可用性和可擴展性，避免單點故障，并通過負載均衡設(shè)備實現(xiàn)業(yè)務應用的負載均衡。此外，國家級、區(qū)域級、省級部門還配備高端陣列、大容量陣列和自動磁帶庫等多級存儲設(shè)備，用于氣象數(shù)據(jù)的存儲、備份和歸檔，總體物理結(jié)構(gòu)見圖2。

圖2 網(wǎng)絡體系結(jié)構(gòu)示意圖Fig.2 Framework of communication network of CIMISS

CIMISS采用網(wǎng)狀結(jié)構(gòu)，國家級中心與31個省級中心之間采用MPLS VPN方式相連，各省級網(wǎng)絡系統(tǒng)在各自現(xiàn)有網(wǎng)絡系統(tǒng)架構(gòu)基礎(chǔ)上進行合理部署以滿足信息共享平臺建設(shè)的需要。此外，國家級中心還通過衛(wèi)星廣播系統(tǒng)向各省級中心下發(fā)國家級指導產(chǎn)品和各省所需的全球和全國觀探測資料。

2.4 系統(tǒng)信息流程

CIMISS的核心目標是實現(xiàn)各種氣象資料和產(chǎn)品的收集、加工、存儲及服務，其業(yè)務邏輯具備流程化作業(yè)的特點，核心業(yè)務單元之間基于預定義的流程進行任務協(xié)作和數(shù)據(jù)交互。根據(jù)CIMISS的業(yè)務處理邏輯，可將業(yè)務處理過程劃分為3個階段：多源氣象數(shù)據(jù)收集與分發(fā)階段、氣象數(shù)據(jù)產(chǎn)品加工與存儲階段、氣象數(shù)據(jù)產(chǎn)品的共享服務階段。

具體信息流程見圖3。數(shù)據(jù)收集與分發(fā)系統(tǒng)通過多種網(wǎng)絡鏈路收集氣象數(shù)據(jù)，在對外部進行分發(fā)的同時，也完成對節(jié)點內(nèi)部加工處理系統(tǒng)的數(shù)據(jù)分發(fā)，收發(fā)系統(tǒng)需要歸檔的數(shù)據(jù)，直接提交給存儲管理系統(tǒng)歸檔；加工處理系統(tǒng)完成對氣象數(shù)據(jù)的解碼、質(zhì)量控制和產(chǎn)品加工后，將生成的氣象產(chǎn)品提交給存儲管理系統(tǒng)入庫，同時，將需要對外分發(fā)的氣象產(chǎn)品返回給數(shù)據(jù)收集與分發(fā)系統(tǒng)；存儲管理系統(tǒng)收到加工處理系統(tǒng)提交的氣象產(chǎn)品后，完成入庫操作，將數(shù)據(jù)存儲在實時庫、基礎(chǔ)庫中，并對加工系統(tǒng)和共享服務系統(tǒng)提供存儲數(shù)據(jù)的調(diào)取服務；共享服務系統(tǒng)響應本地用戶、行業(yè)用戶和社會用戶的數(shù)據(jù)檢索請求，從存儲管理系統(tǒng)提取氣象數(shù)據(jù)返回給用戶，實現(xiàn)氣象數(shù)據(jù)的共享服務；數(shù)據(jù)收發(fā)系統(tǒng)、加工處理系統(tǒng)、存儲管理系統(tǒng)和共享服務系統(tǒng)將本系統(tǒng)的統(tǒng)計和監(jiān)控信息發(fā)送至業(yè)務監(jiān)控系統(tǒng)，用于系統(tǒng)與應用的實時監(jiān)控。

圖3 CIMISS信息流程圖Fig.3 Data flow of CIMISS

3 CIMISS提供的基礎(chǔ)數(shù)據(jù)環(huán)境

3.1 CIMISS管理的氣象資料

CIMISS管理的氣象資料種類包含地面、高空、海洋、氣象輻射、農(nóng)業(yè)和生態(tài)、數(shù)值預報產(chǎn)品、大氣成分、歷史氣候代用、災害、雷達、衛(wèi)星、科學試驗和考察、氣象服務產(chǎn)品和其他資料，共14大類、498個子類、1500個細目，既包括實時觀測數(shù)據(jù)、各業(yè)務單位產(chǎn)品，也包括整編后的歷史數(shù)據(jù)和加工產(chǎn)品。CIMISS對系統(tǒng)內(nèi)運行和管理的資料建立全局數(shù)據(jù)目錄，并通過元數(shù)據(jù)描述氣象資料在系統(tǒng)內(nèi)部收集、分發(fā)、處理、存儲、歸檔、服務的業(yè)務流程。

地面、高空、海洋、氣象輻射、農(nóng)業(yè)和生態(tài)、大氣成分資料，主要是站點類資料。地面、高空、海洋包括全球和國內(nèi)資料，全球資料開始于1981年，主要來源于GTS，國內(nèi)資料開始于1951年，主要來源于全國測站的觀測資料，并實現(xiàn)了實時和歷史資料的一體化存儲管理，統(tǒng)一了歷史資料和實時資料的數(shù)據(jù)格式、數(shù)據(jù)表示方法、精度、單位等，解決了實時資料和歷史資料不一致的遺留問題。氣象輻射、農(nóng)氣資料、大氣成分主要為國內(nèi)資料。數(shù)值分析和預報產(chǎn)品包括國內(nèi)和國外數(shù)值預報系統(tǒng)的分析產(chǎn)品、預報產(chǎn)品和再分析產(chǎn)品等格點類資料，以GRIB1和GRIB2格式為主。國內(nèi)模式產(chǎn)品包括T213，T639全球模式和GRAPES區(qū)域模式產(chǎn)品等，國外模式產(chǎn)品包括歐洲中心、日本、德國、美國等國家的數(shù)值天氣預報產(chǎn)品。雷達資料包括我國160部以上多普勒天氣雷達基數(shù)據(jù)、單站產(chǎn)品、全國或區(qū)域組網(wǎng)產(chǎn)品。衛(wèi)星資料包括國內(nèi)外氣象衛(wèi)星1～3級產(chǎn)品，國內(nèi)包括極軌氣象衛(wèi)星FY-3A/B/C和靜止氣象衛(wèi)星FY-2D/E/F產(chǎn)品，國外主要為十多顆衛(wèi)星(如NOAA，TERRA，AQUA，MTSAT等)的產(chǎn)品。系統(tǒng)的日數(shù)據(jù)增量超過900 GB。

3.2 基礎(chǔ)氣象數(shù)據(jù)庫

CIMISS通過構(gòu)建統(tǒng)一的數(shù)據(jù)存儲管理系統(tǒng)(數(shù)據(jù)庫系統(tǒng))，實現(xiàn)對各類氣象數(shù)據(jù)的高效、完備、可擴充的一體化管理。按照用途和服務對象，氣象數(shù)據(jù)庫分為基礎(chǔ)庫、實時庫、互聯(lián)網(wǎng)庫和行業(yè)庫，各個庫存儲管理的數(shù)據(jù)范圍和種類不同?；A(chǔ)庫存儲管理氣象數(shù)據(jù)的全集，包括全部觀測資料和產(chǎn)品、元數(shù)據(jù)和管理應用信息等，其他3個庫均為基礎(chǔ)庫的子集。實時庫是為滿足實時氣象業(yè)務快速訪問需求而設(shè)立的體量較小的庫，主要存儲實時業(yè)務使用的實時和準實時資料，對以MICAPS應用為代表的實時氣象業(yè)務系統(tǒng)提供實時服務；互聯(lián)網(wǎng)庫和行業(yè)庫分別部署在互聯(lián)網(wǎng) DMZ區(qū)和行業(yè)DMZ區(qū)，根據(jù)具體的服務需求和存儲設(shè)備容量限制存儲短期的氣象數(shù)據(jù)，并通過GDS對行業(yè)和公眾用戶提供數(shù)據(jù)服務，當用戶需要的數(shù)據(jù)存儲在基礎(chǔ)庫時，通過將所需數(shù)據(jù)推送到DMZ區(qū)直接供用戶獲取，既滿足安全要求，又屏蔽大量公眾用戶和行業(yè)用戶對基礎(chǔ)庫的訪問壓力，確保基礎(chǔ)庫對內(nèi)部用戶的服務能力。

氣象數(shù)據(jù)庫系統(tǒng)采用ORACLE聯(lián)合文件系統(tǒng)的架構(gòu)，實現(xiàn)對海量、高并發(fā)訪問氣象數(shù)據(jù)的全生命周期的存儲管理。對于基礎(chǔ)數(shù)據(jù)庫中的雷達、衛(wèi)星、數(shù)值預報產(chǎn)品，采用盤陣在線和磁帶庫近線的分級存儲方式，其他資料均為盤陣在線存儲，并實現(xiàn)用戶對數(shù)據(jù)的透明訪問。國家級基礎(chǔ)數(shù)據(jù)庫存儲國內(nèi)外各類資料和產(chǎn)品的全集，省級基礎(chǔ)數(shù)據(jù)庫可根據(jù)該省服務需求對資料種類和在線存儲期限進行配置。國家級基礎(chǔ)庫的數(shù)據(jù)記錄數(shù)日增量約1682萬條，文件數(shù)日增量約為682萬個，每天新增的數(shù)據(jù)容量大于900 GB。對于地面、高空、輻射、海洋等常規(guī)資料，實時和歷史數(shù)據(jù)一體化永久在線存儲。

3.3 數(shù)據(jù)服務和訪問接口

CIMISS管理的氣象資料通過GDS面向業(yè)務系統(tǒng)和個人、部門內(nèi)外、行業(yè)內(nèi)外的用戶提供服務。提供4種數(shù)據(jù)服務方式：①訂閱服務。實時業(yè)務用戶可根據(jù)需求定制所需數(shù)據(jù)，即每日何時獲取何種數(shù)據(jù)。系統(tǒng)根據(jù)用戶要求，對數(shù)據(jù)進行專門加工處理后，將數(shù)據(jù)定時分發(fā)給用戶。②Web檢索下載?；跉庀髷?shù)據(jù)分級用戶分類服務原則，GDS的數(shù)據(jù)服務網(wǎng)站為用戶提供氣象數(shù)據(jù)目錄分類導航、定位，各類氣象數(shù)據(jù)和產(chǎn)品的查詢、下載和訂購服務，支持基于Web GIS的可視化檢索。③數(shù)據(jù)直接獲取服務。采用ftp方式，建立氣象資料快速下載服務。④業(yè)務系統(tǒng)API服務。面向業(yè)務系統(tǒng)提供基于腳本形式和可編程數(shù)據(jù)訪問服務接口，支持C，F(xiàn)ORTRAN，Java語言和Windows，Linux，UNIX應用平臺。

4 關(guān)鍵技術(shù)

4.1 基于消息和文件共享的平臺內(nèi)信息交換

CIMISS平臺通過業(yè)務控制信息的消息通信及基于共享文件目錄的氣象數(shù)據(jù)文件交換，實現(xiàn)平臺各系統(tǒng)間業(yè)務信息的快速傳遞、業(yè)務流程的無縫銜接和業(yè)務數(shù)據(jù)的有效流轉(zhuǎn)(圖4)。

CIMISS平臺利用消息隊列的可靠異步傳輸機制，采用成熟的消息中間件集群部署，構(gòu)建高性能、高可用的消息傳輸中心并對外提供統(tǒng)一標準的公共消息傳輸服務，降低系統(tǒng)的耦合度及管理復雜性，屏蔽底層異構(gòu)平臺和跨網(wǎng)絡域業(yè)務交互，實現(xiàn)系統(tǒng)間或系統(tǒng)內(nèi)不同功能邏輯單元的氣象業(yè)務和控制指令信息的消息交互，并推動氣象數(shù)據(jù)在系統(tǒng)間的流轉(zhuǎn)，實現(xiàn)應用的互連和互操作。

CIMISS系統(tǒng)間及系統(tǒng)內(nèi)功能單元之間大量氣象數(shù)據(jù)的交換，則通過共享文件系統(tǒng)進行。共享文件系統(tǒng)保證在資源組內(nèi)的所有節(jié)點可以并行訪問整個文件系統(tǒng)，各系統(tǒng)通過約定交互數(shù)據(jù)文件目錄及文件命名規(guī)則，制定相應的文件數(shù)據(jù)訪問權(quán)限，通過共享文件系統(tǒng)，實現(xiàn)透明訪問開放權(quán)限的所有存儲文件和目錄，以創(chuàng)建、復制、移動、硬鏈接、軟鏈接等多種方式，有效保證業(yè)務軟件之間氣象數(shù)據(jù)文件的傳遞與交互。

消息交互方式和文件共享方式在CIMISS平臺被綜合運用，確保整個平臺的高效、有序和穩(wěn)定運行。對消息交互方式，還設(shè)計了基于共享文件方式的降級運行模式，在消息中心失效時，通過消息文件共享交換，繼續(xù)完成業(yè)務的連續(xù)運行。

4.2 氣象數(shù)據(jù)標準化體系

信息資源管理基礎(chǔ)標準是指那些決定信息系統(tǒng)質(zhì)量，也是進行信息資源管理的最基本的標準[8]。CIMISS平臺建立氣象數(shù)據(jù)標準化體系框架，包括氣象數(shù)據(jù)分類及屬性、氣象數(shù)據(jù)處理加工算法、氣象信息管理、氣象數(shù)據(jù)服務接口(圖5)。其中,氣象數(shù)據(jù)分類及屬性標準(包括氣象資料分類編碼、氣象數(shù)據(jù)業(yè)務屬性、要素物理量屬性、全局氣象數(shù)據(jù)目錄等)是氣象數(shù)據(jù)自身固有多維度屬性的抽取、各類氣象數(shù)據(jù)在氣象信息系統(tǒng)中的身份注冊及上下游追蹤關(guān)系定義；氣象數(shù)據(jù)處理加工算法標準是定義和規(guī)范氣象數(shù)據(jù)在各業(yè)務環(huán)節(jié)處理過程中所使用的標準算法，確保全局數(shù)據(jù)處理的一致性和權(quán)威性；氣象信息管理標準提出了氣象信息資源管理布局和氣象數(shù)據(jù)庫規(guī)劃，定義氣象數(shù)據(jù)庫存儲結(jié)構(gòu)和存儲管理元數(shù)據(jù)；氣象數(shù)據(jù)服務接口標準定義了全局用戶數(shù)據(jù)訪問視圖，即最終用戶對數(shù)據(jù)實體的訪問接口、氣象數(shù)據(jù)應用元數(shù)據(jù)及數(shù)據(jù)訪問參數(shù)名值對、數(shù)據(jù)訪問接口等。

圖4 CIMISS平臺基于消息和文件共享的平臺內(nèi)業(yè)務交互協(xié)作圖Fig.4 Interchange and coordination of information between systems based on messages and files share

圖5 CIMISS平臺氣象數(shù)據(jù)標準化體系框架圖Fig.5 Framework of data standardization for CIMISS

通過系統(tǒng)地建立氣象數(shù)據(jù)標準化體系框架，CIMISS平臺全面規(guī)范了氣象數(shù)據(jù)的全業(yè)務域、全業(yè)務流程收集、處理、存儲和服務過程，實現(xiàn)平臺內(nèi)氣象數(shù)據(jù)處理及過程的規(guī)范化。

4.3 數(shù)據(jù)處理作業(yè)調(diào)度和算法的動態(tài)擴展

CIMISS涉及大量實時觀測資料高頻次的加工處理，如在國家級中心每6 min 1次的全國近160部天氣雷達上傳數(shù)據(jù)的單站產(chǎn)品和全國拼圖產(chǎn)品生成，給系統(tǒng)造成了很大壓力。為提高系統(tǒng)處理性能，必須進行作業(yè)的有效調(diào)度和并行處理，作業(yè)的并行和作業(yè)任務的科學調(diào)度管理是提高系統(tǒng)運行效率的關(guān)鍵[9-11]。CIMISS的數(shù)據(jù)處理作業(yè)部署在高性能計算集群(HPC)上，集群采用主從結(jié)構(gòu)構(gòu)建并行計算環(huán)境，選取一個配置較好的節(jié)點作為主節(jié)點，它接收計算任務，并將計算任務進程劃分成各個子任務，子任務進入待處理隊列中。主節(jié)點負責對各個從節(jié)點進行管理和控制，根據(jù)當前各節(jié)點的配置狀況、負載情況對作業(yè)進行調(diào)度，將計算任務分配給處理能力強的計算節(jié)點(圖6)。HPC集群內(nèi)的作業(yè)調(diào)度和負載均衡控制基于MPI實現(xiàn)，將多個數(shù)據(jù)處理任務根據(jù)負載均衡策略分配到多個計算節(jié)點上同時運行；負載均衡策略以基于業(yè)務預測的負載預定分配策略為主；對于計算量大的單個任務(如雷達組網(wǎng)產(chǎn)品生成任務)，進行任務內(nèi)并行處理，即將任務拆分成多個可并行的作業(yè)，分配到多臺計算節(jié)點上同時運行，從而最大限度利用計算資源，保證系統(tǒng)的時效性。

圖6 數(shù)據(jù)處理任務分配與資源調(diào)度示意圖Fig.6 Sketch map of task allocation and resource dispatch

為滿足系統(tǒng)的可擴展性和可配置性需求，將數(shù)據(jù)處理算法組件化，采用算法組件熱插拔技術(shù)以及基于腳本的流程配置技術(shù)，實現(xiàn)數(shù)據(jù)處理算法的動態(tài)擴展。在業(yè)務監(jiān)控分系統(tǒng)的算法動態(tài)管理中，采用基于XML(eXtensible Markup Language)的組件注冊及動態(tài)加載技術(shù)，實現(xiàn)氣象資料處理算法的變更和擴展；在調(diào)度管理分系統(tǒng)中，使用LUA腳本控制策略、業(yè)務參數(shù)以及處理流程，可以通過對腳本的修改，實現(xiàn)對處理流程及其策略、算法參數(shù)的配置及擴展。

4.4 元數(shù)據(jù)應用

元數(shù)據(jù)(metadata)是描述數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)主要應用于描述數(shù)據(jù)資源和組織數(shù)據(jù)資源。前者通過對數(shù)據(jù)屬性的描述，使用戶理解數(shù)據(jù)的意義，更好地使用數(shù)據(jù)；后者通過有效組織數(shù)據(jù)，使網(wǎng)絡化的數(shù)據(jù)資源易于發(fā)現(xiàn)、查找、管理、評價和共享[12]。目前，氣象數(shù)據(jù)管理中多將元數(shù)據(jù)技術(shù)應用于對數(shù)據(jù)資源的描述[13-15]。

CIMISS平臺設(shè)計了3類元數(shù)據(jù)分別用于數(shù)據(jù)的存儲管理和共享服務,包括：①核心元數(shù)據(jù)(CMD)。CMD用來描述數(shù)據(jù)本身的、與氣象業(yè)務相關(guān)的、相對靜態(tài)的信息,每一個面向服務的氣象數(shù)據(jù)集均有一個CMD定義及對應的數(shù)據(jù)說明文檔(DDD)，很多CMD還有對應的數(shù)據(jù)格式說明文檔、數(shù)據(jù)質(zhì)量文檔等附件。核心元數(shù)據(jù)由業(yè)務監(jiān)控系統(tǒng)維護，并作為公共配置信息，同步到數(shù)據(jù)收發(fā)系統(tǒng)以外的其他業(yè)務系統(tǒng)使用。②管理元數(shù)據(jù)(MMD)。MMD用來描述與數(shù)據(jù)管理相關(guān)的、相對動態(tài)的信息，為每一個存儲對象(一個或多個文件、目錄、表，或者表的一部分)定義MMD，主要包含存儲管理概要及統(tǒng)計信息、索引信息等。概要及統(tǒng)計信息包括數(shù)據(jù)量大小、數(shù)據(jù)完整性信息、存儲狀態(tài)(在線或離線)等。索引信息包括單個文件的文件名稱、存取路徑、時間、空間、文件大小、壓縮打包情況等索引信息。管理元數(shù)據(jù)的變化頻率高，由數(shù)據(jù)存儲管理系統(tǒng)產(chǎn)生、維護，并通過MMD訪問接口，為數(shù)據(jù)共享服務系統(tǒng)提供服務。③應用元數(shù)據(jù)(GMD)。GMD是共享服務系統(tǒng)的核心資源，GMD定義了數(shù)據(jù)資源屬性和服務功能屬性。資源屬性從核心元數(shù)據(jù)CMD中抽取，服務功能屬性包括數(shù)據(jù)結(jié)構(gòu)基本信息、數(shù)據(jù)關(guān)聯(lián)屬性、功能說明、數(shù)據(jù)政策(使用限制)、協(xié)議格式信息、訪問控制與認證信息等。通過GMD確定數(shù)據(jù)位置、服務接口、可提供的服務方式以及是否可服務。

4.5 公共配置信息管理

CIMISS平臺內(nèi)多個業(yè)務系統(tǒng)共同使用的業(yè)務配置信息稱為公共配置信息(CCI)，包括資料屬性、臺站信息、氣象要素、氣象元數(shù)據(jù)、系統(tǒng)資源、監(jiān)控管理策略、行政地理信息在內(nèi)的7大類，MCP對這些CCI進行統(tǒng)一管理，提供編輯、修改、存儲等管理功能，并采用基于消息服務的指令控制機制，當CCI發(fā)生變化時，由MCP負責向各業(yè)務系統(tǒng)發(fā)布變更控制指令，各系統(tǒng)接收到變更指令后同步變更CCI信息，并在此基礎(chǔ)上更新相關(guān)的私有配置信息。該系統(tǒng)針對CCI的管理機制確保了在CIMISS平臺內(nèi)對于全局配置信息的統(tǒng)一管理，減少維護成本，保證信息的唯一性和準確性。

4.6 全流程業(yè)務監(jiān)視和調(diào)度控制

MCP采用兩級監(jiān)控模式(綜合監(jiān)控和分監(jiān)控)實現(xiàn)對平臺內(nèi)系統(tǒng)資源、業(yè)務應用及氣象數(shù)據(jù)處理3個層面業(yè)務運行狀態(tài)的實時監(jiān)視、業(yè)務控制及統(tǒng)計分析。其中，綜合監(jiān)控是對業(yè)務系統(tǒng)宏觀層面的集中監(jiān)控、跨系統(tǒng)的業(yè)務運行狀態(tài)監(jiān)控以及全業(yè)務流程級別的策略控制，分監(jiān)控完成對各個業(yè)務系統(tǒng)內(nèi)部微觀層面運行狀態(tài)監(jiān)控、接受來自綜合監(jiān)控的控制指令并實現(xiàn)本系統(tǒng)內(nèi)部配置策略管理。

4.6.1 實時業(yè)務監(jiān)視

實時監(jiān)視功能采用分布式部署的任務調(diào)度器實現(xiàn)CIMISS平臺各監(jiān)視點原始監(jiān)視信息的采集，經(jīng)過多線程監(jiān)視信息處理以及基于故障關(guān)聯(lián)關(guān)系的故障分析，生成監(jiān)視數(shù)據(jù)(各種性能指標及告警信息)，通過基于長鏈接的數(shù)據(jù)實時推送機制實現(xiàn)多種形式的監(jiān)視數(shù)據(jù)展示，并通過氣象資料血緣關(guān)系追蹤機制實現(xiàn)對氣象數(shù)據(jù)處理流程的綜合監(jiān)視，為運維管理用戶提供多方位的監(jiān)視手段。

針對MCP需要采集的原始監(jiān)視信息的特點及監(jiān)視點特性，設(shè)計了多種原始監(jiān)視信息采集集群，包括任務搶占式采集集群和消息隊列搶占式采集集群，確保業(yè)務應用原始監(jiān)視信息和信息技術(shù)(IT)資源原始監(jiān)視信息采集的負載均衡。采用基于緩存的原始監(jiān)視信息處理機制。由于MCP在后臺處理和頁面展示過程中，需要頻繁使用配置參數(shù)等策略信息，如告警信息(EI)的過濾壓縮、基本關(guān)鍵性能指標(BKPI)的計算，MCP采用規(guī)范化規(guī)則定義技術(shù)，對過濾、壓縮、計算等處理邏輯以格式化規(guī)則方式進行描述，MCP啟動時，會將處理規(guī)則預先加載在內(nèi)存中，當采集模塊獲取相關(guān)的原始監(jiān)視信息后，處理模塊會從內(nèi)存中讀取規(guī)則策略，并進行實時處理，大大減少了數(shù)據(jù)庫輸入/輸出(I/O)操作，提高了程序執(zhí)行的性能和穩(wěn)定性。

通過氣象資料血緣關(guān)系追蹤機制實現(xiàn)對氣象數(shù)據(jù)處理流程的綜合監(jiān)視。MCP通過對CCI資料屬性信息的定義，建立氣象數(shù)據(jù)血緣關(guān)系模型。CTS,DPC,SOD在實時業(yè)務處理過程中為分系統(tǒng)內(nèi)定義每類資料賦予了實時處理狀態(tài)特征，向MCP傳輸詳細監(jiān)視信息(DI)；MCP采用任務調(diào)度器進行基于血緣關(guān)系的關(guān)聯(lián)統(tǒng)計與計算，形成所需的關(guān)鍵性能指標并實時展示。

4.6.2 業(yè)務控制

業(yè)務控制功能采用基于消息服務的指令控制機制，綜合控制通過消息向業(yè)務系統(tǒng)發(fā)布業(yè)務變更控制指令，實現(xiàn)指令的注冊、下達、確認、回滾和反饋。兩級監(jiān)控模式下的業(yè)務控制功能由綜合監(jiān)控中的總控與二級監(jiān)控中的分控協(xié)同完成，該功能為兩類影響業(yè)務運行的業(yè)務干預行為提供基于流程的控制與調(diào)度框架：跨系統(tǒng)的業(yè)務配置信息管理和業(yè)務指令控制。跨系統(tǒng)的業(yè)務配置信息管理采用工作流技術(shù)實現(xiàn)面向全平臺的業(yè)務變更調(diào)度，通過流程編排、流程調(diào)度完成控制指令的下達以及公共配置信息、各系統(tǒng)私有配置信息的流程化變更。業(yè)務指令控制通過監(jiān)控系統(tǒng)向各業(yè)務系統(tǒng)下達一系列的業(yè)務應用控制命令，干預業(yè)務運行過程。

業(yè)務控制框架一方面通過總控實現(xiàn)業(yè)務干預行為(業(yè)務配置、指令控制)的流程編排，啟動干預控制流程，調(diào)度干預行為參與各方(各業(yè)務系統(tǒng)分控)依次執(zhí)行控制行為；另一方面，通過各業(yè)務系統(tǒng)分控實現(xiàn)業(yè)務干預行為(業(yè)務配置、指令控制)的注冊，接受總控發(fā)出的控制調(diào)度，執(zhí)行實際的控制行為。

4.7 面向服務的多維度數(shù)據(jù)存儲策略

4.7.1 數(shù)據(jù)整合

我國氣象業(yè)務中對同種觀測資料可能來源于多種實時上傳資料，如降水觀測資料可來源于地面天氣報、地面補充天氣報、長Z文件、日降水文件等?？紤]到數(shù)據(jù)的唯一性和服務的便捷性，CIMISS數(shù)據(jù)庫系統(tǒng)按照一定的策略，對同一資料，同一觀測站、同一觀測時間、同一要素不同來源的觀測數(shù)據(jù)進行實時、定時、準實時和非實時數(shù)據(jù)等多個時間維度上的整合，形成一套統(tǒng)一的數(shù)據(jù)序列，屏蔽了編碼、傳輸、處理業(yè)務對用戶使用數(shù)據(jù)的影響。同時，對實時資料和歷史資料進行統(tǒng)一定義，以統(tǒng)一的數(shù)據(jù)規(guī)格(如精度、特征值、表示方法等)進行處理，實現(xiàn)實時歷史資料一體化存儲。

4.7.2 結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的混合存儲

CIMISS平臺所管理的數(shù)據(jù)可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其中,地面、高空、海洋、輻射等大多數(shù)常規(guī)觀測資料和特種觀測資料可以通過關(guān)系模型來進行結(jié)構(gòu)化描述，這些數(shù)據(jù)將被存儲在關(guān)系數(shù)據(jù)庫集群中，而雷達、衛(wèi)星和數(shù)值天氣預報等非結(jié)構(gòu)化數(shù)據(jù)則適合采用文件目錄方式直接存儲，并在關(guān)系數(shù)據(jù)庫中建立相應的索引和元數(shù)據(jù)描述信息。

存儲在CIMISS平臺關(guān)系型數(shù)據(jù)庫集群中的結(jié)構(gòu)化數(shù)據(jù)采用數(shù)據(jù)分表、數(shù)據(jù)分區(qū)、應用垂直分割、特定索引技術(shù)和索引分區(qū)、并行查詢等，實現(xiàn)數(shù)據(jù)的有效管理并提供高效的訪問。存儲在CIMISS平臺共享文件系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)采用靜態(tài)多級存儲方式進行存儲管理，國家級非結(jié)構(gòu)化數(shù)據(jù)采用動態(tài)多級存儲進行存儲管理，通過遷移、回遷實現(xiàn)這些數(shù)據(jù)在高端、低端和磁帶庫之間的流動。

4.7.3 多維度多副本存儲

為了提高服務時效，SOD對于用戶常用資料采用了冗余的存儲方式，即多種數(shù)據(jù)副本，為數(shù)據(jù)訪問者下載時提供多種可能的選擇，并提高總體的數(shù)據(jù)訪問效率。數(shù)據(jù)副本包括全集副本和子集副本兩種，副本按照一定的策略處理生成。策略定義了副本生成的規(guī)則，如數(shù)據(jù)的空間范圍、臺站范圍、時間范圍、文件組織方式等。

4.8 全局數(shù)據(jù)訪問視圖和統(tǒng)一訪問接口

為用戶提供數(shù)據(jù)應用開發(fā)接口(API)是CIMISS平臺的重要功能。CIMISS應用全局數(shù)據(jù)訪問視圖技術(shù)，從用戶使用數(shù)據(jù)角度定義CIMISS存儲的全局數(shù)據(jù)，將其映射為統(tǒng)一規(guī)范的不同的接口類型。全局數(shù)據(jù)訪問視圖由標準的氣象數(shù)據(jù)科學分類體系、面向服務的全局數(shù)據(jù)目錄、數(shù)據(jù)時空要素等多維度科學屬性定義、氣象數(shù)據(jù)的元數(shù)據(jù)描述信息、數(shù)據(jù)邏輯結(jié)構(gòu)、氣象數(shù)據(jù)元定義等組成。在進行數(shù)據(jù)訪問時，通過訪問解析映射處理算法，將全局統(tǒng)一數(shù)據(jù)訪問視圖映射為氣象數(shù)據(jù)庫中的數(shù)據(jù)存儲對象，并獲取數(shù)據(jù)。

氣象數(shù)據(jù)統(tǒng)一訪問接口是面向不同平臺和接口協(xié)議(Web服務、多種語言API、文件共享)的、由不同的氣象數(shù)據(jù)訪問參數(shù)和調(diào)取模板組合而成的一套數(shù)據(jù)讀取/寫入函數(shù)接口及腳本調(diào)用命令集，業(yè)務系統(tǒng)和用戶通過輸入訪問參數(shù)并嵌入各數(shù)據(jù)服務接口或調(diào)用數(shù)據(jù)服務腳本命令，獲取國家級數(shù)據(jù)環(huán)境中的氣象數(shù)據(jù)和產(chǎn)品，或向國家級數(shù)據(jù)環(huán)境直接寫入數(shù)據(jù)。數(shù)據(jù)統(tǒng)一服務接口具有多形式、可擴展、跨平臺、網(wǎng)絡化的特點。

數(shù)據(jù)統(tǒng)一訪問接口根據(jù)數(shù)據(jù)的不同，包括站點資料、報文資料、模式資料、雷達資料、衛(wèi)星資料等接口模型(圖7)，每一類模型設(shè)計不同的接口參數(shù)。接口參數(shù)分為業(yè)務參數(shù)和系統(tǒng)參數(shù)，接口類型模型將各業(yè)務參數(shù)和系統(tǒng)參數(shù)組合成數(shù)據(jù)訪問接口。

通過建立全局統(tǒng)一數(shù)據(jù)訪問視圖和統(tǒng)一訪問接口，CIMISS平臺實現(xiàn)對外屏蔽數(shù)據(jù)資源內(nèi)容的具體邏輯組織形式和物理存儲形式，使內(nèi)部數(shù)據(jù)結(jié)構(gòu)和存儲方式的變化、調(diào)整和擴展對外部業(yè)務系統(tǒng)完全透明，降低了數(shù)據(jù)環(huán)境系統(tǒng)和外部業(yè)務應用系統(tǒng)之間的耦合度，保證數(shù)據(jù)資源使用的規(guī)范性、穩(wěn)定性、可擴展性和持續(xù)性。

CIMISS平臺API接口可根據(jù)業(yè)務需求通過配置快速生成新接口，實現(xiàn)即配置、即發(fā)布、即使用，實現(xiàn)了零代碼開發(fā)，為快速響應業(yè)務系統(tǒng)新接口需求提供技術(shù)保障。

圖7 CIMISS數(shù)據(jù)訪問接口類型Fig.7 The model of application programming interfaces in CIMISS

5 CIMISS應用展望

對于數(shù)據(jù)管理者和數(shù)據(jù)服務提供者而言,CIMISS是氣象資料的收集、加工處理、存儲和服務平臺。任何一種新增的氣象資料或加工產(chǎn)品，均可劃分為CIMISS定義的數(shù)據(jù)類別中的一類，獲得相應數(shù)據(jù)代碼，在系統(tǒng)中注冊，可進入CIMISS從收集到服務的流程，納入MCP的監(jiān)控，實現(xiàn)該數(shù)據(jù)的規(guī)范管理和服務。當數(shù)據(jù)處理(如文件格式檢查、解碼、質(zhì)量控制、產(chǎn)品生成)算法發(fā)生改變時，由于CIMISS采用了算法組件熱插拔技術(shù)以及基于腳本的流程配置技術(shù)，相關(guān)的算法組件可以拆卸和重新裝載，實現(xiàn)算法更新。

對于數(shù)據(jù)使用者而言,CIMISS提供了使用氣象數(shù)據(jù)的環(huán)境。網(wǎng)上個人用戶可通過GDS提供的Web頁面檢索和下載CIMISS管理的全部數(shù)據(jù)。CIMISS最重要的應用是為各種業(yè)務應用系統(tǒng)提供公共的后臺數(shù)據(jù)支撐，為業(yè)務系統(tǒng)提供實時高效的數(shù)據(jù)訪問接口。如目前中央氣象臺MICAPS系統(tǒng)[16]通過調(diào)用國家級氣象資料存儲檢索系統(tǒng)[2]的實時數(shù)據(jù)庫經(jīng)預處理在本地生成文件供MICAPS檢索，CIMISS將為MICAPS提供一種直接訪問數(shù)據(jù)庫的數(shù)據(jù)接口，既免除了生成MICAPS中間文件的過程以提高效率，也使MICAPS不必維護本地數(shù)據(jù)文件系統(tǒng)。省級MICAPS也將直接采用與國家級完全相同的數(shù)據(jù)調(diào)用方式，可以去除其后端的文件解碼、MICAPS文件生成等數(shù)據(jù)預處理工作。目前，氣候信息交互顯示與分析平臺(CIPAS)[17]使用的是完全獨立的數(shù)據(jù)庫系統(tǒng)，支持該系統(tǒng)對數(shù)據(jù)的需求，省級需要國家級提供實時文件拷貝。CIMISS也可為CIPAS提供所需的歷史和實時數(shù)據(jù)環(huán)境，只需CIPAS修改系統(tǒng)輸入數(shù)據(jù)接口，即可從CIMISS中獲得所需的各類數(shù)據(jù)。

目前，國家級業(yè)務單位已有若干個基礎(chǔ)數(shù)據(jù)管理和服務系統(tǒng)，包括國家級氣象資料存儲檢索系統(tǒng)(MDSS)、風云氣象衛(wèi)星數(shù)據(jù)存檔與服務系統(tǒng)、WMO全球信息系統(tǒng)中心北京中心(GISC-BJ)、氣象科學數(shù)據(jù)共享服務網(wǎng)(CDC Online)等。CIMISS業(yè)務化運行后，將取代MDSS提供基礎(chǔ)數(shù)據(jù)業(yè)務管理和服務；風云氣象衛(wèi)星數(shù)據(jù)存檔與服務系統(tǒng)將作為CIMISS的有益補充，提供衛(wèi)星數(shù)據(jù)和產(chǎn)品的管理和服務，為用戶提供CIMISS未納入管理范圍內(nèi)的衛(wèi)星數(shù)據(jù)(如衛(wèi)星0級和部分1級產(chǎn)品)服務；GISC-BJ則承擔亞洲區(qū)域氣象觀測資料的國際交換和共享，是CIMISS不具備的功能。

由于CIMISS在國家級和省級部署，因此，在國家級和31個省級中心將為業(yè)務系統(tǒng)提供一致的數(shù)據(jù)環(huán)境，在國家級或任何一個省級運行的業(yè)務系統(tǒng)，只要其輸入數(shù)據(jù)基于CIMISS提供的數(shù)據(jù)環(huán)境，便可在全國推廣使用。

6 小 結(jié)

1) 全國綜合氣象信息共享平臺(CIMISS)是集氣象資料收集、加工處理、存儲歸檔和共享服務等多種功能于一體的大型氣象信息系統(tǒng)，平臺分為5個應用系統(tǒng)，即數(shù)據(jù)收發(fā)系統(tǒng)(GTS)、加工處理系統(tǒng)(DPC)、存儲管理系統(tǒng)(SOD)、共享服務系統(tǒng)(GDS)和業(yè)務監(jiān)控系統(tǒng)(MCP),實現(xiàn)對國家級和省級數(shù)據(jù)中心收集的全部氣象觀測資料和產(chǎn)品的全流程管理和共享服務，包括資料收集、解碼、質(zhì)量控制、產(chǎn)品加工、數(shù)據(jù)庫管理、數(shù)據(jù)備份、歸檔、Web檢索下載、API接口服務等。

2) CIMISS管理的氣象資料種類包含地面、高空、海洋、氣象輻射、農(nóng)業(yè)和生態(tài)、數(shù)值預報產(chǎn)品、大氣成分、歷史氣候代用、災害、雷達、衛(wèi)星、科學試驗和考察、氣象服務產(chǎn)品和其他資料，共14大類，實現(xiàn)歷史和實時資料的一體化管理。

3) 系統(tǒng)采用以數(shù)據(jù)為核心、以業(yè)務流程為主線、以需求為導向的設(shè)計理念，運用元數(shù)據(jù)、消息和文件共享機制、數(shù)據(jù)標準化分類、并行作業(yè)調(diào)度、多維度數(shù)據(jù)存儲、全局數(shù)據(jù)訪問視圖和統(tǒng)一訪問接口設(shè)計等多種先進的設(shè)計和實現(xiàn)技術(shù)，實現(xiàn)海量和復雜數(shù)據(jù)的有效管理以及規(guī)范、高效、穩(wěn)定、可擴展的系統(tǒng)設(shè)計目標。

CIMISS的業(yè)務化將規(guī)范國家級和省級氣象資料業(yè)務，實現(xiàn)全國氣象資料業(yè)務流程、數(shù)據(jù)分類和表達、數(shù)據(jù)存儲管理和數(shù)據(jù)服務接口的統(tǒng)一，為國家級和省級氣象業(yè)務提供標準的、一致的數(shù)據(jù)環(huán)境，極大地發(fā)揮氣象數(shù)據(jù)的應用效益。

[1] 熊安元,王伯民,王穎,等.氣象資料分類與編碼.中華人民共和國氣象行業(yè)標準QX/T102—2009.北京:氣象出版社,2009.

[2] 沈文海,趙芳,高華云,等.國家級氣象資料存儲檢索系統(tǒng)的建立.應用氣象學報,2004,15(6):727-736.

[3] 錢建梅,鄭旭東.國家衛(wèi)星氣象中心氣象衛(wèi)星資料存檔系統(tǒng).應用氣象學報,2003,14(6):756-762.

[4] 錢建梅,孫安來,徐喆,等.風云氣象衛(wèi)星數(shù)據(jù)存檔與服務系統(tǒng).應用氣象學報,2012,23(3):369-376.

[5] Wang Fudi.WMO Information System:Beijing Global Information System Center.BullAmerMeteorSoc,2013,94:991-994，doi:10.1175/BAMS-D-11-00068.1.

[6] 李集明,熊安元.氣象科學數(shù)據(jù)共享系統(tǒng)研究綜述.應用氣象學報,2004,15(增刊Ⅰ)：3-11.

[7] 李集明.基于Internet面向社會公益性共享的氣象科學數(shù)據(jù)存儲檢索策略研究.氣象科技,2007,35(4):589-592.

[8] 高復先.信息資源規(guī)劃——信息化建設(shè)基礎(chǔ)工程.北京:清華大學出版社,2002.

[9] 賈樹澤,楊軍,施進明,等.新一代氣象衛(wèi)星資料處理系統(tǒng)并行調(diào)度算法研究與應用.氣象科技,2010,38(1):96-101.

[10] 曾艷.基于MPI的主從式并行任務分配的研究與實現(xiàn).計算機應用與軟件,2010,27(6):139-141.

[11] 伍湘君,陳德輝,宋君強,等.GRAPES全球格點模式的并行計算負載平衡策略.氣象學報,2010,68(5):591-597.

[12] 祝婷,李湘.WMO信息系統(tǒng)中氣象元數(shù)據(jù)的設(shè)計與實現(xiàn).應用氣象學報,2012,23(2):238-244．

[13] 魏亮,劉士彬,王杰生.基于元數(shù)據(jù)目錄服務的地理空間數(shù)據(jù)共享.遙感技術(shù)與應用,2005,20(6):616-619．

[14] 王國復,徐楓,吳增祥.氣象元數(shù)據(jù)標準與信息發(fā)布技術(shù)研究.應用氣象學報,2005,16(1):114-121．

[15] 李集明,沈文海,王國復.氣象信息共享平臺及其關(guān)鍵技術(shù)研究.應用氣象學報,2006,17(5):621-628.

[16] 李月安,曹莉,高嵩,等.MICAPS 預報業(yè)務平臺現(xiàn)狀與發(fā)展.氣象,2010,36(7):50-55.

[17] 吳煥萍,張永強,孫家民,等.氣候信息交互顯示與分析平臺(CIPAS)設(shè)計與實現(xiàn).應用氣象學報,2013,24(5):631-640．

Design and Implementation of China Integrated Meteorological Information Sharing System (CIMISS)

Xiong Anyuan Zhao Fang Wang Ying Zhang Xiaoying Gao Feng Deng Li Tan Xiaohua Ma Qiang

(NationalMeteorologicalInformationCenter,Beijing100081)

Meteorological data play a fundamental role in processes of meteorological operations and services. In recent 20 years, China has rapidly developed traditional and newly observational systems, which produce a large volume of meteorological data and products. To meet requirements of data management and services, China Integrated Meteorological Information Sharing System (CIMISS) is developed by National Meteorological Information Center of China Meteorological Administration. The design principle, system structure and data flow, and core technologies of this system are introduced and illustrated in detail. CIMISS is composed of five sub-systems, which are China Telecommunication System (CTS), Data Processing Center (DPC), Service-Oriented Database (SOD), Global Data Sharing (GDS), Monitoring and Control Platform (MCP). CIMISS is designed for undertaking a series of operations of meteorological data collecting, processing, storage, retrieval and dissemination. Data cover all real-time and historical meteorological observations and products, including 14 classes that are surface, upper-air, solar radiation, oceanic meteorology, agro-meteorology, radar, satellite, proxy climate, atmospheric chemistry, numeric model analysis and forecast, scientific experiment, meteorological disaster, meteorological service product and the others. Data cover the geographic area from China to global, and the period from 1951 to now. Real-time data come from all kind of meteorological observation networks in China, and the Global Telecommunication System of World Meteorological Organization.

A set of information technologies are introduced and developed to design and implement the system, including inner-system message switching based on message middleware and the parallel file system, classification and representation of meteorological data, the dynamic extension of data processing scheduling and algorithms, the design and application of 3 types of metadata, the management of common configuration information, monitoring and controlling for whole procedures of operational flow, service-oriented data storage strategy, the unified accessing view and application programming interface.

CIMISS will manage all kinds of operational meteorological data used in national and provincial meteorological operations and services, and supply data application environment for operations of national service centers and 31 provincial service centers. Users can access the data by Web page and by application programming interface (API).

meteorological data; CIMISS; data management; data service

10.11898/1001-7313.20150412

國家發(fā)展改革委員會項目“新一代天氣雷達信息共享平臺”

熊安元,趙芳,王穎,等. 全國綜合氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn). 應用氣象學報，2015，26(4)：500-512.

2015-02-02收到， 2015-05-07收到再改稿。

* email: xay@cma.gov.cn