數(shù)據(jù)庫技術(shù)在山西氣象業(yè)務(wù)中的應(yīng)用

孟慧芳

摘要：氣象部門是以大量氣象信息數(shù)據(jù)收集、傳輸、處理、存儲為基礎(chǔ)的科研部門，數(shù)據(jù)的存儲管理經(jīng)歷了紙面記錄、計算機(jī)文件、專用的氣象信息準(zhǔn)數(shù)據(jù)庫等多種方式。隨著計算機(jī)技術(shù)和數(shù)據(jù)庫技術(shù)的不斷發(fā)展，計算機(jī)硬件的性能越來越好，通用數(shù)據(jù)庫對大容量、多類型數(shù)據(jù)的處理、管理能力的強(qiáng)大，氣象基本業(yè)務(wù)轉(zhuǎn)向以數(shù)據(jù)庫為基礎(chǔ)的工作方式，是必然的發(fā)展方向。

關(guān)鍵詞：數(shù)據(jù)處理；氣象；數(shù)據(jù)庫

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）25-0003-03

Abstract： The meteorological department in a large number of meteorological information data collection， transmission， processing， storage， on the basis of the scientific research department， data storage management experienced paper records， computer files， special meteorological information database and so on a variety of ways.With the continuous development of computer technology and database technology， computer hardware performance is getting better and better， universal database of large capacity， multi-type data processing， management ability strong， meteorological basic business Based on the database works， is the inevitable development direction.

Key words： data processing； weather； database

1 數(shù)據(jù)庫技術(shù)簡介

數(shù)據(jù)庫技術(shù)產(chǎn)生于20世紀(jì)60年代末70年代初，其主要目的是有效地管理和存取大量的數(shù)據(jù)資源。數(shù)據(jù)庫技術(shù)主要研究如何存儲，使用和管理數(shù)據(jù)，是數(shù)據(jù)管理的實(shí)用技術(shù)。

近年來，數(shù)據(jù)庫技術(shù)和計算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展相互滲透、相互促進(jìn)已成為當(dāng)今計算機(jī)領(lǐng)域發(fā)展迅速和應(yīng)用廣泛的兩大領(lǐng)域。數(shù)據(jù)庫技術(shù)不僅應(yīng)用于事務(wù)處理，并且進(jìn)一步應(yīng)用到情報檢索，人工智能，計算機(jī)輔助設(shè)計等領(lǐng)域，在氣象行業(yè)的應(yīng)用也十分普遍。

1.1 數(shù)據(jù)處理技術(shù)發(fā)展的三個階段

數(shù)據(jù)處理技術(shù)的發(fā)展與計算機(jī)技術(shù)的發(fā)展密切相關(guān)，數(shù)據(jù)處理技術(shù)經(jīng)歷了三個發(fā)展階段：人工管理階段、文件系統(tǒng)數(shù)據(jù)的管理階段和數(shù)據(jù)庫系統(tǒng)階段。

1.1.1 人工管理階段

早期的計算機(jī)主要用于科學(xué)計算，計算機(jī)的存儲設(shè)備只是磁帶、卡片、紙帶等，既沒有操作系統(tǒng)，也沒有管理數(shù)據(jù)的軟件。這時候?qū)?shù)據(jù)處理主要是人工管理。人工管理數(shù)據(jù)階段的特點(diǎn)：數(shù)據(jù)無法長期保存，沒有專門的軟件對數(shù)據(jù)進(jìn)行管理，數(shù)據(jù)無法實(shí)現(xiàn)共享，每個應(yīng)用程序有著相應(yīng)的數(shù)據(jù)，不同的應(yīng)用和程序之間無法共享數(shù)據(jù)。數(shù)據(jù)的冗余度大。數(shù)據(jù)不具有獨(dú)立性。應(yīng)用程序與數(shù)據(jù)密切相關(guān)，一旦數(shù)據(jù)的結(jié)構(gòu)發(fā)生改變，應(yīng)用程序也要作相應(yīng)調(diào)整。

1.1.2 文件系統(tǒng)階段

計算機(jī)技術(shù)發(fā)展到一定階段后，出現(xiàn)了磁盤等直接存取的硬件設(shè)備和專門用于數(shù)據(jù)管理的文件系統(tǒng)，不但可以實(shí)現(xiàn)文件的批處理，還可以聯(lián)機(jī)實(shí)時處理。文件系統(tǒng)管理數(shù)據(jù)階段的特點(diǎn)：數(shù)據(jù)事以長期保存。由文件系統(tǒng)專門管理數(shù)據(jù)，但在共享性、獨(dú)立性方面仍存在著明顯缺陷。

1.1.3 數(shù)據(jù)庫系統(tǒng)階段

20世紀(jì)60年代中后期以來，計算機(jī)技術(shù)得到迅猛發(fā)展，出現(xiàn)了大容量的磁盤設(shè)備，硬件性能大幅提升，操作系統(tǒng)也可以實(shí)現(xiàn)多用戶、多應(yīng)用的實(shí)進(jìn)處理，出現(xiàn)了數(shù)據(jù)庫管理系統(tǒng)，數(shù)據(jù)庫管理系統(tǒng)示意圖見圖1。

數(shù)據(jù)庫系統(tǒng)管理數(shù)據(jù)的主要特征：數(shù)據(jù)結(jié)構(gòu)化。用數(shù)據(jù)模型來描述數(shù)據(jù)，采用記錄等形式來組織數(shù)據(jù)。數(shù)據(jù)共享性高、冗余度小、易擴(kuò)充。數(shù)據(jù)獨(dú)立性強(qiáng)。數(shù)據(jù)的獨(dú)立性保證當(dāng)數(shù)據(jù)庫中的數(shù)據(jù)發(fā)生改變時，應(yīng)用程序不用改變，對數(shù)據(jù)的集中控制。數(shù)據(jù)庫管理系統(tǒng)提供了對據(jù)的安全性、完整性、并發(fā)性、可恢復(fù)性等方面的集中控制。

1.2 數(shù)據(jù)庫

數(shù)據(jù)庫（Database，簡稱DB）是長期儲存在計算機(jī)內(nèi)、有組織的、可共享的大量數(shù)據(jù)集合。

數(shù)據(jù)庫管理系統(tǒng)（Database Management System， DBMS）位于應(yīng)用程序和操作系統(tǒng)之間，是為建立、使用和維護(hù)數(shù)據(jù)庫而配置的一層數(shù)據(jù)管理軟件、負(fù)責(zé)對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行統(tǒng)一的管理和控制。

數(shù)據(jù)庫系統(tǒng)（Database System， DBS）是帶有數(shù)據(jù)庫的計算機(jī)系統(tǒng)。包括數(shù)據(jù)庫、數(shù)據(jù)庫關(guān)系統(tǒng)、應(yīng)用程序、數(shù)據(jù)庫管理員以及用戶等部分。

2 山西氣象業(yè)務(wù)中數(shù)據(jù)庫的應(yīng)用

2.1 Sybase數(shù)據(jù)庫

Sybase 數(shù)據(jù)庫管理系統(tǒng)具有以下特點(diǎn)： （1） 開放的體系結(jié)構(gòu)； （2） 可伸縮性，不管SQL Server 是安裝在哪一個平臺上，所有的表、SQL 代碼、存儲過程等數(shù)據(jù)庫對象都能在其上運(yùn)行； （3） 互操作性，即能透明地與其他廠商的DBMS 集成在一起； （4） 分布式數(shù)據(jù)庫支持； （5） 能保持?jǐn)?shù)據(jù)的安全和完整。

全國氣象部門所應(yīng)用的9210衛(wèi)星通信工程的核心組成部分之一“數(shù)據(jù)庫子系統(tǒng)”是國家級、區(qū)域級、省級信息控制中心和地市級管理系統(tǒng)中建立的四級分布實(shí)時氣象資料數(shù)據(jù)庫系統(tǒng)。9210數(shù)據(jù)庫系統(tǒng)是利用SYBASE商用數(shù)據(jù)庫管理系統(tǒng)建立的一個實(shí)時數(shù)據(jù)處理系統(tǒng)。系統(tǒng)組織和管理全球觀測的氣象資料，以及基于這些觀測資料加工而成的氣象分析產(chǎn)品、預(yù)報產(chǎn)品、圖形圖像產(chǎn)品等資料。endprint

9210數(shù)據(jù)庫系統(tǒng)是一個以客戶機(jī)/服務(wù)器體系結(jié)構(gòu)建立在網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)庫系統(tǒng)。利用本系統(tǒng)提供的檢索功能，用戶可以在主機(jī)終端和WINDOWS環(huán)境下使用實(shí)施程序或高級語言接口對本系統(tǒng)中的各種資料進(jìn)行查詢。

基于SOA的山西省氣象歷史數(shù)據(jù)庫系統(tǒng)就是以此為依托建立的WEB方式查詢。目前現(xiàn)在數(shù)據(jù)庫技術(shù)的發(fā)展，采用SOA架構(gòu)，利用web service組件（J2EE） 對歷史數(shù)據(jù)庫開發(fā)能夠在內(nèi)網(wǎng)上進(jìn)行各種查詢訪問、統(tǒng)計的共享服務(wù)系統(tǒng)。SYBASE數(shù)據(jù)庫包含了：地面氣候月報表資料，包括每日3次或4次的定時觀測的氣壓、氣溫、濕球溫度、露點(diǎn)溫度、水汽壓、相對濕度、云量、云高、云狀、能見度、降水量、蒸發(fā)量、積雪、積冰、風(fēng)向、風(fēng)速、凍土、日照、地溫等資料，建立山西省氣象數(shù)據(jù)庫應(yīng)用服務(wù)系統(tǒng)，提供數(shù)據(jù)庫管理、用戶管理、數(shù)據(jù)查詢等功能，用戶可以通過這個系統(tǒng)實(shí)現(xiàn)氣象科學(xué)數(shù)據(jù)的查詢統(tǒng)計，為日常氣象決策服務(wù)及科研開發(fā)的使用提供便利。系統(tǒng)要求可擴(kuò)展、可移植性強(qiáng)。

系統(tǒng)的建成將為氣象預(yù)報水平的提高和領(lǐng)導(dǎo)正確決策提供及時準(zhǔn)確的依據(jù)，同時也可為社會各界科學(xué)研究和公益服務(wù)提供歷史氣象資料，使氣象歷史數(shù)據(jù)得以有效地利用，最大限度地為社會經(jīng)濟(jì)發(fā)展發(fā)揮應(yīng)有的作用。

2.2 MySQL數(shù)據(jù)庫

目前省內(nèi)新一代通信系統(tǒng)與全國綜合氣象信息共享平臺（CIMISS）中收發(fā)業(yè)務(wù)系統(tǒng)（CTS）采用了MySQL數(shù)據(jù)庫。

新一代國內(nèi)氣象通信系統(tǒng)是由國家氣象信息中心組織開發(fā)的新一代國內(nèi)通信系統(tǒng)。系統(tǒng)由數(shù)據(jù)收發(fā)系統(tǒng)、存檔服務(wù)系統(tǒng)、信息服務(wù)系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)和業(yè)務(wù)監(jiān)控系統(tǒng)五個系統(tǒng)組成。系統(tǒng)主要功能包括：氣象信息收集及分發(fā)傳輸服務(wù)、實(shí)時數(shù)據(jù)的處理、實(shí)時氣象信息服務(wù)、實(shí)時數(shù)據(jù)通信業(yè)務(wù)監(jiān)控、業(yè)務(wù)信息統(tǒng)計和查詢服務(wù)等幾個大的功能組成。

MySQL是一個關(guān)系型數(shù)據(jù)庫系統(tǒng)，將數(shù)據(jù)保存在不同的表中，增加了讀寫速度和靈活性。MySQL對某些功能（例如引用、事務(wù)、審計等）的實(shí)現(xiàn)方式使得它與其他的關(guān)系型數(shù)據(jù)庫相比缺少了一些可靠性。但對于簡單繁重的讀取操作，在氣象傳輸業(yè)務(wù)系統(tǒng)中，對于傳輸頻次有較高要求，有頻繁的讀寫操作，MySQL比較適用。

MySQL群集需要有一組計算機(jī)，每臺計算機(jī)的角色可能是不一樣的。MySQL群集中有三種節(jié)點(diǎn)：管理節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和SQL節(jié)點(diǎn)。群集中的某計算機(jī)可能是某一種節(jié)點(diǎn)，也可能是兩種或三種節(jié)點(diǎn)的集合。這三種節(jié)點(diǎn)只是在邏輯上的劃分，所以它們不一定和物理計算機(jī)是一一對應(yīng)的關(guān)系。

管理節(jié)點(diǎn)（也可以稱管理服務(wù)器）主要負(fù)責(zé)管理數(shù)據(jù)節(jié)點(diǎn)和SQL節(jié)點(diǎn)，還有群集配置文件和群集日志文件。它監(jiān)控其他節(jié)點(diǎn)的工作狀態(tài)，能夠啟動、關(guān)閉或重啟某個節(jié)點(diǎn)。其他節(jié)點(diǎn)從管理節(jié)點(diǎn)檢索配置數(shù)據(jù)，當(dāng)數(shù)據(jù)節(jié)點(diǎn)有新事件時就把事件信息發(fā)送給管理節(jié)點(diǎn)并寫入群集日志。數(shù)據(jù)節(jié)點(diǎn)用于存儲數(shù)據(jù)。SQL節(jié)點(diǎn)跟一般的MySQL服務(wù)器是一樣的，我們可以通過它進(jìn)行SQL操作。

2.3 ORACLE數(shù)據(jù)庫

Oracle Database，又名Oracle RDBMS，簡稱Oracle。是關(guān)系數(shù)據(jù)庫管理系統(tǒng)。其系統(tǒng)具有可移植性好、使用方便、高效率、可靠性好的 適應(yīng)高吞吐量和各類大、中、小、微機(jī)環(huán)境等特點(diǎn)。

在全國氣象信息共享平臺（山西）CIMISS系統(tǒng)中應(yīng)用了ORACLE11g R2數(shù)據(jù)庫，氣象數(shù)據(jù)庫系統(tǒng)采用ORACLE聯(lián)合文件系統(tǒng)的架構(gòu)，實(shí)現(xiàn)對海量、高并發(fā)訪問氣象數(shù)據(jù)的全生命周期的存儲管理。SOD系統(tǒng)是CIMISS系統(tǒng)的核心業(yè)務(wù)模塊，包括數(shù)據(jù)入庫及管理、監(jiān)視等多種功能的統(tǒng)一數(shù)據(jù)存儲管理平臺。CIMISS通過構(gòu)建統(tǒng)一的數(shù)據(jù)存儲管理系統(tǒng)（數(shù)據(jù)庫系統(tǒng)），實(shí)現(xiàn)對各類氣象數(shù)據(jù)的高效、完備、可擴(kuò)充的一體化管理。按照用途和服務(wù)對象，氣象數(shù)據(jù)庫分為基礎(chǔ)庫、實(shí)時庫、互聯(lián)網(wǎng)庫和行業(yè)庫，各個庫存儲管理的數(shù)據(jù)范圍和種類不同?；A(chǔ)庫存儲管理氣象數(shù)據(jù)的全集，包括全部觀測資料和產(chǎn)品、元數(shù)據(jù)和管理應(yīng)用信息等，其他3個庫均為基礎(chǔ)庫的子集。

存儲管理系統(tǒng)的核心任務(wù)是構(gòu)建一個“氣象信息數(shù)據(jù)庫系統(tǒng)”，這一數(shù)據(jù)庫系統(tǒng)是上游數(shù)據(jù)收發(fā)、加工處理與下游的共享服務(wù)系統(tǒng)之間的銜接點(diǎn)和轉(zhuǎn)折點(diǎn)。在業(yè)務(wù)運(yùn)行過程中，上游系統(tǒng)將數(shù)據(jù)源源不斷傳遞到本系統(tǒng)，以規(guī)范化的方式存儲之后，系統(tǒng)將快速向下游系統(tǒng)發(fā)布數(shù)據(jù)和提供數(shù)據(jù)服務(wù)，系統(tǒng)的存儲能力和運(yùn)行效率將直接影響到數(shù)據(jù)的服務(wù)能力。

數(shù)據(jù)庫的核心內(nèi)容是根據(jù)不同用戶需求，為共享服務(wù)系統(tǒng)、加工處理系統(tǒng)等使用者提供的各類氣象數(shù)據(jù)信息以及相關(guān)支撐信息的集合，包括氣象數(shù)據(jù)和產(chǎn)品、元數(shù)據(jù)、氣象數(shù)據(jù)的管理和應(yīng)用信息、業(yè)務(wù)監(jiān)視統(tǒng)計信息等，此外，還包括進(jìn)行歸檔的氣象數(shù)據(jù)。從邏輯上劃分，CIMISS可包括4個“數(shù)據(jù)庫”，分別是“實(shí)時庫”，“基礎(chǔ)庫”，“監(jiān)控庫”和“支撐庫”，所有這些“數(shù)據(jù)庫”由數(shù)據(jù)庫存儲管理系統(tǒng)負(fù)責(zé)管理和維護(hù)。

“數(shù)據(jù)庫應(yīng)用系統(tǒng)”實(shí)現(xiàn)對氣象信息數(shù)據(jù)庫中所存儲氣象數(shù)據(jù)的入庫、處理、備份恢復(fù)、遷移回遷、數(shù)據(jù)歸檔、存儲結(jié)構(gòu)管理及安全控制，為本系統(tǒng)的使用者提供標(biāo)準(zhǔn)且統(tǒng)一的數(shù)據(jù)訪問服務(wù)接口，并進(jìn)行系統(tǒng)運(yùn)行必需的存儲配置信息管理。

氣象信息數(shù)據(jù)庫存儲的主要內(nèi)容是各類氣象數(shù)據(jù)及相關(guān)的數(shù)據(jù)信息。根據(jù)不同的服務(wù)特性，本系統(tǒng)的數(shù)據(jù)庫由4個邏輯數(shù)據(jù)庫組成，分別為實(shí)時數(shù)據(jù)庫（RDB），基礎(chǔ)數(shù)據(jù)庫（BDB），監(jiān)控信息數(shù)據(jù)庫（MDB）和支撐數(shù)據(jù)庫（SDB），數(shù)據(jù)庫的邏輯結(jié)構(gòu)見圖2。

3 數(shù)據(jù)庫整合

隨著氣象探測和觀測技術(shù)的不斷進(jìn)步，氣象資料的種類和數(shù)量與日俱增，省級信息中心實(shí)時收集來著國內(nèi)外的各種氣象資料和業(yè)務(wù)產(chǎn)品數(shù)量已近TB級別，如何實(shí)時快速收集和處理這些海量的資料和業(yè)務(wù)產(chǎn)品，有效管理氣象資料，為用戶提供方便快捷的數(shù)據(jù)服務(wù)，是氣象資料業(yè)務(wù)的重要內(nèi)容。近年來，通過各類不同的項目，氣象業(yè)務(wù)中已建設(shè)了多個為不同目的而服務(wù)的數(shù)據(jù)庫系統(tǒng)。

為了能夠更全面地為用戶提供所有這些不同類型數(shù)據(jù)庫中的氣象數(shù)據(jù)的服務(wù)，對多個數(shù)據(jù)庫并存的復(fù)雜狀況進(jìn)行改進(jìn)，減少不必要的數(shù)據(jù)冗余，使數(shù)據(jù)存儲和服務(wù)逐步實(shí)現(xiàn)資源利用和管理的集約化，在逐步建立完善的氣象業(yè)務(wù)中對已建和在建的數(shù)據(jù)庫系統(tǒng)進(jìn)行一定程度的整合，實(shí)現(xiàn)氣象數(shù)據(jù)的存儲規(guī)范和集約化，將氣象數(shù)據(jù)有效合理的應(yīng)用，為氣象預(yù)報業(yè)務(wù)、氣象服務(wù)業(yè)務(wù)提供有力的數(shù)據(jù)保障。通過整合省級中心的數(shù)據(jù)庫系統(tǒng)將形成以基礎(chǔ)數(shù)據(jù)庫為核心的邏輯上統(tǒng)一的數(shù)據(jù)存儲管理和服務(wù)系統(tǒng)。

參考文獻(xiàn)：

[1] 沈文海，趙芳，高華云，等.國家級氣象資料存儲檢索系統(tǒng)的建立[J].應(yīng)用氣象學(xué)報，2004，15（6）：727-736.

[2] 吳煥萍，張永強(qiáng)，孫家民，等.氣象信息交互顯示與分析平臺（CIPAS）設(shè)計與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報，2013，24（5）：631-640.

[3] 李月安，曹莉，高嵩，等.MICAPS預(yù)報業(yè)務(wù)平臺現(xiàn)狀與發(fā)展[J].氣象，2010，36（7）：50-55.

[4] 韓笑，王力，王吉濱，曹錦飛.一種地市級氣象數(shù)據(jù)庫的設(shè)計與應(yīng)用[J]. 氣象科技，2015（6）.

[5] 王若曈，黃向東，張博，王建民，羅兵.海量氣象數(shù)據(jù)實(shí)時解析與存儲系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J]. 計算機(jī)工程與科學(xué)， 2015（11）.

[6] 白長清，矯宏鶴.云計算在氣象檢定系統(tǒng)中的應(yīng)用[J]. 軟件，2015（11）.

[7] 劉俊娜，唐懷甌，季永華. 省級氣象探測資料歸檔與備份系統(tǒng)[J]. 電子世界，2015（21）.endprint