基于空間數(shù)據(jù)庫的氣象數(shù)據(jù)存儲及實(shí)時(shí)更新

陳晴，呂終亮，鄭衛(wèi)江，胡永亮，滕舟（.浙江省氣象信息網(wǎng)絡(luò)中心，杭州　3007；.中國氣象局國家氣象中心預(yù)報(bào)系統(tǒng)與開放實(shí)驗(yàn)室，北京0008）

?

基于空間數(shù)據(jù)庫的氣象數(shù)據(jù)存儲及實(shí)時(shí)更新

陳晴1，呂終亮2，鄭衛(wèi)江2，胡永亮1，滕舟1
（1.浙江省氣象信息網(wǎng)絡(luò)中心，杭州310017；2.中國氣象局國家氣象中心預(yù)報(bào)系統(tǒng)與開放實(shí)驗(yàn)室，北京100081）

摘要：

關(guān)鍵詞：

Model Builder建模技術(shù)；柵格數(shù)據(jù)；空間數(shù)據(jù)庫引擎（ArcSDE）

0　引言

地理信息系統(tǒng)（Geographic Information System，GIS）是以采集、存儲、管理、顯示與分析地球表面與空間位置、地理分布有關(guān)數(shù)據(jù)的計(jì)算機(jī)信息系統(tǒng)，是一種分析和處理海量空間數(shù)據(jù)的技術(shù)[1］。隨著GIS系統(tǒng)在更加復(fù)雜化、集成度更高和并發(fā)性更強(qiáng)等方面的應(yīng)用需求，系統(tǒng)所需的空間數(shù)據(jù)量急劇地增長，用戶對空間數(shù)據(jù)并發(fā)的需求也日漸突出。GIS中用于存儲和管理空間數(shù)據(jù)的數(shù)據(jù)庫，經(jīng)歷了從文件系統(tǒng)到關(guān)系型數(shù)據(jù)庫擴(kuò)展、到面向?qū)ο髷?shù)據(jù)庫、再到對象-關(guān)系數(shù)據(jù)庫的演變歷程[2］?？臻g數(shù)據(jù)庫技術(shù)是GIS的底層支撐技術(shù)，而空間數(shù)據(jù)庫引擎是GIS前端訪問空間數(shù)據(jù)庫的必經(jīng)橋梁。隨著GIS技術(shù)的不斷發(fā)展，各種類型的空間數(shù)據(jù)引擎層出不窮。目前，國內(nèi)外大型GIS的空間數(shù)據(jù)引擎產(chǎn)品在設(shè)計(jì)和實(shí)現(xiàn)方面各有所長。主要有ESRI公司的ArcSDE、MapInfo公司的SpatialWare以及國內(nèi)SuperMap公司的XSDE等。

目前，基于GIS的氣象信息化研究已經(jīng)比較普遍[3-5］，我們在“氣象應(yīng)急服務(wù)系統(tǒng)中”嘗試應(yīng)用ArcSDE和Oracle關(guān)系型數(shù)據(jù)庫對氣象空間數(shù)據(jù)和屬性數(shù)據(jù)進(jìn)行統(tǒng)一管理，方便基于GIS技術(shù)應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)訪問。本文基于COM的GIS二次開發(fā)技術(shù)和ArcGIS Model Builder建模技術(shù)，開發(fā)組件構(gòu)建模型，結(jié)合ArcSDE的工作機(jī)制對氣象自動(dòng)出圖系統(tǒng)進(jìn)行改進(jìn)，系統(tǒng)通過自動(dòng)調(diào)用模型對各類實(shí)時(shí)的氣象數(shù)據(jù)進(jìn)行處理，形成柵格數(shù)據(jù)后存儲到ArcSDE中，增強(qiáng)了氣象數(shù)據(jù)的共享和訪問能力。

1　系統(tǒng)設(shè)計(jì)

1.1氣象自動(dòng)出圖系統(tǒng)總體架構(gòu)

氣象自動(dòng)出圖系統(tǒng)是一套基于GIS技術(shù)，以后臺運(yùn)行的方式自動(dòng)生成氣象專題地圖，滿足氣象服務(wù)材料制作需求的系統(tǒng)[6］。系統(tǒng)總體框架由服務(wù)器、數(shù)據(jù)服務(wù)層以及客戶端這三層結(jié)構(gòu)組成，其總體架構(gòu)如圖1所示。

1.2業(yè)務(wù)處理流程

基于ComGIS的二次開發(fā)技術(shù)開發(fā)組件，利用ArcGIS Model Builder技術(shù)制作模型獲取氣象領(lǐng)域的多格式數(shù)據(jù)源（文件），對數(shù)據(jù)進(jìn)行轉(zhuǎn)換、分析處理，將數(shù)據(jù)上傳到ArcSDE中，向數(shù)據(jù)庫添加執(zhí)行成功記錄。

圖1　氣象自動(dòng)出圖系統(tǒng)總體架構(gòu)

系統(tǒng)后臺通過任務(wù)配置管理用戶設(shè)置的時(shí)間，定時(shí)運(yùn)行模型。前臺通過用戶界面，對后臺模型運(yùn)行狀況進(jìn)行監(jiān)測，出現(xiàn)異常時(shí)給用戶一個(gè)友好的提示。系統(tǒng)同時(shí)具有捕捉錯(cuò)誤的功能，并將不同的錯(cuò)誤分為兩類（致命錯(cuò)誤、一般錯(cuò)誤）記錄在系統(tǒng)自帶的數(shù)據(jù)庫中，系統(tǒng)針對不同的錯(cuò)誤進(jìn)行相應(yīng)處理。對于嚴(yán)重錯(cuò)誤，系統(tǒng)將重啟服務(wù)器；對于一般錯(cuò)誤，系統(tǒng)將重置任務(wù)，隔段時(shí)間后再次執(zhí)行模型。用戶也可以使用手動(dòng)運(yùn)行功能設(shè)置模型參數(shù)并運(yùn)行模型。主要流程如圖2所示。

2　系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)

2.1基于COM的GIS二次開發(fā)技術(shù)

ComGIS基于GIS技術(shù)與COM技術(shù)，是一種面向?qū)ο蠹夹g(shù)和構(gòu)件式技術(shù)的GIS軟件。其基本思想是把GIS的各種功能模塊進(jìn)行分類，劃分為不同類型的控件，每個(gè)控件完成各自相應(yīng)的功能，各GIS控件之間以及GIS控件與其他非GIS控件之間，通過可視化的開發(fā)工具集成起來。組件式GIS基于組件對象平臺，具有標(biāo)準(zhǔn)的接口，允許跨語言應(yīng)用，因而使GIS軟件的可配置性、可擴(kuò)展性和開放性更強(qiáng)，使用更靈活，二次開發(fā)更方便[6］。

系統(tǒng)基于.NET Framework開發(fā)環(huán)境，以ArcGIS Desktop、ArcObjects和ArcGIS Engine為開發(fā)平臺，利用COM組件庫和ActiveX控件開發(fā)基于GIS的組件。

2.2基于ArcGIS Model Builder的氣象數(shù)據(jù)轉(zhuǎn)換

ArcGIS Desktop是ESRI公司推出的為企業(yè)構(gòu)建完整地理信息系統(tǒng)的綜合GIS軟件平臺，是一系列整合的應(yīng)用程序的總稱。ArcGIS Model Builder作為其中的一個(gè)應(yīng)用程序，是一種高效的機(jī)制，它為設(shè)計(jì)和實(shí)現(xiàn)空間處理模型（包括工具、腳本和數(shù)據(jù)）提供了一個(gè)圖形化的建?？蚣躘7］，通過對模型的創(chuàng)建、編輯和處理工作實(shí)現(xiàn)復(fù)雜的GIS任務(wù)。模型類似于數(shù)據(jù)流程圖，通過直接拖拽的方式將工具和數(shù)據(jù)按照有序地組織成完整流程并執(zhí)行。在Model Builder中，方法和流程可以共享。

圖2　業(yè)務(wù)流程圖

MICAPS數(shù)據(jù)是目前氣象領(lǐng)域較為廣泛的數(shù)據(jù)應(yīng)用格式，不能直接被地理信息系統(tǒng)共享及訪問。從數(shù)據(jù)結(jié)構(gòu)上來說，矢量數(shù)據(jù)與柵格數(shù)據(jù)是GIS中兩種主要的空間數(shù)據(jù)結(jié)構(gòu)。矢量數(shù)據(jù)分為點(diǎn)、線、面三種類型，同類型的矢量數(shù)據(jù)可以形成矢量圖層[5］。MICAPS數(shù)據(jù)中，不同類型的信息可存儲在一個(gè)圖層中，而常用的GIS軟件特別是ArcGIS的數(shù)據(jù)組織中不允許將類型不同的矢量數(shù)據(jù)表達(dá)在同一圖層中的。因此要使MICAPS數(shù)據(jù)在ArcGIS軟件中共享和訪問，首先要解決MICAPS氣象資料數(shù)據(jù)的轉(zhuǎn)換問題。以MICAPS4類（如云圖、雷達(dá)以及模式輸出產(chǎn)品等）數(shù)據(jù)作為例子，首先需要將MICAPS4類文件轉(zhuǎn)換柵格數(shù)據(jù)（如Grid文件），將轉(zhuǎn)換后的數(shù)據(jù)重新進(jìn)行組織形成多個(gè)圖層[5］，在ArcGIS軟件中應(yīng)用。

在構(gòu)建模型過程中，除了應(yīng)用空間數(shù)據(jù)導(dǎo)入組件、數(shù)據(jù)合并組件等ArcGIS自身提供的地理處理組件外，還利用COM組件庫和ActiveX控件開發(fā)基于GIS的處理氣象數(shù)據(jù)的模型組件，完成整個(gè)數(shù)據(jù)處理流程。其中，ImportRadar組件和ImportCloudy組件分別實(shí)現(xiàn)了雷達(dá)、衛(wèi)星云圖的氣象數(shù)據(jù)到GIS支持的柵格數(shù)據(jù)格式的轉(zhuǎn)換[5］。圖3為云圖原始文件（二進(jìn)制文件格式）經(jīng)過加工轉(zhuǎn)換錄入空間數(shù)據(jù)庫的過程。

圖3　云圖數(shù)據(jù)的加工轉(zhuǎn)換過程

2.3空間數(shù)據(jù)庫引擎ArcSDE

ArcSDE（Spatial Database Engine）是美國ESRI公司推出的空間數(shù)據(jù)庫引擎，是結(jié)合客戶/服務(wù)器模式和數(shù)據(jù)庫管理技術(shù)創(chuàng)建的一種技術(shù)[8］。ArcSDE是數(shù)據(jù)庫系統(tǒng)中管理地理數(shù)據(jù)庫的接口，允許往關(guān)系數(shù)據(jù)庫中加入空間數(shù)據(jù)，提供地理要素的空間位置及形狀等信息。ArcSDE處于應(yīng)用程序和關(guān)系數(shù)據(jù)庫管理系統(tǒng)之間，利用關(guān)系數(shù)據(jù)庫在數(shù)據(jù)存儲、數(shù)據(jù)完整性等方面的先進(jìn)技術(shù)手段[9］，將海量空間數(shù)據(jù)（包括矢量數(shù)據(jù)、柵格數(shù)據(jù)和元數(shù)據(jù)）有機(jī)地組織和管理起來，通過長事務(wù)處理、空間索引、版本管理等機(jī)制[10］，提供對空間數(shù)據(jù)的多用戶高效的并發(fā)訪問。ArcSDE支持矢量、柵格、CAD等數(shù)據(jù)的存儲，將數(shù)據(jù)移植到一個(gè)空間數(shù)據(jù)及屬性數(shù)據(jù)集成的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）中，如SQL Server，DB2，Sybase，Oracle等[11］。

系統(tǒng)中對于以文件形式存儲的氣象數(shù)據(jù)，如實(shí)時(shí)獲取的雷達(dá)、云圖等柵格數(shù)據(jù)，采用空間數(shù)據(jù)庫技術(shù)進(jìn)行統(tǒng)一管理，利用空間索引機(jī)制提高數(shù)據(jù)的訪問效率。服務(wù)器端的ArcSDE連接到Oracle數(shù)據(jù)庫后，利用ArcGIS Desktop中的ArcCatalog功能模塊管理空間數(shù)據(jù)，應(yīng)用程序通過空間數(shù)據(jù)庫引擎ArcSDE訪問Oracle中的氣象數(shù)據(jù)，數(shù)據(jù)經(jīng)過轉(zhuǎn)換處理后進(jìn)入空間數(shù)據(jù)庫。

3　系統(tǒng)改進(jìn)建議

3.1問題描述

我們在ArcGIS Model Builder平臺上利用自己開發(fā)的組件和ArcGIS自帶的組件根據(jù)需求搭建模型。在對數(shù)據(jù)進(jìn)行更新處理時(shí)先刪除SDE中的原數(shù)據(jù)，然后同名上傳新數(shù)據(jù)。在模型處理時(shí)，將ArcGIS Desktop自帶的刪除SDE中的柵格數(shù)據(jù)組件delete（management）和向SDE拷貝柵格數(shù)據(jù)組件copy Raster（management）放置在不同的模型中，以避免SDE中數(shù)據(jù)刪除不成功時(shí)，上傳新數(shù)據(jù)也不成功。

在實(shí)現(xiàn)的過程中，當(dāng)其他用戶對SDE中的柵格數(shù)據(jù)進(jìn)行操作時(shí)，SDE中的該數(shù)據(jù)被鎖住，就無法對ArcSDE中的數(shù)據(jù)進(jìn)行刪除，新的數(shù)據(jù)就無法覆蓋原數(shù)據(jù)。事實(shí)上，當(dāng)對ArcSDE中的數(shù)據(jù)進(jìn)行刪除操作時(shí)，已經(jīng)與SDE空間數(shù)據(jù)庫進(jìn)行了連接，當(dāng)刪除不成功時(shí)，連接并沒有斷開。氣象數(shù)據(jù)轉(zhuǎn)變成柵格數(shù)據(jù)的包括雷達(dá)OHP、雷達(dá)DBZ、云圖等多種氣象數(shù)據(jù)，而且這些數(shù)據(jù)每半小時(shí)或每小時(shí)都需要更新。建立連接是一個(gè)費(fèi)時(shí)的活動(dòng)，系統(tǒng)需要分配其內(nèi)存資源。如果某些數(shù)據(jù)庫連接后，不能保證使用完它后能被正確關(guān)閉，將導(dǎo)致數(shù)據(jù)庫系統(tǒng)中的內(nèi)存泄漏、連接數(shù)超過設(shè)定，最終將不得不重啟ArcSDE空間數(shù)據(jù)庫引擎。

3.2對氣象自動(dòng)出圖系統(tǒng)的改進(jìn)措施

當(dāng)ArcSDE中的數(shù)據(jù)被鎖住時(shí)，編寫一個(gè)del.sql文件刪除Oracle的process_information表里除本機(jī)用戶外的其他用戶的進(jìn)程，刪除SDE空間下tables_lock表里面的記錄。編寫執(zhí)行del.sql的批處理文件del.bat。

將模型部署到氣象自動(dòng)出圖系統(tǒng)（MeteoCarto-Builder）上，當(dāng)ArcSDE中的數(shù)據(jù)被鎖住時(shí)捕捉錯(cuò)誤，根據(jù)返回的錯(cuò)誤類型執(zhí)行del.bat批處理，重新執(zhí)行模型。以下是部分代碼的實(shí)現(xiàn)：

public static string m_strSpeError = "特殊錯(cuò)誤"；

public string Execute（）

｛…

try｛…

GP.Execute（m_ModelName，parameters，null）；//執(zhí)行模型

…｝

catch（Exception ex）

｛…

m_exeResult = "模型調(diào)用失?。。? " + Return-Messages（GP）+ ex.ToString（）；//捕捉GP執(zhí)行時(shí)返回的錯(cuò)誤消息

String strDisMethod = DealwithExeResult（strDis-Method，strIsError，exeType）；//通過調(diào)用函數(shù)獲取解決錯(cuò)誤的方法

if（strDisMethod== "刪除SDE進(jìn)程信息并重新執(zhí)行模型"）

｛This.Execute（）；｝

…｝

｝

private string DealwithExeResult（string strDisMethod，string strIsError）//根據(jù)錯(cuò)誤類型執(zhí)行相應(yīng)處理

｛…

if（GetErrorType（ExeResult）== m_strSpeError）//根據(jù)錯(cuò)誤信息得到錯(cuò)誤類型

｛System.Diagnostics.Process.Start（"delpath\ del.bat"）；

strDisMethod = "刪除SDE進(jìn)程信息并重新執(zhí)行模型"；

…

return strDisMethod；

｝

｝

通過對系統(tǒng)的改進(jìn)，當(dāng)ArcSDE中的數(shù)據(jù)死鎖時(shí)，系統(tǒng)自動(dòng)解鎖，通過對模型的調(diào)用，實(shí)現(xiàn)自動(dòng)對各類實(shí)時(shí)的氣象數(shù)據(jù)進(jìn)行處理，上傳到ArcSDE中。云圖數(shù)據(jù)在ArcSDE中顯示的效果如圖4所示。

圖4　云圖的柵格數(shù)據(jù)

4　結(jié)語

本文基于COM的ArcObject組件的二次開發(fā)技術(shù)和ArcGIS Model Builder建模技術(shù)，完成各類氣象數(shù)據(jù)的導(dǎo)入、轉(zhuǎn)化、分析處理，形成相應(yīng)的柵格數(shù)據(jù)存儲到ArcSDE中。并從ArcSDE的工作機(jī)制出發(fā)解決當(dāng)ArcSDE中的數(shù)據(jù)被鎖住時(shí)，根據(jù)捕捉到的錯(cuò)誤，自動(dòng)解鎖，實(shí)現(xiàn)ArcSDE中數(shù)據(jù)的實(shí)時(shí)更新，自動(dòng)用新數(shù)據(jù)同名覆蓋原數(shù)據(jù)，提高了氣象數(shù)據(jù)查詢、檢索的效率，以實(shí)現(xiàn)其在Internet環(huán)境下的高效組織和便捷服務(wù)[13］。與此同時(shí)氣象數(shù)據(jù)可訪問性更好，利于目前較多基于GIS技術(shù)應(yīng)用系統(tǒng)的訪問。

參考文獻(xiàn)：

[1］肖邱勇，李光強(qiáng).空間數(shù)據(jù)性能對比實(shí)驗(yàn)分析[J］.計(jì)算機(jī)工程與應(yīng)用，2014，50（21）：139-142.

[2］祝青，胡奇光.空間數(shù)據(jù)庫引擎技術(shù)研究[J］.軟件導(dǎo)刊，2009，8（3）：165-166.

[3］張永華，肖文名，何婉文，等.基于ArcGIS和VML的氣象信息發(fā)布平臺[J］.應(yīng)用氣象學(xué)報(bào)，2011，22（4）：498-504.

[4］鄭衛(wèi)江，吳煥萍，羅兵，等.GIS技術(shù)在臺風(fēng)預(yù)報(bào)服務(wù)產(chǎn)品制作系統(tǒng)中的應(yīng)用[J］.應(yīng)用氣象學(xué)報(bào)，2010，21（2）：250-255.

[5］孫利華，吳煥萍，鄭金偉，等.基于Flex的氣象信息網(wǎng)絡(luò)發(fā)布平臺設(shè)計(jì)與實(shí)現(xiàn)[J］.應(yīng)用氣象學(xué)報(bào)，2010，21（6）：745-761

[6］吳煥萍，羅兵，王維國等.GIS技術(shù)在決策氣象服務(wù)系統(tǒng)建設(shè)中的應(yīng)用[J］.應(yīng)用氣象學(xué)報(bào)，2008，19（3）：380-383.

[7］An Overview of Model Builder.http:// webhelp.esri.com/arcgiSDEsktop/9.3/index.cfm？TopicName=An_overview_of_ModelBuilder.

[8］張晶晶.基于ArcSDE的水土保持遙感數(shù)據(jù)庫系統(tǒng)研究與實(shí)現(xiàn)[J］.武漢：華中科技大學(xué)，2007.

[9］張紅忠，趙強(qiáng).ArcSDE數(shù)據(jù)庫連接池技術(shù)在WebGI中的應(yīng)用[J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2008，17（5）：90-93.

[10］熊麗華，楊峰.基于ArcSDE的空間數(shù)據(jù)庫技術(shù)的應(yīng)用研究[J］.計(jì)算機(jī)應(yīng)用，2004，24（3）：90-96.

[11］Robert WEST.Understanding ArcSDE[R］.Californ -ia USA：ESRI，2001.

[12］李航，岳麗華.基于COM和ArcSDE的遙感圖像數(shù)據(jù)庫開發(fā)[J］.計(jì)算機(jī)應(yīng)用，2005，25（5）：1212-1214.

[13］李集明.基于Internet面向社會(huì)公益性共享的氣象科學(xué)數(shù)據(jù)存儲檢索策略研究[J］.氣象科技，2007，35（4）：589-592.

According to the business requirement of meteorology service products in China Meteorological Administration emergency platform，discusses the secondary development of GIS based on COM technology and ArcGIS Model Builder modeling technology，builds models similar to work flow diagrams.Then MeteoCartoBuilder is used to call models to process multiform meteorological data to form raster data and store the raster data into the Spatial Database Engine（ArcSDE）.At the same time，updates the raster data in ArcSDE in real time，thus the data of meteorological product can be updated automatically，managed conveniently and have a strong real-time to meet the needs of real-time update of data in another system.

Keywords：

Model Builder Modeling Technology；Raster Data；Spatial Database Engine（ArcSDE）

The Storage and Real-Time Updating of Meteorologic Data in Spatial Database

CHEN Qing1，LV Zhong-liang2，ZHENG Wei-jiang2，HU Yong-liang1，TENG Zhou1
（1.Zhejiang Provincial Meteorological Information and Network Center，Hangzhou 310017；2.Forecast System and Open Laboratory of National Meteorological Center，China Meteorological Administration，Beijing 100081）

Abstract：

結(jié)合中國氣象局應(yīng)急平臺氣象服務(wù)產(chǎn)品生成業(yè)務(wù)的需要，詳細(xì)討論基于COM的GIS二次開發(fā)技術(shù)和ArcGIS Model Builder建模技術(shù)，以類似工作流的方式構(gòu)建模型，通過氣象自動(dòng)出圖系統(tǒng)（MeteoCartoBuilder）自動(dòng)調(diào)用模型對各類氣象數(shù)據(jù)進(jìn)行處理加工，形成柵格數(shù)據(jù)后存儲到空間數(shù)據(jù)庫引擎ArcSDE中，同時(shí)實(shí)現(xiàn)ArcSDE中柵格數(shù)據(jù)的實(shí)時(shí)更新。達(dá)到氣象產(chǎn)品數(shù)據(jù)自動(dòng)化更新，管理方便，具有很強(qiáng)的實(shí)時(shí)性，以滿足第三系統(tǒng)數(shù)據(jù)實(shí)時(shí)更新的需要，在氣象服務(wù)產(chǎn)品制作中表現(xiàn)出較強(qiáng)的應(yīng)用能力。

文章編號：1007-1423（2016）15-0051-05

DOI：10.3969/j.issn.1007-1423.2016.15.013

作者簡介：

陳晴（1984-），女，浙江杭州人，碩士研究生，工程師，研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)技術(shù)、計(jì)算機(jī)支持的協(xié)同工作、氣象數(shù)據(jù)加工處理

收稿日期：2016-03-24修稿日期：2016-05-15