海洋環(huán)境數(shù)據(jù)存儲技術(shù)的研究與實現(xiàn)＊

趙美珍

（中國艦船研究設(shè)計中心 武漢 430064）

1 引言

隨著海洋科學(xué)技術(shù)的發(fā)展與進(jìn)步，海洋數(shù)據(jù)采集技術(shù)也日新月異，所能獲取的海洋數(shù)據(jù)類型也更加多樣化。要將類型紛繁復(fù)雜的海洋數(shù)據(jù)投入到實際的應(yīng)用當(dāng)中，就要對其進(jìn)行有效的管理。海洋數(shù)據(jù)的存儲是數(shù)據(jù)管理中較為重要的一個環(huán)節(jié)。因此，建立科學(xué)有效的海洋數(shù)據(jù)存儲模型，是一項迫在眉睫的任務(wù)。

不同類型的海洋數(shù)據(jù)具有不同的特點，有些數(shù)據(jù)點的特性較為明顯，采用對象關(guān)系表組織比較適宜，有些數(shù)據(jù)其屬性值和空間位置時刻都在發(fā)生變化，表現(xiàn)出了很強(qiáng)的時空動態(tài)性，采用對象關(guān)系表進(jìn)行數(shù)據(jù)組織會造成大量數(shù)據(jù)的冗余，其數(shù)據(jù)組織采用文件層次模型比較適宜。本文將介紹基于Oracle的數(shù)據(jù)庫存儲技術(shù)和基于NetCDF格式的文件存儲模型及其在海洋環(huán)境數(shù)據(jù)存儲中的應(yīng)用。

2 海洋環(huán)境數(shù)據(jù)特點分析

2.1 海洋環(huán)境數(shù)據(jù)類型分析

海洋宏觀環(huán)境包括海洋地理環(huán)境、海洋水文環(huán)境、海洋氣象環(huán)境、海洋生物環(huán)境等。本文中研究的海洋環(huán)境特指海洋水文環(huán)境與海洋氣象環(huán)境，以下簡稱海洋環(huán)境。

海洋環(huán)境數(shù)據(jù)根據(jù)來源可劃分為歷史統(tǒng)計數(shù)據(jù)、數(shù)值模式數(shù)據(jù)、海軍出版發(fā)行的港口潮汐及電子海圖數(shù)據(jù)、艇載傳感器實測數(shù)據(jù)等。根據(jù)存在狀況可劃分為靜態(tài)和動態(tài)數(shù)據(jù)。從學(xué)科上又可分為氣象、水文、海底地理數(shù)據(jù)。

學(xué)科分類法是最常用的。按照這種方法劃分，海洋環(huán)境信息系統(tǒng)中所用到的數(shù)據(jù)類型有：海溫，鹽度，海水密度，海水聲速，海洋聲道，溫、鹽、密、聲躍層，水色和透明度，風(fēng)浪、涌浪，熱帶氣旋，潮汐，潮流，海流。

在我們的海洋環(huán)境信息系統(tǒng)中，按照其數(shù)據(jù)來源和格式的不同，將十二種海洋環(huán)境信息要素劃分為背景場數(shù)據(jù)、模式預(yù)報數(shù)據(jù)及實測數(shù)據(jù)三類，其中背景場數(shù)據(jù)又可分為歷史統(tǒng)計數(shù)據(jù)和客觀分析數(shù)據(jù)，具體如圖1所示。

圖1 海洋環(huán)境數(shù)據(jù)系統(tǒng)要素分類圖

2.2 海洋環(huán)境數(shù)據(jù)主要特點

海洋環(huán)境信息與陸地信息相比有許多不同之處，概括起來，海洋環(huán)境信息主要具有如下特點：

1）具有陸地地貌信息的復(fù)雜性和流體信息的獨特性雙重特點；

2）海洋環(huán)境信息獲取難度大，數(shù)據(jù)更新困難；

3）分布分散；

4）數(shù)據(jù)量龐大，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，完善的數(shù)據(jù)庫建設(shè)困難大；

5）海洋環(huán)境信息多樣性，數(shù)據(jù)類型和格式復(fù)雜；

6）具有變化尺度多樣性的特點；

7）海洋邊界信息的模糊性；

8）數(shù)據(jù)表達(dá)有2D、2.5D、3D、4D等不同形式，對海洋環(huán)境數(shù)據(jù)分析意義重大。

3 基于Oracle數(shù)據(jù)庫的海洋環(huán)境數(shù)據(jù)存儲技術(shù)

對于一些離散的，點的特征較為明顯的海洋數(shù)據(jù)，采用數(shù)據(jù)庫存儲技術(shù)比較適宜。采用數(shù)據(jù)庫存儲數(shù)據(jù)，數(shù)據(jù)的共享性高、關(guān)聯(lián)性比較強(qiáng)、獨立性強(qiáng)，且可以對數(shù)據(jù)進(jìn)行統(tǒng)一控制。

3.1 數(shù)據(jù)庫建模理論

1）數(shù)據(jù)庫設(shè)計的任務(wù)

數(shù)據(jù)庫設(shè)計的基本任務(wù)是：根據(jù)用戶的信息需求、處理需求和數(shù)據(jù)庫的支持環(huán)境，設(shè)計出數(shù)據(jù)模式以及典型的應(yīng)用程序。

2）數(shù)據(jù)庫設(shè)計方法和設(shè)計步驟

數(shù)據(jù)庫設(shè)計步驟可以分為下面幾步：

（1）需求分析；

（2）概念設(shè)計；

（3）邏輯設(shè)計；

（4）物理設(shè)計；

（5）數(shù)據(jù)庫的實施、運(yùn)行和維護(hù)。

數(shù)據(jù)庫的詳細(xì)設(shè)計流程如圖2所示：

圖2 數(shù)據(jù)庫設(shè)計流程圖

3）關(guān)系規(guī)范化理論

關(guān)系數(shù)據(jù)庫的設(shè)計主要是關(guān)系模式的設(shè)計。一個好的關(guān)系模式除了滿足用戶對信息的存儲和查詢以外，還應(yīng)該以下面的要求作為衡量的標(biāo)準(zhǔn)。

（1）元組的每個分量（屬性）必須是不可分割的數(shù)據(jù)項；

（2）數(shù)據(jù)庫中的數(shù)據(jù)冗余應(yīng)盡可能的少；

（3）不會出現(xiàn)修改異常；

（4）不會出現(xiàn)插入異常；

（5）不會出現(xiàn)刪除異常；

（6）考慮到查詢的要求，組織數(shù)據(jù)的合理性。

3.2 Oracle數(shù)據(jù)庫開發(fā)技術(shù)

1）Oracle數(shù)據(jù)庫

Oracle數(shù)據(jù)庫是目前世界上使用最為廣泛的數(shù)據(jù)庫管理系統(tǒng)，作為一個通用的數(shù)據(jù)庫系統(tǒng)，它具有完整的數(shù)據(jù)管理功能；作為一個關(guān)系數(shù)據(jù)庫，它是一個完備關(guān)系的產(chǎn)品；作為分布式數(shù)據(jù)庫，它實現(xiàn)了分布式處理功能。Oracle作為主流大型數(shù)據(jù)庫，其具有功能強(qiáng)大、性能穩(wěn)定、使用靈活、易于管理、開放性、可伸縮性、非常好的平行性，以及最高級別的安全認(rèn)證、使用風(fēng)險低、存儲數(shù)據(jù)量大等優(yōu)點。

2）MFC ODBC數(shù)據(jù)庫開發(fā)技術(shù)

ODBC是一個應(yīng)用廣泛的數(shù)據(jù)庫訪問應(yīng)用編程接口，使用標(biāo)準(zhǔn)的SQL作為其數(shù)據(jù)庫訪問語言。ODBC的設(shè)計是建立在客戶機(jī)／服務(wù)器體系結(jié)構(gòu)基礎(chǔ)之上的。ODBC使開發(fā)者避免了與數(shù)據(jù)源連接的復(fù)雜性。ODBC數(shù)據(jù)庫訪問接口是用C語言編寫的，可以更好的訪問多種關(guān)系型數(shù)據(jù)庫系統(tǒng)。

Visual C＋＋中提供了MFC ODBC類，封裝了ODBC API，使得利用MFC來創(chuàng)建ODBC的應(yīng)用程序非常簡便。

3.3 海洋環(huán)境數(shù)據(jù)庫結(jié)構(gòu)設(shè)計

3.3.1 邏輯結(jié)構(gòu)設(shè)計

該系統(tǒng)的邏輯結(jié)構(gòu)設(shè)計包括數(shù)據(jù)表的設(shè)計和索引表的設(shè)計，分別如下：

1）索引表

對于某些類型的海洋環(huán)境要素數(shù)據(jù)，分年、分月、分層來存儲為不同的數(shù)據(jù)文件，而在查詢時只能通過經(jīng)度、緯度、層、時間（年、月、日、時、分、秒）等作為輸入信息來得到具體的要素值，為了實現(xiàn)不同數(shù)據(jù)表之間數(shù)據(jù)的便捷、快速查詢，建立了索引表。索引表中存儲的是某要素相關(guān)的所有表的表名及表的命名規(guī)則。

2）統(tǒng)計數(shù)據(jù)表

統(tǒng)計數(shù)據(jù)表存儲的是背景場數(shù)據(jù)中要素的歷史統(tǒng)計數(shù)據(jù)，根據(jù)各要素的數(shù)據(jù)格式的不同，其屬性也不同。具體說來包括：

（1）溫、鹽、密、聲特征值：均值、標(biāo)準(zhǔn)差、最大值、最小值、站次數(shù)；

（2）溫度、密度、聲速躍層特征值：上界深度、厚度和強(qiáng)度；

（3）聲道特征參數(shù)：聲道軸深度、聲道軸處的聲速和聲道厚度；

（4）風(fēng)浪、涌浪特征：波高平均值、觀測次數(shù)、標(biāo)準(zhǔn)差、最大值、周期平均值、觀測次數(shù)、標(biāo)準(zhǔn)差、最大值、大浪出現(xiàn)頻率、大涌出現(xiàn)頻率；

（5）水色、透明度：均值、標(biāo)準(zhǔn)偏差和觀測次數(shù)；

（6）海面平均氣溫：均值、觀測次數(shù)、標(biāo)準(zhǔn)差、最大值、最小值；

（7）熱帶氣旋：路徑、發(fā)生頻率、強(qiáng)度等。

3）客觀分析數(shù)據(jù)表

客觀分析數(shù)據(jù)表存儲的是背景場數(shù)據(jù)中要素的客觀分析數(shù)據(jù)，主要包括溫、鹽、密、聲客觀分析值，風(fēng)浪、涌浪客觀分析值，海面氣溫客觀分析值，水色、透明度客觀分析值等九種要素。所有客觀分析表的屬性均相同，包括經(jīng)度、緯度、平均值。

3.3.2 數(shù)據(jù)表設(shè)計

由于海洋環(huán)境要素涉及的數(shù)據(jù)表較多，僅以海洋溫度數(shù)據(jù)為例，說明索引表和統(tǒng)計數(shù)據(jù)表的設(shè)計規(guī)則。至于客觀分析數(shù)據(jù)表，其設(shè)計規(guī)則與統(tǒng)計數(shù)據(jù)表類似，此處不予贅述。

以海洋溫度要素為例，介紹統(tǒng)計數(shù)據(jù)表及其索引表的結(jié)構(gòu)和二者之間的關(guān)系。

區(qū)域范圍：0°N≤緯度＜25°N，105°E≤經(jīng)度＜132°E，按層存放，共10層，每層每行有八個變量，分別為緯度、經(jīng)度、標(biāo)準(zhǔn)層（單位：m）、平均值、最小值、最大值、觀測次數(shù)和方差，其數(shù)據(jù)表及索引表的結(jié)構(gòu)如表1及表2所示。

表1 溫度統(tǒng)計值表

表2 溫度索引表

在對海洋環(huán)境要素建表過程中，由于表的數(shù)量太大，是通過執(zhí)行腳本文件來實現(xiàn)。腳本的執(zhí)行是通過SQL＊PLUS的＠或START命令把指定腳本文件的內(nèi)容裝入SQL緩沖區(qū)中并運(yùn)行。例如：SQL＞＠ E：／script／createAT.sql其中E：／script／為腳本路徑，createAT.sql為腳本文件名。

4 海洋環(huán)境數(shù)據(jù)文件存儲模型

有些海洋數(shù)據(jù)是多維的，如潮流、潮汐、海流等海洋要素，其屬性隨著經(jīng)度、緯度、水深、時間等的不同而變化，不同的維度會組合出大量的數(shù)據(jù)，若仍采用對象關(guān)系表進(jìn)行數(shù)據(jù)組織，會造成大量的數(shù)據(jù)冗余，其數(shù)據(jù)組織采用文件存儲模型比較適宜。本文將引入一種網(wǎng)絡(luò)通用數(shù)據(jù)格式NetCDF，利用它可以對網(wǎng)格數(shù)據(jù)進(jìn)行高效的存儲、管理、獲取和分發(fā)。

4.1 NetCDF特點

NetCDF是由美國國家科學(xué)委員會資助開發(fā)的一種通用的數(shù)據(jù)存取方式，數(shù)據(jù)的形狀包括單點的觀測值、時間序列、規(guī)則排列的網(wǎng)格、以及人造衛(wèi)星或雷達(dá)之影像檔案。它是一種面向數(shù)組型數(shù)據(jù)的描述和編碼標(biāo)準(zhǔn)，目前廣泛應(yīng)用于大氣科學(xué)、水文、海洋學(xué)、環(huán)境模擬、地球物理等諸多領(lǐng)域。用戶可以借助多種方式方便地管理和操作NetCDF數(shù)據(jù)集。

NetCDF具有如下特性：

1）自描述特性，即NetCDF數(shù)據(jù)文件包含自身的描述信息；

2）平臺無關(guān)性，即支持在異構(gòu)的網(wǎng)絡(luò)平臺間進(jìn)行數(shù)據(jù)傳輸和數(shù)據(jù)共享；

3）易用性，存在多種方便的途徑來管理和操作NetCDF數(shù)據(jù)；

4）高可用性，表示其較高的數(shù)據(jù)壓縮比，以及基于數(shù)組下標(biāo)的線性存儲實現(xiàn)的高效存取。

4.2 NetCDF文件結(jié)構(gòu)和接口函數(shù)

從數(shù)學(xué)上來說，NetCDF存儲的數(shù)據(jù)就是一個多自變量的單值函數(shù)。用公式來說就是f（x，y，z…）＝value，函數(shù)的自變量x，y，z等在NetCDF中叫做維或坐標(biāo)軸，函數(shù)值value在NetCDF中叫做變量，而自變量和函數(shù)值在物理學(xué)上的一些性質(zhì)，比如計量單位、物理學(xué)名稱等在NetCDF中就叫屬性。NetCDF文件結(jié)構(gòu)如下所示：

NetCDF接口函數(shù)庫有四大類函數(shù)：1）文件處理函數(shù)；2）變量處理函數(shù)；3）維數(shù)處理函數(shù)；4）屬性處理函數(shù)。

4.3 三種格式文件的比較

下面將以海流要素為例，分別介紹使用文本文件、普通二進(jìn)制文件、NetCDF文件格式存儲海流數(shù)據(jù)的方法，并對其性能進(jìn)行比較分析。

海流數(shù)據(jù)是以網(wǎng)格數(shù)據(jù)形式提供的，在經(jīng)度、緯度、層深三個維度上發(fā)生變化。其數(shù)據(jù)海區(qū)范圍是：115－130°E，18－32°N，水平分辨率為10′×10′。層深分別取10、20、30、50、75、底層幾個離散的值。

1）文本文件格式

文件采用.dat擴(kuò)展名，每一行存儲一條記錄。根據(jù)水平分辨率和層深，可以計算出總的網(wǎng)格數(shù)（經(jīng)向×緯向×垂向）＝91×85×6＝46410，則文件共有46410行記錄，數(shù)據(jù)按照經(jīng)度、緯度、層深的維度變化順序進(jìn)行存儲，經(jīng)度從115°開始遞增到130°，緯度從32°遞減到18°，變化間隔為10′，層深則從10m開始取離散值。

2）二進(jìn)制文件格式

文件采用.dat擴(kuò)展名，每條記錄長度為4個字節(jié)。數(shù)據(jù)按照經(jīng)度、緯度、層深的維度變化順序進(jìn)行存儲，經(jīng)度從115°開始遞增到130°，緯度從32°遞減到18°，變化間隔為10′，層深則從10m開始取離散值。每條記錄對應(yīng)一個標(biāo)號，如：（115°，32°，10m）對應(yīng)的 num 值為 1，（115.1667°，32°，10m）對應(yīng)的num值為2，按照前面所述的維度變化規(guī)則依次類推。

3）NetCDF文件格式

海流網(wǎng)格數(shù)據(jù)模型包括區(qū)域左下角經(jīng)緯度坐標(biāo)、網(wǎng)格行列數(shù)、網(wǎng)格行寬、列寬、網(wǎng)格點流速、流向等信息。除此之外，還存儲了創(chuàng)建時間、坐標(biāo)單位、精度等屬性信息。按照NetCDF標(biāo)準(zhǔn)，建立海流網(wǎng)格數(shù)據(jù)模型的NC文件。C＋＋環(huán)境下的代碼如下：

在Windows平臺下和Visual C＋＋6.0編程環(huán)境下，采用海流網(wǎng)格數(shù)據(jù)作為實驗數(shù)據(jù)，分別創(chuàng)建出文本格式、二進(jìn)制格式、NC格式的數(shù)據(jù)模型，從文件的存儲大小、存儲時間、讀取時間、檢索時間四種量化指標(biāo)對三種格式性能進(jìn)行衡量，如圖3所示。

圖3 三種格式文件的量化指標(biāo)對比

從圖中可以看出，NC格式在前三項上，效率和另外兩種格式差不多，但在檢索時間上，效率明顯優(yōu)于另兩種格式。這是因為NC格式文件只要確定出經(jīng)緯度值、層深值，即可快速的檢索出該處的流速、流向值；而對于文本文件，則需要根據(jù)其存儲規(guī)律和相應(yīng)的經(jīng)緯度、層深值獲得待查詢記錄所在文本文件的行數(shù)，再得到其流速、流向值；對于二進(jìn)制文件，則需要在文件中定位偏移量大小，再得到流速、流向值。在執(zhí)行效率上，體現(xiàn)了NC格式在存儲網(wǎng)格數(shù)據(jù)方面的優(yōu)越性。

5 結(jié)語

本文介紹了海洋環(huán)境數(shù)據(jù)存儲的兩種技術(shù)，Oracle數(shù)據(jù)庫存儲技術(shù)和基于NetCDF格式的文件存儲模型。Oracle數(shù)據(jù)庫存儲技術(shù)適用于點的特性較為明顯的海洋數(shù)據(jù)，而NetCDF文件模型在存儲網(wǎng)格數(shù)據(jù)方面具有很大的優(yōu)越性。

［1］徐武.Visual C＋＋與Oracle數(shù)據(jù)庫編程案例［M］.北京：電子工業(yè)出版社，2004：35－58.

［2］鮑永剛.SQL語言及其在關(guān)系數(shù)據(jù)庫中的應(yīng)用［M］.北京：科學(xué)出版社，2007：26.

［3］何明.從實踐中學(xué)習(xí)Oracle／SQL［M］.北京：清華大學(xué)出版社.2004：25.

［4］王曉玢.海洋環(huán)境要素區(qū)劃技術(shù)研究［J］.中國航海，2006，4：23－25.

［5］許兆新.美國海軍海洋環(huán)境信息應(yīng)用系統(tǒng)綜述［J］.艦船電子工程學(xué)報，2005，25（4）：25－29.

［6］查石祥.NetCDF數(shù)據(jù)的編程式訪問［J］.氣象科技，2004，32：1－2.

［7］賈俊濤.基于NetCDF的海底地形網(wǎng)格數(shù)據(jù)模型創(chuàng)建與調(diào)度［J］.海洋測繪，2007，27（5）：134－135.

［8］劉文軍.基于NetCDF數(shù)據(jù)模型的氣象資料存儲設(shè)計［J］.安徽農(nóng)業(yè)科學(xué)，2009，37（3）：1370－1371.

［9］許兆新.基于國際標(biāo)準(zhǔn)的電子海圖顯示系統(tǒng)設(shè)計［J］.計算機(jī)與數(shù)字工程，2005，33（9）：93－96.

［10］孟嬋媛.S－57數(shù)據(jù)的組織與實現(xiàn)［J］.測繪學(xué)院學(xué)報，2003，20（4）：275－278.

［11］劉文軍.基于NetCDF數(shù)據(jù)模型的氣象資料存儲設(shè)計［J］.安徽農(nóng)業(yè)科學(xué).2009，37（3）：1370－1371.